arXiv Artificial Intelligence· Wonmi Choi, Minuk Park, Zhixiong Niu, Yongqiang Xiong, Chuck Yoo, Gyeongsik Yang·· 19 小时前AI 评分23
并非所有 AI 智能体都相同:解析资源与性能动态
Not All AI Agents Are Equal: Characterizing Resource and Performance Dynamics
AI 导读
研究对检索增强问答、网页搜索和软件编程三类 LLM 智能体任务进行资源动态测量,发现同一工具在不同任务下资源行为差异显著,并发请求会暴露 CPU、磁盘 I/O 和内存等任务相关瓶颈,更快的 LLM 响应或更多 CPU 核心并不总能加速智能体。基于此提出 CPU 感知工具准入与任务感知 CPU 分配,CPU 敏感任务延迟提升约 5.4 倍,多任务平均延迟降低约 32%。
来源:arXiv Artificial Intelligence · arxiv.org