arXiv Artificial Intelligence· Erle Zhu, Genrui Zhang, Keyang Hu, Mingyu Su, Hongning Wang·· 19 小时前AI 评分40
AOS-Bench:LLM 智能体能否管理动态工作负载?
AOS-Bench: Can LLM Agents Manage Dynamic Workloads?
AI 导读
AOS-Bench 把智能体系统当作工作负载管理器来评测:任务随时间陆续到达,需在共享 CPU 和内存限制下交付。在五组模型与 harness 组合中,重负载下每个系统都损失 13 至 23 分;中等负载下各系统隔离成功率相差 11 分,流式成功率却相差 26 分。串行调度导致重负载下 73% 的任务无人领取,而固定并发数为 2 的策略在两个负载档位上均与最佳智能体管理策略相差不到 4 分。
来源:arXiv Artificial Intelligence · arxiv.org