arXiv Artificial Intelligence· Shao Zhang, Hangfan Zhang, Yuanyuan Shi, Hao Li, Min-Le Su, Kangcong Li, Jingping Wang, Chunjiang Mu, Chen Zhang, Yang Chen, Bo Zhang, Shuyue Hu·· 2 小时前AI 评分47
智能体失败该怪模型还是执行框架？研究提出模型-框架交互评估框架
When Agents Fail: Model or Harness--Who's to Blame?
AI 导读
研究提出一套评估框架，用有效完成率（VCR）、模型-框架适配度、跨模型适配度、交互残差和 Token 负载五项指标衡量 LLM 智能体表现。在 OpenCode、Codex CLI、Pi CLI、DeepAgents 四个通用框架与四个核心模型及两个原生系统上，覆盖六项基准共 111 种设置、52,168 条轨迹，结果显示框架排名随模型和基准变化。
来源：arXiv Artificial Intelligence · arxiv.org