arXiv Artificial Intelligence· Kaiyu Huang, Yiting Li, Angyang Gu, Pinjia He, Minchen Yu, Qingjiang Shi·· 20 小时前AI 评分35
AM-Bench：跨模型与执行框架理解任务欠规范下的智能体表现
AM-Bench: Understanding Agents under Task Underspecification across Models and Harnesses
AI 导读
研究团队构建了 AM-Bench 基准，从 Terminal-Bench 2.0 和 Harness-Bench 改编 48 个任务，每个任务含一个完整规范参考和六个覆盖目标、上下文、约束缺失或模糊的变体，对五种模型与四种执行框架的全部组合进行了 20,160 次运行。
来源：arXiv Artificial Intelligence · arxiv.org