AM-Bench：任务欠规范下的Agent评测基准

2026年10月14日，arXiv Artificial Intelligence 刊出研究团队（Kaiyu Huang 等作者）关于 AM-Bench 的发布信息。该基准从 Terminal-Bench 2.0 和 Harness-Bench 改编出 48 个任务，每个任务包含一个完整规范参考，以及六个变体，分别覆盖目标、上下文、约束的缺失或模糊情形。研究团队对五种模型与四种执行框架的全部组合进行了 20,160 次运行，用以考察跨模型与执行框架下智能体在任务欠规范条件下的表现。目前报道仅披露基准的构建方式、任务数量、变体类型与运行规模，未给出各模型或框架的具体评测结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。