arXiv Artificial Intelligence· Zidi Xiu, David Q. Sun, Kevin Cheng, Maitrik Patel, Josh Date, Yizhe Zhang, Jiarui Lu, Omar Attia, Raviteja Vemulapalli, Oncel Tuzel, Meng Cao, Samy Bengio·· 2 天前AI 评分42
ASTRA-bench：评估工具使用智能体的推理与行动规划能力
ASTRA-bench: Evaluating Tool-Use Agent Reasoning and Action Planning with Personal User Context
AI 导读
研究者发布 ASTRA-bench 基准，将随时间演变的个人上下文、交互式工具箱与复杂用户意图统一起来，通过事件驱动流程生成覆盖四个主角的 2,413 个场景。对 Claude-4.5-Opus、DeepSeek-V3.2 等先进模型的评估显示，高复杂度条件下性能明显下降，参数生成成为主要瓶颈。该基准附带完整执行环境与评估脚本，用于诊断智能体在杂乱个人上下文中推理并编排多步计划的能力。
来源：arXiv Artificial Intelligence · arxiv.org