arXiv Robotics· Haojian Huang, Pukun Zhao, Zexi Li, Yehang Zhang, Yangkai Wei, Wenqian Li, Han Yang, Kaiwen Zhou, Ying-Cong Chen, Yinchuan Li·· 2 小时前AI 评分47
前沿 VLM 智能体能否胜任机器人通用任务?Embodied Agent Arena 实证研究
Are Frontier VLM Agents Ready to Be Robot Generalists? An Empirical Study with the Embodied Agent Arena
AI 导读
研究团队推出 Embodied Agent Arena,用 1000 个案例评测十个 VLM 智能体在几何、空间推理、可供性、任务规划与操作五个维度的表现,其中包含自建的 168 案例基准 GeoProbe。闭源模型在全部五个领域领先,开源 VLM 空间推理尚可但规划与操作成功率明显偏低。增加计算量并不能统一解决失败:代码修复可恢复执行却不完成任务,自我复核甚至可能推翻正确判断。
来源:arXiv Robotics · arxiv.org