arXiv Artificial Intelligence· Jiayi Kuang, Yinghui Li, Yunze Song, Keyu Chen, Zhifeng Shen, Yangning Li, Yidong Wang, Di Yin, Ruizhi Qiao, Xing Sun, Kai Jin, Ying Shen, Liang Lin, Philip S. Yu·· 18 小时前AI 评分34
从原子能力到智能体:面向 LLM 智能体数学能力的可解释评测框架
From Atomic to Agentic: Towards Interpretable Evaluation of LLMs' Agentic Mathematical Capabilities
AI 导读
研究者提出一个过程级基准,用于评测 LLM 固有的智能体数学推理能力,将解题中的智能体行为对齐到可复用数学原子能力的结构化分类体系。该框架覆盖文本与多模态场景下的规划、行动和反馈任务,并通过自动化流水线合成高质量轨迹、借助受控 LLM 改写生成细粒度标注。实验显示,端到端准确率相近的模型在智能体能力画像上可能明显不同。
来源:arXiv Artificial Intelligence · arxiv.org