跳到正文
arXiv Artificial Intelligence· Marta Kne\v{z}evi\'c, Seyed Parsa Neshaei, Jibril Frej, Vinitra Swamy, Tanja K\"aser·· 3 小时前AI 评分27

如何评估 LLM 智能体的探究学习能力:假设、推理与探索

Evaluating Inquiry Learning in LLM-Based Agents: Hypothesizing, Reasoning, and Exploration

AI 导读

研究者提出一个统一交互式框架,将 Countdown 任务扩展为数学环境,让智能体通过操纵变量、收集观察来推断变量间关系,以评估 LLM 的完整探究循环能力。在七款 LLM 和多种提示策略下,实验显示模型固有探究能力有限、发现底层表达式的成功率偏低,但受人类探究学习启发的结构化引导能显著提升表现。

来源:arXiv Artificial Intelligence · arxiv.org