跳到正文
arXiv Artificial Intelligence· Jaden Park, Jungtaek Kim, Jongwon Jeong, Robert D. Nowak, Kangwook Lee, Yong Jae Lee·· 17 小时前AI 评分40

语言模型智能体的探索与利用错误可被量化测量

Exploration and Exploitation Errors Are Measurable for Language Model Agents

AI 导读

研究者设计部分可观测 2D 网格地图与未知符号任务 DAG,提出一种与策略无关的指标来检测无效遍历并区分探索错误与利用错误。在可控难度的地图和任务上评测 35 个前沿 LM 智能体,发现即使 SOTA 模型也难以在步数预算内达成目标,探索与利用错误的 log 值与任务成功率强相关(R² 分别为 0.885 和 0.875)。

来源:arXiv Artificial Intelligence · arxiv.org