跳到正文
arXiv Artificial Intelligence· Ramesh Arvind Naagarajan, Stefan Streif·· 19 小时前AI 评分34

结构基线对智能体失败检测与归因的影响

Structural Baselines Matter for Agent Failure Detection and Attribution

AI 导读

使用工具的 LLM 智能体可能静默失败:任务未完成却不报错,还能流畅作答。研究发现,失败运行更长、被标注为决定性步骤的通常是最后一步,因此"总选最后一步"的规则在此处正确率达 67% 至 96%,无需读取运行内容;但在可回放验证决定性步骤的失败上,该规则降至接近随机水平。

来源:arXiv Artificial Intelligence · arxiv.org