结构基线对智能体失败检测的影响

2026年10月14日，arXiv Artificial Intelligence 刊出 Ramesh Arvind Naagarajan 与 Stefan Streif 的论文，研究智能体失败检测与归因中的结构基线。论文指出，使用工具的 LLM 智能体可能静默失败：任务未完成却不报错，还能流畅作答。研究发现，失败运行更长，被标注为决定性步骤的通常是最后一步，因此“总选最后一步”的规则在此处正确率达 67% 至 96%，无需读取运行内容；但在可回放验证决定性步骤的失败上，该规则降至接近随机水平。作者据此强调，两项任务上报告的许多性能来自无需模型的规律性。该研究为智能体失败检测提供了结构基线视角，提示评估需区分可回放验证与不可回放场景。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。