LLM Agent过早承诺：表征度量与评估框架

2026年10月15日，arXiv Artificial Intelligence 刊出 Aman Mehta、Anupam Datta 的论文，针对 LLM 智能体“过早承诺”问题提出“表征承诺”度量，即通过重复运行中同一步骤的隐藏状态相似度衡量智能体行为何时稳定。研究在 Llama-3.1-70B 运行 ReAct 于 HotpotQA 上显示，第 4 步相似度越高，整条轨迹变异性越低（r = -0.35），该模式在动作序列中同样出现，并在另外两个模型和 StrategyQA 上复现。论文同时指出，共享证据解释了大部分观察到的关联，HotpotQA 结果在困难问题上消失，正确与自信错误的问题存在重叠。基于三次部分运行构建的监控器可预测整条轨迹变异性（平均 AUROC 0.81）。承诺提示相对 token 匹配的填充项将变异性降低 28%，但经校正后相对标准智能体不显著，且未提升准确率。该报道为目前唯一来源，未出现与早先报道矛盾之处。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。