arXiv Artificial Intelligence· Aman Mehta, Anupam Datta·· 18 小时前AI 评分32
Plans Fade Fast:为何上下文管理对 LLM 智能体至关重要
Plans Fade Fast: Why Context Management Is Load-Bearing for LLM Agents
AI 导读
研究提出 replay pairing 方法,固定动作-观察轨迹,对比有无计划交换时的动作前隐藏状态。在 ALFWorld 上,Llama-3.1-70B 的 15 层平均对比度从计划后第一个动作到第二个下降 4.1 倍,Llama-3.1-8B 下降 5.6 倍;用第 32 层隐藏状态的线性模型预测后续对比度 R² 达 0.847,优于仅知动作调用偏移的基线(0.575)。
来源:arXiv Artificial Intelligence · arxiv.org