arXiv Artificial Intelligence· Junyu Guo, Yuchen Fang, Shangding Gu, Costas Spanos, James Demmel, Javad Lavaei·· 17 小时前AI 评分49
当上下文变化:理解 LLM 的更新失败问题
When Context Changes: Understanding Update Failures in LLMs
AI 导读
研究提出 stale binding 失败模式:LLM 智能体在旧版本信息仍在上下文时,会用同一变量的旧值作答,连前沿推理模型也可能无法恢复当前状态。团队构建 CICM 基准,并在 Qwen 与 Pythia 的组件测试中定位到注意力漂移机制——注意力分数相近时多个旧值合计压过当前值。
来源:arXiv Artificial Intelligence · arxiv.org