通过主动回顾学习提升大语言模型长上下文理解能力

研究者提出主动回顾学习（ARL）框架，通过持续预训练中的定向序列构建和推理时的回顾式摘要，让大语言模型重访并总结前文内容。ARL 依据长、短前向上下文的损失差定位关键 token 并找到最相关的前序段落，再由 LLM 生成摘要，在推理时形成跨段落的递归记忆机制。实验显示其在 RULER 上最高提升 129.7%，在 LongBench 上提升 11–13%。