arXiv Artificial Intelligence· Hanchen Xia, Baoyou Chen, Yutang Ge, Naihao Deng, Senqiao Yang, Zilong Dong, Weihao Yuan, Siyu Zhu·· 19 小时前AI 评分26
REMORY:用残差记忆网络实现上下文压缩
REMORY: Learning Residual Memory for Context Compaction
AI 导读
REMORY 是一种神经记忆网络,在文本摘要后附加一段有界的软记忆 token,让冻结的 LLM 逼近使用完整历史时的输出。在 SummHay 上,它仅用 5.2% 的输入位置就提升了来源归因,联合得分接近全上下文水平。
来源:arXiv Artificial Intelligence · arxiv.org