跳到正文
arXiv Artificial Intelligence· Hanchen Xia, Baoyou Chen, Yutang Ge, Naihao Deng, Senqiao Yang, Zilong Dong, Weihao Yuan, Siyu Zhu·· 19 小时前AI 评分26

REMORY:用残差记忆网络实现上下文压缩

REMORY: Learning Residual Memory for Context Compaction

AI 导读

REMORY 是一种神经记忆网络,在文本摘要后附加一段有界的软记忆 token,让冻结的 LLM 逼近使用完整历史时的输出。在 SummHay 上,它仅用 5.2% 的输入位置就提升了来源归因,联合得分接近全上下文水平。

来源:arXiv Artificial Intelligence · arxiv.org