LatentPress 提出连续记忆令牌上下文压缩方法

2026年10月15日，arXiv Artificial Intelligence 刊出 Yuanda Xu 等作者的 LatentPress 工作。该研究提出将对话历史与长文档写入连续 memory tokens，由冻结解码器通过输入嵌入接口直接读取，推理时无需重建文本。方法上，一个小型、与读取器匹配的 writer 在仅训练适配器（4.2M–26.2M 参数，约为解码器的 0.1%）的情况下实现 4–16 倍压缩。在 LongBench-QA 上，域内 writer 在 4–8 倍压缩下达到或超过原始上下文读取，而 16 倍压缩则落后于原始上下文。作者还在两种迁移设置下验证该接口：从 UltraChat 零样本迁移到 LongMemEval 记忆问答，以及从 LongMemEval 衍生的问答迁移到未见过的 LongBench 文档域，从而将直接软令牌确立为超越文本与视觉的、面向机器的实用上下文接口。目前进展为方法提出与上述实验验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。