arXiv Artificial Intelligence· Huawei Lin, Jinting Liu, Tan Yu, Weijie Zhao·· 3 小时前AI 评分37
LatComm：面向大语言模型间潜在通信的可复用上下文压缩
LatComm: Reusable Context Compression for Latent Communication between Large Language Models
AI 导读
LatComm 将上下文编码与读取分离：冻结的编码器 LLM 先把不含问题的上下文压缩成固定大小数据包，再由另一个冻结的接收端 LLM 通过交叉注意力按提示词门控读取。在 12 个多项选择问答数据集上，其平均准确率较单向量基线最高提升 10.2 分；在 QuALITY 上接收端输入减少 57 倍，回答一篇文章的问题快 3 倍。
来源：arXiv Artificial Intelligence · arxiv.org