arXiv Artificial Intelligence· Zhiwei Chen, Zhongtao Rao, Waikit Xiu, Yuxiang Zhang, Shuting Cui, Jian Chen, Tianxiang Zhao·· 18 小时前AI 评分24
LatentRemedy：多智能体系统中非前缀 KV Cache 复用的高效补救方法
LatentRemedy: Efficient Remedy For Non-Prefix KV Cache Reuse in Multi-Agent Systems
AI 导读
LatentRemedy 用少量任务条件 latent token 解决多智能体系统中非前缀 KV Cache 复用导致的性能下降问题，该方法通过 MLP 将目标前缀的最后隐藏状态映射为 latent token，置于复用 KV 块之后，并用全预填充蒸馏训练 MLP。实验显示，LatentRemedy 在冲突任务上持续优于现有复用基线，且随着缓存增大，TTFT 接近直接复用。
来源：arXiv Artificial Intelligence · arxiv.org