arXiv Artificial Intelligence· Tho Mai, Joo-Young Kim·· 13 小时前AI 评分29
LaProx：面向长上下文 LLM 推理的 KV Cache 淘汰新方法
Reformulating KV Cache Eviction Problem for Long-Context LLM Inference
AI 导读
LaProx 将 KV Cache 淘汰从按头加权平均重构为输出感知的逐层矩阵乘法近似问题，显式建模注意力图与投影 value 状态的乘性交互，并首次实现全局可比的 token 重要性评分。
推荐理由模型分析
该工作把 KV Cache 淘汰从按头局部注意力权重平均，改为输出感知的逐层矩阵乘法近似，显式建模注意力图与投影 value 的乘性交互并计入头间依赖，进而给出全局可比的 token 重要性分数，实现模型级统一淘汰。在 LongBench 与 Needle-In-A-Haystack 共 19 个数据集上，仅保留 5% KV Cache 仍维持性能，极端压缩下准确率损失较现有最优基线最多降低 2 倍。适合长上下文推理的开发者据此比较压缩率与精度取舍，但结论限于上述基准，实际部署收益仍需按模型与硬件验证。
来源：arXiv Artificial Intelligence · arxiv.org