ChampionKV：KV缓存头级自适应预算分配

2026年10月15日，Yuechuan Chen等作者在arXiv提交预印本，提出ChampionKV——一种面向长上下文KV Cache压缩的输入自适应按注意力头预算分配方法。该方法以最大聚合观察窗口注意力分数作为注意力集中度的轻量代理，对注意力分散的头分配更大预算、集中的头分配更小预算，并加入异常头掩码与预算下限机制。据该预印本，ChampionKV可接入SnapKV、PyramidKV等压缩器而不改变其token选择流程；在LongBench与RULER上，两种Champion变体相对其SnapKV与PyramidKV基座压缩器均有一致提升，在Llama3.1-70B-Instruct上提升最大且具统计显著性，尤其预算紧张时，而在所测7B/8B模型上结果有竞争力但参差。该预印本同时指出，ChampionKV并未全面超越Ada-KV，后者的全局跨头Top-K选择在若干设置中仍占优。目前事件进展停留在论文预印本发布阶段。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。