arXiv Artificial Intelligence· Yuechuan Chen, Yanda Guo, Xiaoxi Liu, Weilin Ruan, Huanbo Xu, Ruyi Wang, Wei Zhu·· 18 小时前AI 评分22
ChampionKV：面向 KV Cache 压缩的按注意力头自适应预算分配
ChampionKV: Head-Wise Adaptive Budget Allocation for KV Cache Compression
AI 导读
ChampionKV 是一种输入自适应的按注意力头预算分配器，用于长上下文 KV Cache 压缩，以最大聚合观察窗口注意力分数作为注意力集中度的轻量代理，对注意力分散的头分配更大预算、集中的头分配更小预算，并加入异常头掩码与预算下限机制。
来源：arXiv Artificial Intelligence · arxiv.org