arXiv Artificial Intelligence· Yaoyang Liu, Shuwei Shen, Jincheng Tang, Jinguang Liu, Jinbao Xue, Hailong Yang, Ke Zhang, Yinjun Wu·· 19 小时前AI 评分27
BELT：行为对齐的低秩 KV Cache 压缩与可学习 Top-k 秩分配
BELT : BEhavior-Aligned Low-Rank KV Cache Compression with Learned Top-k Rank Allocation
AI 导读
BELT 是一种低秩 KV Cache 压缩框架，其键侧目标直接对齐注意力分布而非原始键或 softmax 前 logits，可得到闭式低秩解，并用可学习全局秩分配器在训练时软选择、部署时硬选择以满足用户指定的组件预算。
来源：arXiv Artificial Intelligence · arxiv.org