arXiv Artificial Intelligence· Sasho Nedelkoski, Alexander Acker, Soeren Becker, Dominik Scheinert, Odej Kao·· 19 小时前AI 评分27
E8 格点键量化实现低比特 KV-Cache 压缩
E8 Lattice Key Quantization for Low-Bit KV-Cache Compression
AI 导读
研究者提出用基于 E8 格点的向量量化（VQ）压缩 KV-Cache 的键，在 2-bit 键加 2-bit 值的 k2v2 配置下保持接近基线的质量。该方法利用相邻维度相关性，SQNR 高于同键载荷率的独立标量量化，并采用基于表的非对称打分算法避免注意力计算中显式反量化，解码吞吐与标量基线持平。
来源：arXiv Artificial Intelligence · arxiv.org