E8格点量化实现2比特KV缓存压缩

2026年10月15日，arXiv Artificial Intelligence 刊出 Sasho Nedelkoski 等作者的论文，提出用基于 E8 格点的向量量化（VQ）压缩 KV-Cache 的键。报道称，该方法利用相邻维度相关性，在 2-bit 键加 2-bit 值的 k2v2 配置下保持接近基线的质量，其 SQNR 高于同键载荷率的独立标量量化；同时采用基于表的非对称打分算法，避免注意力计算中显式反量化，解码吞吐与标量基线持平。目前该事件仅有这一篇主报道，尚无后续跟进报道，也未出现与早先报道数字、时间或说法不一致的情况。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。