arXiv Artificial Intelligence· Dayou Du, Woon Yee Ng, Guangming Sheng, Nick Lau, Jianyi Cheng, Luo Mai·· 13 小时前AI 评分34
BitDecoding-FP4：通过算法与系统协同设计实现原生 FP4 KV Cache 解码
BitDecoding-FP4: Native FP4 KV Cache Decoding via Algorithm-System Co-Design
AI 导读
BitDecoding-FP4 通过算法与系统协同设计实现原生 FP4 KV Cache 解码，在 NVFP4 下与 BF16 KV 精度差距控制在 0.5 分以内（MXFP4 为 1 分）。
推荐理由模型分析
BitDecoding-FP4 针对长上下文服务中 FP4 KV 缓存“量化精度差、码本查表拖慢解码”的两难，做了算法与系统协同：用双残差查询量化、下溢感知概率缩放和离群感知键量化压低误差，并在系统层用转置 softmax、融合概率量化与堆叠查询 MMA 消除瓶颈。在 GQA/MLA 的稠密与 MoE 模型上，NVFP4 精度与 BF16 KV 差距在 0.5 分内，B300 上 Qwen3 系列峰值吞吐为 BF16 的 2.4–3.0 倍。适合做长上下文推理部署的开发者参考其精度—吞吐权衡与实现条件。
来源：arXiv Artificial Intelligence · arxiv.org