arXiv Artificial Intelligence· Donglin Zhuang, Pragaash Ponnusamy, Xiaoxia Wu, Shuaiwen Leon Song, Zhongzhu Zhou·· 13 小时前AI 评分50
FOSCAR：通过仿射折叠加速 2-bit 与 4-bit KV 缓存的解码注意力
FOSCAR: Accelerating Decode Attention over 2- and 4-Bit KV Caches through Affine Folding
AI 导读
FOSCAR 用仿射折叠把 scale 和 offset 作用到解码注意力矩阵乘法的另一操作数或输出上，将 scale-and-offset 运算减少最多两个数量级，同时保持反量化注意力输出的精确算术结果。
推荐理由模型分析
FOSCAR 针对解码注意力中 KV 缓存反量化开销大的瓶颈，用仿射折叠把 scale/offset 移到另一操作数或矩阵乘输出，并配合位操作与 Hopper/Blackwell 专用流水线。原文报告在 H100/B200 上相对 FlashInfer BF16、TensorRT-LLM FP8 等基线有具体加速，长上下文服务吞吐提升也给出比较对象。适合推理内核开发者参考其低比特 KV 方案与部署条件。
来源：arXiv Artificial Intelligence · arxiv.org