GAAC：面向个人设备带宽高效 LLM 推理的无损 KV 压缩

GAAC 是一种无损 KV 压缩与服务系统，利用指数冗余在五个测试模型上实现 1.405-1.407 倍 BF16 KV 无损压缩，且不引入 KV 近似。其融合注意力内核可在线重建 KV 分块，在 NVIDIA DGX Spark 上 64K token 上下文解码注意力加速 1.19-1.27 倍，端到端 W4A16 解码步骤加速 1.04-1.15 倍。