GAAC:面向个人设备的无损 KV 压缩
热点事件持续更新
GAAC:面向个人设备的无损 KV 压缩
1 篇报道1 个报道来源16 小时前更新
先了解这件事
AI 综述
2026 年 10 月 30 日,arXiv Artificial Intelligence 刊出 Yipin Guo 等人的研究,提出名为 Group-Adaptive Additive Codec(GAAC)的无损 KV 压缩与服务系统。该研究称,GAAC 利用指数冗余降低存储并加速注意力计算,且不引入 KV 近似。在五个测试模型上,GAAC 实现 1.405–1.407 倍 BF16 KV 无损压缩;其融合注意力内核可在线重建 KV 分块,在 NVIDIA DGX Spark 上,64K token 上下文解码注意力加速 1.19–1.27 倍,端到端 W4A16 解码步骤加速 1.04–1.15 倍。目前报道仅此一篇,尚无后续跟进或独立复现信息。
AI 根据报道生成 · 2 小时前更新
最新进展10月30日 12:00
GAAC:面向个人设备带宽高效 LLM 推理的无损 KV 压缩报道时间线
沿着报道,了解事件的不同侧面。
10月30日
- arXiv Artificial IntelligenceGAAC:面向个人设备带宽高效 LLM 推理的无损 KV 压缩
GAAC 是一种无损 KV 压缩与服务系统,利用指数冗余在五个测试模型上实现 1.405-1.407 倍 BF16 KV 无损压缩,且不引入 KV 近似。其融合注意力内核可在线重建 KV 分块,在 NVIDIA DGX Spark 上 64K token 上下文解码注意力加速 1.19-1.27 倍,端到端 W4A16 解码步骤加速 1.04-1.15 倍。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。