跳到正文
热点事件持续更新

GAAC:面向个人设备的无损 KV 压缩

1 篇报道1 个报道来源16 小时前更新

先了解这件事

AI 综述

2026 年 10 月 30 日,arXiv Artificial Intelligence 刊出 Yipin Guo 等人的研究,提出名为 Group-Adaptive Additive Codec(GAAC)的无损 KV 压缩与服务系统。该研究称,GAAC 利用指数冗余降低存储并加速注意力计算,且不引入 KV 近似。在五个测试模型上,GAAC 实现 1.405–1.407 倍 BF16 KV 无损压缩;其融合注意力内核可在线重建 KV 分块,在 NVIDIA DGX Spark 上,64K token 上下文解码注意力加速 1.19–1.27 倍,端到端 W4A16 解码步骤加速 1.04–1.15 倍。目前报道仅此一篇,尚无后续跟进或独立复现信息。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月30日
  1. arXiv Artificial Intelligence
    GAAC:面向个人设备带宽高效 LLM 推理的无损 KV 压缩

    GAAC 是一种无损 KV 压缩与服务系统,利用指数冗余在五个测试模型上实现 1.405-1.407 倍 BF16 KV 无损压缩,且不引入 KV 近似。其融合注意力内核可在线重建 KV 分块,在 NVIDIA DGX Spark 上 64K token 上下文解码注意力加速 1.19-1.27 倍,端到端 W4A16 解码步骤加速 1.04-1.15 倍。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。