PeekKV：单token探测实现KV缓存压缩

2026年10月20日，arXiv Artificial Intelligence 刊出 Minyoung Go、Yongjun Park 的论文，提出 PeekKV 这一 KV 缓存压缩方法。报道称，PeekKV 是首个仅凭第一个内容 token 就能判断哪些注意力头重要的方法：它利用 prefill 后第一个内容 token 的一次“窥探”，同时得到头组分数与 token 重要性分数，再按分数比例分配 KV 缓存预算，并在各组内保留高分 token。报道还称，该方法无需离线分析或训练。目前该工作处于论文发布阶段，尚无后续跟进报道，也未披露在具体模型、数据集或硬件上的评测结果与压缩收益数据。

AI 根据报道生成 · 40 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。