GateSight：面向混合LLM的查询无关KV驱逐方法

2026年10月14日，arXiv Artificial Intelligence 刊出 Junjie Li、Jiong Lou、Jie Li 的论文，提出 GateSight——一种面向混合 LLM 的查询无关 KV 缓存驱逐方法。该方法利用 GDN 层在 prefill 阶段发出的写门、衰减和写入幅度信号，通过轻量级 per-head MLP 预测 KV 条目的未来效用，且不使用注意力分数。据该报道，在服务阶段，GateSight 在 prefill 后对缓存一次性打分，并物理释放被淘汰的 KV 条目。报道称，在仅保留十分之一注意力 KV 缓存的条件下，GateSight 在四组模型-基准组合中的三组上为五种查询无关方法中最准确者，并在全部四组上领先 KVzip，幅度为 9.5 至 47.2 个百分点。目前尚无后续跟进报道，事件进展以该论文所述为准。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。