arXiv Artificial Intelligence· Junjie Li, Jiong Lou, Jie Li·2026-10-14 12:00· 18 小时前AI 评分24

GateSight：用循环记忆预判注意力记忆，为混合 LLM 实现与查询无关的 KV 淘汰

GateSight: Recurrent Memory Anticipates Attention Memory for Query-Agnostic KV Eviction in Hybrid LLMs

AI 导读

GateSight 利用 GDN 层在 prefill 阶段发出的写门、衰减和写入幅度信号，通过轻量级 per-head MLP 预测 KV 条目的未来效用，在 prefill 后一次性打分并物理释放被淘汰的 KV 条目。