提出预算化KV缓存修复方法SUR

2026年10月14日，arXiv Artificial Intelligence 刊出 Han Yu 等作者的研究，提出预算化 KV-cache 修复：通过重算保留后缀中用户选定比例的内容来恢复任务性能。研究称，刷新连贯区域明显优于刷新孤立 token，据此提出 Semantic-Unit Refresh（SUR），用廉价嵌入分数把预算分配给查询相关文本区域，无需训练或辅助 Transformer 前向。据该报道，在五个模型上，SUR 在受控删除任务中仅重算后缀的 2-5% 即取得较强恢复；在四个自然多跳问答数据集上，以 5% 预算达到接近全量重算的 exact match，且编辑后延迟更低；其执行器对碎片化刷新相比按区间执行最高加速 16.1 倍。上述条件与数值均出自该报道，尚未见后续跟进报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。