arXiv Artificial Intelligence· Han Yu, Wenhui Zhu, Jincheng Cao, Rui Cai, Yuanda Xu, Zhengze Zhou, Xiwen Chen, Hao Wang, Xuanzhao Dong, Han Shi, Menglin Zhou, Shayan Mohajer Hamidi, Lin Su, Mina Razghandi, Sayan Ghosh, Qing Lan, Rohit Jain, Alborz Geramifard·· 20 小时前AI 评分29
面向演化上下文的预算化 KV-Cache 修复：Semantic-Unit Refresh（SUR）
Budgeted KV-Cache Repair for Evolving Contexts
AI 导读
研究提出预算化 KV-cache 修复，通过重算保留后缀中用户选定比例的内容来恢复任务性能，发现刷新连贯区域明显优于刷新孤立 token。据此提出的 Semantic-Unit Refresh（SUR）用廉价嵌入分数把预算分配给查询相关文本区域，无需训练或辅助 Transformer 前向。
来源：arXiv Artificial Intelligence · arxiv.org