arXiv Artificial Intelligence· Aozhong Zhang, Selcuk Gurses, Yanxia Deng, Naigang Wang, Chi-Chun Liu, Davis Wertheimer, Derrick Liu, Xin Li, Zi Yang, Felix X. -F. Ye, Penghang Yin·· 2 小时前AI 评分27
DropKV：解耦残差输出扰动实现近最优 KV-Cache 淘汰
DropKV: Decoupling Residual-Output Perturbation for Near-Optimal KV-Cache Eviction
AI 导读
DropKV 是一种基于解耦残差输出扰动（Decoupled Residual-Output Perturbation）的 KV-Cache 淘汰框架，通过将联合淘汰决策解耦为独立的逐 token 打分，绕开 NP-hard 组合难题，并在锥条件下提供可证明的常数因子近似保证。
来源：arXiv Artificial Intelligence · arxiv.org