arXiv Artificial Intelligence· Egor Maximov, Aleksei Merkelov, Vasiliy Alekseev, Ivan Krivorotov, Valentin Beliaev, Nikita Arsenin, Dmitry Bocharov, Aleksei Goncharov·· 19 小时前AI 评分31
DCKV：混合语言模型提示词 KV cache 的可学习变换编码
DCKV: Learned Transform Coding of the Prompt KV Cache in Hybrid Language Models
AI 导读
DCKV 是首个端到端训练的 KV cache 编解码器，其变换、量化器和熵模型以提示词 token 及已解码邻位为条件，与冻结语言模型联合优化。在 Qwen3.5-2B 上，DCKV 以比 bf16 少 55 倍以上的字节存储压缩 token，三个长上下文基准最多损失 1.8 分；字节减少 100 倍以上时最多损失 3.6 分。
来源：arXiv Artificial Intelligence · arxiv.org