arXiv Artificial Intelligence· Minyoung Go, Yongjun Park·2026-10-20 12:00· 2 小时前AI 评分36

PeekKV：首个内容 token 就能判断哪些注意力头重要

PeekKV: The First Content Token Already Knows Which Heads Matter

AI 导读

PeekKV 利用 prefill 后第一个内容 token 的一次“窥探”同时得到头组分数与 token 重要性分数，按分数比例分配 KV cache 预算并在各组内保留高分 token，无需离线分析或训练。