KiToke：视频大模型分布感知Token压缩

2026年10月15日，arXiv Computer Vision 报道 Haifeng Huang、Biyin Xu、Yang Li 等人提出 KiToke，一种免训练、与查询无关的视频 token 压缩框架。该工作针对的问题是：启发式重要性规则可能过度代表大型冗余视觉组，并遗漏出现频率较低的视觉模式，在激进 token 预算下尤为明显。KiToke 将视觉 token 视为视频时空 token 分布的样本，用全局嵌入密度衡量冗余，并以逆密度采样平衡不同频率视觉模式的 token 分配，同时把未选中的 token 聚合到检测出的时间区间内的保留锚点上。在 LLaVA-OneVision 上，据该报道，KiToke 在 10% 和 1% token 保留率下分别保持未压缩模型四基准平均准确率的 98.5% 和 89.2%，并分别实现 6.8 倍和 12.5 倍 prefill 加速，且已计入压缩开销。目前事件仍处于论文发布阶段，尚无后续跟进报道。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。