PACE：面向高效原生 MLLM 的帕累托自适应压缩

研究者提出 PACE，首个针对采用 Multimodal-RoPE 的原生 MLLM 的视觉 token 压缩框架。它利用位置编码的维度解耦，将注意力分解为高度和宽度两个方向的空间显著性估计，并把 token 预算分配建模为性能保持、推理效率与空间覆盖的帕累托优化。实验显示 PACE 在仅保留 25%-50% 视觉 token 时性能接近无损，部分基准甚至提升，FLOPs 降低超过 2 倍。