研究者提出原生MLLM视觉token压缩框架PACE

2026年10月20日，arXiv Artificial Intelligence 刊出 Lei Tian 等作者的论文，提出 PACE（Pareto-Adaptive Compression for Efficient Native MLLMs），作者称其为首个针对采用 Multimodal-RoPE 的原生多模态大模型的视觉 token 压缩框架。方法上，PACE 利用位置编码的维度解耦，将注意力分解为高度和宽度两个方向的空间显著性估计，并把 token 预算分配建模为兼顾性能保持、推理效率与空间覆盖的帕累托优化。实验方面，报道称 PACE 在仅保留 25%–50% 视觉 token 时性能接近无损，部分基准甚至有所提升，FLOPs 降低超过 2 倍。目前该工作处于论文发布阶段，尚无后续跟进报道，实际效果有待更多验证。

AI 根据报道生成 · 39 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。