免重训练深度剪枝视觉Transformer研究

2026年10月14日，arXiv Computer Vision 刊出 Alessandro Viespoli 与 Loris Nanni 的论文，将基于相似度的冗余分析扩展到视觉模型：通过测量层输入与输出的余弦相似度，识别影响最小的变换，并据此对视觉 Transformer 做免重训练的深度剪枝。研究称 DINOv2、SwinV2 等深层视觉 Transformer 与语言模型一样存在显著冗余。具体结果方面，论文称在 ImageNet-1K 上可移除 DINOv2 的 20% 块而无需任何重训练，吞吐量提升 1.24 倍、每张图像能耗降低 20%，相对精度损失低于 1%；跨架构平均减少 FLOPs 13% 至 27%，平均精度变化在 -0.3 至 +1.0 个百分点之间。上述条件与数值均针对该论文所述实验设定，尚待更多独立验证。目前事件仍处论文发布阶段，暂无后续跟进报道。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。