研究：注意力迁移并非对ViT普遍有效

2026年10月15日，arXiv Computer Vision 发布 Huaiyuan Qin 等作者的研究，重新检验注意力迁移在视觉 Transformer（ViT）中的有效性。研究在 11 个 ViT 家族、20 个教师模型的基准上发现，注意力迁移并非普遍有效：7 个家族迁移成功，4 个家族持续失败，失败家族的最低表现比从头训练的无迁移基线低 5.1%。这种失败在模型规模、训练时长、迁移数据集和分布外评测下均保持一致，根源被归结为教师与学生之间的架构不匹配。研究还发现，仅向随机初始化的学生加入教师原生架构组件，即可完全逆转全部 4 个家族的失败，而这些组件本身并不提升从头训练效果。此前报道曾称注意力迁移普遍有效，本次研究对此提出修正。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。