注意力迁移并非对 Vision Transformer 普遍有效

研究在 11 个 ViT 家族、20 个教师模型的基准上重新检验注意力迁移，发现 7 个家族迁移成功，4 个家族持续失败，最低比从头训练的无迁移基线低 5.1%。失败在模型规模、训练时长、迁移数据集和分布外评测下均保持一致，根源在于教师与学生之间的架构不匹配。仅向随机初始化的学生加入教师原生架构组件，即可完全逆转全部 4 个家族的失败，而这些组件本身并不提升从头训练效果。