arXiv Computer Vision· Yijun Liang, Yunjie Tian, Yijiang Li, Yuqi Jia, Kaishen Wang, Tianyi Zhou, Di Fu·· 2 小时前AI 评分24
视觉对比自蒸馏 VCSD：无需外部教师与特权答案的 on-policy 自蒸馏
Visual Contrastive Self-Distillation
AI 导读
VCSD 将图像内容擦除转化为 on-policy 自蒸馏信号：在相同提示词与响应前缀下，EMA 教师分别基于原图与内容擦除对照生成两个下一 token 分布，用逐 token 对数概率差锐化原图分布并蒸馏给学生。
来源：arXiv Computer Vision · arxiv.org