arXiv Computer Vision· Frank F. Yang, Kefei Yan, Yiren Wang, Yiyang Wang·· 2 小时前AI 评分29
视觉语言模型中的同策略蒸馏:学生模型会继承教师的失败模式
Do As I Do, Not As I Say: On-Policy Distillation Inherits the Teacher in Vision-Language Models
AI 导读
研究对比了视觉语言模型后训练中的同策略蒸馏(OPD)与过滤式 SFT,发现 OPD 只在教师对学生的自生成轨迹保持可靠时才有效。在教师完成率 99% 的 ChartQA 上,仅用 10% 数据的 OPD 与全量 SFT 相差 1.4 个准确率点;而在教师有 22% 解不完整的 Geometry3K 上,OPD 落后 SFT 7.9 个点,差距主要来自不完整回答。
来源:arXiv Computer Vision · arxiv.org