VLM在线策略蒸馏与SFT的受控对比研究

2026年10月16日，arXiv Computer Vision刊出Frank F. Yang等作者的研究，对视觉语言模型后训练中的在线策略蒸馏（OPD）与过滤式SFT进行受控对比，覆盖不同数据预算以及教师可靠性不同的任务，并分析这些差异如何影响学生模型的准确率与完成行为。研究结论是：OPD只在教师对学生的自生成轨迹保持可靠时才有效。具体而言，在教师完成率为99%的ChartQA上，仅用10%数据的OPD与全量SFT相差1.4个准确率点；而在教师有22%解不完整的Geometry3K上，OPD落后SFT 7.9个点，差距主要来自不完整回答。研究由此指出，学生模型会继承教师的失败模式。目前该研究处于论文发布阶段，尚无后续跟进报道。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。