arXiv Artificial Intelligence· Jiahe Feng·· 20 小时前AI 评分22
VC-OPD:面向视觉语言推理的视觉反事实在线策略蒸馏
VC-OPD: Visual Counterfactual On-Policy Distillation for Grounded Vision-Language Reasoning
AI 导读
VC-OPD 是一种面向视觉语言推理的在线策略蒸馏方法,通过对比原始图像与破坏实例证据的反事实图像下教师模型的输出差异,估计 token 级视觉依赖并软加权损失,同时用保质量归一化稳定更新尺度。该方法在教师监督热启动后执行在线策略蒸馏,在多模态推理基准上提升了视觉推理表现,并产生更有效的 token 级蒸馏。
来源:arXiv Artificial Intelligence · arxiv.org