arXiv Artificial Intelligence· Seonghoon Yu, Dongjun Nam, Byung-Kwan Lee, Jeany Son·· 13 小时前AI 评分31
Hide to See：面向 VLM 蒸馏中视觉锚定思考的推理前缀掩码方法
Hide to See: Reasoning-prefix Masking for Visual-anchored Thinking in VLM Distillation
AI 导读
研究者提出一种 think-answer 蒸馏框架，通过掩码学生模型的高影响推理前缀，迫使其在推理过程中更多依赖视觉证据，以缓解长推理链中的视觉遗忘问题。方法包含 token 级显著推理前缀掩码和按师生分布差异逐步扩大掩码规模的自适应调度，并在蒸馏阶段替代标准因果掩码。实验显示该方法在多模态推理基准上优于近期开源 VLM、VLM 蒸馏与自蒸馏方法，分析也证实学生思考过程中的视觉利用率提升。
推荐理由模型分析
针对紧凑型视觉语言模型做“先思考后回答”蒸馏时，长推理链容易逐渐忽略图像证据的问题，提出遮蔽学生模型显著推理前缀、迫使其更多依赖视觉信息的蒸馏框架，并配合按师生分布差异逐步加大遮蔽强度的调度。实验在多模态推理基准上优于近期开源 VLM 及蒸馏、自蒸馏方法，并分析了思考过程中视觉利用的变化。适合关注小模型推理蒸馏与多模态评测的研究者参考，结论限于论文基准与实验条件。
来源：arXiv Artificial Intelligence · arxiv.org