arXiv Artificial Intelligence· Hongbin Lin, Sizhe Zou, Juangui Xu, Xinyue Xu, Zhuoli Ouyang, Stanislav Kolchin, Chengwei Qin, Zhongxiang Dai, Yao Shu·· 13 小时前AI 评分31
DR-BOLT：面向自适应 VLM 推理的双参考离线优化
Learning When to Think: Dual-Reference Offline Optimization for Adaptive VLM Reasoning
AI 导读
研究提出 DUAL-REFERENCE BOLT（DR-BOLT），用于视觉语言模型的自适应快慢思考，通过区分期望的快慢混合参考与采样分布并校正二者失配来改进奖励加权训练。在 Qwen3-VL 匹配对比中，DR-BOLT 在 ScienceQA 和三个迁移基准上改善了分数-长度权衡，跨基准慢思考比例为 24.1%，端到端训练相比复现的 GRPO 提速 2.90 倍。代码已公开。
推荐理由模型分析
DR-BOLT 针对视觉语言模型“简单题直接答、难题才展开推理”的自适应快慢思考，指出快答与慢推理来自不同行为策略，单参考离线目标会错配权重；其做法是区分期望混合参考与采样分布，在奖励加权训练中做源级校正。在 Qwen3-VL 同候选库对比下，ScienceQA 及三个迁移基准的分数-长度权衡优于所评估的离线与在线基线，跨基准慢推理比例为 24.1%，相对复现的 GRPO 端到端训练加速 2.90 倍。做 VLM 推理成本控制或离线强化学习训练的开发者可据此比较路由与训练效率，但结论限于两参考设定，更广鲁棒性尚未验证。
来源：arXiv Artificial Intelligence · arxiv.org