研究揭示 RL 教会 VLM 关注何处而非如何感知

在四个智能体环境中，多轮强化学习带来的任务成功率提升伴随着环境相关视觉问答的改善，但视觉编码器探针准确率基本不变，LLM 层探针准确率上升，且 LLM 层在 RL 训练中更关注视觉 token。研究者用固定注意力偏置的轻量干预、在不更新参数和计算梯度的情况下，部分恢复了未训练模型上的 VQA 收益，表明更好地利用视觉信息是 RL 收益的关键机制。