研究揭示RL提升VLM视觉利用机制
热点事件持续更新
研究揭示RL提升VLM视觉利用机制
1 篇报道1 个报道来源58 分钟前更新
先了解这件事
AI 综述
2026年10月20日，arXiv Artificial Intelligence 刊出 Ziqian Zhang 等作者的研究，考察多轮强化学习提升视觉语言模型能力的机制。研究在四个智能体环境中发现，多轮强化学习带来的任务成功率提升，伴随着与环境相关的视觉问答改善；但表征探针显示，视觉编码器探针准确率基本不变，LLM 层探针准确率上升，且 LLM 层在 RL 训练中更关注视觉 token。研究者还用固定注意力偏置的轻量干预，在不更新参数、不计算梯度的情况下，部分恢复了未训练模型上的 VQA 收益，据此认为更好地利用视觉信息是 RL 收益的关键机制，即 RL 主要教会模型关注何处，而非如何感知。目前该研究以预印本形式发布，后续进展有待跟进。
AI 根据报道生成 · 38 分钟前更新
最新进展10月20日 12:00
研究揭示 RL 教会 VLM 关注何处而非如何感知报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- arXiv Artificial Intelligence研究揭示 RL 教会 VLM 关注何处而非如何感知
在四个智能体环境中，多轮强化学习带来的任务成功率提升伴随着环境相关视觉问答的改善，但视觉编码器探针准确率基本不变，LLM 层探针准确率上升，且 LLM 层在 RL 训练中更关注视觉 token。研究者用固定注意力偏置的轻量干预、在不更新参数和计算梯度的情况下，部分恢复了未训练模型上的 VQA 收益，表明更好地利用视觉信息是 RL 收益的关键机制。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。