跳到正文
arXiv Artificial Intelligence· Minhyuk Seo, Minjae Lee, Chaeeun Lee, Wei Lin, Muhammad Jehanzeb Mirza, Tinne Tuytelaars, Jonghyun Choi·· 3 小时前AI 评分34

视觉定位优先:ProCoRe 用对比强化学习提升多模态上下文学习

Visual Grounding First, Multimodal In-context Learning Follows

AI 导读

ProCoRe 通过在多模态对比数据上做对比强化学习来增强视觉定位,从而提升多模态上下文学习能力。该方法为对比图像对生成描述并分解为命题,优化对比奖励以对齐匹配图像。

来源:arXiv Artificial Intelligence · arxiv.org