跳到正文
arXiv Artificial Intelligence· Shilong Li, Xingyuan Bu, Hao Shi, Yun Xing, Weixin Feng, Qiangpeng Yang, Shilei Wen·· 19 小时前AI 评分31

VideoLVR:基于视频证据的潜在视觉推理

VideoLVR: Latent Visual Reasoning over Grounded Video Evidence

AI 导读

VideoLVR 通过从视频相关时刻的局部区域构建潜在视觉证据,为多模态大模型的中间推理步骤提供视觉支撑,避免语言推理链中的视觉遗忘。该方法引入视觉 token 预测目标,将视觉 token 重建表述为对输入视频词表的预测,使视觉证据重建与文本生成统一在同一 token 预测框架内,并扩展至强化学习,将采样视觉 token 与文本 token 一并作为动作优化。

来源:arXiv Artificial Intelligence · arxiv.org