arXiv Computer Vision· Daeun Lee, Subhojyoti Mukherjee, Branislav Kveton, Ryan A. Rossi, Viet Dac Lai, Seunghyun Yoon, Trung Bui, Franck Dernoncourt, Mohit Bansal·· 2 天前AI 评分38
StreamGaze:面向流式视频的注视引导时序推理与主动理解基准
StreamGaze: Gaze-Guided Temporal Reasoning and Proactive Understanding in Streaming Videos
AI 导读
StreamGaze 是首个评估多模态大模型(MLLMs)在流式视频中利用人类注视信号进行时序与主动推理的基准,包含注视引导的过去、现在与主动预测任务。其数据由注视-视频问答生成流程构建,通过对自我中心视频做注视点提取、区域视觉提示和扫描路径构建,生成时空对齐的 QA 对。在所有任务上,当前 SOTA MLLMs 与人类表现存在显著差距,暴露出注视时序推理、意图建模与主动预测方面的局限。
来源:arXiv Computer Vision · arxiv.org