arXiv Computer Vision· Kim Sung-Bin, Lee Jung-Mok, Jinwoo Jung, Oh Hyun-Bin, Hyeonggon Ryu, David Harwath, Tae-Hyun Oh·· 3 小时前AI 评分24
HLR-AVSceneQA 与 HLR-LLM：面向音视频 LLM 的空间感知场景理解
Hear, Localize, and Reason: Spatially Aware Scene Understanding for Audio-Visual LLMs
AI 导读
研究提出 HLR-AVSceneQA 基准，按“听—定位—推理”层级评估模型能否识别声音、在自我中心与异我中心视角定位声源并推理其与视觉场景的关系。同时提出 HLR-LLM，在强音视频基础模型上于单声道语义音频通路之外增加双耳空间音频分支，并用含末阶段链式推理监督的课程训练。
来源：arXiv Computer Vision · arxiv.org