跳到正文
arXiv Artificial Intelligence· Jia Li, Yinfeng Yu·· 20 小时前AI 评分22

两阶段多模态学习实现动态音视觉导航:从物理对齐到场景聚合

Two-Stage Multi-modal Learning for Dynamic Audio-Visual Navigation: From Physical Alignment to Scene Aggregation

AI 导读

针对动态音视觉导航(D-AVN)中现有方法依赖语义听觉特征、难以泛化到未见声音类别的问题,研究者提出两阶段多模态学习框架:物理对齐阶段用 Intensity-Calibrated Geometry Encoder(ICGE)将声音强度与视觉几何做物理对齐。

来源:arXiv Artificial Intelligence · arxiv.org