arXiv Artificial Intelligence· Jia Li, Yinfeng Yu·· 20 小时前AI 评分22
两阶段多模态学习实现动态音视觉导航:从物理对齐到场景聚合
Two-Stage Multi-modal Learning for Dynamic Audio-Visual Navigation: From Physical Alignment to Scene Aggregation
AI 导读
针对动态音视觉导航(D-AVN)中现有方法依赖语义听觉特征、难以泛化到未见声音类别的问题,研究者提出两阶段多模态学习框架:物理对齐阶段用 Intensity-Calibrated Geometry Encoder(ICGE)将声音强度与视觉几何做物理对齐。
来源:arXiv Artificial Intelligence · arxiv.org