arXiv Robotics· Zerui Li, Hongpei Zheng, Fangguo Zhao, Yanyan Shao, Jian Zhou, Sihao Lin, Shijie Li, Qi Wu·· 5 小时前AI 评分36
GTA：用显式世界表征让 MLLM 完成视觉-语言导航
One Agent to Guide Them All: Empowering MLLMs for Vision-and-Language Navigation via Explicit World Representation
AI 导读
GTA 将低层空间状态估计与高层语义规划解耦，通过融合累积几何与导航历史的多模态接口向 MLLM 提供显式度量世界表征，并引入反事实分支推理校验预期结果、修正导航决策。在 R2R-CE val-unseen 完整划分上成功率达 48.8%，在 260 回合的英文 RxR-CE val-unseen 子集上为 46.2%。该框架已迁移至轮式、四足与空中机器人。
推荐理由模型分析
该研究把视觉语言导航拆成底层度量几何状态估计与高层语义规划，并用显式世界表示和反事实分支推理校正决策，在R2R-CE未见环境取得48.8%成功率。做具身导航与MLLM落地的研究者可据此比较解耦架构与端到端方案的差异，并注意其RxR-CE结果仅基于260条子集、跨轮式/四足/空中平台迁移尚属演示。
来源：arXiv Robotics · arxiv.org