arXiv Robotics· Peter Bohm, Saimunur Rahman, Abdelwahed Khamis, Sagun Man Singh Shrestha, Chris McCool, Peyman Moghadam·· 2 小时前AI 评分38
GemNav:用多模态大语言模型实现离散 token 视觉机器人导航
GemNav: Discrete-Token Visual Robot Navigation using a Multimodal Large Language Model
AI 导读
GemNav 将机器人局部航点坐标表示为离散度量值分箱上的类别分布,再软解码为连续坐标执行,并用度量距离目标采样替代固定未来帧偏移构建训练轨迹。该策略仅在 8.7 小时的公开 SCAND 数据集上训练,规模比同类跨具身数据集小约三个数量级,离线与闭环实验显示其分布外泛化优于基于帧的采样,避障可靠性明显高于匹配的连续回归头。同一策略无需按平台重训练即可迁移到未见环境和三种物理上不同的机器人平台。
来源:arXiv Robotics · arxiv.org