跳到正文
arXiv Robotics· Lucas Hoefs, Hui Xie, Senjian An, Fangyi Zhang·· 5 小时前AI 评分40

SAM-VTP:用视频记忆与实测几何实现连续可通行性分割

SAM-VTP: Video Memory and Measured Geometry for Continuous Traversability Segmentation

AI 导读

SAM-VTP 微调 SAM2 的视频记忆通路,实现稠密、免提示词的可通行性分割,并将由深度计算出的坡度、粗糙度和高度融合进图像特征。在 TartanGround 数据集上,其模糊 Jaccard 从 0.908 提升至 0.924、二值 IoU 从 0.854 提升至 0.886,帧间闪烁减少 31%。

推荐理由模型分析

该方法把 SAM2 的视频记忆用于逐帧可通行性分割,并用深度实测的坡度、粗糙度和高度替代外观推断,同时用离线流程生成无需逐像素标注的连续监督。在 TartanGround 上,模糊 Jaccard 从 0.908 提升到 0.924,帧间闪烁减少 31%;两个实地闭环试验中,基线规划器无可行路径的频率分别高出 3.3 倍和 6.9 倍。关注机器人导航与视觉分割的开发者可据此比较视频记忆与逐帧基线的差异,但结论限于合成数据集和两个场地,Orin Nano 上 21.4 FPS 是实际部署约束。

来源:arXiv Robotics · arxiv.org