跳到正文
arXiv Robotics· Yexin Hu, Dongheui Lee·· 2 小时前AI 评分40

V2-STRep:用 VLM 结构化任务表示从生成视频中获取可复用机器人技能

V2-STRep: VLM-Grounded Structured Task Representations for Reusable Robot Skills Acquired from Generated Videos

AI 导读

V2-STRep 是一个零样本框架,将视频生成模型合成的演示运动转换为可复用机器人技能,通过 VLM 提供的 2D 图像线索结合 RGB-D 观测提升到 3D,重建任务几何与候选抓取位姿。该表示以点、点法向、轴、平面和完整 6D 位姿等最小几何结构描述目标,并指定运动阶段、参考与任务约束。在六项真实世界操作任务上,其执行成功率优于基线,技能可跨场景迁移,并支持在新兼容指令下复用而无需重新生成视频。

来源:arXiv Robotics · arxiv.org