arXiv Robotics· Guoping Pan, Xinmiao Yu, Wannan Cao, Jincheng Li, Baolin Jiang, Yizhe Li, Yi Cheng, Houde Liu·· 3 小时前AI 评分35
TDV:从单次人类视频生成轨迹扩散,实现可泛化机器人操作
Trajectory-based Diffusion from One-shot Human Video for Generalizable Manipulation
AI 导读
TDV 是一个基于轨迹的框架,利用即插即用 6D 位姿估计从人类视频中提取任务相关物体轨迹,以轨迹作为与模态无关的中间表示来生成数据,从而规避视觉域差异和动作标签缺失问题。在 RLBench 仿真任务上,该方法在七项任务中取得接近 100% 的成功率,超过此前方法。真实世界实验中,TDV 借助高效轨迹生成技术,实现了从单次人类演示出发的跨本体泛化操作。
来源:arXiv Robotics · arxiv.org