跳到正文
arXiv Robotics· Hongkun Yu, Francisco M. L\'opez, Francisco Cruz·· 13 小时前AI 评分32

HOC2R:从人类视频提取手-物接触轨迹用于机器人动作迁移

HOC2R: Hand-Object Contact Trajectories for Human-to-Robot Motion Transfer

AI 导读

HOC2R 结合冻结的 DINOv3 与 SAM 2.1 特征及学习头,从人类视频中提取手-物接触轨迹供机器人使用。在 30 任务点标注基准上,其计数感知自动化将接触计数准确率从 58.1% 提升至 71.4%,平均定位距离从 19.81 像素降至 10.46 像素。

推荐理由模型分析

HOC2R 用冻结的 DINOv3 与 SAM 2.1 特征加学习头,从人类视频中提取手-物接触轨迹,作为机器人可用的伪标签。在 30 任务基准上,计数感知模式把接触计数准确率从 58.1% 提到 71.4%,平均定位误差从 19.81 降到 10.46 像素;六条机器人评测序列中产出四条可行轨迹、成功三项,基线各为两条和一项。适合做模仿学习数据管线的人参考,但结论限于单手机器人场景与所测任务。

来源:arXiv Robotics · arxiv.org