arXiv Robotics· Zimo He, Tianyi Bian, Zizhong Yang, Hongjie Li, Nan Jiang, Jieming Cui, Baoxiong Jia, Yizhou Wang, Siyuan Huang, Yixin Zhu·· 2 小时前AI 评分49
ViT-H：用运动跟踪反馈实现生成式视频到人形机器人控制
ViT-H: Generative Video-To-Humanoid Control with Motion Tracking Feedback
AI 导读
ViT-H 是一个视频到人形机器人控制框架，用扩散模型直接从视频生成人形参考运动，跳过人体运动重建与重定向，并用运动跟踪结果通过直接偏好优化对生成器做后训练。其自回归变体支持延迟低于 400 ms 的实时人形视频遥操作。在 Unitree G1 上的实验显示，ViT-H 在运动质量与可执行性上均优于现有重建-重定向-跟踪流水线，且随模型规模与预训练、后训练数据规模扩展表现良好。
来源：arXiv Robotics · arxiv.org