arXiv Robotics· Keru Zhou, Zhirui Fang, Xinrun Xu, Yaopeng Lou, Zeyuan He, Zihao Zhu, Xinze Niu, Chen Wang, Tianfu Li, Samith Va, Bin Qian, Junwei Li, Wenjia Ding, Yicheng Xu, Chang Zhou, Ziwei Wang, Li Liu, Xiu Li, Maoqing Yao·· 3 小时前AI 评分31
Ego-CEVR：从人类第一视角视频学习跨具身视觉表征
Ego-CEVR: Learning Cross-Embodiment Visual Representations from Human Egocentric Videos
AI 导读
Ego-CEVR 是一个数据原生的分层视觉表征学习框架，将全局表征与交互表征分配不同的学习目标。全局模块通过第一视角视频的未来预测学习物体关系、任务状态和时间进度，交互模块在全局语境下解读腕部观测，借助机器人动作监督学习局部对齐与接触线索。该框架支持全局视频模块在大规模人类第一视角视频和多种机器人本体视频上独立预训练，无需机器人动作标签或配对腕部观测。
来源：arXiv Robotics · arxiv.org