arXiv Robotics· Sung-Wook Lee, Xuhui Kang, Dylan Losey, Yen-Ling Kuo·· 5 小时前AI 评分31
PAIR：用本体感知对齐图像-射线表示，实现视角鲁棒的机器人操作
PAIR: Proprioception-Aligned Image-Ray Representations for Viewpoint-Robust Manipulation
AI 导读
PAIR 是一个对比学习框架，利用机器人本体感知对齐联合图像-射线表示，让相似机器人状态在不同视角下的观测在表示空间中保持接近，从而学习视角鲁棒特征。该框架可训练 Diffusion Policy 或后训练 VLA 模型，在存在相机变化的仿真与真实操作基准上分别比无射线条件的行为克隆基线高出 12.7 和 26.7 个百分点。
推荐理由模型分析
针对视觉运动策略在相机视角变化下泛化差的瓶颈，用机器人本体感知对齐图像-射线联合表征，让相似机器人状态在不同视角下保持表征接近。方法可接入Diffusion Policy训练或VLA后训练，仿真与真机基准分别比无射线条件的模仿学习基线高12.7和26.7个百分点，为做视角鲁棒操作的研究者提供了可比较的基线与适配路径。
来源：arXiv Robotics · arxiv.org