跳到正文
arXiv Robotics· Qi Chen, Yuwei Wu, Quan Chen, Kunpeng Gao, Jin Chen, Che Sun, Zhi Gao, Yunde Jia·· 4 小时前AI 评分29

CapPro:用单段人类视频让 VLA 模型一次性适应新操作任务

One-shot Human Video-Guided Adaptation for Vision-Language-Action Models

AI 导读

CapPro 框架让预训练 VLA 策略仅凭单段人类演示视频即可适应未见过的操作任务,无需目标任务的机器人演示或微调。它先用阶段感知的人类视频表示模块,通过视觉 token 选择与阶段描述监督学习任务相关查询表示,再由视频条件适应模块将紧凑视频与查询表示注入 VLA 的动作条件上下文。实验显示 CapPro 在未见目标任务组上平均性能提升,同时在源任务上保持相当表现。

来源:arXiv Robotics · arxiv.org