arXiv Robotics· Luca Macesanu, Tianluo Zhang, Aditya Patil, Archit Sharma, Kevin Angers, Christopher M. Clark, Chen Feng, Juexiao Zhang·· 13 小时前AI 评分31
VICTR:用进度感知上下文检索为 VLA 模型实现上下文学习
VICTR: Value-Informed In-Context Learning for Vision-Language-Action Models
AI 导读
VICTR 通过 In-Context Value Function Estimator(IC-VFE)估计任务相对进度,据此检索演示片段并输入经上下文动作生成后训练的 π0.5 策略,实现 VLA 模型的上下文学习。在未见过的域外真实机器人操作任务上,成功率从微调 π0.5 基线的 6.2% 提升至 23.8%,任务进度率从 28.9% 提升至 55.5%。
推荐理由模型分析
VICTR 针对 VLA 模型检索式上下文学习的关键瓶颈:仅靠视觉相似度难以选中与当前执行阶段匹配的示范片段。它用参考视频、语言指令和当前观测训练 IC-VFE 估计任务相对进度,再按进度检索示范块,供后训练的 π0.5 策略做上下文动作生成。在未见过的域外真实操作任务上,成功率从 6.2% 升至 23.8%,任务进度率从 28.9% 升至 55.5%;这些数字来自作者报告,且限于该实验设置,机器人研究者可据此比较进度感知检索与纯视觉检索的基线。
来源:arXiv Robotics · arxiv.org