跳到正文
arXiv Robotics· Subin Kim, Anh-Quan Pham, Dinesh Jayaraman·· 5 小时前AI 评分38

RAGu:用检索引导实现零样本 VLA 适配

Zero-Shot VLA Adaptation with Retrieved Guidance

AI 导读

RAGu 通过从 DROID 等域不匹配的真实演示数据集中检索轨迹,引导 VLA 的 flow-matching 推理过程,无需重训基座模型或扩展上下文窗口。它先用简单几何标定把源演示变换到目标设置,再以由粗到细的检索策略从大量预变换候选中选出与基座 VLA 最兼容的轨迹。

推荐理由模型分析

该研究把语言模型中的RAG思路迁移到视觉-语言-动作模型,用几何标定对齐源演示、粗到细检索最兼容轨迹,并在流匹配推理阶段施加引导,无需重训基座或扩展上下文。作者报告真实世界成功率从20%提升到80%,并在仿真、sim-to-real与跨本体人形操作中优于相近基线;这些数字来自论文自述,适用条件限于其检索演示库与目标域设定,可作为VLA域偏移适配的参考基线。

来源:arXiv Robotics · arxiv.org