arXiv Robotics· Haitao Shen, Hanyu Liu, Yihan Lin, Huiping Liu, Junbo Cui, Daoheng Li, Yang Li, Jing Zhang, Wenxin Li, Yuan Yao·· 3 小时前AI 评分24
机器人策略该学什么预测?VLA 学习中的监督目标再思考
What Should Robot Policies Learn to Predict? Rethinking Supervision Targets in Vision-Language-Action Learning
AI 导读
研究构建统一 VLA 框架,用双流多模态扩散 Transformer(MMDiT)加样本级路由器,把每个训练样本显式分配给动作预测或辅助目标。在 LIBERO、CALVIN 和四个真实机器人任务上,同等预算下合适的潜在动作(LA)与未来视觉(FV)监督优于纯动作训练,即使动作预测最多只占一半样本;FV 总体优于 LA,但最强 LA 目标在 CALVIN 上仍有竞争力。
来源:arXiv Robotics · arxiv.org