arXiv Robotics· Dongjie Yu, Kun Lei, Zhennan Jiang, Jia Pan, Huazhe Xu·· 5 小时前AI 评分35
ZPRL：通过瓶颈潜空间强化学习实现真实机器人策略引导
Beyond Action Residuals: Real-World Robot Policy Steering via Bottleneck Latent Reinforcement Learning
AI 导读
ZPRL 通过紧凑的瓶颈潜空间而非策略权重或输出动作来引导预训练策略，在冻结预训练策略的同时用奖励驱动的残差扰动构建在线 RL 控制空间。该方法在 flow-matching 策略上实例化，于 8 个仿真任务和 4 个真实任务上验证，真实世界四任务平均成功率较模仿学习基座策略提升 33.7 个百分点。
推荐理由模型分析
该研究把在线强化学习的引导接口从动作残差改为预训练策略的紧凑瓶颈潜变量，并冻结原策略，在流匹配策略上验证。对做机器人模仿学习后在线微调的研究者，可比较其样本效率与最终成功率基线；但33.7个百分点提升仅来自四个真实任务，属实验条件内结果，尚不能外推为通用现场效果。
来源：arXiv Robotics · arxiv.org