arXiv Robotics· Pranav Teegavarapu, Sriyash Poddar, Rico Qi, Cleah Winston, Krisha Khandelwal, Aykut Onyol, Natasha Jaques, Abhishek Gupta·· 13 小时前AI 评分42
Q-OIL：从人类干预中学习的乐观探索方法
Q-OIL: Optimistic Exploration in Learning from Human Interventions
AI 导读
Q-OIL 通过强化学习中的干预转移乐观奖励与解耦 critic，在仿真和真实机器人上取得比基线高 10-50% 的成功率，并提升预训练 VLA 在两项双臂操作任务上的表现。研究还发现，人类往往在智能体进展停滞时介入，且纠正动作常非最优，据此提出基于进展的人类干预模型，其与真实用户算法排名的相关性更高。
推荐理由模型分析
该工作先指出常见模拟人类干预模型与真实用户行为不符：人往往在智能体进展停滞时介入，且纠正动作常非最优；据此提出基于进展的干预模型，使仿真中的算法排名与真实用户排名相关性更高。Q-OIL 在干预转移上加乐观奖励并软引导探索，且发现解耦评论家对稳定性关键。仿真与真机成功率较基线高 10–50%，并改善预训练 VLA 的双臂操作表现，可供研究人机回环机器人学习的研究者参考其评测与训练设置。
来源：arXiv Robotics · arxiv.org