arXiv Robotics· Francisco M. L\'{o}pez, Francisco Cruz·· 5 小时前AI 评分31
向红噪声渐变：调度彩色噪声探索可提升机器人学习效率并减少运动抖动
Fade to... Red? Scheduling Coloured Noise Exploration Supports Efficient Robot Learning with Reduced Movement Jerk
AI 导读
研究系统比较了白噪声到红噪声之间的 49 种线性调度与 gSDE，在 Fetch 机械臂和 Shadow 灵巧手的四个稀疏奖励操作任务上测试。训练末端的噪声颜色不影响学习效率或最终性能，但向红噪声渐变可使每个任务的探索抖动减半。红噪声学习效率与粉噪声相当且运动抖动减少近 2 倍，作者建议将向红噪声渐变的探索调度器作为 off-policy 机器人学习的默认方案。
推荐理由模型分析
该研究在 Fetch 机械臂与 Shadow 灵巧手四项稀疏奖励操作任务上系统比较 49 种白噪声到红噪声的线性调度，发现训练末噪声颜色不影响学习效率与最终性能，但向红噪声衰减可将探索抖动减半。对做 off-policy 机器人强化学习的开发者，这提供了一个可直接替换默认高斯噪声的探索调度选项，但结论限于仿真操作任务，尚未验证真机部署效果。
来源：arXiv Robotics · arxiv.org