arXiv Robotics· Julia Barth, Armin Sommer, Kunvar Thaman, Jannik Schilling·· 4 小时前AI 评分27
目标去哪了?目标泛化失败中策略对齐的三种不同失效形式
What Happens to the Goal? Distinct Failures of Policy Alignment in Goal Misgeneralization
AI 导读
研究在三个 Procgen 环境和五个机器人任务中发现,目标泛化失败存在三种不同的策略-目标错位形式:功能性目标替换、策略捷径,以及目标线索与代理线索的竞争。目标信息在内部丢失的深度不同,恢复手段也不同:在线索竞争场景中引导可将目标达成率从 16.0% 提升至 95.3%;在动作捷径环境中仅靠下游重连可从 31.6% 恢复至 84.3%;目标完全惰性时两种方法均无效。
来源:arXiv Robotics · arxiv.org