LLM 奖励设计为何失败：面向稀疏结构化 RL 的诊断驱动迭代优化

针对稀疏结构化强化学习任务，研究提出诊断驱动的迭代优化方法，用训练诊断和失败模式分类指导奖励函数修改。在 MiniGrid 上，DoorKey-8x8 成功率从无塑形的 2.3% 提升至 97.6%，KeyCorridor 从单次生成的 31.2% 提升至 86.7%。该方法受限于 PPO 训练下具有可靠结构化接口的稀疏结构化任务，在 MuJoCo 连续控制中未获稳健的移动性能提升。