RSHD：用失败回放蒸馏为GRPO恢复监督

2026年10月16日，arXiv Artificial Intelligence 刊出 Sheldon Yu 等作者的报道，提出 Replay-Selected Hindsight Distillation（RSHD）方法。该工作针对 GRPO 在全部 rollout 失败时既无成功样例、也无非零组内优势、因而学不到东西的问题。RSHD 的做法是：让策略在不看参考答案的情况下为每次失败写纠正笔记并带笔记重解，仅当回放成功率高于原组且笔记未直接给出答案时才采纳，并将采纳的回放蒸馏回纯提示词策略。作者称该方法把失败尝试转化为 GRPO 训练期间额外的、经过检验的监督来源。目前报道仅介绍方法本身，未提及实验结果、适用模型或发布限制。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。