跳到正文
arXiv Artificial Intelligence· Sheldon Yu, Tong Yu, Nikki Lijing Kuang, Zhendong Chu, Zhenwei Tang, Sungchul Kim, Lina Yao, Julian McAuley, Junda Wu·· 2 小时前AI 评分22

RSHD:用失败回放蒸馏为 GRPO 恢复监督信号

Failure Is the Mother of Success: Recovering Supervision with Grounding Hindsight

AI 导读

针对 GRPO 在全部 rollout 失败时既无成功样例也无非零组内优势、学不到东西的问题,研究者提出 Replay-Selected Hindsight Distillation(RSHD),让策略在不看参考答案的情况下为每次失败写纠正笔记并带笔记重解,仅当回放成功率高于原组且笔记未直接给出答案时才采纳,并将采纳的回放蒸馏回纯提示词策略。

来源:arXiv Artificial Intelligence · arxiv.org