REGEN：用离线强化学习回收回放记忆实现专家到通才蒸馏

REGEN 通过回收教师模型专项 RL 训练产生的回放记忆，并采用离线 RL 算法训练通才模型，完全解耦了 rollout 采样与反向传播训练过程。在数学推理、代码生成和指令遵循任务上，REGEN 以显著更低的成本达到与多教师在线策略蒸馏（MOPD）相当的准确率。该方法有望将在线 RL 转变为数据合成过程，并可扩展至大规模后训练。代码已开源。