REGEN：用离线RL回收回放内存做专家到通才蒸馏

REGEN 通过回收教师模型专项 RL 训练产生的回放记忆，并采用离线 RL 算法训练通才模型，完全解耦了 rollout 采样与反向传播训练过程。在数学推理、代码生成和指令遵循任务上，REGEN 以显著更低的成本达到与多教师在线策略蒸馏（MOPD）相当的准确率。该方法有望将在线 RL 转变为数据合成过程，并可扩展至大规模后训练。代码已开源。

摘自 arXiv Artificial Intelligence

还没有足够的连续观测数据，暂不绘制趋势。