提出稀疏到稠密奖励后训练原则

2026年10月15日，arXiv Artificial Intelligence 刊出 Yuanda Xu 等作者的论文，提出语言模型后训练中的奖励密度原则。该研究称，稀疏的序列级奖励最适合用于能够探索并发现更优行为的模型，而稠密的 token 级教师监督更适合把这种行为压缩进更小的部署模型；稀缺的标注数据应先用在上游最强教师上。作者表示，其研究中的在线策略蒸馏（OPD）实现已公开提供。该工作以超越 GRPO 与在线策略蒸馏为对照方向。目前报道未给出具体实验数字、模型规模或适用范围的进一步细节。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。