研究质疑自蒸馏对推理的提升

2026年10月15日，arXiv Artificial Intelligence 刊出 Jason Ken Adhinarta 等作者的研究，重新检验自我蒸馏方法 SDPO（Self-Distillation Policy Optimization）与 OPSD（On-Policy Self-Distillation）在代码、科学、工具使用和数学推理任务上的有效性。研究称，这两种方法在这些任务上的收益无法稳定泛化到未见问题，主要源于过拟合或迁移已有推理行为，而非有效利用特权信息；自我蒸馏梯度与直接优化期望奖励的策略梯度对齐较弱。在 Qwen3（1.7B–14B）和 OLMo-3-7B 上的实验表明，有效利用特权信息提升推理仍是未解难题。该研究为目前唯一报道，尚无后续跟进报道，因此不存在早先报道与后续报道之间的数字、时间或说法矛盾。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。