自我蒸馏能提升推理能力吗？SDPO 与 OPSD 在代码、科学、工具使用和数学任务上的再检验

研究重新检验了 SDPO 和 OPSD 两种自我蒸馏方法，发现它们在代码、科学、工具使用和数学推理任务上的收益无法稳定泛化到未见问题，主要源于过拟合或迁移已有推理行为，而非有效利用特权信息。自我蒸馏梯度与直接优化期望奖励的策略梯度对齐较弱。在 Qwen3（1.7B-14B）和 OLMo-3-7B 上的实验表明，有效利用特权信息提升推理仍是未解难题。