OPMD：超越输出监督的在线策略机制蒸馏

研究提出在线策略机制蒸馏（OPMD），在在线策略蒸馏（OPD）基础上将监督从输出空间扩展到中间计算过程。OPMD 先构建与学生兼容的教师模型，把教师表示转换为学生下游计算可用的中间状态，再从在线策略轨迹中内化这些状态。在三种教师—学生设定中，OPMD 的平均准确率均高于所评估的蒸馏基线，并可泛化到多教师蒸馏与跨家族监督微调。