E²-OPSD 提出缓解熵过冲的在线自蒸馏方法

2026年10月15日，arXiv 人工智能板块报道了 Yifei Liu 等作者提出的 E²-OPSD 在线自蒸馏方法。该研究识别出在线策略自蒸馏（OPSD）的一种失败模式——“熵过冲”，即训练过程中学生的 token 熵超过教师并持续偏高。研究将根源归结为两点：参考答案条件下的教师监督过度绑定答案线索，以及前向 KL 持续扩散学生预测分布而不将其拉回。针对这两个成因，作者提出 E²-OPSD 方法予以解决。目前报道仅涉及方法提出与问题归因，未披露具体实验设置、评测结果或适用条件。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。