arXiv Artificial Intelligence· Yifei Liu, Minghao Fang, Xinyu Gu, Chengkai Yao, Mengdi Liu, Tengfei Ma, Jiangbin Zheng, Chang Yu, Zhangyang Gao·· 19 小时前AI 评分22
E$^2$-OPSD：解决在线策略自蒸馏中的熵过冲问题
E$^2$-OPSD: Taming Entropy Overshoot in On-Policy Self-Distillation
AI 导读
研究识别出在线策略自蒸馏（OPSD）的失败模式"熵过冲"——训练中学生 token 熵超过教师并持续偏高，根源在于参考答案条件下的教师监督过度绑定答案线索，且前向 KL 持续扩散学生预测分布而不拉回。
来源：arXiv Artificial Intelligence · arxiv.org