arXiv Artificial Intelligence· Shuo Yang, Zheyu Zhang, Mahito Sugiyama, Gjergji Kasneci·· 18 小时前AI 评分26
当训练集中于学生失败题目时，On-Policy Distillation 为何反而降低准确率
Correcting or Continuing? What On-Policy Distillation Learns from Student Errors
AI 导读
研究用 Qwen-3 和 Phi-4 模型在统一竞赛数学协议下评测五种 On-Policy Distillation（OPD）机制，发现当训练仅集中于学生当前做错的题目时，OPD 无法提升准确率，多数机制反而使性能下降，尽管训练 KL 散度持续降低。
来源：arXiv Artificial Intelligence · arxiv.org