跳到正文
arXiv Artificial Intelligence· Wei Fan, Qingyue Yang, Chao-Hong Tan, Qian Chen, Wen Wang, Xiangang Li, Kejiang Chen, Weiming Zhang, Nenghai Yu·· 18 小时前AI 评分30

LoOPSD:用循环教师做同策略自蒸馏

LoOPSD: On-Policy Self-Distillation with Looped Teachers

AI 导读

LoOPSD 通过搜索模型自身的层执行顺序来构造更强的教师模型,并将教师的预测优势蒸馏回学生模型,权重保持不变。在 GSM8K 上以 400-token 思考预算测试,Qwen3-1.7B 准确率从 42.30% 提升至 79.61%,后续蒸馏轮次还能带来进一步增益。该方法在数学与逻辑推理任务上对多个模型均有提升。

来源:arXiv Artificial Intelligence · arxiv.org