arXiv Artificial Intelligence· Khouloud Saadi, Di Wang·· 17 小时前AI 评分22
有效性校准的推理蒸馏
Validity-Calibrated Reasoning Distillation
AI 导读
研究者提出“有效性校准的推理蒸馏”框架,将推理蒸馏视为局部学习信号分配问题而非轨迹模仿:在同一前缀下比较学生与教师提出的下一步动作,用相对局部有效性调节蒸馏更新强度。该方法在数学、代码和指令遵循基准上优于强蒸馏基线。
来源:arXiv Artificial Intelligence · arxiv.org