arXiv Artificial Intelligence· Yuran Wang, Zekun Wang, Bohan Zeng, Ruixu Zhang, Wenxuan Liu, Liu Yang, Yifan Dai, Yang Shi, Bozhou Li, Chengzhuo Tong, Daili Hua, Yuanxing Zhang, Wentao Zhang·· 19 小时前AI 评分22
Flux-OPD：用演化上下文做在策略蒸馏
Flux-OPD: On-Policy Distillation with Evolving Contexts
AI 导读
针对开放领域大语言模型训练缺乏可验证奖励、固定上下文无法随学生模型演化的问题，研究者提出 OPD 范式 Flux-OPD，将演化上下文用作训练中监督。该方法通过 reverse-KL 分解刻画上下文蒸馏，把上下文条件教师与无上下文教师的差异作为上下文修正信号注入无上下文教师，并用冲突项加权修正强度。实验显示 Flux-OPD 在 OPD 范式中取得最佳结果。
来源：arXiv Artificial Intelligence · arxiv.org