arXiv Artificial Intelligence· Wenxuan Luo, Chenxi Li, Haoyue Liu, Yongxin Guo, Xiaoying Tang·· 2 小时前AI 评分22
CCE-OPD：面向语言模型在线策略蒸馏的条件对比外推方法
Condition-Contrastive Extrapolation for On-Policy Distillation of Language Models
AI 导读
针对在线策略蒸馏中教师模型在学生会话前缀下偏好违反题目前提的无效续写问题，研究者提出 CCE-OPD，通过固定前缀对比与有界对数概率对比，将教师分布重加权为辅助蒸馏目标。
来源：arXiv Artificial Intelligence · arxiv.org