arXiv Artificial Intelligence· Yiqiao Jin, Yiyang Wang, Lucheng Fu, Yijia Xiao, Yinyi Luo, Haoxin Liu, B. Aditya Prakash, Chao Zhang, Josiah Hester, Jindong Wang, Srijan Kumar·· 2 天前AI 评分33
UniSD：面向大语言模型的统一自蒸馏框架
UniSD: Towards a Unified Self-Distillation Framework for Large Language Models
AI 导读
UniSD 是一个系统研究大语言模型自蒸馏的统一框架，整合多教师一致性、EMA 教师稳定化、token 级对比学习、特征匹配与散度裁剪等机制。研究覆盖 3 个模型家族共 6 个模型、6 个基准，据此构建的 UniSDfull 综合流程较基座模型提升 +5.4 分，较最强基线提升 +2.8 分。
来源：arXiv Artificial Intelligence · arxiv.org