arXiv Artificial Intelligence· Feiyang Chen, Runze Ma, Zichen Wang, Jiong Lou, Zihan Wang, Shuangjia Zheng, Jie Li·· 3 小时前AI 评分38
Shared Residual Distillation：无需验证对错，从模型自身未验证解中学习
Learning from Unverified Peers via Shared Residual Distillation
AI 导读
研究提出 Shared Residual Distillation（SRD），一种 on-policy 自蒸馏方法，让模型直接从自身未验证的同伴轨迹中学习，无需先判断哪些解正确。
来源：arXiv Artificial Intelligence · arxiv.org