arXiv Artificial Intelligence· Yuanda Xu, Hejian Sang, Zhengze Zhou, Ran He, Zhipeng Wang, Alborz Geramifard·· 19 小时前AI 评分32
超越 GRPO 与在线策略蒸馏：语言模型后训练的稀疏到稠密奖励原则
Beyond GRPO and On-Policy Distillation: An Empirical Sparse-to-Dense Reward Principle for Language-Model Post-Training
AI 导读
研究提出一种奖励密度原则：稀疏序列级奖励适合让模型探索发现更优行为，稠密 token 级教师监督更适合将行为压缩进更小的部署模型，稀缺标注数据应先用在上游最强教师上。
来源：arXiv Artificial Intelligence · arxiv.org