arXiv Artificial Intelligence· Afonso Baldo, Ant\'onio Farinhas, Marcos Treviso, Ricardo Rei, Nuno M. Guerreiro·2026-10-20 12:00· 3 小时前AI 评分38

Dynalize 用动态惩罚缓解偏好奖励模型中的奖励黑客问题

Mitigating Reward Hacking in Preference Reward Models with Evolving Penalties

AI 导读

Dynalize 在策略训练过程中在线缓解奖励黑客：语言模型定期异步分析训练 rollout，为奖励模型似乎在奖励的不良行为编写惩罚，再由裁判应用到每条 rollout。