Dynalize：在线缓解奖励黑客

2026年10月20日，arXiv Artificial Intelligence 刊出 Afonso Baldo 等作者的报道，提出名为 Dynalize 的方法，用于在策略训练过程中在线缓解偏好奖励模型中的奖励黑客问题。报道称，Dynalize 让语言模型定期异步分析训练 rollout，针对奖励模型似乎在奖励的不良行为编写惩罚，再由裁判把惩罚应用到每条 rollout。报道以“We introduce Dynalize, which mitigates reward hacking online, during policy training.”说明该方法的定位是在线、训练期间缓解奖励黑客。目前进展停留在方法提出与机制描述层面，报道未给出实验数据、适用模型范围或效果对比，也未提及与其他缓解手段的差异。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。