CleanRM：用少量干净反馈校准奖励建模噪声

2026年10月16日，arXiv Artificial Intelligence 刊出 Licheng Pan 等作者提出的 CleanRM 奖励建模去噪方法。该工作针对 RLHF 中反馈存在噪声的问题：CleanRM 通过最优传输，用少量干净反馈校准逐样本噪声比例，将噪声反馈还原的偏好联合分布与干净反馈对齐，再用噪声校正代理损失训练奖励模型。作者在报道中称，理论上证明该目标对干净风险无偏；实验显示其优于当前最优去噪基线，并带来更有效的下游 RLHF 对齐。上述内容均来自同一篇主报道，暂无跟进报道，故不存在早先与后续说法不一致的情况。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。