arXiv Artificial Intelligence· Licheng Pan, Haocheng Yang, Yuzhou Chen, Yichen Sun, Yuan Lu, Yunfei Teng, Jiajun Fan, Guangyi Liu, Zhixuan Chu, Hao Wang·· 2 小时前AI 评分23
CleanRM：用少量干净反馈为 RLHF 噪声反馈做奖励建模
CleanRM: Reward Modeling from Noisy Feedback with a Few Clean Feedback for RLHF
AI 导读
CleanRM 通过最优传输用少量干净反馈校准逐样本噪声比例，将噪声反馈还原的偏好联合分布与干净反馈对齐，再用噪声校正代理损失训练奖励模型，理论上证明该目标对干净风险无偏。实验显示其优于当前最优去噪基线，并带来更有效的下游 RLHF 对齐。
来源：arXiv Artificial Intelligence · arxiv.org