arXiv Artificial Intelligence· Giuseppe Curci, Stefano Simonazzi, Andrea Molinari, Andrea Zugarini·· 19 小时前AI 评分31
研究揭示 Delta Learning 假设的局限：DPO 单模型对生成器偏差
Exploring the Limits of the Delta Learning Hypothesis: Single-Pair Generator Biases in Direct Preference Optimization
AI 导读
研究从理论与实验两方面表明，DPO 使用固定模型对生成的偏好数据会引入系统性的生成器依赖偏差，该偏差可独立于回答质量预测偏好标签。单模型对数据训练的 DPO 表现始终不如多模型偏好数据，即使较大模型生成的回答质量更高，这一差距与奖励黑客式的训练动态一致。仅增加生成器数量、不引入外部评判模型，即可部分缓解该效应。
来源：arXiv Artificial Intelligence · arxiv.org