arXiv Artificial Intelligence· Gayane Ghazaryan, Esra D\"onmez·· 2 小时前AI 评分42
更强的奖励模型未必偏见更少：超越标准奖励基准的社会对齐评估
Better Reward Models Are Not Always Less Biased: Social Alignment Beyond Standard Reward Benchmarks
AI 导读
研究将奖励模型评估扩展到偏见、安全、道德与伦理推理四个社会性领域，发现标准基准上的高分可能掩盖社会行为差异：模型在回避部分刻板印象的同时会强化另一些，聚合偏见分数会掩盖这种相反倾向。更强的刻板印象回避还可能以牺牲上下文忠实性为代价，形成社会偏见缓解与语境敏感性之间的权衡。在广泛的奖励模型集合上，标准基准表现与社会对齐行为仅呈不一致的关联。
来源：arXiv Artificial Intelligence · arxiv.org