研究比较用户陈述偏好与实际评分偏好

2026年10月23日，arXiv Artificial Intelligence 刊出一项由 Zihan Chen 等作者发表的研究，基于公开的 PRISM 数据集比较用户自述偏好与实际评分行为。据该研究，1,396 名参与者报告了七项回答属性对其的重要程度，随后对来自 21 个 LLM 的 29,347 条回答进行评分。研究发现，在同一提示下，调查未问及的回答长度、格式和拒答措辞等特征，与评分的关联至少与所调查属性的文本代理指标一样强；用户自述的优先级只反映其感知到的模型属性，对评分实际奖励的具体特征预测力有限，个性化预测的最大增益仅 0.13 个百分点。目前该事件仅有这一篇报道，尚无后续跟进或相互矛盾的说法。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。