用户自述偏好与AI回答实际奖励特征的关系研究

研究基于PRISM数据集比较用户自述偏好与实际评分行为，1,396名参与者报告七项回答属性的重要程度，并评分21个LLM的29,347条回答。同一提示下，调查未问及的回答长度、格式和拒答措辞等特征与评分的关联至少与所调查属性的文本代理指标一样强。自述优先级只反映用户感知的模型属性，对评分实际奖励的具体特征预测力有限，个性化预测的最大增益仅0.13个百分点。