跳到正文
arXiv Artificial Intelligence· Colin Priest·· 13 小时前AI 评分44

相同事实,不同救济:LLM 与 System One 决策中的语言画像与任意性

Same Facts, Different Remedy: Linguistic Profiling and Arbitrariness in LLM and System One Decisions

AI 导读

研究用保持事实不变的社会语言学改写审计了 GPT-4o-mini、GPT-5-mini 和概率模型 Jev 三个消费者投诉救济决策系统。群体层面,年长、受过大学教育和高 SES 写作风格获得的救济略多,但所有金钱救济差距均在 0.5 个百分点以内;个体层面,同一投诉的两种风格版本有 2.6-6.3% 的概率得到不同金钱裁决。

推荐理由模型分析

该研究用社会语言学改写审计三类消费者投诉补救决策系统,把群体差异与个体不稳定分开报告:群体层面金钱补救差距均在0.5个百分点内,同一投诉两种风格版本有2.6–6.3%概率得到不同金钱决定。对做LLM公平性评测的开发者,可参考其预注册、正对照(事实敏感度高出风格49–387倍)和统一风格改写实验(GPT-4o-mini教育/SES差距降94%/87%但概率模型两项差距反转)的设计;结论限于美国金融投诉与所测系统,改写本身有3.3%–11.7%被审计模型标记为事实变动。

来源:arXiv Artificial Intelligence · arxiv.org