arXiv Artificial Intelligence· Haonan Huang·· 13 小时前AI 评分38
LLM 道德判断中的是-否偏差拆解:立场、位置、词与裁决
Decomposing Yes-No Bias in LLM Moral Judgment: Stance, Position, Word, and Verdict
AI 导读
研究用交叉心理测量电池将是非题翻转扩展为问题极性、印刷顺序与答案标签的 2x2 和 2x2x2 交叉,在 Claude、GPT、Gemini 三个家族的十个前沿模型、23 种推理配置上对二十个道德困境做了 135 万次试验。
推荐理由模型分析
该研究把常见的翻转问题审计扩展为问题极性、印刷顺序和答案标签的2×2及2×2×2交叉设计,并用独立分级工具估计模型立场,从而把表面词序效应与判决依附分开。对做LLM安全门、评审或价值探测的开发者,它提示仅看yes/no翻转对比可能掩盖最高+0.42的判决依附,且推理配置会重塑而非消除这些通道。结论基于十个前沿模型、二十个道德困境的135万次试验,适用于评测方法参考,不等于真实部署中的安全保证。
来源:arXiv Artificial Intelligence · arxiv.org