跳到正文
arXiv Artificial Intelligence· Jinyi Ye, Lei Cao, Ding Chen, Emilio Ferrara·· 1 天前AI 评分45

研究警告:缺乏稳健性审计的 LLM 社会模拟不应得出科学结论

Stop Drawing Scientific Claims from LLM Social Simulations Without Robustness Audits

AI 导读

研究指出,LLM 社会模拟中的微小扰动会经反复交互放大,使科学结论可能反映实现细节而非所建模的社会机制。在重复囚徒困境与社交媒体回音室两个案例中,persona 格式和游戏指令措辞的细微变化使合作率最多偏移 76 个百分点,同一扰动在一个前沿模型上造成 76 个百分点偏移,在另一个模型上仅 1 个百分点。

来源:arXiv Artificial Intelligence · arxiv.org