临床LLM反事实脆弱性与人口统计学偏见评估

2026年10月15日，arXiv Artificial Intelligence 刊出 Chaitali Deb Purkayastha 等人的研究，评估临床 LLM 的反事实一致性与人口统计学鲁棒性。研究用两项自动化扰动测试，在 150 道 MedQA USMLE 题上评估六个 LLM：900 次反事实有效性（CFV）尝试中仅 228 次（25.3%）有效；5,400 次人口统计学对比中 1,097 个答案被改变（20.3%）；并识别出 3,128 个刻板印象证据标记。作者指出，由于所有判断均为自动化、没有临床医生验证，结果支持安全筛查，但不能确立模型的临床可部署性。目前该事件仅有这一篇报道，尚无后续跟进或结论更新。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。