arXiv Artificial Intelligence· Chaitali Deb Purkayastha, Bharath Kumar Bolla, Vishnu Surya Reddy Nandi·2026-10-15 12:00· 19 小时前AI 评分22

超越准确率：临床 LLM 评估中的反事实脆弱性与人口统计学偏差

Beyond Accuracy: Counterfactual Fragility and Demographic Bias in Clinical Evaluation of LLMs

AI 导读

研究用两项自动化扰动测试评估六个 LLM 在 150 道 MedQA USMLE 题上的表现：900 次反事实有效性（CFV）尝试中仅 228 次（25.3%）有效，5,400 次人口统计学对比中 1,097 个答案被改变（20.3%），并识别出 3,128 个刻板印象证据标记。