跳到正文
arXiv Artificial Intelligence· Bharath Kumar Bolla, Chaitali Deb Purkayastha, Vishnu Surya Reddy Nandi·· 18 小时前AI 评分47

临床决策支持中 LLM 的忠实性:准确率、一致性与共识为何是误导性指标

Right Answer, Wrong Reason: Accuracy, Consistency, and Consensus Are Misleading Indicators of LLM Faithfulness in Clinical Decision Support

AI 导读

研究提出 ESI、CFS、PSS 三个可解释指标衡量临床 LLM 的忠实性缺口,在 150 道 MedQA-USMLE 题(900 次模型-题目观测)上评估六个 LLM,发现仅 23.3% 被引用的临床概念具有因果必要性。

来源:arXiv Artificial Intelligence · arxiv.org