提出三项指标评估临床LLM忠实性

2026年10月15日，一篇发表于arXiv人工智能板块的研究（作者为Bharath Kumar Bolla、Chaitali Deb Purkayastha、Vishnu Surya Reddy Nandi）针对临床决策支持中LLM的忠实性问题，提出三项轻量、可直接解释的指标：Explanation Stability Index（ESI），衡量重复查询下推理的一致性；Causal Faithfulness Score（CFS），通过概念消融检验被引用的概念是否真正驱动预测；Perturbation Stability Score（PSS），衡量模型对语义保持改写的稳健性。研究在150道MedQA-USMLE题（共900次模型-题目观测）上评估六个LLM，发现仅23.3%被引用的临床概念具有因果必要性。该研究认为准确率、一致性与共识是误导性指标。目前进展限于上述指标提出与评估结果，暂无后续跟进报道。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。