arXiv Artificial Intelligence· Min Zeng, Zaifu Zhan, Kai Yu, Rui Zhang·· 3 小时前AI 评分58
研究显示大语言模型难以采纳不断更新的医学知识
Large language models show systematic failures in incorporating evolving medical knowledge
AI 导读
研究提出 ChronoEvo 基准,包含 12 类医学知识变化下的 1709 条推荐级修订,用于区分模型识别修订与将修订纳入临床建议。主模型中 90.8% 的回答识别出修订、80.2% 临床正确,但仅 58.5% 完全采纳,识别与采纳相差 32.3 个百分点,该现象在 14 个模型中持续存在,两名临床医生对 300 条回答的裁定验证样本差距为 40.3 个百分点。
来源:arXiv Artificial Intelligence · arxiv.org