arXiv Artificial Intelligence· Miguel Fernandez-de-Retana, Unai Zulaika, Ruben Sanchez-Corcuera, Aritz Bilbao-Jayo, Aitor Almeida·· 4 小时前AI 评分40
开源语言模型能否通过西班牙MIR住院医师考试？8-27B模型的不确定性、推理与图像使用研究
Would an LLM Match into a Residency? Uncertainty, Reasoning and Image Use of Open Language Models on the Spanish MIR Examination
AI 导读
四个8-27B开源模型按西班牙MIR考试规则作答1,552道题，三个较大模型可排进约前600至3,000名，仍有41至43个专科可选。弃答从不划算，即使最没把握的答案正确率也高于25%的盈亏线；医学微调降低了过度自信但牺牲准确率，且未改善置信度对正误的区分能力。13-38%的正确答案以临床不成立的理由排除干扰项，移除或替换所给图像后准确率不变。
来源：arXiv Artificial Intelligence · arxiv.org