arXiv Artificial Intelligence· Xiaomeng Xiong, Marcus Walker, Yanlin Jiang·2026-10-30 12:00· 17 小时前AI 评分26

用开放权重 LLM 作评委与考生预测医学试题难度

LLMs as Judges and Examinees for Medical Item Difficulty Prediction

AI 导读

研究让开放权重 LLM 分别充当评委和模拟考生，从 USMLE 与 PANCE 试题中提取难度信号，最佳配置在 USMLE 上达到 Spearman 相关系数 ρ = .447，超过 2024 BEA 共享任务最佳系统的 ρ = .25，在 PANCE 上为 ρ = .494。