arXiv Artificial Intelligence· Berke Arda, Peng Cui, Qiaoyuan Zheng, Rudolf Debelak, Mubashara Akhtar, Mrinmaya Sachan·· 18 小时前AI 评分34
SkillEval：用认知诊断模型学习 LLM 的可解释能力画像
SkillEval: Learning Interpretable Ability Profiles of LLMs via Cognitive Diagnosis Models
AI 导读
SkillEval 框架借助 LLM 的元认知能力从题目中自动发现可解释技能，并用心理测量学中的认知诊断模型（CDM）估计 LLM 的分技能能力。研究在 MATH、BBH、GPQA、MuSR、IFEval 五个基准的 9,523 道题上评估了 3,811 个 LLM，所得模型画像比传统平均分更校准、更能预测未见题目表现。在 LLM 路由任务中，该方法在提升性能的同时将推理成本降低 60% 以上。
来源：arXiv Artificial Intelligence · arxiv.org