我们能否信任项目反应理论用于 AI 评测？

研究检验了项目反应理论（IRT）在 AI 评测中的可靠性：基于六个常用 LLM benchmark 的参数与能力分布，在三种 IRT 模型下模拟响应矩阵，比较边际极大似然、MCMC、变分推断和神经伪孪生估计器共 18,000 次运行。结果显示经典估计器在大规模 benchmark 上计算不可行，而可扩展估计器在模型数量少或能力分布非正态时会产生不可靠的题目级与排名推断。