研究检验IRT用于AI评测的可靠性

2026年10月20日，一篇发表于arXiv人工智能分类的研究系统检验了项目反应理论（IRT）在AI评测中的可靠性。研究基于六个常用LLM benchmark的参数与能力分布，在三种IRT模型下模拟响应矩阵，并比较边际极大似然、MCMC、变分推断和神经伪孪生估计器共18,000次运行。结果显示，经典估计器在大规模benchmark上计算不可行，而可扩展估计器在模型数量少或能力分布非正态时会产生不可靠的题目级与排名推断。作者据此指出这些情形对IRT建模用于AI评测可靠性的挑战。目前该研究为单篇预印本报道，尚无后续跟进报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。