预注册测试托管决策模型的IIA违背

2026年10月14日，arXiv Artificial Intelligence 刊出 Dushyant Rajput 等人的一项预注册研究，测试托管决策模型 jev-1.13.0 是否满足无关选项独立性（IIA）。研究使用 299,463 次调用，覆盖意图分类数据集 BANKING77、CLINC150 与主题分类数据集 AG News。结果显示，在意图分类与主题分类任务中，每新增一个选项都会移动 gold label 与最强错误标签之间的对数几率，系统性偏移的均方根为 0.20-0.52 nats，是运行间波动的 1.2 至 3 倍，即便新增选项只占至多 0.1% 概率质量。该研究为预注册设计，目前尚无后续跟进报道。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。