arXiv Artificial Intelligence· Dushyant Rajput (AltSlate Labs LLP), Nirdesh Chauhan (AltSlate Labs LLP), Siddharth Kosaraju (AltSlate Labs LLP)·· 19 小时前AI 评分30
托管决策模型 jev-1.13.0 是否满足无关选项独立性？一项预注册的选项集依赖测试
Does a Hosted Decision Model Respect Irrelevant Alternatives? A Pre-Registered Test of Option-Set Dependence in Jev
AI 导读
预注册研究用 299,463 次调用测试托管决策模型 jev-1.13.0，发现在意图分类（BANKING77、CLINC150）和主题分类（AG News）中，每新增一个选项都会移动 gold label 与最强错误标签之间的对数几率，系统性偏移的均方根为 0.20-0.52 nats，是运行间波动的 1.2 至 3 倍，即便新增选项只占至多 0.1% 概率质量。
来源：arXiv Artificial Intelligence · arxiv.org