arXiv Artificial Intelligence· Mohammed Nayeem Khan, Logesh L·· 13 小时前AI 评分31
Maya a1：选项顺序如何影响非自回归决策模型的答案
Maya a1: Do the Options Read the Model, or Does Their Position? Order Sensitivity in a Non-Autoregressive Decision Model
AI 导读
对 421M 参数的 Laya 检查点做循环轮换测试后发现，25.8% 的题目答案会随选项位置改变，纯英文 605 题上为 19.7%，金标选项置首与置尾的准确率相差 10.1 个百分点，翻转集中在模型低置信度区间（置信度三分位为 54% 对 8%）。
推荐理由模型分析
该研究针对Laya多选题模型做选项顺序扰动测试，发现已发布检查点在循环轮换下25.8%的题目答案翻转，且翻转集中在低置信区间；用带选项打乱的2818条数据微调可把翻转率降到7.2%，不打乱仅11.4%，说明打乱本身贡献4.2个百分点。做多选题评测或微调数据构造的开发者可据此把顺序鲁棒性纳入基线，并注意标签由LLM生成、测试集经教师过滤的证据边界。
来源：arXiv Artificial Intelligence · arxiv.org