研究揭示MCQ评测准确率与顺序敏感性背离

2026年10月15日，Karl Hanna、Chen Feng在arXiv发表研究，考察LLM多选题评测中准确率与顺序敏感性的关系。研究用两个闭源模型和两个开源权重模型，在MMLU与ARC-Challenge上测试四类策略，发现准确率与顺序敏感性并不一致变化。具体而言，两阶段提示词降低了GPT在MMLU上的flip rate和RStd，准确率无显著变化；给直接作答加入推理后，Llama在MMLU上的flip rate统计上无差异，RStd却大幅下降。作者据此建议在评估MCQ策略时，将flip rate和RStd与准确率一并报告，并公开了代码。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。