arXiv Artificial Intelligence· Karl Hanna, Chen Feng·· 19 小时前AI 评分22
准确率与顺序敏感性为何在 LLM 多选题评测中背离
A, B, C, or Stable? Accuracy and Order Sensitivity Diverge in LLM Multiple-Choice Evaluation
AI 导读
研究用两个闭源模型和两个开源权重模型在 MMLU 与 ARC-Challenge 上测试四类策略，发现准确率与顺序敏感性并不一致变化：两阶段提示词降低了 GPT 在 MMLU 上的 flip rate 和 RStd，准确率无显著变化；给直接作答加入推理后，Llama 在 MMLU 上的 flip rate 统计上无差异，RStd 却大幅下降。
来源：arXiv Artificial Intelligence · arxiv.org