arXiv Artificial Intelligence· Utkarsh Bahuguna·2026-10-23 12:00· 3 小时前AI 评分31

自一致性适得其反：多数投票拉低小模型在多数 GPQA Diamond 难题上的准确率

When Self-Consistency Backfires: Majority Vote Hurts the Majority of Hard Science Problems for Small LLMs

AI 导读

多数投票式自一致性（SC）反而降低了小指令微调模型在多数 GPQA Diamond 问题上的单题准确率，Qwen2.5-7B 有 56.6%、Llama-3-8B 有 65.7% 的问题受影响。