无候选对照检验测试时聚合

2026年10月20日，arXiv 人工智能板块报道 Guiv Farmanfarmaian 提出并实验“无候选对照”方法，用于检验单次测试时聚合中候选解是否真正提升准确率。该对照让同一模型仅凭题目重新求解，解码设置与最大输出 token 限额保持一致。实验在 AIME-2025 和 HMMT-2025 两个数学基准上进行，使用 Qwen3-4B-Instruct-2507 一个 4B 模型，聚合为对候选解在首个答案处截断后的单次处理。结果显示：四个候选全错时，聚合准确率为 15.5%，重新求解为 27.7%；至少两个候选正确时，聚合为 88.7%，重新求解为 59.7%。多数投票在多正确情形下达到 96.0%，与聚合的差异不显著（原始 p = 0.180）。报道强调，上述结论仅限该单一模型、两个数学基准及单次聚合设置。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。