arXiv Artificial Intelligence· Louise Yorke·2026-10-23 12:00· 3 小时前AI 评分37

研究揭示 Arena-Hard 的 LLM 评审在聚合分数稳定下个体判定大幅波动

Behind Aggregate Scores: What Systematically Varying Arena-Hard's LLM Judge Reveals

AI 导读

用 500 条 Arena-Hard v2.0 提示、固定两个模型的回答，以 GPT-4.1 为评审在 criteria、输出格式和任务框架的八种组合下测试，默认设置原样重跑时聚合分数仅变动约 1 分，却有 21.2% 的提示胜负平结果改变。