研究揭示Arena-Hard评审聚合分数掩盖个体判定波动
热点事件持续更新
研究揭示Arena-Hard评审聚合分数掩盖个体判定波动
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
2026年10月23日，一项发表于arXiv的人工智能研究对Arena-Hard v2.0基准中LLM评审的判定稳定性提出质疑。研究使用500条Arena-Hard v2.0提示，固定两个模型的回答，以GPT-4.1作为评审，在criteria、输出格式和任务框架的八种组合下进行测试。结果显示，在默认设置下原样重跑时，聚合分数仅变动约1分，但仍有21.2%的提示其胜负平结果发生改变。研究据此指出，相似的聚合分数可能掩盖个体判定的实质性变化，这种变化在重复同一设置和更改指令时均会出现。目前该研究已发布，后续进展尚待跟进。
AI 根据报道生成 · 2 小时前更新
最新进展10月23日 12:00
研究揭示 Arena-Hard 的 LLM 评审在聚合分数稳定下个体判定大幅波动报道时间线
沿着报道，了解事件的不同侧面。
10月23日
- arXiv Artificial Intelligence研究揭示 Arena-Hard 的 LLM 评审在聚合分数稳定下个体判定大幅波动
用 500 条 Arena-Hard v2.0 提示、固定两个模型的回答，以 GPT-4.1 为评审在 criteria、输出格式和任务框架的八种组合下测试，默认设置原样重跑时聚合分数仅变动约 1 分，却有 21.2% 的提示胜负平结果改变。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。