提出all-pairs比较方法测量LLM评测噪声

2026年10月15日，arXiv Artificial Intelligence发布一项研究，将LLM评测噪声拆分为三类：同一问题生成不同答案的预测噪声、采样问题的数据噪声，以及按总方差定律合并的总噪声。作者提出all-pairs comparison方法，对全部LLM两两配对比较，基于数百万条问题级预测测量各噪声分量。结果显示，多数评测在所有模型对上呈现高度可预测的总噪声水平，且配对预测噪声通常大于配对数据噪声，说明通过平均降低预测噪声可显著提升统计功效。该研究由Sida I. Wang提出并测量LLM评测中的三类噪声，目前尚无后续跟进报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。