如何测量 LLM 评测中的所有噪声

研究将 LLM 评测噪声拆为三类：同一问题生成不同答案的预测噪声、采样问题的数据噪声，以及按总方差定律合并的总噪声。作者提出 all-pairs comparison，对全部 LLM 两两配对比较，基于数百万条问题级预测测量各噪声分量。结果显示多数评测在所有模型对上呈现高度可预测的总噪声水平，且配对预测噪声通常大于配对数据噪声，说明通过平均降低预测噪声可显著提升统计功效。