研究利用饱和基准的解题记录评估模型能力

2026年10月16日，arXiv Artificial Intelligence 刊出 Morio Hamada 等作者的研究，探讨基准分数饱和后如何评估模型能力。研究用历史基准与模型版本回溯模拟基准饱和，测试仅访问已饱和基准中正确解答转录的协议，能否预测留出未饱和题目上的模型能力。结果显示，在成对评判、单转录绝对打分及确定性转录特征或嵌入预测中，成对评判表现最佳，预测误差比仅用饱和基准分数的基线降低 5.3 倍。研究还发现，该能力信号分布在转录各部分，但集中在推理与工具调用等特定通道，且跨分布迁移时并不总能泛化，例如会低估 2025 年初首批推理模型的能力。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。