专家重评物理基准揭示评分错误

2026年10月20日，arXiv Artificial Intelligence 刊出 Ali Ansari 等研究者的专家重评研究。团队用专家复核六个常用物理基准，聚焦有可验证最终答案的纯文本题目，发现多数被判错的案例源于评分错误、参考答案有误或题目表述不清，而非模型物理推理出错。修正后的成绩在专家复核后保留的评测子集上计算：GPT-5.6-Sol 在 HLE-Physics 的 mean@4 从 47.3% 升至 78.7%，在 CMT-Benchmark 从 61.0% 升至 87.2%，在保留的 54 道 CritPt 题上 pass@4 达 94.4%。研究据此指出评测缺陷，并称领先基准已接近饱和。目前该研究为单一主报道，尚无跟进报道，上述修正分数仅适用于保留子集。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。