SciΠvot科学判断基准发布

2026年10月16日，Youran Sun等作者在arXiv发布SciΠvot，一个基于人类纠错记录的248例科学判断基准，数据来自资深研究员六个月内在26个项目、六个科学领域中对LLM智能体的反复干预。据该报道，在中等推理强度并附有项目记录时，模型系统性地偏好LLM原始方案而非人类修正后的替代方案；五个前沿模型中有四个在所选案例上表现低于随机水平；在项目条件下，受测模型与推理强度设置中的最高准确率为63.5%，而新研究员为73.4%；在中等强度下，每个模型附有项目记录时的准确率都低于没有项目记录时，重新考虑也未持续提升整体准确率。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。