arXiv Artificial Intelligence· Youran Sun, Xingyu Ren, Chugang Yi, Kejia Zhang, Di Wu, Yingkang Cao, Allen Zhou, Jianping Ye, Suying Liu, Jiaxuan Guo, Jianda Du, Weicheng Ye, Kecheng Liu, Hefan Zhang, Haixin Wang, Jie Xiao, Eric Yang, Haizhao Yang·· 2 小时前AI 评分33
Sci$\Pi$vot：科学自动研究智能体关键时刻的首席研究员判断基准
Sci$\Pi$vot: Benchmarking Principal-Investigator Judgment at Pivotal Moments of Scientific AutoResearch Agents
AI 导读
研究者构建了 Sci$\Pi$vot，一个基于人类纠错记录的 248 例科学判断基准，数据来自资深研究员六个月内在 26 个项目、六个科学领域中对 LLM 智能体的反复干预。
来源：arXiv Artificial Intelligence · arxiv.org