arXiv Artificial Intelligence· Talor Abramovich, Gal Chechik·· 13 小时前AI 评分32
AblationBench：评估实证 AI 研究中的消融实验自动规划
AblationBench: Evaluating Automated Planning of Ablations in Empirical AI Research
AI 导读
AblationBench 是评估语言模型智能体消融规划能力的基准套件，包含 83 个实例的 AuthorAblation 和 350 个实例的 ReviewerAblation 两项任务，并配有基于 LM 的自动评判框架。前沿 LM 表现最佳的系统平均仅能识别 45% 的原始消融实验，低于人类水平，且作者任务与审稿任务间呈现反向性能趋势。分析还发现链式思维提示优于基于智能体的方法。
推荐理由模型分析
该工作把消融实验规划拆成作者提出与审稿人查漏两个任务，并给出83与350条实例及LM自动评判框架，为科研Agent提供了可比较的评测基线。实验显示最强系统平均仅识别45%的原始消融，且思维链提示优于Agent方式，提示开发者可据此判断当前模型在科研辅助中的能力边界与提示策略选择。
来源：arXiv Artificial Intelligence · arxiv.org