arXiv Artificial Intelligence· Soroush Ebadian, Parand A. Alamdari, Joe Benton, Hailey Joren·· 2 小时前AI 评分38
Tampered ML：评估 LLM 对机器学习研究的判断能力
Tampered ML: Evaluating LLM Judgment of Machine Learning Research
AI 导读
研究者推出 Tampered ML 基准，含 1,858 组条目对，每组由一篇已发表机器学习论文重构的实验提案与引入针对性方法缺陷的最小改动反事实版本组成，模型需在两种呈现顺序下判断哪份提案方法更严谨。人类验证估计 86% 条目有效（95% CI：81-91%），前沿模型表现高于随机但远未可靠，Opus 5 准确率 77.9%。模型对呈现顺序高度敏感，并偏好看起来更具体、透明或常规的有缺陷设计。
来源：arXiv Artificial Intelligence · arxiv.org