arXiv Artificial Intelligence· E. Kelly Buchanan, Crystal Zhou, Scott W. Linderman, Christopher R\'e·· 2 天前AI 评分47
Terminal-Bench 2.1 发布：基准测试需要持续维护
Benchmarks as Software: Terminal-Bench and the Case for Continuous Benchmarks
AI 导读
研究团队对 Terminal-Bench 2.0 进行审计，发现约 30% 的题目存在问题，并发布修复版 Terminal-Bench 2.1，修复后准确率提升超过 10 个百分点，排行榜名次最多变动三位，整体排名仍高度相关（Spearman rho = 0.958）。
来源：arXiv Artificial Intelligence · arxiv.org