arXiv Artificial Intelligence· Zhaoyang Chu, Jiarui Hu, Xingyu Jiang, Pengyu Zou, Han Li, Chao Peng, Peter O'Hearn, Earl T. Barr, Mark Harman, Federica Sarro, He Ye·· 2 天前AI 评分52
TerminalWorld：从真实终端录屏构建 Agent 评测基准
TerminalWorld: Benchmarking Agents on Real-World Terminal Tasks
AI 导读
作者提出 TerminalWorld，一个从真实终端录屏自动反向生成高保真评测任务的数据引擎，处理 80,870 条录屏后得到 1,530 个验证任务，覆盖 18 个真实类别、1,280 个命令，并从中人工审核出 200 个任务的 Verified 子集。
来源：arXiv Artificial Intelligence · arxiv.org