arXiv Artificial Intelligence· Igor Slinko, Yaroslav Golubev, Sergey Titov·2026-10-15 12:00· 19 小时前AI 评分28

编码智能体基准测试应匹配用户的任务流

Coding-Agent Benchmarks Should Match Their Users' Task Flows

AI 导读

研究收集了 JetBrains IDE 中 4,782 个真实软件工程师的智能体会话（Production Sessions），发现长会话（至少三条用户消息，占样本 33%）的任务类型远比基于 issue 的基准任务更广，且用户会在会话中切换类型。