Multi-step SWE 基准发布：编码智能体在长周期连续开发中最高解出率仅 18.5%

作者提出 Multi-step SWE，一个包含 69 个软件工程任务的长周期基准，每个任务是在同一代码库上由 5 至 15 个相互依赖的步骤组成的链条，每一步都基于智能体此前写出的代码继续构建。任务覆盖四类工程工作和九种语言，包含从零构建与已有开源代码库，每一步都以既有事实来源定义指令和验证方式。在九个前沿模型上，最强模型解出率仅 18.5%，69 个任务中有 38 个没有任何模型解出。