跳到正文
arXiv Artificial Intelligence· Victor Shea-Jay Huang, Rongqing Li, Zhangyue Yin, Kelong Mao, Yaqi Zhao, Xinyuan Wang, Yao Yin, Lirui Luo, Renrui Zhang, Hongsheng Li·· 2 小时前AI 评分55

SWE-Shift:评估编码智能体在动态变化工作区中的表现

SWE-Shift: Evaluating Coding Agents in Evolving Workspaces

AI 导读

研究者提出 SWE-Shift 基准,用于评估编码智能体在执行过程中遇到代码、依赖或需求变化时的表现,包含 12 类变化、120 个场景,每类在 9 个干预位置评测。17 个编码智能体系统的 Shifted 成功率均低于 Clean,GPT-6 Astra 从 67.35% 降至 24.79%,配对成功率为 20.34%。工具/会话变化与过期证据两类变化在所有系统上配对成功率均为零。

来源:arXiv Artificial Intelligence · arxiv.org