SWE-Shift 编码智能体动态变更基准发布
热点事件持续更新
SWE-Shift 编码智能体动态变更基准发布
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
2026年10月26日,arXiv 人工智能板块刊出研究,Victor Shea-Jay Huang 等作者提出基准 SWE-Shift,用于评估编码智能体在执行过程中遇到代码、依赖或需求变化时的表现。该基准包含 12 类变化、120 个场景,每类变化在 9 个干预位置进行评测。研究对 17 个编码智能体系统测试后发现,各系统的 Shifted 成功率均低于 Clean 成功率;其中 GPT-6 Astra 从 67.35% 降至 24.79%,配对成功率为 20.34%。研究还指出,工具/会话变化与过期证据这两类变化在所有系统上的配对成功率均为零。目前该研究处于基准发布与结果公布阶段,后续进展尚待跟进报道。
AI 根据报道生成 · 1 小时前更新
最新进展10月26日 12:00
SWE-Shift:评估编码智能体在动态变化工作区中的表现报道时间线
沿着报道,了解事件的不同侧面。
10月26日
- arXiv Artificial IntelligenceSWE-Shift:评估编码智能体在动态变化工作区中的表现
研究者提出 SWE-Shift 基准,用于评估编码智能体在执行过程中遇到代码、依赖或需求变化时的表现,包含 12 类变化、120 个场景,每类在 9 个干预位置评测。17 个编码智能体系统的 Shifted 成功率均低于 Clean,GPT-6 Astra 从 67.35% 降至 24.79%,配对成功率为 20.34%。工具/会话变化与过期证据两类变化在所有系统上配对成功率均为零。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。