ChainSWE: Benchmarking Coding Agents on Multi-Bug Software Maintenance¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/C-lister/ChainSWE
领域: 代码智能
关键词: 代码智能体, 连续软件维护, 依赖演变, 累积状态错误, SWE基准测试
一句话总结¶
构建了首个针对多缺陷连续修复的软件工程智能体基准 ChainSWE,揭示出累积的代码仓库状态漂移会导致智能体单缺陷解决率沿修复链急剧下降高达 70%,且传统对话记忆保留与主动重写往往难以弥补代码基线的隐性破坏。
研究背景与动机¶
大语言模型驱动的代码智能体在近年来的软件工程(SWE)任务中展现出了极具前景的自动化能力,涵盖程序修复、环境配置乃至全仓库构建。现有的主流评估基准(如 SWE-bench 及其演进变体 SWE-bench Live、SWE-rebench、SWE-bench Pro 等)均严格遵循「单缺陷隔离评测」范式:每次测试均从一个干净的基线提交检出代码,智能体接收单个独立 issue,修改局部文件,并在预设的离散测试套件上判定胜负。这种评估协议将真实的软件生命周期人为切割为一系列互不相关的瞬时会话,忽略了真实世界中最为棘手的跨缺陷依赖与累积维护演化。
在实际工业界软件维护中,工程师往往需要面对连续的缺陷流,在一个刚刚被自己修改过、处于动态演变中的代码仓库上开展后续修复工作。孤立评测协议无法衡量智能体是否会引入无意识的越界编辑、能否稳健处理潜伏的多文件依赖,以及能否在继承演变状态的同时保持代码库的全局正确性。当智能体在同一个代码仓库上连续修复多个缺陷时,先前补丁引入的微小缺陷或过度修改会随时间推移逐步污染代码基线,产生现有隔离基准无法捕获的系统性退化。
面对这一评估盲区,亟需构建一个具备真实依赖链、时间拓扑连续且支持容器化重放评测的多缺陷基准。核心 idea:通过挖掘真实开源项目中具有文件与符号代码重叠的时序缺陷链构建 ChainSWE 基准,并在统一的沙箱中让智能体在自身生成的演变仓库状态上连续修复,从而将孤立修复能力与累积状态管理能力解耦,精准暴露过度修改(Overshoot)与修补不足(Undershoot)引发的链式错误。
方法详解¶
整体框架¶
ChainSWE 建立了从六大主流 SWE-bench 衍生数据集中提取、验证并评测连续缺陷修复任务的完整流水线。其评测目标不仅考核模型单次修复的局部能力,更核心的是检验早期补丁能否为后续任务保留或构建合法的依赖基线。整体流程由时序缺陷链挖掘、双重依赖与可执行性过滤、以及三模式受控评测框架构成。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["缺陷池收集与时序聚类<br/>6大SWE基准/按仓库提交时序滑窗"] --> B["代码重叠与容器化重放过滤<br/>AST提取符号交集 + Oracle重放验证"]
B --> C["ChainSWE 难度筛选与链构建<br/>剔除长度2冗余/Qwen3.7-Max初筛保证基础可解"]
C --> D["三模式对比评测框架<br/>ORACLE vs. SEQ vs. SEQ+MEM"]
D --> E["链式错误诊断与行为指纹分析<br/>Overshoot / Undershoot 及测试破坏归因"]
关键设计¶
1. 代码重叠与容器化重放过滤:保证真实缺陷链的强依赖与可构建性
为避免生成的链条仅仅是同一仓库内毫无关联的松散任务,流水线引入了结构化的多阶段过滤机制。首先收集目标仓库所有 issue 并按提交日期升序排列,使用滑动窗口生成候选链,要求后一个任务的基线提交要么是前者的直接后继提交,要么其黄金补丁与测试补丁能在前者的解决状态上无冲突干净应用。随后通过基于 AST 的 diff 解析器提取补丁所修改的文件、函数与类,直接丢弃成对重叠度为零的候选窗口。最后,利用 Docker 容器在第一项缺陷的基线提交下拉起环境,按顺序连续应用测试补丁与黄金补丁并运行测试,只有当链条中每一个任务均满足 FAIL_TO_PASS 变通过且 PASS_TO_PASS 无回归时才予以接纳。
2. 难度对齐与非冗余链选择:剥离单缺陷内在难度干扰 如果一条链条失败仅仅是因为其中某单个 issue 本身过于晦涩冷门,则无法清晰诊断智能体跨任务管理累积状态的能力。因此,ChainSWE 设计了针对性的两阶段数据筛选策略。第一阶段主动丢弃所有长度为 2 的短链,因为单次前序修复无法产生足够的上下文积聚与复合错误压力,且大部分长度为 2 的组合已被嵌套包含在更长链的连续前缀中。第二阶段采用 Qwen3.7-Max 在 ORACLE 模式下预先筛选,针对长度为 \(k\) 的候选链,要求其孤立状态下至少成功解决 \(\lfloor k/2 \rfloor + 1\) 个任务。这一过滤规则排除了那些内在难度过高、单点崩溃的任务,确保基准上的失败率能归因于智能体自身引入的累积状态漂移。
3. 三模式对比评测框架:解耦仓库级状态与对话级上下文 为了正交量化不同维度的误差传播机制,ChainSWE 统一采用 SWE-EDIT 智能体骨架,并支持三种评测模式: - ORACLE 模式:每修复一个缺陷前,容器强制重置回初始提交,并自动应用此前所有历史缺陷的真实黄金补丁及测试补丁,智能体始终在纯净的官方演变基线上解题,作为单点能力的理想上限。 - SEQ(Sequential)模式:智能体在同一个连续容器内依次解决缺陷 1 至 \(n\),每个缺陷生成的补丁被直接 commit 到仓库并作为下一任务的起点,但智能体的对话上下文与进程在任务间重启重置,以此精准隔离出由代码仓库持久状态累积导致的性能损失。 - SEQ+MEM 模式:在继承持久化仓库修改的基础之上,同时跨任务保留智能体完整的交互轨迹(包含中间试错和观察输出),用于直接检验增加对话级历史记忆能否帮助智能体理解并纠正此前自己留下的代码基线。
4. 链式错误诊断与行为指纹分析:揭示代码演变中的隐性破坏机制 评测框架将 ORACLE 成功但 SEQ 失败的案例形式化定义为链式错误(Chain Error)。研究发现链式错误主要由两类对称模式诱发:过度修改(Overshoot),即智能体在修复早期缺陷时重写了超出黄金范围的外部文件,破坏了下游缺陷即将触达的逻辑;修补不足(Undershoot),即智能体仅修改了 issue 显式提及的局部片段,遗漏了核心支撑重构,导致下游依赖的前提条件缺失。在测试执行表现上,这些错误呈现为三类行为指纹:破坏此前原本正常的代码(Broke working code,占比 40%)、无法激活当前缺陷的修复条件(Left bug unfixed,占比 25%)、以及代码库结构错乱导致补丁无法应用或测试套件在收集阶段即崩溃(Produced no usable patch,占比 34%)。
一个完整示例¶
以 amaranth-lang/amaranth 仓库中的真实缺陷链为例。缺陷 1(amaranth-1265)的黄金修复需要同时联动修改四个核心文件:_ast.py、_ir.py、_xfrm.py 和 sim/_pyrtl.py。智能体在执行修复时仅编辑了 _ir.py 与 _xfrm.py(以及顶层导出符号),却完全遗漏了 _ast.py 和仿真底层的修改,从而产生了修补不足(Undershoot)。当后续任务(amaranth-1268)在 SEQ 模式下启动时,智能体虽然对其目标文件 lib/wiring.py 做出了完全正确的逻辑变更,但底层测试套件运行时仍然报出 test_is_compliant 失败。该缺陷在 ORACLE 纯净基线上能够完全解出,其在 SEQ 中的失败完完全全是由于第一步不完整补丁留下的潜伏前提缺失所导致。
实验关键数据¶
主实验¶
在 7 款代表性大语言模型上,基于 SWE-EDIT 骨架及其三种上下文管理策略(BASELINE 原始交互、SUMMARIZE 摘要压缩、SUB-AGENT 子智能体委托)评测 ChainSWE 包含的 100 条完整链(共 304 个缺陷)。各模型在单任务与整链维度上的准确率如下表所示。
| 模型 | 上下文窗口 | BASELINE 单缺陷 (%) | BASELINE 整链 (%) | SUMMARIZE 单缺陷 (%) | SUB-AGENT 单缺陷 (%) |
|---|---|---|---|---|---|
| GPT-5.5 (ORACLE) | 1M | 69.1 | 26.0 | 68.1 | 62.5 |
| GPT-5.5 (SEQ) | 1M | 49.0 (-29%) | 23.0 (-12%) | 42.4 (-38%) | 35.2 (-44%) |
| GPT-5.5 (SEQ+MEM) | 1M | 47.4 (-31%) | 19.0 (-27%) | 49.7 (-27%) | 43.4 (-31%) |
| Claude-Opus-4.7 (ORACLE) | 1M | 64.5 | 22.0 | 65.5 | 63.5 |
| Claude-Opus-4.7 (SEQ) | 1M | 40.5 (-37%) | 18.0 (-18%) | 39.5 (-40%) | 38.0 (-40%) |
| Claude-Opus-4.7 (SEQ+MEM) | 1M | 39.5 (-39%) | 17.0 (-23%) | 41.5 (-37%) | 40.0 (-37%) |
| DeepSeek-V4-Pro (ORACLE) | 1M | 42.8 | 10.0 | 50.3 | 48.4 |
| DeepSeek-V4-Pro (SEQ) | 1M | 29.6 (-31%) | 5.0 (-50%) | 27.3 (-46%) | 25.0 (-48%) |
| DeepSeek-V4-Pro (SEQ+MEM) | 1M | 28.6 (-33%) | 9.0 (-10%) | 26.0 (-48%) | 28.0 (-42%) |
| Gemini-3.1-Pro (ORACLE) | 1M | 61.8 | 20.0 | 61.5 | 61.5 |
| Gemini-3.1-Pro (SEQ) | 1M | 36.5 (-41%) | 18.0 (-10%) | 39.5 (-36%) | 37.2 (-40%) |
| Gemini-3.1-Pro (SEQ+MEM) | 1M | 37.5 (-39%) | 18.0 (-10%) | 39.8 (-35%) | 37.2 (-40%) |
消融实验:位置深度与上下文管理策略衰减¶
在 97 条长度为 3 的代表性缺陷链上,对比不同上下文管理配置随任务在链条中位置深度的表现演化(平均覆盖 7 款模型)。在 ORACLE 理想重置下任务解决率随位置甚至略有上升(67.0%),而累积状态下性能呈现灾难性跳水。
| 上下文策略 | 评测模式 | 位置 1 (%) | 位置 2 (%) | 位置 3 (%) | 相较 ORACLE 位置 3 相对降幅 |
|---|---|---|---|---|---|
| BASELINE | ORACLE | 58.6 | 64.3 | 67.0 | - |
| BASELINE | SEQ | 57.1 | 39.3 | 27.7 | -59% |
| BASELINE | SEQ+MEM | 56.5 | 38.0 | 28.2 | -58% |
| SUMMARIZE | ORACLE | 58.0 | 66.0 | 68.4 | - |
| SUMMARIZE | SEQ | 60.0 | 35.4 | 20.6 | -70% |
| SUMMARIZE | SEQ+MEM | 59.3 | 36.6 | 22.0 | -68% |
| SUB-AGENT | ORACLE | 49.5 | 58.1 | 59.2 | - |
| SUB-AGENT | SEQ | 50.3 | 29.9 | 17.5 | -70% |
| SUB-AGENT | SEQ+MEM | 50.4 | 31.3 | 19.2 | -67% |
关键发现¶
- 累积错误沿链条深度急剧放大:在初始位置 1 时,SEQ 与 ORACLE 表现几乎一致(如 GPT-5.5 为 62.5% vs. 61.2%);但到达位置 3 时,GPT-5.5 在 SEQ 模式下从 75.9% 骤降至 28.2%(降幅达 63%),部分模型与配置的相对性能跌幅甚至突破 70%(如 SUMMARIZE 下位置 3 准确率从 68.4% 跌至 20.6%)。
- 保留长对话历史收效甚微:跨任务保留交互上下文(SEQ+MEM 全模型平均单缺陷准确率 36.9%)与完全清空上下文的 SEQ(36.5%)相比几乎没有全局收益;除顶尖推理模型 GPT-5.5 能利用复杂历史获得小幅回弹外,其余多数模型携带沉余交互轨迹反而增加了注意力负担,且无法扭转已经写入磁盘的代码损伤。
- 轻量原始上下文优于主动重写压缩:在累积修复场景下,直接保留原始交互轨迹的 BASELINE 稳健性显著高于引入摘要压缩的 SUMMARIZE(平均降幅 40%)和编辑分流的 SUB-AGENT(平均降幅 41%)。主动上下文重写引入的信息丢失与细节幻觉进一步加剧了代码编辑的不一致性。
- 修补不足是链式错误的主要根源:在可追溯到单个共享文件的链式错误中,先前修补不足(遗漏前提代码)的频率约为过度修改(污染外部代码)的 9 倍,表明智能体极易采取「头痛医头」的局部保守策略,进而给后续维护埋下隐患。
亮点与洞察¶
- 切中代码智能体长期部署的真实瓶颈:跳出单次单题的静态刷榜思维,首次通过受控重放基准量化了连续维护中「模型修改自己生成的代码库」的累积衰减效应。
- 优雅解耦代码物理状态与对话认知状态:通过设计 ORACLE、SEQ 与 SEQ+MEM 三种严格对照的运行范式,清晰证明了代码损坏是无法单纯依靠延长上下文记忆来弥补的,为智能体框架的状态管理设计提供了明确依据。
- 反直觉的上下文管理结论:在传统单轮长任务中被广泛采用的会话摘要(Summarization)和子智能体委托(Sub-agent)技术,在跨任务持续维护中反而因语义有损而沦为性能劣化的放大器。
局限与展望¶
- 语言生态目前局限于 Python:受限于现有开源 SWE 基准的数据集构造生态,ChainSWE 评测池目前均基于 Python 项目构建,尚未覆盖强类型语言(如 Java、Rust、C++)中由编译器检查可能显式拦截或提前暴露的链式接口错误。
- 链条长度受开源历史数据约束:真实仓库中同时满足严格重叠且可完全重放的连续修复序列相对稀缺,当前基准链条长度集中在 3 到 5 步,尚无法对数十次甚至上百次工业级长周期演进进行极限压力测试。
- 未来方向需聚焦仓库级持久认知与回滚:未来的代码智能体应当引入全局跨任务依赖图追踪、自动回归防护网以及对自身错误变更的主动版本回滚机制,而非仅仅依赖基模在长上下文中的即兴补救。
相关工作与启发¶
- vs SWE-bench / SWE-bench Live / SWE-bench Pro: 传统基准在每次执行后强制重置 Docker 沙箱,仅衡量单次隔离修复;ChainSWE 引入时间序列和状态累积,揭示出单点得分高并不等同于具有可持续的代码维护稳健性。
- vs Long-term Memory Benchmarks (如 LongMemEval): 传统长期记忆基准通常评测多轮对话中的陈述性信息召回或指令遵循,外部环境依然是静态的;ChainSWE 则要求智能体面对一个被自身动作持续修改并留下物理副作用的真实代码环境。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出面向多缺陷连续软件维护的基准,开创了智能体自修改状态漂移的全新评测维度。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7 款前沿大模型与 3 种主流上下文架构,横跨 100 条真实缺陷链与三类评测模式,错误归因与行为指纹分析极其详实。
- 写作质量: ⭐⭐⭐⭐⭐ 动机阐述自然流畅,图表直观,逻辑严密自洽,术语和指标定义清晰准确。
- 价值: ⭐⭐⭐⭐⭐ 彻底打破了单缺陷打榜的思维定势,对工业级自动化软件开发智能体的设计与落地具有关键指导意义。