Dockerless: Environment-Free Program Verifier for Coding Agents¶
会议: EMNLP 2026
论文: ACL Anthology
领域: LLM Agent
关键词: 代码智能体、无环境验证器、强化学习后训练、代码库主动探索、程序正确性判定
一句话总结¶
Dockerless 摒弃了对每个代码仓定制 Docker 镜像和测试运行环境的繁重依赖,通过生成验证问题并调度并行只读子智能体深入代码库检索证据,实现了高精度的无环境补丁验证,在后训练中取得了与执行驱动方案相当的性能。
研究背景与动机¶
基于大语言模型的软件工程智能体在自动化解决 GitHub 真实缺陷方面展现出显著潜力,其性能飞跃高度依赖以监督微调(SFT)轨迹筛选与强化学习(RL)奖励反馈为代表的后训练流水线。目前学术界与工业界的主流黄金标准是执行驱动验证(execution-based verification),即在包含锁定依赖、测试套件及测试运行器的独立容器中执行测试用例以判定补丁正确性。然而,这种依赖带来了高昂的工程开销:构建定制 Docker 镜像、解析复杂环境依赖、匹配关联测试用例以及解析输出日志,不仅使得自动化收集流程在大量开源项目中频繁受挫,更直接阻断了在无法构建可复现环境的私有库、企业遗留系统和缺乏完备测试套件的长尾代码库上的应用拓展。
为了摆脱每个代码仓一套容器的沉重包袱,近期的无环境后训练尝试探索在单一最小基础镜像中运行智能体轨迹收集,但其核心瓶颈依然落在验证器层面。现有的无环境补丁验证器主要依赖 LLM 对问题描述、参考补丁与候选补丁进行浅层文本比对,或者依赖静态启发式评分,完全没有深入检视代码仓库的上下文。这种浅层表征比对在面对复杂的实际软件工程任务时极为脆弱:当候选补丁采用与参考补丁截然不同的重构形式、引入了等价的内联条件分支、或者修改了非关键调用路径时,缺乏代码库上下文的判决模型极易误判;同样,浅层比对也无法确认补丁涉及的类与函数在外部模块中是否被实际调用或引入了隐式回归破坏。
本文的切入视角在于重新审视智能体与验证的关系:在基础镜像中,智能体即便没有针对特定代码仓的测试执行环境,依然具备强大的代码浏览与静态推理能力;因此,程序验证可以被形式化为一个主动探索代码库以收集事实证据的智能体任务。核心 idea:将代码补丁验证解耦为「多维问题生成-并行代码库探索-证据汇聚判决」的两阶段智能体流程,通过在代码库中检索具体证据锚点来替代物理测试执行,从而构建端到端无需定制环境的 SFT 轨迹筛选与 RL 奖励闭环。
方法详解¶
整体框架¶
Dockerless 将程序验证过程解构为先取证后裁决的完整闭环,完全运行于无任何目标仓预装依赖的基础 Ubuntu 镜像中。给定待修复的缺陷描述 \(x\)、参考补丁 \(y_{\text{ref}}\) 和智能体生成的候选补丁 \(y\),系统首先由统一基座模型推导出一组指向性极强的验证问题;随后分派多个并发的子智能体在代码库中调用只读命令检索代码切片与定义,生成带有文件位置与行号锚点的证据;最终,判决模块整合问题、代码证据与原始上下文,通过分类 Token 的归一化概率输出连续的置信度评分 \(r_\phi(x, y)\)。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入数据<br/>Issue描述 + 参考补丁 + 候选补丁"] --> B["多维验证问题生成<br/>生成K个细粒度验证问题"]
B --> C["并行子智能体代码库探索<br/>K个只读子智能体检索代码证据"]
C --> D["证据感知判决与连续打分<br/>融合问答证据输出连续评分"]
D --> E["下游后训练应用<br/>RFT轨迹过滤与GRPO强化学习奖励"]
关键设计¶
1. 多维验证问题生成:浅层文本比对脱离上下文 -> 依据问题与参考补丁分解验证目标 -> 建立细粒度代码审查锚点
传统文本相似度或零样本判别模型直接比对候选补丁与参考补丁的 Git Diff,往往因实现风格不同(如内联逻辑对比提取辅助变量)而产生灾难性误判。为了克服盲目比对的缺陷,生成模块在正式审查前,以缺陷描述和黄金补丁为锚点,主动生成 \(K\) 个(经验上取 2 到 4 个)结构化探针问题 \(\{Q_1, \ldots, Q_K\}\)。这些问题严格覆盖四类核心维度:测试证据(寻找验证正确行为的断言用例)、错误位置(定位缺陷发生的调用栈入口)、代码上下文(梳理被修补类与方法的定义及调用方)、以及文档配置(核验预期行为与兼容性语义)。通过将抽象的正确性判定拆解为可被代码切片直接印证的具象事实问题,模型为后续取证建立了清晰的标准。
2. 并行子智能体代码库探索:静态代码无法动态执行 -> 调用只读命令行工具并行搜集代码证据 -> 获取文件级别真实上下文约束
在完全缺乏单元测试运行器的轻量基础容器中,模型无法依靠断言报错捕捉逻辑缺陷。为此,Dockerless 针对每一个生成的探针问题 \(Q_k\) 派发一个独立的 ReAct 风格只读子智能体。各个子智能体在 minimal Linux 镜像中并行运行,利用 find、grep、rg、cat 等只读命令行工具自主浏览代码树、定位关键定义、追踪跨模块引用关系,并最终输出包含确切文件路径(FILE)和行号范围(RANGE)的结构化答案 \(A_k\)。这种并行设计既保证了在长尾代码库中探寻深层上下文的能力,又规避了串行交互带来的延迟膨胀,使模型能够在不触发真实代码执行的情况下,获得等价于静态代码审计的事实支撑。
3. 证据感知判决与连续打分:二元离散判定缺乏平滑梯度 -> 汇聚多维度证据并依托 Token Logits 导出连续奖励 -> 提供稳健的拒识采样与强化学习引导
单纯依赖硬分类标签(0 或 1)作为强化学习奖励会导致严重的稀疏性与策略不稳定,且无法为采样策略提供细腻的排序区分度。在判决阶段,裁决模型接收原始输入与所有子智能体返回的问答对 \(\{(Q_k, A_k)\}_{k=1}^K\),以专家代码审查员视角进行综合研判,预测判定 Token 是 0 还是 1。在推理与奖励评估时,Dockerless 不直接截断为离散布尔值,而是提取两者的未归一化对数概率 \(\ell_0\) 与 \(\ell_1\),通过 Softmax 导出连续得分:
$\(r_\phi(x, y) = \frac{\exp(\ell_1)}{\exp(\ell_0) + \exp(\ell_1)}\)$
该设计使输出自然映射为 \([0, 1]\) 区间内的置信度评分,既可用于 RFT 中全局筛选 Top-K 高质量轨迹,也能无缝嵌入 GRPO 的组内归一化优势估计中,显著平滑了后训练的优化曲面。
一个完整示例¶
在 Matplotlib 代码库关于 offsetText 颜色继承机制的真实缺陷中,缺陷根因为坐标轴的偏移文本错误地使用了 tick.color 属性,而非用户主题指定的 tick.labelcolor。参考补丁在 lib/matplotlib/axis.py 中引入了辅助变量 tick_color 并在外层添加了条件分支赋值,而智能体生成的候选补丁则在 self.offsetText.set(color=...) 内直接采用了内联三元表达式。
由于语法结构与行级 Diff 差异显著,传统的文本相似度判别器仅给出了 0.468 的低分,而主流离线验证器 DeepSWE Verifier 更是给出了 0.035 的极低置信度。相比之下,Dockerless 生成了两个针对性问题:Q1 追问补丁是否同时同步修补了 XAxis 与 YAxis 初始化路径中的 offsetText;Q2 追问补丁在参数设置为显式颜色与设置为 'inherit' 时是否严格保证了语义一致。子智能体深入代码库,定位到了 lib/matplotlib/axis.py 第 2248-2260 行以及测试用例 lib/matplotlib/tests/test_axes.py 第 7794-7802 行的 test_xtickcolor_is_not_xticklabelcolor(),确认了内联写法在两个分支中均完整保留了继承逻辑。基于这些客观事实证据,判决模块最终输出了 0.996 的高分判定,与真实验测通过结果完全吻合。
损失函数 / 训练策略¶
Dockerless 采用基于拒绝采样的多任务联合微调范式。训练数据来源于 SWE-Gym 与 Multi-SWE-RL 的 3.7K 真实执行标注缺陷。由强力前沿教师模型(GLM-5)为每个样本生成包含问题生成、子智能体问答与终审裁决的完整轨迹 \(\tau\),并仅保留终审判决 \(\hat{r}\) 与测试集真实执行标签 \(r^\star \in \{0, 1\}\) 一致的优质轨迹。模型将负样本与正样本比例限制在 4:1 以缓解类别失衡,并截断过短(<4 轮)或过长(>30 轮)的不稳定交互。
基座模型(Qwen3.5-9B)在包含完整三阶段的轨迹序列 \(z = (z_1, \ldots, z_T)\) 上,通过标准的自回归交叉熵损失进行全序列联合优化: $\(\mathcal{L}_\phi = -\mathbb{E}_{\mathcal{D}_{\text{rej}}} \left[ \sum_{t=1}^T \log p_\phi(z_t \mid x, y_{\text{ref}}, y, z_{<t}) \right]\)$ 在下游后训练环节,无环境 RFT 首先在极简 Linux 镜像中收集 16K 条候选轨迹,利用 Dockerless 计算独立 2 次评估的平均得分并滤出全局前 4K 条优质轨迹微调模型;无环境 RL 则以该模型为起点,采用 GRPO 算法在极简镜像中按组采样 \(G=8\) 条轨迹,通过 Dockerless 的平均预测分计算组内均值 \(\bar{r}\) 与标准差 \(\hat{\sigma}_r\),构建组归一化优势值: $\(A_i = \frac{r_\phi(x, y_i) - \bar{r}}{\hat{\sigma}_r}, \quad \bar{r} = \frac{1}{G}\sum_{j=1}^G r_\phi(x, y_j)\)$ 全过程无需运行任何代码仓单元测试即可完成高质量参数演进。
实验关键数据¶
主实验¶
在标准的 SWE-bench 评测体系下,以具备 Docker 环境的标准测试环境进行统一测评,检验纯无环境后训练模型在复杂软件工程任务上的有效性。
| 模型 | 基座模型 | 训练范式 | 训练阶段无环境 | SWE-bench Verified | SWE-bench Multilingual | SWE-bench Pro |
|---|---|---|---|---|---|---|
| SWE-Gym-7B | Qwen2.5-Coder-7B | SFT | 否 | 11.4% | 3.0% | 3.3% |
| SWE-Dev-7B | Qwen2.5-Coder-7B | SFT | 否 | 10.6% | 4.2% | 4.0% |
| SWE-Lego-8B | Qwen3-8B | SFT | 否 | 41.2% | 19.0% | 16.1% |
| Qwen3.5-9B (Base) | - | - | - | 59.6% | 41.3% | 32.3% |
| Env-SFT-9B | Qwen3.5-9B | SFT | 否 | 60.0% | 48.3% | 33.9% |
| Dockerless-SFT-9B | Qwen3.5-9B | SFT | 是 | 60.6% | 47.7% | 35.3% |
| + DeepSWE-Verifier RL | Dockerless-SFT-9B | RL | 是 | 60.6% | 47.3% | 34.1% |
| + Test-Execution RL | Dockerless-SFT-9B | RL | 否 | 62.4% | 51.3% | 35.7% |
| Dockerless-RL-9B | Dockerless-SFT-9B | RL | 是 | 62.0% | 50.0% | 35.2% |
在由 776 个样本构建的平衡验证器评测基准(500 题来自 SWE-bench Verified,276 题来自 Multi-SWE-bench Flash)上,以 AUC 指标衡量判决区分度:
| 验证器类型 / 模型 | Verified AUC | Multi-SWE-bench Flash AUC |
|---|---|---|
| DeepSeek-V3.2 (Zero-shot Judge) | 69.4 | 58.5 |
| Kimi-K2.5 (Zero-shot Judge) | 70.7 | 63.9 |
| GLM-5 (Zero-shot Judge) | 73.2 | 62.5 |
| GPT-5.4 (Zero-shot Judge) | 75.9 | 59.5 |
| SWE-Gym Verifier | 61.0 | 53.7 |
| R2E-Gym Verifier | 64.3 | 55.1 |
| OpenHands Critic | 48.6 | 52.2 |
| DeepSWE Verifier | 66.7 | 62.9 |
| Dockerless (本文) | 81.0 | 72.1 |
消融实验¶
固定 Qwen3.5-9B 基座架构与微调配方,单独探究 SFT 轨迹数据过滤机制对最终解决率的影响:
| 训练数据筛选策略 | 规模 | Verified | Multilingual | Pro | 说明 |
|---|---|---|---|---|---|
| None (Zero-shot Base) | 0 | 59.6% | 41.3% | 32.3% | 原始未微调基座 |
| All Env-Free Rollouts | 16K | 58.8% | 41.3% | 31.9% | 全量无环境轨迹微调,产生负迁移 |
| Random Sampling | 4K | 58.2% | 44.3% | 32.0% | 随机抽取,包含大量无效补丁 |
| Env-based Filtering | 4K | 60.0% | 48.3% | 33.9% | 依托 Docker 容器测试真实验证筛选 |
| Dockerless Filtering | 4K | 60.6% | 47.7% | 35.3% | 纯无环境验证筛选,超越全量与随机,比肩真机 |
探究验证问题数量 \(K\) 对 Dockerless 判决 AUC 的影响(基于 SWE-bench Verified): - \(K=0\)(不提问、直接打分):78.3 AUC - \(K=1\):80.1 AUC - \(K=2\):80.8 AUC - \(K=4\)(最佳平衡点):81.0 AUC - \(K=6\):79.6 AUC(引入冗余噪音) - \(K=8\):80.3 AUC(收益饱和且耗时增加)
关键发现¶
- 在无环境轨迹微调中,如果不做过滤直接使用全量 16K 轨迹,模型在 Verified 上的表现从 59.6% 反倒降至 58.8%,在 Pro 上从 32.3% 降至 31.9%。这证明了未过滤的无环境 Rollout 中混杂大量错误补丁与低质探索,验证器在后训练中的质量把关具有绝对决定性。
- Dockerless 在 Verified 验证集上斩获 81.0 AUC,大幅领先当前最强开源验证器 DeepSWE Verifier 14.3 个百分点,同时超过最强闭源大模型 GPT-5.4 零样本评判 5.1 个百分点,确立了代码库主动取证对程序审查的核心价值。
- 在强化学习时间开销分析中,生成单条 Rollout 平均耗时 2308 秒,而 Dockerless 奖励评估耗时 180 秒(占总轮次时长的 7.2%)。虽然相比单次前向网络(如 DeepSWE 的 41 秒)稍慢,但由于端到端吞吐受长尾慢 Rollout 主导,整体训练墙钟耗时分布几乎重合。
- 细粒度语言分析表明,无环境 SFT 在高频解释型语言(Python、Go、JS、Java)上与有环境方案差异小于 2.5 个百分点,但在强依赖编译器反馈的语言(Rust 差距 7.0 个点,C 差距 13.3 个点)上存在退化,表明缺乏编译诊断是纯无环境方案残存的关键瓶颈。
亮点与洞察¶
- 将程序验证从被动的文本比较升维为主动的代码库证据检索,利用只读子智能体在极简镜像中并发查证,构思极其精巧。
- 实现了真正端到端的环境无关后训练流水线,使 SFT 轨迹筛选与 RL 奖励计算完全脱离了为每个代码仓配置复杂 Docker 镜像的工程泥潭。
- 揭示了无环境强化学习的耗时瓶颈在于代码生成 Rollout 本身而非智能体评判,为未来探索更高计算复杂度的深度代码审查验证器铺平了道路。
局限与展望¶
- 单次评估延迟约为 180 秒,在需要亚秒级反馈的交互式 IDE 编程或轻量同步推理场景下存在延迟限制。
- 强编译型语言(如 C 与 Rust)缺乏编译时类型检查与链接错误反馈,导致在重编译场景下的补丁验证准确率略逊于原生编译容器。
- 未来可通过模型蒸馏将子智能体探索经验压缩至轻量化判别网络,并在基础镜像中引入通用的跨平台静态语法检查器与语言服务器(LSP)以弥补类型反馈短板。
相关工作与启发¶
- vs SWE-Gym / R2E-Gym Verifier: 后者依赖预构建的 Docker 容器和测试脚本进行黑盒或执行微调分类;本文完全摆脱了容器依赖,通过智能体主动阅读代码库提取证据完成白盒判别。
- vs DeepSWE Verifier / SWE-RM: 后者基于固定 Prompt 进行单次前向文本打分或 MoE 混合专家判别,不具备交互式代码检索能力;本文通过派发并发子智能体动态调查文件结构与引用链,在复杂重构场景下判决精度大幅跃升。
- vs SWE-ZERO / SWE-World: 后者在无环境探索中通过受限静态工具或生成式环境模拟转移状态,对 Rollout 过程进行人为截断;本文允许在最小 Linux 镜像中执行任意只读 Shell 命令,并直接以智能体探索驱动强化学习后训练。
评分¶
- 新颖性: 4.5/5 创造性地将智能体主动探索引入程序验证,打破了无环境评判仅能做浅层文本对比的既有范式。
- 实验充分度: 5.0/5 覆盖 SFT 筛选、RL 奖励、跨语言细分分析、消融实验与墙钟耗时分布,验证极为扎实。
- 写作质量: 5.0/5 逻辑架构严密清晰,动机剖析深刻,实验对比与案例研究详尽生动。
- 价值: 4.8/5 为工业界海量遗留系统及私有代码库的大规模智能体持续训练开辟了极具可行性的低成本路径。