CRANE: Constrained Reasoning Injection for Code Agents via Nullspace Editing¶

会议: NeurIPS 2026
arXiv: 2605.14084
代码: https://github.com/rpi-nsl/CRANE
领域: 代码智能
关键词: 模型合并, 代码智能体, 空空间投影, 泰勒门控, 稀疏参数编辑

一句话总结¶

针对配对 Instruct 与 Thinking 模型在代码智能体中推理能力与工具格式规范非对称失衡的矛盾，CRANE 提出了一种无需重训练的定向参数编辑框架，通过幅值阈值去噪、保守泰勒门控与渐进 Sigmoid 空空间投影，在严格保留工具调用协议的前提下定向注入推理能力，在 Roo-Eval、SWE-bench-Verified 及 Terminal-Bench v2 上均取得显著性能提升并大幅降低 token 开销。

研究背景与动机¶

现代代码智能体（如 SWE-agent、OpenHands）依赖于模型在代码仓库环境、长程上下文交互和工具协议规范之间维持高度纪律性的闭环。在此类场景中，智能体不仅需要强大的规划与反思能力，更必须严格遵循结构化工具调用（tool-use protocol）、精确的模式格式（schema fidelity）以及严苛的输出时机。然而，直接部署具备强大长程思维链的大型推理模型（Thinking checkpoints）往往导致严重的过度思考（overthinking），不仅大幅耗费推理 token 预算，更因偏离规范、忽视工具交互反馈或陷入冗长内心独白而使任务成功率显著下降。例如在 Roo-Eval 评测中，Qwen3-30B-A3B 的 Thinking 版本在消耗海量 token 的同时，pass@1 仅为 34.9%，远落后于其对应 Instruct 版本的 46.7%；在 80B 规模下甚至出现 35.4% 对比 72.8% 的断崖式性能衰退。

这一现象暴露出的核心矛盾在于：配对的 Instruct 和 Thinking 检查点能力高度互补却又严重非对称错配。Instruct 模型输出紧凑、严格遵循工具交互协议，但缺乏在复杂长程仓库上下文中的纠错与全局规划能力；Thinking 模型具备深度的规划与反思，却极易破坏预设的智能体交互格式。现有的模型合并方法（如 Task Arithmetic、TIES、DARE、SLERP）通常将参数差值视为对称的目标融合或通用干扰消除，既无法感知代码智能体行为，也无法针对非对称的保护目标进行定向控制；而反向合并工作（如 RAIN-Merging）旨在向推理模型注入指令遵循并保留 CoT 格式，其方向和保护对象与代码智能体部署需求完全相反。

本文的切入角度是改变传统的对称参数融合范式，将 Thinking 与 Instruct 之间的权重差值向量 \(\delta = \theta_{\text{think}} - \theta_{\text{inst}}\) 视为一个单向的候选推理编辑池（candidate reasoning edit pool）。核心 idea：通过幅值阈值去噪、工具安全保守泰勒门控与格式空间渐进 Sigmoid 空空间投影三阶流水线，仅向 Instruct 骨干注入对推理与工具使用均双向有益的参数方向，并在格式关键激活子空间上完全衰减扰动，实现无需微调的高效定向推理注入。

方法详解¶

整体框架¶

CRANE 的核心目标是在严格保留 Instruct 模型 \(\theta_{\text{inst}}\) 既有工具使用界面与格式协议的前提下，选择性地吸收 Thinking 模型 \(\theta_{\text{think}}\) 的解题规划与错误恢复能力。整个合并过程完全无需重新训练，通过对差值向量 \(\delta = \theta_{\text{think}} - \theta_{\text{inst}}\) 实施逐层、逐组件的结构化筛选与受限映射，其端到端流水线分为三个串行阶段：阶段 1 采用确定性中位数幅值阈值化（Magnitude Thresholding）去除低置信度参数噪声；阶段 2 引入工具使用感知的保守泰勒门控（Conservative Taylor Gate, CTG），基于掩码损失的一阶泰勒展开对网络块计算重要性缩放系数；阶段 3 采用格式保留的渐进 Sigmoid 投影（Graduated Sigmoidal Projection, GSP），在格式关键激活的奇异值空间中平滑抑制对工具协议和控制符有害的更新分量。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: 配对模型参数<br/>Instruct 骨干 与 Thinking 检查点"] --> B["阶段 1: 幅值阈值去噪<br/>确定性中位数绝对值截断并尺度重放"]
    B --> C["阶段 2: 保守泰勒门控<br/>双目标公共梯度下降方向识别与块级缩放"]
    C --> D["阶段 3: 渐进 Sigmoid 投影<br/>格式激活奇异值空间平滑抑制与正交分解"]
    D --> E["输出: 合并智能体参数<br/>格式零退化且具备长程规划能力的紧凑模型"]

关键设计¶

1. 幅值阈值去噪：滤除微弱扰动并保留高置信度推理候选编辑

在合并权重空间中，差值向量 \(\delta = \theta_{\text{think}} - \theta_{\text{inst}}\) 的绝大多数较小坐标并不承载核心的长程规划行为，反而容易对脆弱的智能体调用格式引入高频随机扰动。为了消除这些低置信度噪声，CRANE 首先对每一层和组件张量应用确定性的中位数幅值截断算子 \(T(\cdot)\)。通过将低于绝对值中位数的坐标置零，并对保留的坐标应用固定尺度补偿因子 2，在避免随机化剪枝破坏性的同时严格维持整体更新幅度：

\[T(\delta)_j = 2\delta_j \cdot \mathbf{1}\left\{ |\delta_j| > \mathrm{median}(|\delta|) \right\}\]

对于混合专家结构（MoE），该阈值算子独立作用于每个专家张量内部，从而确保各个路由专家均获得独立的坐标去噪。

2. 保守泰勒门控：双向一阶收益驱动的跨层组件自适应缩放

去噪后的候选编辑仍面临不同网络层和子组件灵敏度各异的挑战。若全局施加统一编辑强度，极易在关键注意力或路由层上过量注入，导致智能体行为失稳。为此，CRANE 构建了两个互补的行为标定集：由 Thinking 模型生成的推理转移集 \(\mathcal{D}_R\)（36 个覆盖调试、并发、系统迁移等场景的代码提示）与由 Instruct 模型生成的智能体行为保留集 \(\mathcal{D}_A\)（16 个要求检查文件、小幅修复并汇报的工具交互提示）。分别计算对应负对数似然损失 \(\mathcal{L}_R(\theta)\) 与 \(\mathcal{L}_A(\theta)\) 在 Instruct 检查点处的梯度 \(g_R\) 和 \(g_A\)。

为了判断某一坐标的移动是否真正安全，CRANE 计算参数沿差值方向的一阶损失变化收益 \(s_K(j) = -g_{K,j} \delta_j\)（其中 \(K \in \{R, A\}\)）。保守泰勒门控的核心准则是绝不妥协工具协议，仅当某一编辑方向同时对推理转移和工具保留均呈一阶下隆时才赋予正权重：

\[p_j = \left[ \min\left\{ s_R(j), s_A(j) \right\} \right]_+, \quad [u]_+ = \max\{u, 0\}\]

在此基础上，CRANE 将坐标分数按层 \(l\) 与组件 \(c\) 汇聚，并以每层的 FFN/专家块 \(b\) 作为公共基准，结合 Frobenius 范数进行尺度归一化，得到自适应注入系数：

\[S_{\mathrm{CTG}}(c, l) = \frac{\sum_{j \in \mathcal{B}_{c,l}} p_j}{\sum_{j \in \mathcal{B}_{b,l}} p_j} \cdot \frac{\|\theta_{\mathrm{inst}}^{(b,l)}\|_F}{\|\theta_{\mathrm{inst}}^{(c,l)}\|_F}\]

针对具有线性注意力与全注意力混合拓扑的架构（如 Qwen3-Next-80B），该门控进一步引入残差占用校正因子 \(\kappa(\phi(c))\)，对频繁重复出现的线性注意力层（占比 36/48）除以 3，以消除残差深度累积引起的过量扰动。

3. 渐进 Sigmoid 投影：在奇异值空间平滑消除格式破坏分量

即使经过门控缩放，参数编辑仍可能干扰控制工具界面的敏感激活方向（如对话模板占位符、工具调用分隔符、JSON/Schema 结构键）。传统激活空空间投影多采用硬阈值截断，容易破坏长程交互的连续隐空间表示。CRANE 收集 430 条 Instruct 格式轨迹在关键控制标记及其局部窗口 \(\mathcal{N}_\rho(\mathcal{I}_F)\)（窗口半径 \(\rho=2\)）下的输入激活矩阵 \(H_q \in \mathbb{R}^{N_q \times d_q}\)，并对其执行紧凑奇异值分解 \(H_q = U_q \Sigma_q V_q^\top\)。

局部输出扰动满足 \(\|H_q \Delta_q^\top\|_F^2 = \sum_r \sigma_{q,r}^2 \|\Delta_q v_{q,r}\|_2^2\)。奇异值 \(\sigma_{q,r}\) 越大的方向，代表编辑对格式敏感激活的影响越剧烈。CRANE 定义相对归一化奇异幅值 \(a_{q,r} = \sigma_{q,r} / \sigma_{q,1}\)，并引入基于 Sigmoid 的连续软保护权重：

\[w_{q,r} = \frac{1}{1 + \exp\left( -k (a_{q,r} - \tau) \right)}\]

其中 \(k = \ln(99)/\tau \approx 4.6/\tau\)，使得在阈值 \(\tau\) 附近形成平滑连续过渡。最终的更新量通过软谱投影算子获得：

\[\Pi_{\tau,q}^{\mathrm{GSP}}(\Delta_q) = \Delta_q \left( I - V_q \operatorname{diag}(\mathbf{w}_q) V_q^\top \right)\]

高幅值格式方向被彻底滤除，低幅值方向完全保留，边界方向平滑衰减，从而在数学上将格式关键子空间扰动降至极低水平。

实验关键数据¶

主实验¶

评估在三个涵盖 IDE 内编程、仓库级修复和长程命令行场景的基准上展开：Roo-Eval（多语言 IDE 交互评测）、SWE-bench-Verified（500 题真实 Github 仓库 issue 修复）和 Terminal-Bench v2（89 题云沙箱长程终端工作流），评测基座包括 Qwen3-30B-A3B 与 Qwen3-Next-80B-A3B，并与 Task Arithmetic、TIES、SLERP、AIM 及 RAIN 等主流融合方法对比。

基准与尺度	评估指标	Instruct (基线)	Thinking (基线)	最优其他合并方法	CRANE (本文)	提升幅度 (vs Instruct)
Roo-Eval 30B	pass@1 (%)	46.7	34.9	47.2 (TIES)	66.2	+19.5%
Roo-Eval 30B	TTC 消耗 (M)	181.1	146.9	194.3 (LEWIS)	120.9	降低 60.2M
Roo-Eval 80B	pass@1 (%)	72.8	35.4	80.5 (AIM-TA)	81.5	+8.7%
Roo-Eval 80B	pass_all (%)	53.3	22.6	67.7 (TA)	71.3	+18.0%
SWE-bench-V 30B	解决实例数 / 500	108 (21.6%)	47 (9.4%)	113 (22.6%, AIM-TA)	122 (24.4%)	+14 题 (+2.8%)
SWE-bench-V 80B	解决实例数 / 500	168 (33.6%)	125 (25.0%)	173 (34.6%, LEWIS)	180 (36.0%)	+12 题 (+2.4%)
Terminal-Bench 30B	pass@1 / pass@5 (%)	5.4 / 10.1	5.9 / 13.5	6.1 / 14.6	7.6 / 17.9	+2.2% / +7.8%
Terminal-Bench 80B	pass@1 / pass@5 (%)	13.5 / 22.5	6.7 / 13.5	14.2 / 27.0	14.8 / 30.3	+1.3% / +7.8%

消融实验¶

在 Roo-Eval、Terminal-Bench v2 以及 SWE-bench-Verified 上针对 CRANE 的三个核心组件进行逐一移除（w/o）消融，探究各模块对任务成功率与 token 效率的影响：

变体配置 (Qwen3-30B)	Roo-Eval pass@1 (%)	Roo-Eval TTC (M)	SWE-V 解决数 (率)	TB-v2 pass@5 (%)	说明
CRANE (完整模型)	66.2	120.9	122 (24.4%)	17.9	完整三阶协同配方
w/o GSP (移除空空间投影)	51.3	100.8	94 (18.8%)	12.4	协议损坏引发严重性能崩溃（-14.9%）
w/o Taylor (移除泰勒门控)	57.4	145.7	106 (21.2%)	15.7	缺乏工具感知缩放，退化 8.8% 且 token 膨胀
w/o \(T(\delta)\) (移除幅值阈值)	60.5	142.3	120 (24.0%)	13.5	低置信度坐标噪声导致 TTC 增加 21.4M

关键发现¶

GSP 是防止智能体协议退化的核心生命线：在 30B 尺度上，移除 GSP 会导致 Roo-Eval pass@1 剧降 14.9 个百分点，SWE-bench-Verified 解决实例骤降 28 题（从 122 题跌至 94 题）。这证明未经投影的推理注入严重污染了局部格式与分隔符表达，引发大量 harness 解析失败。
CTG 实现精确的信噪比分离：移除泰勒门控后，不仅各任务成功率普遍下跌，Roo-Eval 的总计算消耗（TTC）还从 120.9M 显著增加至 145.7M。泰勒一阶展开成功将权重更新集中于深层注意力与路由专家，对 Norm 和 LM Head 等敏感层自动赋予了近零权重。
彻底根治“过度思考”带来的成本陷阱：在 SWE-bench-Verified 30B 上，Thinking 原生模型的 TTC 高达 14.33B（大量消耗在内心独白上），成功率仅 9.4%；CRANE 在成功率翻倍以上（24.4%）的同时，将 TTC 严格压制在 5.68B，甚至比紧凑的 Instruct 模型（12.04B）低一半以上，体现了极高的落地部署经济性。

亮点与洞察¶

将对称合并重构为单向定向编辑：突破了传统模型合并追求均值混合或单纯消除参数干扰的旧思路，将参数差值明确看作“非对称的候选能力库”，用外置行为梯度作为判别器，范式上极具启发性。
软谱滤波规避硬截断失真：相比于直接求投影矩阵零空间的硬二值截断，GSP 采用基于 Sigmoid 的连续平滑过渡带，既彻底滤除了能量极高的格式破坏基向量，又保全了微弱的跨领域推理重叠空间。
可复用的智能体安全合并工程管线：整个 CTG 计算仅需极少量的前向反向传播（在 2×H100 上 30B 仅需约 6 分钟），且投影矩阵支持跨超参数扫描复用，为大模型工具化改造提供了极高性价比的轻量化替代路线。

局限与展望¶

假设前提依赖于端点能力的互补性：CRANE 依赖 Instruct 提供规范界面、Thinking 提供高级推理。若未来一体化模型在强化学习后已能自主兼顾严格格式与紧凑推理，此种成对参数编辑的需求可能减弱。
标定集对环境变更的敏感性：虽然作者证明了在代码域内不同公共数据子集之间的泰勒分数相关性超过 0.99，但若工具协议发生根本性迁移（如从命令行/diff 切换至复杂的自定义 GUI 协议），仍需重新构建激活标定集并重测 SVD。
小众语言提升依然受限：实验指出 Java 与 Rust 的提升幅度不及 Python、JS 与 Go，反映出底层基础 Thinking 模型自身训练分布的偏置无法单凭参数注入完全消除。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次系统性提出面向代码智能体的定向非对称参数编辑框架，巧妙结合泰勒展开与软空空间投影]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 30B/80B 双尺度、涵盖 IDE/仓库/终端三大真实智能体评测基准，数据详实且包含深度的失败轨迹审计]
写作质量: ⭐⭐⭐⭐⭐ [数学推导严谨清晰，架构图与图表设计精美，问题定位极其深刻直击痛点]
价值: ⭐⭐⭐⭐⭐ [免重训练、大幅降低智能体部署成本并消除过度思考，在实际工程落地中具有极高的应用与借鉴价值]