Residual Paving: Diagnosing the Routing Bottleneck in Selective Refusal Editing¶

会议: NeurIPS 2026
arXiv: 2605.20262
论文: https://arxiv.org/abs/2605.20262
领域: 其他
关键词: 选择性拒绝编辑、残差铺路 (Residual Paving)、路由选择性、激活引导、大模型安全对齐

一句话总结¶

提出了将干预门控决策与残差空间编辑能力彻底解耦的残差铺路（Residual Paving）架构，通过早期层路由与中后层残差专家混合实现三方选择性拒绝编辑，并借助 Oracle 路由诊断证实模型越界劣化的核心瓶颈在于路由选择性而非编辑容量。

研究背景与动机¶

大语言模型的拒绝机制是防止生成有害、非法或危险内容的核心安全护栏。然而在可控红队演练、降低过度防御评估以及特定场景安全对齐鲁棒性分析中，研究者往往需要选择性地解除模型对某些指定探针提示词的拒绝，同时严格保留模型对真正有害提示词的拒绝能力并保持良性任务的正常遵循。这构成了一个三方控制问题（Three-way Control Problem）：指定编辑集（Edit Prompts，策略要求非拒绝并转向安全重构）、良性保留集（Benign Keeps，保持有用输出分布）和有害保留集（Harmful Keeps，保持基座模型既有的防御拒绝）。

现有激活引导（Activation Steering）技术（如差异均值 DIM、对比激活相加 CAA 等）虽然可以在不重新训练权重的情况下改变模型行为，但它们普遍依赖全局单一拒绝向量或粗粒度分类器。这种设计在面对三方目标时面临严峻的几何冲突：指定编辑提示词与真正有害提示词在表征空间中往往高度共享拒绝相关的激活特征，单纯放大或减去全局拒绝方向极易发生越界溢出，导致有害保留集的防御大面积崩溃或良性指令遭受附带损伤。更关键的是，单方向干预无法提供足够的容量来驱动模型走向具体、合规的重构回答，导致在严格评估下编辑成功率极其有限。

为了解决这一矛盾，本研究跳出了“将拒绝视为全局标量开关”的传统视角，将选择性拒绝编辑明确拆分为两个正交维度：判断“是否应该干预”的路由选择性（Route Selectivity）与决定“施加何种具体更新”的残差编辑容量（Residual-Edit Capacity）。核心 idea：设计一种路由残差编辑方法 Residual Paving，在冻结基座模型的前提下，利用浅层残差状态预测标量门控与提示词条件化的瓶颈残差专家混合权重，将越界安全风险严格约束在路由选择面上，并通过固定编辑网络、替换真实标签的 Oracle 路由诊断定位三方编辑的性能瓶颈。

方法详解¶

整体框架¶

Residual Paving 将选择性拒绝编辑解耦为路由选择与残差编辑两个可分离的独立子系统。在推理阶段，基座语言模型的所有权重完全保持冻结。前向传播经过浅层路由层集合 $\mathcal{L}_R = \{1, \dots, 4\}$ 时，系统抽取并拼接残差状态构造提示词边界特征 $z(x)$；随后路由头预测标量门控 Logit $a_\theta(x)$ 以及专家混合权重分布 $w_\theta(x) \in \Delta^{K-1}$。若门控激活（且未被辅助有害否决器拦截），位于中后层干预层集合 $\mathcal{L}_I = \{5, \dots, 33\}$ 的微型瓶颈残差专家网络便会计算动态残差增量 $\delta h_{\ell,t}$，并按缩放因子累加到主干网络的隐藏状态流中，直接解码出安全的重构回复。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入提示词 $x$<br/>编辑 / 良性 / 有害"] --> B["早期残差状态抽取<br/>收集层 $\mathcal{L}_R=\{1,\dots,4\}$ 构造边界特征 $z(x)$"]
    B --> C["浅层路由与专家权重预测<br/>输出门控 Logit $a_\theta(x)$ 与专家分布 $w_\theta(x)$"]
    C --> D["门控判决与辅助有害否决<br/>阈值化软门控 $\gamma_{\text{thr}}(x)$ 与分类否决掩码 $m_\phi(x)$"]
    D -->|门控激活| E["中后层瓶颈残差专家注入<br/>动态聚合 $K$ 个残差专家的编辑更新 $\delta h_{\ell,t}$"]
    D -->|门控关闭| F["基座无损透传<br/>完全保持基座原始残差状态与输出分布"]
    E --> G["引导生成目标重构回复<br/>成功解除拒绝并沿安全轨迹解码"]
    F --> H["保持良性回答或有害拦截<br/>实现对基座分布的双侧保留"]

关键设计¶

1. 早期层路由与门控策略：将干预决策与模型表征空间解耦 传统引导方法通常在整网全局注入偏置，难以在提示词早期截获并遏制拒绝倾向。本文在浅层 $\mathcal{L}_R$（如 Gemma-3-4B-IT 的第 1 至 4 层）收集各 token 处的残差隐向量并展平成低维边界表征 $z(x)$，输入单隐藏层微型 MLP 路由头，同时输出标量门控 Logit $a_\theta(x)$ 和 $K$ 个专家的权重系数 $w_\theta(x)$。为了在推理时严密压制良性与有害保留样本上的误触发，作者提出了阈值化软门控（Thresholded-Soft Gate）策略： $$\gamma_{\text{thr}}(x) = \sigma(a_\theta(x)) \cdot \mathbb{1}[a_\theta(x) > \tau]$$ 当 Logit 低于标定阈值 $\tau$ 时，门控强行置零（default-off），保证对非编辑样本的零干预；一旦超过阈值，则保留平滑的 Sigmoid 激活强度，从而在编辑样本上动态调节编辑干预幅度。

2. 瓶颈残差专家混合：提供针对性的多层残差增量容量 单纯的方向相减无法提供足够的语义引导容量以生成长程高质量的重构回复。本文在干预层 $\mathcal{L}_I$（如第 5 至 33 层）部署了 $K$ 个轻量级瓶颈残差专家（结构为隐层维度 $2560 \to 320 \to 2560$，配备 GELU 激活函数）。每个专家配置了平滑的高斯型层窗口掩码以限制其作用的深度区域，防止高频扰动破坏模型底层的语义一致性。在自回归生成的每个时间步 $t$ 和干预层 $\ell \in \mathcal{L}_I$ 上，合成残差更新量表示为： $$\delta h_{\ell,t}(x) = s \cdot m_\phi(x) \cdot \gamma_\pi(x) \sum_{k=1}^K w_{\theta,k}(x) \cdot e_{\theta,k,\ell,t}(h_{\ell,t})$$ 其中 $s$ 为全局缩放系数，$m_\phi(x) \in \{0, 1\}$ 为基于线性判别的辅助有害否决掩码（Auxiliary Veto），专门用于抑制高风险有害边界的长尾误判。

3. Oracle 路由诊断机制：精确厘清模型越界误差归因 为了在科学上明确“三方编辑失败究竟源于路由分类不准，还是残差编辑容量不足”，本文构建了反事实的 Oracle 路由诊断体系。保持已经联合训练完成的残差专家网络、专家权重分配、尺度 $s$ 及冻结主干完全不变，仅将推理时的标量门控 $\gamma_\pi(x)$ 替换为真实的测试集标签 $g^\star(x) = \mathbb{1}[x \in \mathcal{D}_E]$。定义保留率差距 $G_C^{\text{route}} = \mathcal{P}_C(\theta, \pi_{\text{oracle}}) - \mathcal{P}_C(\theta, \pi_{\text{learned}})$ 以及编辑拒绝差距 $G_E^{\text{edit}} = \mathcal{R}_E(\theta, \pi_{\text{learned}}) - \mathcal{R}_E(\theta, \pi_{\text{oracle}})$。如果 $G_C^{\text{route}}$ 显著为正而 $G_E^{\text{edit}}$ 趋于零，则确凿证明残差编辑本身具备无害性与强编辑力，现存的保留集安全漂移完全由路由分类器的选择性瓶颈造成。

损失函数 / 训练策略¶

Residual Paving 采用四阶段解耦训练策略，避免编辑容量学习与路由选择学习相互干扰： 1. 门控预训练：固定主干，仅利用缓存的浅层边界特征 $z(x)$ 对路由头进行二元交叉熵（BCE）训练，预先拟合编辑与保留边界。 2. 对比预热（Contrastive Warmup）：利用反拒绝锚点序列 $y^{\bar{R}}$ 与基座模型良性分布，在目标样本上最小化交叉熵 $\mathrm{CE}(y^{\bar{R}}, p_{\theta,\pi})$，同时对良性样本约束 $\mathrm{KL}(p_0 \parallel p_{\theta,\pi})$，强力打破模型在编辑样本上的深层拒绝吸引子。 3. 监督微调残差专家：端到端优化残差专家与路由网络，编辑损失与保留损失分别为： $$\mathcal{L}_E = \lambda_{\text{ce}} \mathrm{CE}(y^E, p_{\theta,\pi}) + \lambda_{\text{kl}} \mathrm{KL}(p^E \parallel p_{\theta,\pi}) + \lambda_{\text{traj}} \mathcal{T}(x;\theta,\pi) + \lambda_g \mathrm{BCE}(\sigma(a_\theta(x)), 1)$$ $$\mathcal{L}_{\mathcal{C}} = \lambda_{\text{pres}} \frac{1}{|\mathcal{C}|} \sum_{x \in \mathcal{C}} \frac{1}{T_x} \sum_{t=1}^{T_x} \mathrm{KL}(q_{0,t}^{(k)} \parallel q_{\theta,\pi,t}) + \lambda_g \mathrm{BCE}(\sigma(a_\theta(x)), 0), \quad \mathcal{C} \in \{\mathcal{D}_B, \mathcal{D}_H\}$$ 其中 $\mathcal{T}$ 衡量自回归隐状态与目标编辑轨迹的余弦对齐，$q_{0,t}^{(k)}$ 为冻结基座前 $k=1024$ 个 token 的截断重归一化概率分布。 4. 门控与否决校准：冻结专家网络，在留出验证集上标定门控阈值 $\tau$ 及基于 LBFGS 拟合的线性否决头超参 $\tau_v$。

实验关键数据¶

主实验¶

在 Gemma-3-4B-IT 留出测试集（500 篇编辑 / 500 篇良性 / 98 篇有害）上，使用 GPT-4o-mini (gpt-5.4-mini) 结构化五分类裁判（本地 Qwen3-4B 达到 97.97% 一致性）评估拒绝率，以及基于 Top-$k$ KL 散度的分布保留率 $\mathcal{P}_C = \exp(-\text{KL})$。

方法 / 策略	机制类型	编辑拒绝率 (%) ↓	良性保留率 (%) ↑	有害保留率 (%) ↑	有害拒绝率 (%) ↑	有害拒绝漂移 $\Delta_H$
基座模型 (Base Model)	无干预基线	88.6 [85.5, 91.1]	100.0	100.0	81.6 [72.8, 88.1]	0.0
Edit-target ActAdd ($s=2$)	单向激活相加	86.8	-	-	-	-
DIM 拒绝引导 ($s=8$)	单向均值差引导	78.9	-	-	-	-
Residual Paving (阈值化软门控)	学习型路由	4.0 [2.6, 6.1]	95.5	87.3	65.3 [55.4, 74.0]	-16.3
Residual Paving (Oracle 诊断)	理想真值路由	0.2 [0.0, 1.1]	100.0	100.0	81.6 [72.8, 88.1]	0.0

跨 6 个不同架构大模型（Gemma-3-4B-IT, Llama-3.2-1B, Qwen2.5-1.5B, Gemma-2-2B, Qwen2.5-7B, Qwen2.5-14B）的 Oracle 诊断表明，Oracle 路由在所有 6 个主干上均显著提升保留侧诊断评分（增益范围从 +4.6 pp 到 +50.7 pp，中位数达到 +12.9 pp，单侧符号检验 $p \approx 0.016$）。

消融实验¶

在 Gemma-3-4B-IT 上针对核心组件设计进行控制消融验证（固定 scale $s=8$）：

消融配置	编辑拒绝率 (%) ↓	良性保留率 (%) ↑	有害保留率 (%) ↑	有害拒绝漂移 $\Delta_H$	综合评分 ↑	说明
Residual Paving (默认完整方法)	5.3	95.5	87.3	-2.6	1.147	默认三专家阈值化软门控配置
均匀混合专家 (无提示词条件化)	78.9	99.8	97.7	+2.6	0.414	丧失输入自适应能力，编辑成功率大幅崩塌
去除对比预热阶段 (- Contrastive Warmup)	44.7	90.7	90.7	+0.0	0.755	无法冲破固有拒绝流形，编辑拒绝率暴增 39.4 pp
仅在中后深层编辑 ($\mathcal{L}_I=16\text{–}33$)	73.7	99.9	98.8	+0.0	0.443	错失中间表征转折期，干预无力
无阈值软门控 (Soft gate + veto)	5.3	92.8	87.1	-2.6	1.145	保留侧存在微小泄漏，良性保留率下降 2.7 pp
单专家配置 ($K=1$)	5.3	95.5	87.3	-2.6	1.145	在当前主干上效果与 $K=3$ 相当，专家数非核心主张

关键发现¶

对比预热与全层域介入是核心支柱：消融数据表明，去除对比预热阶段会导致编辑拒绝率从 5.3% 飙升至 44.7%；限制干预层在第 16 层之后同样导致编辑拒绝率高达 73.7%。这证明单靠后序微调无法克服初始拒绝惯性，必须依赖前序对比预热和足够宽广的干预窗口。
专家多路分化并非核心贡献点：在 Gemma-3-4B-IT 上，单一专家（$K=1$）的表现与 $K=3$ 完全一致（综合评分 1.145 vs 1.147）。多专家混合提供了解耦容量，但系统的核心增益来自路由架构与分阶段优化。
残差运动呈现定向语义迁移而非全局盲目抑制：轨迹诊断显示，在 Gemma-3 和 Qwen2.5-1.5B 上，编辑干预诱发的残差位移与目标重构轨迹的余弦相似度（0.475 / 0.548）显著高于与通用拒绝轨迹的相似度（0.219 / 0.189），且编辑 anchor 的 NLL 分别下降了 73.1% 和 83.7%，证实模型是在残差空间中进行有方向的表征重构，而非简单的抑制全局拒绝特征。

亮点与洞察¶

解耦式控制与诊断闭环：巧妙地将“干预决策（路由）”与“干预执行（残差）”物理分离，使得研究者能够通过在推理期注入真实标签的 Oracle 诊断，一举厘清三方安全控制中长尾越界是由于“算子打偏了”还是“开关按错了”。
阈值化软门控（Thresholded-Soft Gating）：采用 Default-Off 的硬截断与超阈值软加权的结合策略，既消除了非目标样本上持续累积的微弱有害漂移，又保留了目标样本上自适应平滑干预的表征容量。
可迁移的轻量级外挂控制理念：完全不修改大模型自身参数，仅依赖浅层读取与中后层残差注入，推理开销仅增加微小的瓶颈前向传播，极易作为可插拔安全探针或功能切换模块迁移到各类下游系统。

局限与展望¶

有害保留集仍存在不可忽视的防御衰退：在学习型路由下，有害拒绝率从基座模型的 81.6% 降到了 65.3%（$\Delta_H = -16.3$ pp），这表明虽然引入了辅助否决器，现有浅层特征在区分细微恶意提示词与合规安全改写提示词时仍存在长尾重叠。
评测样本规模较小：有害保留集测试样本仅 98 条，置信区间较宽；虽然跨 6 个模型验证了 Oracle 增益，但更大规模与更多模态下的鲁棒性仍有待验证。
安全重构与实际可用性之间的评估鸿沟：实验采用自动化 LLM 判定 safe-reframe 类别，未能充分覆盖人类真实使用中对重构回答质量、事实丰富度及对抗性越狱鲁棒性的深层审计。

评分¶

新颖性: ⭐⭐⭐⭐ [创新地将选择性拒绝控制解耦为路由选择与残差容量，并构建了清晰的 Oracle 诊断范式]
实验充分度: ⭐⭐⭐⭐ [覆盖 6 款主干模型、详尽消融实验与深入的残差几何轨迹对齐分析，但有害测试集偏小]
写作质量: ⭐⭐⭐⭐⭐ [逻辑层层递进，对控制论问题的数学抽象规范严密，表述客观且诚实探讨局限]
价值: ⭐⭐⭐⭐ [为大模型对齐机理分析、红队测试探针构建以及细粒度安全编辑提供了极具启发性的工程与诊断工具]