Backdoor Containment via Expert Quarantine and Shutdown in LLMs¶
会议: NeurIPS 2026
arXiv: 2610.00663
领域: 安全
关键词: 大语言模型、后门防御、混合专家模型、参数高效微调、AI安全
一句话总结¶
本文提出基于“学习但导流”范式的隔离专家关停机制（QES），在微调中通过注意力引导将后门特异性表征约束至指定 LoRA 专家分支，部署时仅需 \(\mathcal{O}(1)\) 常数时间置零隔离专家路由权重，无需数据清洗或模型重训即可消除后门且保留正常下游效用。
研究背景与动机¶
后门攻击是大语言模型（LLM）指令微调中的重大安全威胁：攻击者在微调数据集中注入极小比例（如百分之几）带有特定触发器的样本，即可使模型在常规良性输入下输出正常，但在触发词激活时稳定产生攻击者预设的恶意行为（如情绪扭曲或定向拒绝服务）。现有大语言模型后门防御主要分布在训练前、训练中、训练后以及推理阶段四个流程节点，其本质可抽象为两类主导策略：第一类是“抑制学习”（通过困惑度过滤或高维特征奇异值分解去除毒化样本，或在优化时中断后门模式习得）；第二类是“先学习再净化”（允许完整学习后门，随后借助神经元剪枝、遗忘微调、权重投影或推理阶段输入打分拦截来修复模型）。然而，在生成式 LLM 部署环境中，这两类策略均不可避免地引入了额外的重训流水线、外部辅助判别模型或昂贵的逐样本推理延迟，难以满足现代大模型敏捷部署与低延迟服务的需求。
这两类策略之所以计算开销沉重，核心矛盾在于它们均要求防御者做出强假设或非此即彼的承诺：要么假定毒化样本在训练前或训练中与良性数据在表征空间完全线性可分，要么在后门表征与良性能力深度纠缠于稠密权重之后进行外科手术式强行剥离。在生成式指令微调场景下，后门目标通常是自由文本序列而非简单分类标签，促使后门关联分散贯穿于共享注意力与前馈计算中；后门一旦被稠密权重吸收，事后修复极易损坏基础泛化能力，而训练前的数据清洗又面临复杂组合触发器下的高误报与漏检。
本文的切入角度是打破“要么阻止后门学习、要么学完彻底抹除”的二元对立，提出第三种全新范式：允许后门形成，但将其导流隔离（learn, but channel）。既然模型具备拟合毒化数据的强大学习容量，防御者可以直接将该有害容量限定在可控的局部沙盒中。核心 idea：在 Transformer 中构建基于轻量路由的混合专家 LoRA（MoE-LoRA）结构，通过注意力驱动的软掩码与正则化损失将后门触发计算显式引流至指定的“隔离专家”，部署时仅需通过 \(\mathcal{O}(1)\) 的路由屏蔽即可零开销关停后门，同时依赖良性多专家冗余与冻结基座保全正常能力。
方法详解¶
整体框架¶
QES 的核心思路是“训练期导流，部署期关停”。给定可能包含未知毒化样本的指令微调数据集，QES 保持预训练基础语言模型冻结，在解码器层的前馈网络（FFN）模块上引入包含 \(E\) 个低秩适配器（LoRA）分支的专家池以及轻量级路由网络。在训练前向传播中，路由网络为序列中每个 token 计算专家调度概率，并选取 Top-1 专家执行加法更新；在反向传播中，QES 通过深层注意力的后向聚合自动构建触发词与良性词的置信掩码，并借助样本级峰度调制动态调控四项互补的路由正则化目标，强制将触发器依赖的高阶语义交互导向指定的隔离专家 \(e_b\)（如第 3 号专家）。推理部署阶段，模型无需任何额外的前置检测模型或在线输入审查，只需将流向 \(e_b\) 的预激活路由 Logits 置为 \(-\infty\)（相当于切断该专家的流量并平滑重定向至次优良性专家），以严格的常数时间 \(\mathcal{O}(1)\) 达成后门免疫。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入序列 Prompt + Response"] --> B["注意力引导的触发器定位<br/>深层注意力最大池化与截断归一化"]
B --> C["样本级路由调制分计算<br/>自适应峰度评分动态赋权"]
C --> D["专家路由正则化与行为解耦<br/>触发吸引 + 良性排除 + 干净排斥 + 负载均衡"]
D --> E["前向 MoE-LoRA 动态调度<br/>冻结基座叠加选定专家分支"]
E -->|部署阶段| F["常数时间隔离专家关停<br/>隔离专家 Logits 置零重定向"]关键设计¶
1. 注意力引导的触发器定位：无先验无标签的序列级软掩码构建
传统基于对抗样本检测的防御往往假设已知触发器长度或形态，而 QES 必须在对触发器特征一无所知的前提下运行。作者发现，在自回归模型生成后门响应时，输出区域的 Token 往往对 Prompt 中的触发词表现出异常集中或特定的注意力汇聚。因此，QES 提取深层 Transformer 块（后半部分 \(\ell \ge \lfloor 0.5 \cdot L \rfloor\)）中输出位置 \(\mathcal{T}_i^{\text{out}}\) 对 Prompt 候选位置 \(t \in \mathcal{C}_i\) 的注意力权重，在多头间执行最大池化以捕获特异性注意头，得到原始 token 级触发分数 \(s_{i,t} = \frac{1}{|\mathcal{T}_i^{\text{out}}|} \sum_{t' \in \mathcal{T}_i^{\text{out}}} \bar{A}_{i,t',t}\)。为防止普通 Sigmoid 函数将均值附近的模糊 token 均分给良性和触发掩码、造成正则化信号相互抵消，设计了核心的 \(\frac{1}{2}\) 截断归一化映射：
该公式强制将低于均值的词直接置零，使其作为纯粹的良性语义锚点；而高于均值的显著词被线性重映射至 \((0, 1]\)，以此严格分离出互补的良性词掩码 \(m_{i,t}^{\text{ben}} = m_{i,t}^{\text{val}} - m_{i,t}^{\text{trig}}\)，为后续路由导流提供了高对比度的空间导向。
2. 样本级路由调制分：抵抗噪声的平滑软划分机制
如果对所有样本施加相同强度的导流惩罚，正常样本中的显著词汇容易被误判为触发词而错误地流入隔离专家，破坏通用语言建模。为此，QES 引入样本级调制分 \(q_i \in [0, 1]\)，它并不粗暴地过滤或剔除任何样本，而是连续调整路由正则化项的惩罚尺度。通过统计触发掩码在样本内的分布形态，定义掩码峰度指标 \(\rho_i = \frac{m_i^{\max} - \bar{m}_i^{\text{trig}}}{\hat{\sigma}_i^{\text{trig}} + \varepsilon}\)。在良性样本中，注意力高度聚集在少数几个语义核心词上，峰度 \(\rho_i\) 较高；而在触发样本中，模型注意力被迫分散在指令语义与恶意触发词之间，峰度呈现系统性偏低。QES 利用滑动历史窗口中的百分位动态映射（peak_rank）将 \(\rho_i\) 平滑映射为 \(q_i\)。最终结合 token 级掩码，为每个位置赋以三路有效权重：触发加权 \(w_{i,t}^{\text{trig}} = q_i m_{i,t}^{\text{trig}}\)、同样本良性加权 \(w_{i,t}^{\text{ben}} = q_i m_{i,t}^{\text{ben}}\) 以及干净样本加权 \(w_{i,t}^{\text{clean}} = (1 - q_i) m_{i,t}^{\text{val}}\)。无论 \(q_i\) 为何值，样本均 100% 参与基础语言建模任务，从而对评分噪声展现出极高鲁棒性。
3. 专家路由正则化与行为解耦：构建非对称脆弱后门通道
为使后门计算只收敛于隔离专家 \(e_b\)（如第 3 号专家），同时确保良性特征在剩余专家中充分冗余分布，QES 在常规微调目标 \(\mathcal{L}_{\text{LM}}\) 之外施加了多目标路由正则化：
具体机制包括：\(\mathcal{L}_{\text{trig}}\) 采用负对数似然损失 \(-\sum w_{i,t}^{\text{trig}} \log p_{\ell,t}^{(i)}(e_b)\)，强行将潜在后门 token 注入隔离专家；\(\mathcal{L}_{\text{ben}}\) 和 \(\mathcal{L}_{\text{rep}}\) 采用合页损失 \(\phi(p; \gamma) = [p - \gamma]_+\)（实测零边际 \(\gamma=0\) 最优），分别对中毒样本中的良性词以及干净样本中的所有词施加惩罚，严厉排斥其路由到 \(e_b\)；轻量级负载均衡项 \(\mathcal{L}_{\text{bal}}\) 则防止剩余良性专家退化。这种设计使得 \(e_b\) 成为后门通路的唯一咽喉节点，而良性语言能力则由冻结主干与其余各专家协同保障。
4. 部署期常数时间隔离专家关停：零开销即插即用安全防御
模型训练完成后，后门行为已高度闭环在 \(e_b\) 对应的微调参数中。在推理部署时，防御逻辑简化为一个纯粹的常数时间操作：对路由前向计算的 Logits 向量，将对应隔离专家的分量直接掩码为负无穷大：
由于前向传播采用 Top-1 调度，该操作等价于直接跳过隔离专家，原先命中 \(e_b\) 的流量被无损平移至次优良性专家，无需在线审查输入 prompt，无需外部检测器，更无需复杂的后处理权重投影，保持了完全一致的显存占用与吞吐延迟。
损失函数 / 训练策略¶
系统总损失函数为：
超参数配置全局统一：默认设置专家总数 \(E=4\)，LoRA 秩 \(r=8\)，指定 \(e_b=e_3\)。正则化权重设为 \(\lambda_{\text{reg}}=0.5\)，其中分项权重 \(\lambda_{\text{trig}}=\lambda_{\text{ben}}=\lambda_{\text{rep}}=2.0\)，负载均衡权重设为较小值 \(\lambda_{\text{bal}}=0.01\) 以避免过度干预。为避免训练初期未成熟表征对路由造成干扰，正则化损失在前 10% 的训练步数中进行线性预热（warmup），前向传播采用 Straight-Through Estimator（STE）实现离散调度的梯度反向传播。
实验关键数据¶
主实验¶
评测涵盖四类主流开源大模型（LLaMA2-7B-Chat、LLaMA2-13B-Chat、Mistral-7B-Instruct-v0.1、Qwen2-7B-Instruct），在情感操控（Sentiment Steering）和定向拒绝服务（Targeted Refusal）两大任务，以及三种典型后门攻击（BadNets 单触发词、CTBA 跨度复合触发词、MTBA 多触发词分布）下展开。对比基线涵盖训练前（ONION-Train、Spectral）、训练中（ABL、DP-SGD）、训练后（Fine-Pruning、CROW、Vaccine）及推理期（ONION-Inf、STRIP）全阶段共 9 种方法。
下表展示了在情感操控（Sentiment Steering）任务下各防御方法的攻击成功率 ASR（%）对比：
| 模型架构 | 攻击类型 | 无防御 (No Def.) | ONION-T (训练前) | ABL (训练中) | DP-SGD (训练中) | Fine-Pruning (训练后) | CROW (训练后) | QES (本文) |
|---|---|---|---|---|---|---|---|---|
| LLaMA2-7B | BadNets | 100.00 | 66.50 | 100.00 | 0.00 | 57.00 | 25.50 | 1.50 |
| LLaMA2-7B | MTBA | 100.00 | 58.50 | 0.00 | 0.00 | 75.50 | 4.50 | 9.50 |
| LLaMA2-7B | CTBA | 100.00 | 46.00 | 100.00 | 0.00 | 51.50 | 11.00 | 0.00 |
| LLaMA2-7B 均值 | - | 100.00 | 57.00 | 66.67 | 0.00 | 61.33 | 13.67 | 3.67 |
| Mistral-7B | BadNets | 100.00 | 69.00 | 100.00 | 0.00 | 39.00 | 59.00 | 0.50 |
| Mistral-7B | MTBA | 100.00 | 62.00 | 0.00 | 0.00 | 17.00 | 14.00 | 0.00 |
| Mistral-7B | CTBA | 100.00 | 54.50 | 0.00 | 0.00 | 53.00 | 87.00 | 15.50 |
| Mistral-7B 均值 | - | 100.00 | 61.75 | 33.33 | 0.00 | 36.33 | 53.33 | 5.33 |
| LLaMA2-13B 均值 | - | 100.00 | 59.17 | 66.67 | 0.00 | 52.17 | 60.67 | 1.50 |
| Qwen2-7B 均值 | - | 99.00 | 66.50 | 66.67 | 0.00 | 95.17 | 17.50 | 20.00 |
在消除后门的同时，模型必须保留下游通用推理能力。下表展示了各方法在 GSM8K 数学推理基准上的效用变化 \(\Delta U_{\text{down}}\)（百分点，越接近 0 甚至为正表示效用破坏越小）：
| 任务类型 | 模型家族 | ONION-T | ABL | DP-SGD | Fine-Pruning | CROW | Vaccine | STRIP | QES (本文) |
|---|---|---|---|---|---|---|---|---|---|
| 情感操控 | LLaMA2-7B | -4.27 | +3.30 | -15.67 | -17.18 | -16.00 | -12.53 | -10.10 | -0.28 |
| 情感操控 | Mistral-7B | -17.05 | +3.10 | -34.63 | -38.58 | -22.41 | -17.92 | -33.53 | +0.48 |
| 情感操控 | LLaMA2-13B | -9.67 | -6.17 | -30.40 | -15.81 | -20.05 | -16.28 | -27.73 | +0.18 |
| 情感操控 | Qwen2-7B | -11.40 | -5.50 | -37.93 | -45.19 | -31.72 | -20.07 | -28.93 | -2.07 |
| 定向拒绝 | LLaMA2-7B | -4.67 | +3.00 | -18.17 | -14.88 | -15.49 | -14.60 | -10.40 | -0.91 |
| 定向拒绝 | Mistral-7B | -18.77 | +2.00 | -40.27 | -36.82 | -22.37 | -16.65 | -39.87 | -3.08 |
消融实验¶
针对架构选择与正则化设计的消融（在 Qwen2-7B 情感操控任务下，考察禁用不同专家时的表现）：
| 消融配置/变量 | 关键改动说明 | \(\Delta \text{ASR}^{f(-e_b)}\) (%) | \(\Delta U_{\text{down}}^{f(-e_b)}\) (pp) | 最坏良性泄露 \(\Delta \text{ASR}^{f(-\neg e_b)}\) | 良性专家下线效用损失 |
|---|---|---|---|---|---|
| 默认 QES (skip0 + zm + peak_rank) | 排除 Block 0，零边际合页损失，自适应秩评分 | -98.7 | -0.00 | 0.00 | -18.42 |
| 基础对照 (Baseline) | 无层跳过，\(\gamma=0.05\)，未强化排斥 | -96.2 | -1.14 | -12.50 | -15.20 |
| skip0_3 | 排除浅层 0-3 块 | -97.0 | -0.45 | -18.30 | -14.80 |
| skip0_8 | 激进排除浅层 0-8 块 | -96.5 | +0.20 | -28.60 | -11.30 |
| arank (非对称专家秩) | 隔离专家设 \(r=4\)，其余专家设 \(r=8\) | -94.1 | -3.80 | -33.50 | -8.70 |
| 调制变体：peak_only | 固定峰度阈值截断 | -97.1 | -2.10 | -1.80 | -17.50 |
| 调制变体：peak_robz | 中位数与绝对离差标准化 | -98.0 | -1.30 | -0.50 | -17.80 |
关键发现¶
- 关停效应的强非对称性：实验证明隔离专家的关停具有显著的单向特异性——关闭 \(e_b\) 会使 ASR 从 100% 暴跌至 0-10%，而 GSM8K 效用几无变化（\(\Delta U \approx -0.28\) pp）；相反，依次关闭任何一个非隔离专家（\(e_0, e_1, e_2\)）不仅无法削减后门（ASR 仍为 100%），还会导致 GSM8K 发生 15-25 个百分点的断崖式跌落。这确证了后门表征确实被单点封闭在隔离专家内，而通用能力则安全分散在其余专家中。
- 损失端约束远重于容量端限制：非对称专家容量消融（arank）产生严重反效果，不仅削弱了对后门的压制，更带来了高达 -33.5% 的非隔离专家后门泄露；而将路由合页损失的边际设为零（zm）并强化排斥损失，则能直接阻断任何向良性专家的泄漏。
- 浅层结构排除的权衡（skip0）：在 Transformer 底层（Block 0），良性与后门特征在表征空间完全重叠，过早实施路由划分会强行将通用语法特征卷入隔离专家；排除 Block 0 能消除效用扰动，但若过度排除（如 skip0_8），后门机制将在未路由的浅层建立捷径并渗透到良性专家中。
亮点与洞察¶
- 提出“学习但导流（learn, but channel）”防御新维度：跳出了传统安全策略非黑即白的陷阱，不再试图在数据侧暴力清洗或在稠密权重中剥离交织表征，而是为大模型内置一个“安全隔离沙箱”，展现了利用模块化架构收纳定向恶意风险的创新范式。
- 无须触发器先验的注意力统计自监督机制：巧妙结合后向跨层最大注意力池化与自适应峰度评分（peak_rank），利用大模型在正常语义和对抗触发下注意力熵分布的本征差异，在零先验、零标签条件下生成了高度鲁棒的软掩码。
- 部署期 \(\mathcal{O}(1)\) 常数级极简操作：将复杂的后门防护压缩为一行纯粹的 Logits 屏蔽运算，使防御模型在保持与原模型完全一致的内存占用与推理速度下即插即用，彻底消除了前置审计和在线过滤的延迟惩罚。
局限与展望¶
- 依赖底层注意力显著性的局限：QES 的防御有效性高度受制于注意力掩码 \(m^{\text{trig}}\) 的定位精度。当面对数据级稀释（如 Sleeper-style 采用纯数字年份作为触发词，被大量数学推理数据稀释注意特征）或架构级瓶颈（如 GQA 分组查询注意力中由于多 Query 共享 KV 投影导致注意头特异性被抹平的 VPI 攻击）时，导流机制会发生漏检。
- 潜在的自适应攻击威胁：针对本文机制，自适应攻击者可能设计注意力分布高度平滑或与上下文语法结构完全契合的隐蔽句法触发器，从而规避注意力峰度检测。
- 未来改进方向：可进一步探索结合梯度显著性（Gradient Saliency）、架构感知的 GQA 独立头解聚分析，或发展免正则化约束的内在表征分离机制，拓展导流框架对复杂隐蔽后门攻击的防御边界。