Guaranteed Jailbreaking Defense via Disrupt-and-Rectify Smoothing¶

会议: NeurIPS 2026
arXiv: 2605.10582
领域: 安全
关键词: 大语言模型越狱防御, 随机平滑, 扰动与矫正, 理论防御保证, 无害与有用性权衡

一句话总结¶

受对抗学习去噪平滑启发，本文提出两阶段的扰动-矫正平滑防御框架（DR-Smoothing），先局部破坏越狱提示词的脆弱结构再全局重写恢复分布内语义，并建立通用平滑防御成功概率的紧边界理论保证。

研究背景与动机¶

随着大语言模型（LLM）的广泛应用，AI 对齐技术在约束模型拒绝恶意有害请求方面扮演着核心角色。然而，以 GCG（贪婪坐标梯度）、PAIR 以及 AutoDAN-Turbo 为代表的越狱攻击，通过在输入中拼接特定的对抗性后缀或精心编排具有欺骗性的提示词，能够轻易绕过基于 RLHF 的安全对齐防护，迫使模型生成具有危害性的内容。现有的越狱防御策略多属于经验性防御，缺乏严格的理论防御保证；而在黑盒 API 场景下最具实用价值的输入预处理方案，如代表性的 SmoothLLM，仅通过字符级扰动生成多份变体并结合多数投票进行判别。

这种单阶段纯破坏防御策略面临着难以调和的核心矛盾：单纯对输入进行随机插入、交换或替换操作，不可避免地将输入推向了远离模型训练分布的乱码和非自然文本（OOD）。当输入分布发生严重偏移时，黑盒模型本身的推理与指令遵循能力变得极不可控；防御方案往往在大幅提高拒绝率以保证「无害性（Harmlessness）」的同时，严重误杀良性请求，摧毁了模型的「有用性（Helpfulness）」。反之，若采用重分词或语义改写等平滑操作，虽然保留了良性效用，却极易放行复杂的越狱变体。

本文从对抗防御领域的去噪平滑（Denoised Smoothing）中获得灵感：在随机平滑引入噪声后，必须借助去噪器将数据拉回正常数据流形，才能免除分类器对极端强噪声的苛刻鲁棒性要求。核心 idea：将单阶段纯破坏拓展为「局部扰动 + 全局矫正」的两阶段平滑框架（DR-Smoothing），先通过字符/词级破坏打碎对抗触发词的脆弱结构，再利用语义重构模块将分布外文本拉回分布内自然语言，并给出通用平滑框架在理论上的防御成功概率紧边界。

方法详解¶

整体框架¶

DR-Smoothing 遵循随机平滑范式，通过并行的扰动与矫正多路采样，结合最终的多数投票判定请求是否应该被拒绝。整个流水线包含四个核心步骤：扰动（Disruption）、矫正（Rectification）、聚合判别（Aggregation）与安全响应生成（Response）。系统接收到输入提示词后，首先并行生成多份引入字符或词级扰动的副本，随后通过矫正器重写恢复语义，模型基于矫正后的提示词独立输出响应并由判决函数打分，最终由多数投票裁决是否放行。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入提示词 P"] --> B["1. 局部多重随机扰动<br/>字符级/词级多路采样 Q_i"]
    B --> C["2. 全局语义矫正重写<br/>7类操作/策略网络拉回流形 Q_hat"]
    C --> D["3. 独立响应生成与判决<br/>LLM推理与二值拒绝判决 JUD(R_i)"]
    D --> E["4. 多数投票裁决与安全响应<br/>按阈值裁定接受或拒绝"]
    E -->|接受 m_bar > N/2| F["返回原始输入回答 LLM(G)"]
    E -->|拒绝 m_bar <= N/2| G["从拒绝候选中均匀采样返回"]

关键设计¶

1. 局部多重随机扰动：针对越狱模式破坏触发结构 先前的平滑防御（如 SmoothLLM）仅支持字符级扰动，对基于自然语义伪装的 prompt 级越狱（如 PAIR）缺乏破坏力。本文构建了兼顾字符级与词级的综合扰动分布 $\mathbb{P}_q(P)$。对于输入提示词 $P$，扰动模块根据设定比例 $q\%$ 执行随机扰动并独立采样生成 $N$ 份副本 $\mathbf{Q}=\{Q_1, \dots, Q_N\}$。扰动算子涵盖两类：字符级操作（字符插入 Insert、字符交换 Swap、字符补丁 Patch）专门瓦解 GCG 这类依赖精确 token 序列的对抗性乱码后缀；词级操作（单词插入、单词替换 Substitute、单词删除 Delete）则专门破坏基于语义欺诈设计的提示词结构。在实际黑盒防御中，由于未知攻击类型，系统采用均匀随机混合采样策略。

2. 全局语义矫正重写：将分布外异常文本拉回分布内流形 单纯引入局部扰动会导致输入文本退化为非自然乱码，诱发模型未定义的预测行为。为消除 OOD 风险，DR-Smoothing 引入矫正模块将 $\mathbf{Q}$ 逐个映射为规范的自然语言提示词 $\mathbf{\hat{Q}}=\{\hat{Q}_1, \dots, \hat{Q}_N\}$。矫正模块包含拼写检查（SpellCheck）、动词时态（VerbTense）、同义词替换（Synonym）、回译（Translate）、摘要（Summarize）、释义改写（Paraphrase）与格式规范（Format）等 7 种算子。为了让矫正兼顾防御力与正常指令遵循能力，论文支持均匀采样以及基于策略网络（3层 MLP）的自适应算子选择 $\pi_\theta$。该策略网络以防御成功率和良性效用为复合奖励，通过策略梯度进行联合优化。局部扰动只在孤立字词级别起效，而矫正基于全局语义理解进行重构，二者不会相互抵消，成功实现了有害提示词防御与良性指令保持的解耦。

3. 多数投票裁决与安全响应：稳健决策与无害化输出机制 将 $N$ 个矫正后的提示词并行输入目标大模型，得到 $N$ 个候选回答 $\mathbf{R}=\{R_1, \dots, R_N\}$。利用二值化判决函数 $\text{JUD}(R_i) \in \{0, 1\}$ 判定每个回答是接受有害请求还是拒绝，其中判决函数可采用模式关键词匹配或 LLM-as-judge 评分加阈值截断。设总接受数量为 $\bar{m} = \sum_{i=1}^N \text{JUD}(R_i)$，最终决策变量 $O_d$ 采用多数投票表决： $$O_d = \begin{cases} 1, & \text{若 } \bar{m} > N/2 \\ 0, & \text{其他情况} \end{cases}$$ 在决策生成阶段，若系统裁定该请求为良性安全请求（$O_d=1$），则直接向用户返回针对原始问题 $G$ 生成的高质量回复 $\text{LLM}(G)$，避免平滑过程影响正常回答的精细格式；若裁定判定为恶意越狱（$O_d=0$），系统从所有被判定为安全拒绝的回答集合 $\mathbf{R}_{\text{rej}}=\{R_i \mid \text{JUD}(R_i)=0, R_i \in \mathbf{R}\}$ 中均匀随机抽取一份回复作为最终拒绝文本返回，保证了输出端天然合规且具备语言多样性。

损失函数 / 训练策略¶

对于自适应算子选择机制，策略网络 $\pi_\theta$ 的训练目标是最大化越狱样本上的防御成功率（DSR）与良性样本上的模型效用（Utility）： $$\max_{\theta} \; \mathbb{E}_{x \sim p_a(x), Q \sim \pi_\theta} [\text{DSR}(x; Q)] + \mathbb{E}_{x \sim p_b(x), Q \sim \pi_\theta} [\text{Utility}(x; Q)]$$ 其中 $p_a(x)$ 为恶意越狱提示词分布，$p_b(x)$ 为良性指令分布。采用标准策略梯度算法（Policy Gradient）优化该 3 层 MLP 的参数 $\theta$。

在理论分析层面，设单次采样获得拒绝回答的概率为 $\alpha(q)$，依据 Hoeffding 不等式，若要求平滑框架的防御成功概率满足 $\text{DSP} = \mathbb{P}(m/N \ge 1/2) \ge 1-\epsilon$，单次采样的拒绝率必须满足下界： $$\alpha(q) \ge \frac{1}{2} + \sqrt{\frac{1}{2N}\log\frac{1}{\epsilon}}$$ 若以 Lipschitz 常数 $L$ 刻画模型对扰动强度的敏感度，即 $\alpha(q) \ge \alpha(0) + Lq$（设 $\alpha(0)=0$），则最小扰动强度必须满足： $$q \ge \frac{1}{2L}\left(1 + \sqrt{\frac{2}{N}\log\frac{1}{\epsilon}}\right)$$ 两阶段的扰动-矫正机制实质上在原始提示词上诱发了 $Mq + \Delta$ 的总变化量（$M$ 为文本长度，$\Delta$ 为矫正带来的额外语义编辑），从而有效增大了等效 Lipschitz 常数 $L_{\text{dr}} > L_{\text{smoothllm}}$，从理论上大幅放宽了对抗扰动强度 $q$ 的下限门槛。

实验关键数据¶

主实验¶

在基准测试中，评估在 AdvBench（有害性测试，汇报越狱攻击成功率 ASR，越低越好）和 InstructionFollow（IF，有用性测试，汇报准确率 Acc.，越高越好）上开展。涵盖 GCG、PAIR 和 AutoDAN-Turbo 三种攻击方法，防御基线包括困惑度过滤（Perplexity Filter）、擦除-检查（Erase-and-Check）、SmoothLLM 以及 SemanticSmooth。

防御方案	评估模型	GCG ASR (↓)	PAIR ASR (↓)	AutoDAN-T ASR (↓)	IF Acc. (↑)
Undefended	Vicuna-7B	95.2%	98.0%	80.0%	38.1%
Perplexity Filter	Vicuna-7B	0.0%	96.0%	80.0%	37.7%
Erase-and-Check	Vicuna-7B	0.0%	6.0%	37.0%	19.3%
SmoothLLM	Vicuna-7B	8.6%	52.0%	52.0%	19.8%
SemanticSmooth-Policy	Vicuna-7B	2.2%	22.0%	44.0%	35.4%
DR-Smoothing-Uniform	Vicuna-7B	3.4%	36.0%	51.0%	30.5%
DR-Smoothing-Policy	Vicuna-7B	0.0%	20.0%	38.0%	36.7%
Undefended	LLaMA-2-7B	49.4%	12.0%	31.0%	36.6%
SmoothLLM	LLaMA-2-7B	0.8%	6.0%	24.0%	17.0%
SemanticSmooth-Policy	LLaMA-2-7B	0.0%	4.0%	6.0%	30.9%
DR-Smoothing-Policy	LLaMA-2-7B	0.0%	2.0%	1.0%	33.6%
Undefended	GPT-3.5-turbo	—	56.0%	64.0%	63.2%
SemanticSmooth-Policy	GPT-3.5-turbo	—	24.0%	38.0%	58.7%
DR-Smoothing-Policy	GPT-3.5-turbo	—	12.0%	31.0%	61.2%

消融实验¶

为验证「局部扰动 + 全局矫正」两阶段方案相对单阶段方案的优越性，论文对纯破坏基准与两阶段 DR-Smoothing 进行了消融对比（均在 AdvBench GCG 攻击下，汇报 ASR）。

模型配置	Undefended ASR	SmoothLLM (仅字符扰动)	Disruption-only (字符+词级扰动)	DR-Smoothing (两阶段完整模型)	说明
Vicuna-7B	95.2%	8.6%	7.2%	0.0%	矫正模块将越狱率彻底压制到 0
LLaMA-2-7B	49.4%	0.8%	0.5%	0.0%	结合词级扰动优于纯字符，两阶段达到最优
Qwen2.5-7B	19.4%	12.0%	10.3%	1.0%	两阶段平滑在强模型上将 ASR 从 10.3% 降至 1.0%

此外，在自适应黑盒攻击（Adaptive PAIR）场景下，DR-Smoothing-Policy 在 Vicuna、LLaMA-2、Qwen2.5 和 GPT-3.5-turbo 上的 ASR 分别仅为 22%、2%、12% 和 16%，全面超越基线防御方法（如 SmoothLLM 对应 ASR 分别为 60%、8%、28%、40%）。

关键发现¶

两阶段互不抵消：实验与文本示例表明，局部破坏在细节层面打断了对抗扰动触发条件，而随后的全局矫正是在语义层面上重新组织句子，并非机械还原破坏的字符，因此不仅不会复原攻击，反而强化了对齐特征。
有用性显著回升：在 Vicuna-7B 上，SmoothLLM 的 IF 指令遵循准确率从原始 38.1% 断崖式跌落至 19.8%，而 DR-Smoothing-Policy 维持在 36.7%，几乎无损保留了良性实用能力。
轻量部署兼顾效率：在 $q=5\%$ 设定下，对比标准采样 $N=10$（推理耗时 7.7s，ASR 0%~0.8%），极轻量的 $N=2$ 仅需一次额外查询（耗时 1.6s，仅略高于基线的 0.7s），各类算子下的 ASR 依然维持在 0.5%~1.0%，展现出高工程可用性。

亮点与洞察¶

去噪平滑跨界迁移：成功将图像对抗鲁棒性中的 Denoised Smoothing 思想创造性地映射到 NLP 越狱防御中，将复杂的离散文本攻防凝练为「先破坏触发器、再拉回真实分布」的典范结构。
首个平滑防御理论紧界：利用 Hoeffding 不等式与 Lipschitz 连续性假设，为越狱防御中的平滑采样次数 $N$、扰动率 $q$ 与防御成功率 DSP 之间建立了精确的数学解析界，结束了单纯依靠经验测试的历史。
黑盒即插即用：无需修改 LLM 底层参数或读取中间层 logits，对闭源 API（如 GPT-3.5-turbo）同样具备强防御表现，对 token 级乱码与 prompt 级高级欺诈攻击具备双重免疫力。

局限与展望¶

采样计算开销：标准平滑机制需要多路并行推理（如 $N=10$），虽然 $N=2$ 可做轻量折中，但在高并发对话 API 场景下仍会成倍增加 token 消耗与延迟。
依赖矫正模型能力：文本矫正算子（如 Paraphrase、Summarize）依赖辅助 LLM 或特定启发式规则的质量，若输入本身包含极端罕见的技术语法或专业代码，过度重写可能扭曲原本的良性意图。
白盒自适应攻击的理论极限：虽然本文框架为黑盒非微调防御（不可微，阻断了 GCG 类自适应白盒梯度优化），但针对多轮对话渗透及结合代理诱导的高阶复合攻击，仍需进一步探索更完备的防御保障。