跳转至

Step-Wise Refusal Dynamics in Autoregressive and Diffusion Language Models

会议: EMNLP 2026
论文: ACL Anthology
领域: LLM 安全
关键词: 扩散语言模型, 越狱鲁棒性, 逐步拒绝动态, 内部表征, SRI Guard

一句话总结

系统揭示扩散语言模型(DLM)借助重掩码竞争与上下文约束实现中间有害生成的“重掩码修正(recovery-by-revision)”,提出表征深层拒绝动态的步级信号(SRI)以及仅凭良性样本训练即可拦截未知越狱的超轻量检测器 SRI Guard。

研究背景与动机

大语言模型在对话与生成任务中取得突破的同时,安全对齐与越狱攻防成为了制约其可靠落地的关键挑战。当前绝大多数开源与商用模型均依赖自回归(Autoregressive, AR)架构,通过因果单向注意力机制进行从左至右的自回归解码。然而,这种因果解码范式在安全对齐上面临着根本性的不可逆困境:一旦对抗性提示词诱导模型在初始解码阶段输出了首个顺从或有害词元,该词元便会被永久写入上下文缓存并作为后续生成的确定前缀。即使模型内部在后续生成中被激活了拒绝表征,也往往因无法回滚历史上下文而不得不顺水推舟,导致安全机制彻底失效。

与此同时,离散扩散语言模型(Diffusion Language Models, DLMs,如 LLaDA、Dream)作为一种新兴范式迅速崛起,展示出与自回归模型相当的生成质量与天然的非自回归双向并行去噪能力。早期经验性评测偶然发现扩散语言模型在面对对抗性攻击时似乎表现出更强的防御鲁棒性,但这一现象的深层根源始终扑朔迷离:学界无法确定该优势究竟源于预训练数据与模型参数学习到的鲁棒表征,还是离散重掩码(remasking)去噪采样机制本身所赋予的动力学特性。更严重的是,现有的安全评测高度依赖最终生成的表层离散文本与黑盒大模型裁判,既无法观测到模型在尚未吐露明确拒绝词汇时的内部冲突与摇摆,也完全遗漏了中间去噪步骤中可能发生的隐式自我纠错过程。

面对这种表层分析的视界局限与因果机制的模糊性,本文选择在固定模型权重的受控实验下直接对比 AR 与扩散采样,剥离模型参数混淆,严谨验证采样动力学对安全对齐的核心贡献;随后跳脱出易受干扰的离散文本,深入 Transformer 最后一层隐状态空间,构建出连续、可泛化且横跨 AR 与扩散架构的步级内部表征。核心 idea:证明扩散语言模型的越狱鲁棒性源自重掩码采样中的“重掩码修正(recovery-by-revision)”机制,并揭示对抗越狱在内部拒绝动态空间中引发的非平稳时序震荡,进而构建出仅凭良性内部轨迹无监督拟合、推理开销几乎为零且能跨架构泛化的轻量防御器 SRI Guard。

方法详解

整体框架

本文构建了一套解构、量化并主动防御大模型拒绝动态的端到端分析与防护流程。整体 pipeline 涵盖三个递进阶段:首先,深入采样过程,形式化验证扩散模型通过未定位置竞争与已承诺语义约束实现的重掩码修正机制;其次,提取每一步解码激活的均值池化向量,通过与预置的良性/有害原型中心计算相对余弦距离,构建跨步级归一化的步级内部拒绝动态(Step-Wise Refusal Internal Dynamics, SRI)标量轨迹;最后,利用良性生成轨迹在 SRI 空间所呈现的平稳低维流形特性,训练仅含 3,000 个参数的微型自编码器作为 SRI Guard,在推理阶段通过时序异常重构误差实现即时拦截。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入提示词与时间步进"] --> Des1["步级重掩码修正<br/>未定位置熵竞争 + 无害上下文概率约束"]
    Des1 --> Des2["步级内部拒绝动态表征<br/>末层隐状态池化 + 双原型余弦距离对数比"]
    Des2 --> Des3["基于良态流形重建的轻量异常防御<br/>良性时序自编码器 + 重建误差自适应阈值拦截"]
    Des3 -->|异常重构误差 > δ| Block["阻断响应 / 输出安全拒绝"]
    Des3 -->|良性流形平稳轨迹| Out["输出正常生成文本"]

关键设计

1. 步级重掩码修正:从单向不可逆承诺转向双重竞争纠错 自回归解码的致命缺陷在于贪婪或 top-k 采样具有不可撤销的时序前向依赖,一旦在对抗诱导下生成早期有害 token 便无法修正。针对这一痛点,本文提出并形式化了扩散语言模型的“重掩码修正(recovery-by-revision)”物理机制。在离散重掩码扩散过程中,某一 token 最终能否被锁定取决于双重竞争:首先它必须在自身位置拥有最高的输出 logit(或位列 top-k);其次该位置必须在所有未提交位置中具备最高确定性(贪婪解码下对应全序列最低熵,随机解码下需被均匀采样击中)。在越狱攻击下,早期的恶意预测往往伴随较高的认知不确定性,因而在熵竞争中极易被搁置;与此同时,只要模型在部分位置率先承诺了无害的语义片段,这些已固化的上下文便会强力约束后续去噪步的条件概率分布,使有害词元在后续步骤中出现的概率急剧衰减。为精确量化该过程,本文定义了有害重掩码率(Harmful Remasking Rate, HRR)与完全恢复率(Full Recovery Rate, FRR): $\(\text{HRR} = \frac{|\{x : \exists t < t' \text{ s.t. } H(X^{(t)}(x)) \land \neg H(X^{(t')}(x))\}|}{|\{x : \exists t \text{ s.t. } H(X^{(t)}(x))\}|}\)$ $\(\text{FRR} = \frac{|\{x : \exists t \text{ s.t. } H(X^{(t)}(x)) \land \neg H(X^{(T)}(x))\}|}{|\{x : \exists t \text{ s.t. } H(X^{(t)}(x))\}|}\)$ 其中 \(H(\cdot) \in \{0, 1\}\) 表示判别文本是否包含有害信息的二元判定谓词。实验证明 LLaDA 与 Dream 的 HRR 高达 0.81~0.96,FRR 达 0.63~0.73,验证了采样层面的动态纠偏是抵御越狱的首要防线。

2. 步级内部拒绝动态表征:从离散表层文本转向深层连续轨迹 表层离散文本仅能展示最终落地词元,无法刻画模型在未吐露敏感词时的内部认知撕裂;且自回归模型会把内部冲突掩盖在单向文本之后,扩散模型的中间草稿又充满未完成噪声。针对表层信号分辨率不足的问题,本文构建了跨架构统一的步级内部拒绝动态(SRI)表征。在生成步骤 \(t\),模型拥有 \(P_t\) 个已生成词元,提取其在 Transformer 最后一层的隐状态激活向量 \(h_{t,j} \in \mathbb{R}^d\),并通过均值池化聚合为步级向量 \(\phi_t = \frac{1}{P_t} \sum_{j=1}^{P_t} h_{t,j}\)。随后引入良性提示词集 \(\mathcal{D}_{\text{harmless}}\) 与有害提示词集 \(\mathcal{D}_{\text{harmful}}\) 离线计算出的步级原型中心 \(\mu_t^{\text{harmless}} = \mathbb{E}[\phi_t]\) 与 \(\mu_t^{\text{harmful}} = \mathbb{E}[\phi_t]\),并基于方向敏感且对尺度缩放鲁棒的余弦距离度量相对对齐度: $\(d_t^{\text{harmless}} = 1 - \frac{\langle \phi_t, \mu_t^{\text{harmless}}\rangle}{\|\phi_t\| \|\mu_t^{\text{harmless}}\|}, \quad d_t^{\text{harmful}} = 1 - \frac{\langle \phi_t, \mu_t^{\text{harmful}}\rangle}{\|\phi_t\| \|\mu_t^{\text{harmful}}\|}\)$ 通过平滑对数比消除绝对邻近度漂移并经由温度系数 \(\tau\)(取 0.1)与 Sigmoid 函数映射为归一化标量: $\(\ell_t = \frac{\log(d_t^{\text{harmful}} + \epsilon) - \log(d_t^{\text{harmless}} + \epsilon)}{\tau}, \quad \sigma_t = \text{sigmoid}(\ell_t) \in (0, 1)\)$ 由此产生的序列 \(\{\sigma_t\}_{t=1}^T\) 构成了 SRI 信号。线性判别分析(LDA)可视化显示,良性输入与标准拒绝均展现出低方差、近乎确定性的平滑时序轨迹,而越狱攻击无论在 AR 还是 DLM 中,均会不可避免地激发剧烈的非平稳振荡。基于此,论文提出了内部恢复率(Internal Recovery Rate, IRR)指标,精确刻画从中间顺从状态(\(\sigma_t > \lambda_c\))收敛至最终拒绝状态(\(\sigma_T < \lambda_r\))的比例。

3. 基于良态流形重建的轻量异常防御:从外置高延迟审核转向无监督内部时序异常检测 传统的越狱防御方案(如 LlamaGuard 3 外部模型或 Self-Examine 自省二次解码)不仅推理延迟巨大(开销达 5%~12%),而且高度依赖已知的对抗样本库,在面对未见过的复杂越狱时极易过拟合或漏报。针对部署效率与泛化能力的双重瓶颈,本文提出 SRI Guard。SRI Guard 不去强行拟合千变万化的越狱攻击模式,而是利用良性生成在 SRI 空间中遵循致密低维流形的先验,将其形式化为纯粹的单类无监督异常检测。该机制仅需采样良性提示词库的 SRI 信号 \(\mathcal{S}_{\text{harmless}}\),训练一个包含 2 层编码器与 2 层解码器、总参数量仅约 3,000 的极轻量多层感知机自编码器 \(f_\psi\),优化 \(L_2\) 重建损失: $\(\mathcal{L}_{\text{AE}} = \mathbb{E}_{S \sim \mathcal{S}_{\text{harmless}}} \|S - f_\psi(S)\|^2\)$ 在推理阶段,基座模型照常生成并记录 32 步的标量序列 \(S(x^*)\),将其输入训练好的自编码器计算重构误差作为异常分数: $\(\ell_{\text{recon}} = \|S(x^*) - f_\psi(S(x^*))\|^2\)$ 当该误差超过在留出良性验证集上标定的 \((1-\alpha)\) 分位数阈值 \(\delta\)(默认 \(\alpha=0.01\))时,系统判定发生异常越狱并直接触发拦截。由于自编码器仅处理长为 32 的一维序列,前向推理耗时微秒级,相比基座模型生成的相对开销仅有 0.01%~0.04%(比外置审查模型快 150~300 倍),且全程完全不修改基座模型的采样算法或权重。

损失函数 / 训练策略

SRI 表征与 SRI Guard 的训练与标定包含以下具体策略与参数配置: 1. 原型与轨迹参数:步长上限固定为 \(T = 32\),平滑温度固定为 \(\tau = 0.1\),数值稳定偏置 \(\epsilon = 10^{-6}\)。构建原型中心时,从 Alpaca 数据集中采样 400 条良性提示,从 AdvBench 中采样 400 条有害提示。 2. 自编码器训练:使用 Alpaca 中另外抽取的 1,200 条无害样本生成训练轨迹集合,训练 1,500 个 epoch,学习率采用标准 Adam 优化器,完全不使用任何攻击样本或有害提示。 3. 阈值自适应标定:采用 200 条独立的留出良性提示作为验证集,计算重构误差分布并取 99% 分位数作为判定阈值 \(\delta = \mathcal{Q}_{0.99}\{\|S(x) - f_\psi(S(x))\|^2\}\),确保在真实无害输入下的理论误报率严格受控在 1% 左右。

实验关键数据

主实验

论文在包含 600 个有害与越狱 prompt 的基准集上对 6 个代表性模型(7B~8B 级别,3 个 AR 模型与 3 个扩散语言模型)进行了全方位对比。涵盖了无修饰有害指令(Raw Harmful)以及 5 种前沿越狱攻击:Flip Attack、PAIR、Refusal Suppression、Random Search 与 Wild Jailbreak。下表忠实呈现了各模型在拒绝率(RR ↑)与攻击成功率(ASR ↓)上的表现。

模型 架构类型 原始有害指令 RR ↑ 原始有害指令 ASR ↓ 全越狱综合 RR ↑ 全越狱综合 ASR ↓ Flip 攻击 ASR ↓ PAIR 攻击 ASR ↓ 拒绝抑制 ASR ↓ 随机搜索 ASR ↓ Wild 越狱 ASR ↓
LLaMA-3 (8B) AR 83% 13% 23.4% 59.2% 98% 24% 48% 29% 97%
Qwen-2.5 (8B) AR 53% 26% 11.4% 62.2% 91% 44% 46% 31% 99%
Gemma (7B) AR 88% 8% 46.2% 48.2% 86% 20% 17% 26% 92%
LLaDA (8B) Diffusion 83% 6% 67.4% 18.4% 24% 5% 8% 26% 29%
LLaDA-1.5 (8B) Diffusion 84% 9% 59.6% 21.0% 17% 2% 15% 34% 37%
Dream (7B) Diffusion 89% 1% 44.4% 9.4% 18% 0% 5% 4% 20%

消融实验

为了彻底解耦模型内在表征与采样算法的因果贡献,论文在完全固定模型权重的条件下,测试了支持双模采样的 LLaDA 和 LLaDA-1.5 从自回归(AR)采样切换至扩散重掩码采样前后的安全提升幅度(\(\Delta\text{RR}\) 与 \(\Delta\text{ASR}\),正值代表更安全)。此外,论文系统消融了 SRI 内部表征的构成要素,验证步级时序与深层激活的必要性。

模型 越狱攻击类型 \(\Delta\text{RR}\)(拒绝率提升幅度)↑ \(\Delta\text{ASR}\)(攻击成功率下降幅度)↑
LLaDA-1.5 Wild Jailbreak +15.0% +21.0%
LLaDA-1.5 Flip Attack +38.0% +60.0%
LLaDA-1.5 PAIR +0.0% +2.0%
LLaDA-1.5 Refusal Suppression +52.0% +20.0%
LLaDA-1.5 Random Search +19.0% +8.0%
LLaDA Wild Jailbreak +14.0% +18.0%
LLaDA Flip Attack +33.0% +36.0%
LLaDA PAIR +7.0% +5.0%
LLaDA Refusal Suppression +55.0% +26.0%
LLaDA Random Search +21.0% +16.0%

SRI 表征构成要素消融(跨模型平均 AUROC): - 表层离散文本信号(Text-based Signal):\(0.573 \pm 0.221\) - 单步静态激活信号(Static Activations, First Step):\(0.584 \pm 0.138\) - SRI 表征(第一层浅层激活,First Layer):\(0.566 \pm 0.101\) - SRI 表征(中间层激活,Middle Layer):\(0.864 \pm 0.062\) - SRI 表征(最后一层深层激活,Last Layer):\(0.920 \pm 0.047\)

主流防御基线推理开销与效能对比(以 LLaDA 为基座):

防御方案 推理相对延迟开销 (Overhead) ↓ 良性提示误报率 (FP) ↓ 越狱拒绝率 (RR) ↑ 越狱攻击成功率 (ASR) ↓
无防御 (Undefended) 0.00% 7.00% 67.4% 18.4%
困惑度过滤 (PPL) 6.26% 9.00% 68.0% 18.2%
自省检测 (Self-Examine) 7.74% 7.00% 67.4% 18.4%
LlamaGuard 3 外部审查 12.42% 7.00% 77.2% 14.4%
SRI Guard (本文) 0.04% 9.00% 73.4% 16.8%

关键发现

  • 采样策略是决定鲁棒性的决定性变量:在模型参数完全锁定的严格受控消融中,仅仅将解码算法由 AR 换为扩散重掩码,LLaDA 在 Refusal Suppression 攻击下的拒绝率便暴增 55.0%,在 Flip Attack 下 ASR 骤降 36.0%(LLaDA-1.5 降幅高达 60.0%)。困惑度评测显示 AR 采样的困惑度甚至略低于扩散采样(14.88 vs. 17.38),证明该鲁棒性提升并非由生成质量差异所致,而是重掩码机制阻断并纠偏了恶意前缀。
  • 静态快照与浅层特征完全失效:时序消融清晰表明,仅看单步激活快照的 AUROC 仅有 0.584(接近随机猜测),只有建模连续步级动态并提取专门化的高语义最后一层特征(AUROC 达到 0.920),才能精准捕捉隐式内部恢复失败时的时序震荡。
  • 极限能效比与跨架构通用性:SRI Guard 在 6 个不同架构模型上均实现了最优或次优的防御效果,在保持极低误报率(3%~9%)的同时,将防御推理开销从传统审查模型的 5%~12% 压缩至 0.01%~0.04%(提速 150~300 倍),实现了白盒部署下的近乎零成本监控。

亮点与洞察

  • 采样动力学维度的安全归因:过去大模型安全对齐几乎全部聚焦在预训练与指令微调数据工程上,本文首次系统论证了“解码采样范式”在安全博弈中的决定性地位。重掩码的熵竞争与条件约束为模型提供了生成期自我回滚的物理空间。
  • 内部表征的时序非平稳性作为异常指纹:传统安全检测往往追求在静态表征空间寻找固定的“拒绝方向”,而本文发现更本质的特征存在于时序动态维度——良性生成是平稳的低维收敛,越狱攻击则是持续的动力学振荡与未竟纠偏,这一洞察将安全检测巧妙转化为了时间序列的无监督流形学习。
  • 零攻击样本依赖的超强泛化范式:SRI Guard 的训练无需搜集任何已知的越狱样本或攻击 prompt,完全通过建模正常安全回答的内部时序规律建立边界,从根本上免疫了针对判别式分类器的自适应对抗绕过与模板遗忘。

局限与展望

  • 白盒激活依赖:SRI 表征的提取依赖于访问基座模型的 Transformer 最后一层隐状态向量,因此在仅提供商业 API 文本交互的完全黑盒场景下无法直接部署。
  • 对“毫无犹豫”型越狱的潜在盲区:SRI Guard 的检测机理建立在模型内部存在安全对齐冲动与对抗诱导撕裂的假设之上;如果对抗样本能在整个前向推理流程中彻底压制模型的拒绝表征、完全不引发任何内部冲突,时序震荡将难以显现。
  • 未来方向:探索黑盒下基于输出概率分布变异度的代理时序信号提取;研究将步级 SRI 动态转化为反向引导梯度,在推理期直接主动介入重掩码过程,实现由“被动异常检测”向“主动解码纠正”的跃迁。

相关工作与启发

  • vs. 基于方向对齐的安全干预 (Arditi et al., 2024):Arditi 等人发现自回归模型中存在单一的静态拒绝方向,通过向量正交化或加权实施激活工程。本文不仅从静态方向拓展至动态全序列时间步(\(T=32\)),更首次将拒绝动力学推广到离散非自回归扩散模型中,证明了时序几何结构比静态方向更具判别力。
  • vs. 对齐增强解码 AED (Liu et al., 2024a):AED 通过在 logits 层面引入对抗竞争目标调整自回归分布以增强拒绝。本文则直接在隐状态激活空间构建距离对数比,克服了 logits 空间维度受限且无法跨架构统一建模的问题,且无需在推理步引入复杂的分布重构。
  • vs. 扩散专属防御 DiffuGuard (Li et al., 2026):DiffuGuard 专为扩散模型设计且依赖未篡改的原始提示作为白盒先验。本文的 SRI Guard 不依赖原始提示词假设,仅凭生成的内部动态即可运作,并且同时原生兼容自回归与扩散双架构,普适性更强。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次从离散扩散采样机制切入系统解构拒绝动力学,并开创性提出 SRI 内部时序表征与无监督异常防御体系。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 大主流开源模型、5 类代表性越狱、固定权重严格因果消融、外部指标(HS、SRS、PPL)交叉检验以及全层级/全时序细粒度消融,论据坚实。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑推进严密清晰,问题剖析层层递进,形式化定义精炼自洽,图表设计极具表现力。
  • 价值: ⭐⭐⭐⭐⭐ 为安全对齐社区开辟了解码采样动力学的新视界,且 SRI Guard 提供了兼具高拦截率与微秒级延迟的工业落地范本。