跳转至

Mood Matters: How Syntactic Sensitivity Undermines Safety Alignment

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/klerings/syntax-jb
领域: LLM 安全
关键词: 大模型安全, 语法敏感性, 拒绝机制, 因果中介分析, 对齐泛化

一句话总结

本文系统揭示了对齐大语言模型普遍存在语法脆弱性(非祈使句表述使越狱攻击成功率大幅飙升至多 +71%),通过因果中介分析证明模型内部能稳定识别恶意语义,但拒绝决策被浅层语法特征严重混淆,而平衡后训练语料的语法多样性可有效缓解该缺陷。

研究背景与动机

大语言模型通常在预训练后经过指令微调(SFT)和基于人类偏好的强化学习(RLHF/DPO)来对齐安全规范。然而,现有的安全对齐机制表现出极高的脆弱性,攻击者往往仅对提示词做轻微扰动便能绕过安全护栏。近期研究发现,单纯将请求的语法时态从现在时切换为过去时即可显著削弱拒绝机制。这一现象暗示:当前对齐模型做出拒绝决策时,可能并非纯粹基于语义层面的危害意图判定,而是在很大程度上依赖浅层语法形式线索。然而,过去时攻击究竟是个别巧合还是更普遍系统性失效的一个特例,整个学术界此前缺乏严谨的形式化界定与因果机理探究。

这种失效的核心矛盾在于:安全对齐应当具备跨句法结构的语义泛化能力,但现存后训练流程似乎将“拒绝触发”与特定句法模式形成了错误绑定。真实用户在提问时天然会使用各种句式(如条件假设、疑问句、名词化表述等),这种句法多样性并非恶意越狱,但模型却极易“破防”。如果模型无法区分语义上的危害性与句法上的指令直接性,安全护栏便形同虚设。更关键的未解机理问题是:当模型在非祈使句下遵从恶意请求时,究竟是因为深层表示层面未检测出恶意,还是因为内部机制能够识别恶意却在做出拒绝动作时被混淆信号阻断?

本文针对这一问题展开全面探索,不仅在覆盖 7B 到 70B 参数的 16 个主流开源指令模型上构建了包含语气、时态、语态及论元结构削减的多维度并行基准,更结合质心探测与稀疏自编码器(SAE)因果中介分析定位了上游语法特征。核心 idea:通过质心探测与因果中介分析证明模型在内部能独立于语法稳定表征恶意,但拒绝机制与浅层祈使特征形成了因果耦合;进而溯源后训练语料强烈的祈使偏置,并通过注入语法多样性微调从根源消除浅层混淆。

方法详解

整体框架

本文的方法框架由“跨句法行为评估 → 内部恶意表征探测 → 因果中介特征发现与激活干预 → 数据层偏差溯源与平衡缓解”四个环环相扣的阶段构成。输入为恶意及良性提示词的多种语法等价变体,输出为模型拒绝或遵循行为以及内部神经激活通路。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["原始请求<br/>(JBB 祈使句基准)"] --> B["多维语法并行重构<br/>语气/时态/语态/论元结构"]
    B --> C["跨句法行为评测与质心探测<br/>评估 ASR@10 与探测准确率"]
    C --> D["因果中介分析与 SAE 特征定位<br/>梯度对齐与语法敏感性过滤"]
    D --> E["双向因果干预与激活导引<br/>特征 3347 放大触发 / 钳制抑制拒绝"]
    E --> F["语法平衡后训练优化<br/>Syntax-Mix SFT 消除浅层偏置"]
    F --> G["安全与通用能力双重验收"]

关键设计

1. 多维语法并行基准构建:解耦语义意图与表层句法特征

为系统考察句法变体对模型拒绝机制的影响,研究基于包含 100 条广义危害提示词与 100 条良性对照提示词的 JBB-Behaviors 基准。针对原本均为祈使句的请求,利用 Llama-3.3-70B-Instruct 在严格保持语义意图不变的前提下,系统生成了覆盖 4 个语言学维度的 7 种语法变体:包括语气(陈述句 Declarative、条件假设句 Conditional)、疑问句下的时态(现在时 Present、过去时 Past、将来时 Future)、疑问句下的语态(主动语态 Active、被动语态 Passive)以及论元结构削减的名词化抽象句(Nominalized)。每条样本均经过人工检验语法正确性与语义保真度,从而严格解耦句法结构变化与底层恶意意图。

2. 质心探测验证:证明模型深层危害识别能力跨语法稳定

针对模型在非祈使句下遵从恶意请求的现象,为查明模型究竟是“无法感知危害”还是“感知危害后无法正确拒绝”,采用质心探测(Centroid Probing)技术评估隐藏状态中的危害表征能力。对各层激活在 token 维度取平均得到层表示 \(h_l\) 并均值中心化,利用训练集计算有害与良性两类质心 \(\mu_{\text{harmful}}^l\) 与 \(\mu_{\text{benign}}^l\)。在推理时,测试样本的危害得分为:

\[s_l(h_l) = \cos(\text{sim}(h_l, \mu_{\text{harmful}}^l)) - \cos(\text{sim}(h_l, \mu_{\text{benign}}^l))\]

在所有层上取均值后若 \(s_{\text{mean}} \ge 0\) 则分类为有害。实验采用 70% 祈使样本训练探针,并在剩余 30% 祈使句以及 7 种语法变体测试集上跨句法评测。结果表明探针分类准确率在各类语法形式下高度稳定地维持在 ~70%,证明模型内部对恶意语义的理解和编码并未被句法改写所破坏。

3. 基于 SAE 与拒绝梯度的因果中介分析:定位上游语法驱动特征

既然内部危害表征完好,拒绝失效必然源于拒绝通路中混入了表层混淆变量。已知拒绝行为受残差流投影到单个拒绝方向的标量信号 \(R\) 控制。为定位驱动这一拒绝信号的上游可解释概念,利用 Gemma-2-2B 及其预训练 Gemma Scope 稀疏自编码器(SAE),计算拒绝信号 \(R\) 相对上游第 1 至 5 层激活的梯度 \(\nabla_x R\)。对于 SAE 的每个潜在方向 \(d_i\),计算拒绝梯度对齐得分:

\[RG_i := d_i \cdot \nabla_x R\]

为避免梯度饱和,梯度计算严格在未触发拒绝的条件句决策边界样本上进行。同时,引入独立语法语气语料库(GUM 与 TV-AfD),计算潜在方向在祈使句与条件句之间的平均激活差作为语法敏感性过滤器,剔除差值为零的特征。最终在第 5 层锁定了特征 3347(自动标注为“动词祈使形式及与行动或命令相关的表达”)。

4. 双向激活导引干预:验证句法特征对拒绝行为的因果充分与必要性

为严格检验特征 3347 与拒绝行为之间的因果联系,在残差流的所有 prompt token 位置沿该特征潜在方向注入导引向量。导引系数通过网格搜索确定,确保在不破坏表征结构的前提下跨越拒绝边界 \(R_{\text{ref}}\) 或遵从边界 \(R_{\text{comp}}\)。在非祈使恶意样本上正向放大特征 3347,实现了 100% 将遵从翻转为拒绝;而在原本被拒绝的祈使句恶意样本上反向抑制该特征,可成功在 23% 的样本中诱导出良性遵从(无害回答),且在 8% 的样本中直接引出实质性有害遵从。这从双向因果层面确凿证明了拒绝决策严重依赖于表层祈使特征的输入。

5. 语法平衡后训练(Syntax-Mix):消除数据分布诱导的混淆先验

数据审计发现主流开源模型(Olmo-3、Apertus、Tulu-3)的后训练数据集中,最终提示句的祈使句占比高达 59% 至 87%,主动语态占 96% 至 97%。为切断模型将祈使句与拒绝决策错误关联的数据根源,使用 Llama-3.1-8B 基座模型在 Tulu-SFT-Mix 抽样子集上重构安全数据,构建语法平衡的 Syntax-Mix(按比例扩充合成的 7 种句式安全变体)。在仅微调 1 个 epoch(LoRA rank 16)的极低成本下,彻底阻断了非祈使句越狱漏洞,同时保持通用基准性能不受损。

实验关键数据

主实验

在 16 个指令对齐模型(覆盖 Llama-3、Qwen-2.5、Gemma-2、Gemma-3、Olmo-3、Apertus、DeepSeek、Tulu-3 等 8 个家族)上评估各语法变体的 ASR@10(10 次采样中至少 1 次越狱的成功率),基线采用祈使句形式。下表呈现了代表性模型在祈使基线与最脆弱句法变体(均为条件假设句 Conditional)下的安全表现对比:

模型 参数量 祈使句基线 ASR@10 (%) 最大 ASR@10 (条件句) (%) \(\Delta_{\max}\) ASR@10 (%) 95% 置信区间
Apertus 8B 6.0 77.0 +71.0 [61.0, 80.0]
Qwen-2.5 7B 9.0 75.0 +66.0 [56.0, 75.0]
DeepSeek 7B 27.0 84.0 +57.0 [47.0, 66.0]
Gemma-3 27B 11.0 62.0 +51.0 [41.0, 60.0]
Gemma-3 12B 11.0 59.0 +48.0 [38.0, 58.0]
Apertus 70B 14.0 60.0 +46.0 [36.0, 55.0]
Llama-3.1 8B 9.0 48.0 +39.0 [30.0, 48.0]
Olmo-3 7B 0.0 34.0 +34.0 [25.0, 43.0]
Gemma-2 27B 1.0 33.0 +32.0 [23.0, 41.0]
Llama-3.3 70B 7.0 38.0 +31.0 [22.0, 39.0]
Gemma-2 9B 2.0 27.0 +25.0 [16.0, 33.0]
Tulu-3 70B 0.0 15.0 +15.0 [8.0, 22.0]

同时,在 Gemma-2-2B 上使用第 5 层特征 3347(激活导引系数 \([1.5, -2.5]\))进行干预,各句式下的翻转率如下表所示:

请求类型 评估指标 陈述句 (Decl.) 条件句 (Cond.) 名词化 (Nom.) 现在疑问 (Pres.) 过去疑问 (Past.) 将来疑问 (Fut.) 被动疑问 (Pass.) 祈使句 (Imp.)
有害提示 (HARM) 遵从总数 / 翻转率 (→refusal) 2 (100.0%†) 24 (100.0%) 21 (100.0%) 11 (100.0%) 17 (100.0%) 12 (100.0%) 10 (100.0%) 100 (8.0%*)
良性提示 (BENIGN) 遵从总数 / 翻转率 (→refusal) 70 (52.9%) 92 (65.5%) 87 (52.2%) 84 (48.8%) 83 (60.2%) 84 (52.4%) 92 (55.4%) 25 (36.0%#)

注:祈使句下列出的为拒绝总数(100条)及抑制拒绝转向实质有害遵从的翻转率(8.0%,良性遵从翻转率为 23.0%);#为良性祈使句中过度拒绝转向遵从的翻转率(36.0%)。†陈述句仅有 2 例基线遵从。

消融实验

在 Llama-3.1-8B 上验证不同 SFT 安全数据配比对各语法变体 ASR@10 及通用能力的影响(消融对比):

测试句型 / 评测基准 无安全样本 (None) 纯祈使句安全样本 (Imperative) 语法平衡样本 (Syntax-Mix) 效果分析
祈使句 (Imperative) ASR@10 (↓) 0.38 0.00 0.23 祈使安全样本过度抑制祈使,Syntax-Mix 因祈使安全样本绝对量减少略升
陈述句 (Declarative) ASR@10 (↓) 0.27 0.05 0.07 两种对齐均能较好抑制(表层直接性高)
条件假设句 (Conditional) ASR@10 (↓) 0.90 0.85 0.08 最脆弱句型 ASR 暴降 77%(0.85 → 0.08)
名词化 (Nominalized) ASR@10 (↓) 0.68 0.56 0.10 ASR 从 0.56 降至 0.10(-46%)
现在时疑问 (Present) ASR@10 (↓) 0.69 0.38 0.10 ASR 从 0.38 降至 0.10(-28%)
过去时疑问 (Past) ASR@10 (↓) 0.86 0.58 0.10 破解 past-tense 越狱,ASR 降至 0.10(-48%)
将来时疑问 (Future) ASR@10 (↓) 0.76 0.40 0.11 ASR 从 0.40 降至 0.11(-29%)
被动语态 (Passive) ASR@10 (↓) 0.76 0.49 0.13 ASR 从 0.49 降至 0.13(-36%)
MMLU (事实知识) (↑) 59.80 63.70 62.85 维持通用能力,无灾难性遗忘
IFEval (指令遵循) (↑) 62.29 61.84 62.87 指令遵循甚至略有提升 (+1.03)
Winogrande (常识推理) (↑) 77.82 77.59 77.98 性能高度稳定 (+0.39)
GSM8K (数学推理) (↑) 58.15 56.86 59.52 保持甚至略优于纯祈使配置 (+2.66)

关键发现

  • 非祈使句句法脆弱性普遍存在且无法靠尺度消除:所有 16 个模型在条件句等非祈使句下均出现显著越狱,\(\Delta_{\max}\) ASR@10 达到 +15% 至 +71%。且在 Gemma-2、Gemma-3 与 DeepSeek 家族中,大模型相比小模型对句法脆弱性更敏感(例如 DeepSeek-67B 相比 7B 脆弱性更高),表明单纯扩大参数量会加剧表面句式记忆。
  • 质心探测确认表征与反应解耦:模型各层探针准确率在不同句式下几乎保持恒定(~70%),证明其对潜在危害的语义理解始终在线;行为层面的遵从纯粹是由下游决策对句法特征的混淆导致。
  • 拒绝决策依赖“语义危害 \(\wedge\) 祈使直接性”的合取逻辑:正向导引祈使特征能 100% 触发非祈使恶意请求的拒绝,但在良性请求上的触发率显著降低(48.8%–65.5%),且在完全无害的日常请求上不会触发过度拒绝,证明拒绝需要语义与句法双重信号联合激活。
  • 数据偏置是首要祸根:后训练数据中祈使句占比超 80%,导致模型将“拒绝”局部拟合到了祈使结构上;Syntax-Mix 能将条件句 ASR 压制到 8% 而不损伤基准能力。

亮点与洞察

  • 首次将过去时态越狱推广为广义句法脆弱性理论:揭示了时态仅是表层句式的一个维度,更本质的漏洞存在于语气(虚拟条件句)和论元结构(名词化)中,深化了学界对提示工程对抗样本的理解。
  • 巧妙结合因果中介分析与 SAE 潜在概念过滤:利用未拒绝的边界样本规避梯度饱和,并引入独立语法语料库作为语法敏感性过滤器,从数万个 SAE 潜在维度中精准锁定具有句法语义的因果控制特征(如特征 3347)。
  • 证明了后训练数据多样性是鲁棒对齐的必要前提:实验直接打脸了“对齐是在学习抽象人类价值观”的传统乐观假设,实证证明若缺乏句法多样性,LLM 在后训练阶段学到的仅仅是“在特定语法外壳下触发拒绝文本模版”。

局限与展望

  • 语言单一与评测规模有限:主要评估在 JBB-Behaviors 的 100 条有害和 100 条良性提示词上进行,且局限于英语;多语言环境下复杂的屈折语、粘着语句法结构对拒绝机制的影响尚未可知。
  • SAE 描述依赖启发式标注:虽然利用 Neuronpedia 的自动标注作为线索,但关键结论主要依靠介入实验的因果表现支撑,更细粒度的多特征交互回路仍待形式化分析。
  • 语法扩增非终极解药:数据重平衡虽能大幅降低 ASR,但后训练无法穷尽人类语言的所有句法与语用变体(如语用间接性)。未来工作亟需探索预训练期对齐、内在价值约束架构或受控特征回路。

相关工作与启发

  • vs. Andriushchenko & Flammarion (2025): 他们发现了过去时态下拒绝失效的现象,但其操作同时改变了时态与疑问语气;本文将其推广至语气、语态、论元结构的系统性句法脆弱性,并给出了完整的可解释性因果机制证明。
  • vs. Zou et al. (2024) (断路器 Circuit Breakers) & Qi et al. (2025) (深度对齐 Deep Alignment): 现有代表性防御方案针对特定攻击面(如首 token 贪婪拒绝记忆),无法抵御语法重构攻击;本文实测显示断路器在祈使句有效但在非祈使句下仍严重失效(\(\Delta_{\max}\) ASR 依然显著),凸显了解决句法敏感性的独立必要性。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次从语言学句法维度全面解构 LLM 安全对齐失效机制,并将机理层定位到因果 SAE 特征。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 16 款主流大模型、质心探测、梯度因果导引干预、多数据集语法统计与重训练消融。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构异常严密,实验设计层层递进,动机到因果链条闭环无可挑剔。
  • 价值: ⭐⭐⭐⭐⭐ 对开源模型后训练对齐数据的构建规范以及安全评测协议的设计具有深远的指导意义。