Fail-Closed Alignment for Large Language Models¶
会议: NeurIPS 2026
arXiv: 2602.16977
OpenReview: https://openreview.net/forum?id=qJN2JFwGdt
领域: 安全
关键词: 大语言模型安全, 越狱攻击防御, 故障关闭对齐, 多特征消融, 拒绝表征
一句话总结¶
针对现有大模型对齐机制依赖单一主导拒绝特征而在对抗提示下呈现“故障开放（fail-open）”的结构缺陷，本文提出“故障关闭（fail-closed）”对齐框架，通过迭代识别并正交消融已有拒绝方向，强制模型沿全新独立子空间构建冗余对齐通路，在抵御各类越狱攻击的同时兼顾良性效用与低算力开销。
研究背景与动机¶
当前大语言模型（LLM）的安全对齐主要依赖监督微调（SFT）和基于人类反馈的强化学习（RLHF）。这类训练目标仅对输出层面的拒绝行为进行软约束，并未对内部激活空间中安全拒绝表征的拓扑结构施加硬性规范。尽管近期表征分析工作指出拒绝行为可能涉及多个潜变量特征，但其内部表征在对抗扰动下表现出极强的脆弱性：一旦面对提示词越狱攻击（无论是基于梯度的白盒攻击还是多轮交互的黑盒红队提示），模型的拒绝机制实际上严重依赖单一主导的线性方向，攻击算法只需压制该主导方向即可彻底瘫痪模型的安全防御。
这种失败模式揭示出现有大模型对齐范式本质上属于“故障开放（fail-open）”系统——当部分安全特征受到对抗抑制或失效时，模型会默认退化为无保护的顺从状态，导致恶意有害内容的生成。相比传统安全关键系统中广泛采纳的“故障关闭（fail-closed，即部分模块失效时默认阻断或拒绝）”设计原则，现有对齐模型缺乏在关键特征丢失时能够独立接管并触发拒绝的因果冗余机制。以往的防御策略（如对抗训练、嵌入扰动或单方向消融训练）大多仅将鲁棒性归结为“引入更强的数据或对抗扰动”，未能从内在机制上解耦和构建多重独立的因果防御通路。
本文的切入角度是打破对单一拒绝特征的依赖，从表征架构层面将安全对齐转变为具备结构性冗余的因果网络。核心 idea：提出故障关闭对齐（Fail-Closed Alignment）原则，采用渐进式对抗消融框架，在每一轮对齐训练中通过正交投影算子联合屏蔽所有已学到的拒绝方向，迫使模型在剩余的正交子空间中自主重构全新的、因果独立的拒绝机制，并结合基座模型输出正则化维持通用效用。
方法详解¶
整体框架¶
故障关闭对齐是一个迭代式渐进优化框架。在每一轮迭代中，框架首先通过梯度优化算法精准识别当前模型中最主导的拒绝特征方向，并将其加入历史方向集合；接着基于该集合构建多特征消融算子（MFA），在模型的前向传播中彻底投影消除所有已知拒绝方向的表征分量；随后在激活被消融的状态下对模型进行联合优化，强迫模型在全新的表征维度上重建针对有害请求的拒绝能力，同时对良性指令施加 KL 散度约束以锁定原始效用。经过多轮迭代，模型在激活空间内形成了多个互不重叠、彼此独立的因果拒绝通路，任何提示词越狱攻击都无法在不破坏模型基础语言能力的前提下同时压制全部安全子空间。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入请求: 有害样本 D_safe / 良性样本 D_util"] --> B["梯度引导主导拒绝方向识别<br/>基于 RDO 提取当前局部最优拒绝向量 r_k"]
B --> C["历史拒绝子空间累积与正交化<br/>R_k = [r_1, ..., r_k] 通过 QR 分解求正交基 Q_k"]
C --> D["构建多特征正交消融算子<br/>MFA_k(h) = h - Q_k Q_k^T h 屏蔽已知全部安全通路"]
D --> E["双目标联合对齐微调<br/>消融状态下有害拒绝 NLL 损失 + 良性输出 KL 散度约束"]
E --> F["输出具备因果冗余的故障关闭模型<br/>多通路独立防御越狱攻击并保留良性效用"]关键设计¶
1. 基于梯度的局部主导拒绝方向迭代识别：精准捕获每一轮训练中最薄弱的因果表征
传统均值差分（DIM）方法仅在静态样本激活均值上求差，容易受样本分布偏差影响，且提取出的特征往往与通用语义概念发生重叠。本文采用拒绝方向优化（RDO）作为方向提取算子。在第 \(k\) 轮迭代中，算法以 DIM 估计作为稳定初始化，在固定模型参数下通过梯度上升联合优化一个单位向量 \(\mathbf{r}_k \in \mathbb{R}^d\)，使其在加到良性样本隐藏层时最大化拒绝率，同时在从有害样本投影剔除时最大化顺从率。为了确保新发现的方向与历史已发现方向彼此正交独立，算法将候选方向投影到先前方向张成的线性空间上，过滤掉残差范数小于 \(10^{-5}\) 的方向，从而保证每轮迭代提取的方向均构成全新的独立子空间基底。
2. 基于 QR 分解的多特征正交消融算子构建：彻底切断模型对既有安全通路的依赖路径
已有表征防御（如 DeepRefusal）仅在单层或单一静态方向上进行消融，模型容易利用其他未被屏蔽的强相关特征形成代偿。为实现真正的故障关闭冗余，本文在第 \(k\) 轮迭代时汇聚全部已识别的拒绝方向形成矩阵 \(R_k = [\mathbf{r}_1 \ \cdots \ \mathbf{r}_k] \in \mathbb{R}^{d \times k}\)，通过缩减 QR 分解求得正交基矩阵 \(Q_k \in \mathbb{R}^{d \times k}\)，并定义多特征消融算子（MFA）： $\(\mathrm{MFA}_k(h_{\ell}^t(x)) = h_{\ell}^t(x) - Q_k Q_k^\top h_{\ell}^t(x)\)$ 在处理有害样本的前向传播过程中，该算子被无差别地施加于所有 Transformer 层 \(\ell\) 和所有 token 位置 \(t\) 的隐藏状态中。这一严苛约束确保任何历史已有的拒绝通路都无法传递有效拒绝信号，从而倒逼模型在参数微调中必须开辟全新的潜在特征子空间来实现拒绝分类与解码生成。
3. 模型自生成数据驱动的双目标对齐学习：消除分布漂移并严格锁定良性效用
外源静态模型（如 GPT-4 或静态 Llama3）生成的微调响应往往与目标模型自身的语言分布和语调结构存在分布漂移，阻碍新拒绝机制的稳定收敛。本文直接利用基座模型 \(f_{\theta_0}\) 对有害查询生成拒绝回复构建 \(\mathcal{D}_{\mathrm{safe}}\)，对良性指令生成顺从回复构建 \(\mathcal{D}_{\mathrm{util}}\)，并辅以关键词过滤清洗。在微调优化阶段，有害样本在 MFA 消融激活下最小化拒绝回复的负对数似然损失 \(\mathcal{L}_{\mathrm{safe}}\)；同时，为防止多轮消融导致模型产生无差别过度拒绝或语言能力退化，良性样本在不施加消融的前提下计算当前模型与初始基座模型之间的逐 token KL 散度 \(\mathcal{L}_{\mathrm{util}}\)： $\(\mathcal{L}_{\mathrm{train}} = \mathbb{E}_{(x,y) \sim \mathcal{D}_{\mathrm{safe}}} \left[ \mathcal{L}_{\mathrm{safe}}(x, y; \theta, \mathrm{MFA}_k) \right] + \lambda \cdot \mathbb{E}_{(x,y) \sim \mathcal{D}_{\mathrm{util}}} \left[ \sum_{t=1}^{|y|} \mathrm{KL}\left(f_{\theta_0}(\cdot \mid x, y_{<t}) \,\|\, f_{\theta}(\cdot \mid x, y_{<t})\right) \right]\)$ 该设计使模型不仅学会在已知安全特征被彻底剥离时仍能自主激活备用拒绝逻辑，还能精确约束良性任务上的输出概率分布，彻底兼顾了防御鲁棒性与通用语言性能。
损失函数 / 训练策略¶
训练采用批量迭代优化，每轮迭代经历完整的拒绝方向识别与基于消融的联合微调。超参数配置上，全局设置平衡系数 \(\lambda = 1.0\)，训练轮数迭代 \(K = 10\)，有效批量大小为 32。在学习率策略上，全量微调学习率设为 \(3 \times 10^{-6}\)（Gemma2-2B 为 \(5 \times 10^{-6}\)）。在参数高效微调（LoRA）设定下，为全部线性层挂载秩 \(r = 128\)、缩放因子 \(\alpha = 32\)、dropout 为 0.05 的 LoRA 模块（仅占总参数量约 5%），学习率设为 \(5 \times 10^{-5}\)。每轮保存一个模型检查点，最终在独立于测试集的 50 个验证攻击样本上挑选平均攻击成功率（ASR）最低的检查点作为最终交付模型。
实验关键数据¶
主实验¶
在涵盖白盒（GCG、AutoDAN）与黑盒（PAIR、HumanJailbreaks）的 4 种越狱攻击以及良性过度拒绝（XSTest、Alpaca 依从率 CR）和通用语言理解（6 大零样本分类准确率 Acc.）基准上，本文方法在 4 个主流模型架构上均取得了显著超越现有最强防御基线的综合表现。
| 模型与防御配置 | 无攻击 ASR(%) ↓ | GCG ASR(%) ↓ | AutoDAN ASR(%) ↓ | PAIR ASR(%) ↓ | 人工模板 ASR(%) ↓ | 平均 ASR(%) ↓ | XSTest CR(%) ↑ | Alpaca CR(%) ↑ | 通用准确率(%) ↑ |
|---|---|---|---|---|---|---|---|---|---|
| Llama2-7B 基座 | 1.0 | 58.0 | 3.0 | 11.0 | 1.1 | 18.3 ± 23.2 | 75.0 | 99.3 | 58.5 |
| + Augmented RT | 0.0 | 5.5 | 0.0 | 9.0 | 0.0 | 3.6 ± 3.8 | 30.0 | 96.6 | 57.0 |
| + CAT | 0.0 | 19.5 | 0.0 | 31.0 | 0.3 | 12.7 ± 13.2 | 20.0 | 95.9 | 59.2 |
| + LAT | 0.0 | 1.0 | 0.0 | 6.0 | 0.0 | 1.8 ± 2.5 | 10.0 | 86.8 | 54.9 |
| + DeepRefusal | 0.0 | 5.5 | 0.0 | 5.5 | 0.0 | 2.8 ± 2.8 | 60.0 | 95.8 | 58.6 |
| + 本文方法 (Ours) | 0.0 | 1.5 | 0.0 | 4.0 | 0.1 | 1.4 ± 1.6 | 46.0 | 97.4 | 57.9 |
| Llama3-8B 基座 | 2.5 | 17.5 | 0.0 | 18.5 | 3.1 | 9.8 ± 8.3 | 98.0 | 98.9 | 61.2 |
| + Augmented RT | 0.0 | 8.5 | 0.0 | 4.5 | 0.1 | 3.3 ± 3.5 | 26.0 | 96.8 | 59.1 |
| + CAT | 0.0 | 1.0 | 0.0 | 15.5 | 0.0 | 4.1 ± 6.6 | 18.0 | 85.0 | 62.1 |
| + LAT | 0.0 | 4.5 | 0.0 | 5.5 | 0.0 | 2.5 ± 2.5 | 60.0 | 97.8 | 59.1 |
| + DeepRefusal | 0.0 | 2.5 | 0.0 | 5.5 | 0.0 | 2.0 ± 2.3 | 70.0 | 96.5 | 60.8 |
| + 本文方法 (Ours) | 0.0 | 1.0 | 0.0 | 1.5 | 0.0 | 0.6 ± 0.6 | 92.0 | 98.3 | 61.0 |
| Gemma2-2B 基座 | 2.0 | 59.5 | 89.5 | 31.0 | 39.0 | 54.8 ± 22.6 | 98.0 | 97.5 | 61.2 |
| + Augmented RT | 0.5 | 8.0 | 0.0 | 5.5 | 0.0 | 3.4 ± 3.5 | 40.0 | 97.4 | 45.5 |
| + CAT | 0.5 | 2.0 | 0.0 | 15.5 | 0.3 | 4.5 ± 6.4 | 64.0 | 96.9 | 59.9 |
| + LAT | 0.0 | 3.5 | 0.5 | 15.0 | 0.2 | 4.8 ± 6.0 | 76.0 | 94.4 | 61.0 |
| + DeepRefusal | 0.0 | 1.5 | 0.0 | 13.0 | 0.0 | 3.6 ± 5.4 | 34.0 | 90.1 | 60.1 |
| + 本文方法 (Ours) | 0.0 | 3.0 | 1.5 | 2.0 | 0.2 | 1.7 ± 1.0 | 88.0 | 97.1 | 60.3 |
| Gemma2-9B 基座 | 1.5 | 40.0 | 81.0 | 32.0 | 47.1 | 50.0 ± 18.7 | 100.0 | 97.4 | 67.5 |
| + Augmented RT | 2.0 | 23.5 | 64.5 | 31.5 | 33.0 | 38.1 ± 15.6 | 100.0 | 97.4 | 51.4 |
| + CAT | 0.5 | 6.5 | 0.5 | 23.0 | 0.7 | 7.7 ± 9.2 | 72.0 | 98.6 | 66.9 |
| + LAT | 0.0 | 1.0 | 0.0 | 17.5 | 0.3 | 4.7 ± 7.4 | 74.0 | 93.7 | 67.2 |
| + DeepRefusal | 0.0 | 11.0 | 6.0 | 26.0 | 0.5 | 10.9 ± 9.5 | 62.0 | 96.5 | 66.2 |
| + 本文方法 (Ours) | 0.0 | 1.0 | 0.5 | 3.0 | 1.2 | 1.4 ± 0.9 | 76.0 | 96.2 | 67.1 |
消融实验¶
为了验证多特征联合消融（MFA）、方向识别策略（RDO vs DIM）以及训练数据自生成方式的核心作用，论文在 Gemma2-2B 上开展了系统消融对比：
| 训练配置与变体 | 平均 ASR(%) ↓ | XSTest CR(%) ↑ | Alpaca CR(%) ↑ | 综合依从率 CR(%) ↑ | 语言理解 Acc(%) ↑ | 说明与机理解析 |
|---|---|---|---|---|---|---|
| 完整模型 (Ours) | 1.7 | 88.0 | 97.1 | 92.6 | 60.3 | 10轮迭代 MFA + RDO 优化 + 本地自生成数据 |
| w/o MFA (改用单特征消融 SFA) | 8.6 | 86.0 | 96.5 | 91.3 | 60.1 | 仅消融上一轮方向，ASR 激增 80.2%，模型反复复用旧方向形成代偿 |
| w/o RDO (改用 DIM 提取方向) | 0.9 | 87.0 | 96.0 | 91.5 | 54.8 | DIM 提取方向与良性语义纠缠，导致通用准确率骤降 5.5% |
| w/o 自适应数据 (改用固定外源数据) | 3.2 | 82.0 | 92.0 | 87.0 | 59.8 | 跨模型语调与分布偏移使 ASR 相对增加 46.8%，依从率显著下降 |
| 仅训练 3 轮迭代 (\(K=3\)) | 14.5 | 78.0 | 96.0 | 87.0 | 60.2 | 冗余通路尚未充分构建，抵御黑盒 PAIR 和 GCG 能力较弱 |
| 效用权重 \(\lambda = 0.5\) | 0.5 | 62.0 | 94.0 | 78.0 | 59.9 | 效用约束不足导致良性敏感指令（XSTest）严重过度拒绝 |
| 效用权重 \(\lambda = 2.0\) | 2.6 | 94.0 | 98.0 | 96.0 | 60.5 | 偏向良性效用导致对抗防御能力略有松动 |
此外，针对特征消融攻击（独立屏蔽 DIM 或 RDO 特征）的测试表明，基座模型在 DIM 消融下 ASR 高达 60.0%–92.0%，而本文方法在 4 个模型上的平均消融 ASR 仅为 2.5%（其中 Gemma2-9B 在 DIM 和 RDO 消融下 ASR 均为 0.0%），完胜所有基线（基线消融 ASR 高达 5.5%–22.4%）。
关键发现¶
- 多特征正交消融是构建因果冗余的决定性机制：在机理因果分析中，当对学到的全部 10 个方向进行累积联合消融时，本文模型的 ASR 仅从 0% 轻微上升至 1%，表明模型内部已涌现出深层非线性或更深维度的自适应拒绝机制；而单特征消融（SFA）训练的模型在方向累积消融下面临防线全面崩溃，ASR 一路飙升至 97%。
- 越狱攻击无法全局压制异构拒绝通路：激活余弦相似度分析显示，GCG 仅能使学到的前 5 个方向激活降低 10–15%，AutoDAN 和 PAIR 虽对前 2 个方向抑制达 53–58%，但后序方向 \(\mathbf{r}_3 \sim \mathbf{r}_5\) 仍维持高强度激活（抑制率仅 25–36%），彻底打破了对抗提示词试图通过单一特征抑制越狱的通道。
- 参数高效更新具备天然正则化红利：在 LoRA（\(r=128\)，5% 参数）微调下，Gemma2-9B 的良性依从率从全量微调的 86.1% 进一步提升至 94.4%，Llama3-8B 从 95.2% 提升至 97.3%，证明低秩约束能够有效抑制参数破坏性漂移，是超大模型低成本部署故障关闭对齐的理想方案。
亮点与洞察¶
- 将系统可靠性中的“故障关闭”原则形式化引入 LLM 安全架构：颠覆了传统对齐领域“对抗数据越多越安全”的经验主义认知，从表征几何与因果干预视角确立了“安全对齐必须具备内在因果通路冗余”的结构性准则。
- 通过 QR 正交空间投影实现自底向上的表征解耦与强制重构：巧妙利用线性代数正交投影算子，在无需修改复杂神经网络架构的前提下，以前向传播张量计算的形式彻底阻断既有拒绝表征，倒逼梯度更新探索全新特征空间。
- 算力开销极度友好且原生兼容参数高效微调：每次更新仅需约 2 次前向与反向传播，效率显著高于每步迭代优化对抗潜变量的 CAT 和 LAT（算力节约达 5.5 倍），且能与低秩适配器（LoRA）完美融合。
局限与展望¶
- 高阶迭代特征趋于非线性：机制分析中发现第 6 至第 10 轮发现的方向在有害提示下的余弦相似度接近于 0，说明模型后期转向依赖更深层次的非线性组件或注意力路由，线性特征识别算法难以充分刻画这部分高阶表征。
- 极端敏感提示的依从率仍有微小代价：在 Llama2-7B 等基座对齐底座较生硬的模型上，过度拒绝评测集 XSTest 的依从率虽显著优于基线（46% vs LAT 的 10%），但距离基座原有水平仍有一定差距，后续可探索细粒度指令意图感知消融。
- 多模态与超长上下文拓展：当前验证主要集中于纯文本 LLM，未来需要将故障关闭原则推广至视觉-语言模型（VLM）跨模态越狱防御以及具身智能体动作安全防护中。
相关工作与启发¶
- vs DeepRefusal (Xie et al., 2025): DeepRefusal 在训练前仅静态计算一个全局均值差分（DIM）拒绝方向并做随机层消融；本文指出单一静态方向容易被复杂越狱绕过，通过动态迭代发现并使用正交基联合消融全部历史方向，消除了表征代偿漏洞。
- vs 潜在对抗训练 LAT (Chao et al., 2024; Casper et al., 2025): LAT 在训练时需要对内部潜变量进行多步内层对抗梯度上升优化，显存与时间开销极其昂贵（每步需 11 次前反向传播）；本文通过解析几何的正交投影消融实现无梯度内层循环，不仅提速 5.5 倍，而且防御黑盒越狱与特征消融的能力显著更强。
- vs 外部输入过滤器与推理期防御: 外部检测器与输入过滤存在延迟高、容易被混淆和编码绕过的痛点；本文构建的是模型内在的原生免疫机制，与外部防护策略完全正交且可无缝叠加。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出大模型故障关闭对齐范式，通过多方向正交投影消融迫使模型构建因果冗余通路，立意深刻。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 种模型架构、4 种代表性白黑盒越狱、特征与神经元消融、因果干预以及严谨的效用评测，论证扎实完备。
- 写作质量: ⭐⭐⭐⭐⭐ 动机阐述环环相扣，数学形式化清晰，机制解释与可视化层层递进。
- 价值: ⭐⭐⭐⭐⭐ 为解决开源模型微调安全性脆弱与对抗越狱问题提供了兼具理论洞察与极高工程落地价值的标准范式。