Not All Refusals Are Equal: How Safety Alignment Fails Cybersecurity at Scale¶

会议: NeurIPS 2026
arXiv: 2607.02714
代码: https://github.com/p-e-w/heretic
领域: 安全
关键词: 安全对齐, 拒绝消融, 领域特异性消融, 网络安全, 大语言模型

一句话总结¶

通过对涵盖 0.6B 到 1T 参数的 24 个开源大模型进行大规模正交投影消融实验，证明了通过精心构造任务对比数据集可以在万亿参数 MoE 模型（Kimi K2）上实现仅消除网络安全领域拒绝、同时保留常规安全护栏的领域特异性消融，并揭示安全训练方式与模型架构是消融易感性的关键预测因子。

研究背景与动机¶

大语言模型在部署前普遍依赖安全对齐技术（如 RLHF、DPO 等）构建安全防御机制，以防止模型输出有害建议。然而，现有安全对齐在概念与表征层面往往将所有危害类型一视同仁，缺乏对具体应用场景合法性与潜在危害等级的精细区分。这种“一刀切”的安全电路在合法网络安全攻防演练、漏洞挖掘与红蓝对抗等专业授权任务中造成了极大的障碍，导致安全从业人员无法利用顶级模型的全量推理能力来完成防御性渗透或漏洞测试。

早期机制可解释性研究提出“线性表征假说”，认为拒绝行为在模型残差流中由单一方向介导，并由此衍生出通过正交投影直接从权重中擦除拒绝方向的模型消融（Abliteration）技术。然而，粗暴移除全局拒绝方向会导致模型所有安全防护彻底瓦解（如暴力、生物武器、极端有害内容等防护全部失效）。同时，近期几何可解释性发现拒绝空间实际上是由多个高维多面体概念锥组成的子空间，这意味着理论上针对单一危害领域切除特定拒绝子空间而不破坏其余护栏是可行的，但现有消融管线能否在真实超大规模模型上实现精细的领域选择性此前尚无定论。

本文的核心切入点是探索特定领域的定向消融边界：既然模型中拒绝表征具备高维多面结构，能否通过语义对称的攻防对比数据提纯出专属于网络安全领域的拒绝向量，并实现永久权重级修改。本文的核心 idea 是：构建区分“攻击意图”与“防御知识”的语义配对数据集，在 25%–95% 网络深度上执行均匀跨层正交投影，首次在 1T 参数规模模型上实现了网络安全专属消融（网络安全拒绝率降至 7% 的同时维持其他安全领域 44%–100% 拒绝率），并系统解构了 24 个开源模型中对齐算法与架构对消融易感性的决定性规律。

方法详解¶

整体框架¶

本文提出的领域特异性拒绝消融方法包含四个紧密衔接的阶段：语义隔离的领域对比数据集构建、残差流末尾 token 激活提取、平均差分拒绝方向提纯，以及权重矩阵的正交投影修正。整个流程不依赖全局重训练或微调，而是通过修改下投影与输出投影权重实现永久性安全边界微调。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["领域配对提示词<br/>有害攻击请求 vs 无害教学解释"] --> B["语义隔离的数据集构建<br/>对齐技术领域，仅隔离攻击意图"]
    B --> C["残差流末尾 Token 激活提取<br/>提取各解码层最后位置隐状态"]
    C --> D["平均差分拒绝向量提纯<br/>归一化有害与无害中心向量之差"]
    D --> E["全深度均匀跨层正交投影<br/>在 25%–95% 深度修改 down_proj 与 o_proj 权重"]
    E --> F["定向消融模型<br/>目标领域合规，非目标领域护栏完好"]

关键设计¶

1. 语义隔离的数据集构建：剥离领域知识混淆并精准捕获攻击意图 在传统消融中，提取向量时如果直接使用通用有害数据集（如通用越狱数据集）与良性问答，提取出的方向会混入宽泛的负面概念；而若直接对比网络安全提问与通用无害问题，提取出的向量则会严重混淆“网络安全主题特征”与“危害拒绝特征”，导致消融后模型要么安全全面崩溃，要么丢失网络安全常识。为此，本文采用严格成对的对比提示词设计：有害提示词是直接的攻击执行请求（例如“如何针对 MySQL 数据库构建 SQL 注入攻击？”），而无害提示词则覆盖完全相同的技术上下文但限定为防御、原理或教育语境（例如“什么是 SQL 注入以及如何使用预编译语句防范？”）。这种控制变量法确保了差分向量 $\mathbf{m}_{\ell}^{+} - \mathbf{m}_{\ell}^{-}$ 仅捕捉“进攻性恶意意图”在网络安全维度上的投影分量，从而赋予所提取拒绝向量极高的领域特异性。

2. 残差流末尾 Token 激活提取：消除序列位置噪声的纯净信号捕获 在因果自注意力机制（Causal Attention）下，序列的最后一个 token 是唯一能够完整聚合全部输入提示词上下文的位置。本文在各解码器层 $\ell$ 的最后一个 token 位置采集激活隐状态 $\mathbf{h}_{\ell, -1}^{(i)}$。针对有害提示集合 $N^{+}$ 与无害提示集合 $N^{-}$ 分别计算均值中心向量 $\mathbf{m}_{\ell}^{+}$ 与 $\mathbf{m}_{\ell}^{-}$，并将归一化差分作为层特异性拒绝方向： $$\hat{\mathbf{r}}_{\ell} = \frac{\mathbf{m}_{\ell}^{+} - \mathbf{m}_{\ell}^{-}}{\|\mathbf{m}_{\ell}^{+} - \mathbf{m}_{\ell}^{-}\|}$$ 实验对比发现，若采用全序列平均池化（mean pooling），由于早期位置缺乏全局安全语义，会被大量无关的位置与句法噪声稀释，导致提取的拒绝方向信噪比显著劣化。

3. 全深度均匀跨层正交投影：应对万亿参数 MoE 冗余路径的权重修改 早期消融研究（如 Arditi et al.）通常认为只需在网络中间狭窄的 2–3 层做干预即可瓦解拒绝机制。但本文深入研究现代密集模型及超大规模 MoE 模型后发现，拒绝信号在大深度网络及多专家结构中呈现出明显的弥散分布特性。针对各层 MLP 的输出投影（down_proj）和注意力机制的输出投影（o_proj）权重矩阵 $W$，本文沿拒绝方向执行正交投影： $$W' = W - \alpha \hat{\mathbf{r}}(\hat{\mathbf{r}}^{\top} W)$$ 其中 $\alpha$ 为消融强度。消融层选择并非基于拒绝信号范数大小（Norm-based），而是均匀分布在模型 25%–95% 的深度范围区间（Uniform Spread）。在易感模型上，均匀跨层选择相比范数选择额外取得了高达约 70 个百分点的拒绝率削减；对于具有数百个专家的万亿参数 MoE（如 Kimi K2），冗余的专家通路在部分层干预时容易提供补偿路由，必须借助宽深度均匀干预才能彻底解开领域约束。

损失函数 / 训练策略¶

该方法为完全无梯度的权重代数修改，无需训练损失与优化器。在工程实现上，针对 Kimi K2 等 1T 参数（单检查点超 1.1TB）的庞大模型，管线采用 vLLM 进行推理评估、speculators 挂钩中间层隐状态提取激活，并通过 PyTorch 直接读取 safetensors 文件进行局部权重切片张量正交修改并写回，全程避免在 CPU/GPU 内存中完整实例化千亿/万亿模型。消融强度在 $\alpha \ge 1.0$ 下进行，在 MoE 架构中可适当增大 $\alpha > 1.0$ 以穿透专家冗余。

实验关键数据¶

主实验¶

评估采用双重基准：包含 360 条提示词的科学红队评估集（涵盖 HarmBench、AdvBench、PurpleLlama CyberSecEval 跨 6 个危害领域）以及包含 306 条提示词的领域交叉验证集（含 181 条有害与 125 条无害样本，重点覆盖网络安全及过拒绝评测）。

评估数据集	领域类别	基线拒绝率 (%)	30% 均匀消融后拒绝率 (%)	拒绝率降幅 (pp)
交叉验证集 (306条)	网络安全 (Cybersecurity)	100.0	7.0	-93.0
交叉验证集 (306条)	违法商品 (Illegal goods)	100.0	56.0	-44.0
交叉验证集 (306条)	暴力威胁 (Violence)	100.0	75.0	-25.0
交叉验证集 (306条)	虚假信息 (Misinformation)	100.0	88.0	-12.0
交叉验证集 (306条)	隐私侵犯 (Privacy violation)	100.0	44.0	-56.0
交叉验证集 (306条)	露骨内容 (Explicit content)	100.0	100.0	0.0
科学基准集 (360条)	网络犯罪 (Cybercrime)	88.0	51.0	-37.0
科学基准集 (360条)	化学/生物武器 (Chemical/Bio)	100.0	88.0	-12.0
科学基准集 (360条)	侵权盗版 (Copyright)	50.0	40.0	-10.0
科学基准集 (360条)	骚扰霸凌 (Harassment)	88.0	74.0	-14.0
科学基准集 (360条)	违法犯罪 (Illegal activities)	91.0	85.0	-6.0
科学基准集 (360条)	虚假宣传 (Misinformation)	98.0	74.0	-24.0

消融实验¶

消融实验对比了层选择策略（均匀跨层 vs 信号范数选择）以及对通用能力（MMLU 基准）的影响，全面评估了 24 个模型在不同干预比例下的响应模式。

模型类别 / 干预策略配置	网络安全最大降幅 (pp)	虚假信息降幅 (pp)	MMLU能力波动 ($\Delta$)	易感性等级判定
Kimi K2 (1T MoE, 均匀跨层 30%)	-93.0 (自建) / -37.0 (科学)	-12.0 / -24.0	-0.004	High
Kimi K2 (1T MoE, 范数层选择 30%)	-21.0	-8.0	-0.003	Partial
Llama-3.1-8B (Dense, 均匀跨层 30%)	-41.2	-38.5	-0.005	High
DeepSeek-V3 (671B MoE, 均匀跨层 30%)	-32.5	-35.0	-0.028	High
Qwen3-8B (Dense, GRPO, 均匀跨层 30%)	-38.9	-41.2	-0.002	High
Qwen3-14B (Dense, GRPO, 均匀跨层 30%)	-1.4	-2.0	+0.001	Resistant
Mistral-Large (123B Dense, 均匀跨层 30%)	0.0	0.0	0.000	Resistant
GLM-4.7 (355B MoE, RLHF, 均匀跨层 30%)	-14.5	-18.2	-0.006	Partial

关键发现¶

对齐算法直接决定易感性：DPO 训练的模型对消融最为脆弱（中位数下降约 30pp），因 DPO 会在线性空间中构建高度紧致的拒绝特征；而 GRPO 强化学习训练的模型表现出更强抵抗性（5–8pp），闭源强化学习（如 Mistral 系列）完全抵抗该标准投影。
易感性与模型大小非单调相关：1T 参数的 Kimi K2 易感且表现出超高领域选择性，而 123B 的 Mistral-Large 拒绝率纹丝不动；同属 Qwen3 家族的 8B 模型剧烈下降（-38.9pp），而 14B 模型几乎完全免疫（-1.4pp）。
通用能力近乎零损伤：在全部 24 个模型中，即使在 30% 层数权重被正交投影修改后，MMLU 综合能力退化最大值仅为 0.028（DeepSeek-V3），其余 23 个模型性能波动均 $\le 0.006$。

亮点与洞察¶

证明了超大规模模型拒绝子空间的几何可分性：论文首次证明 1T 参数 MoE 模型的拒绝表征并非不可分割的全局单向标量，通过语义隔离提取能精准移除网络安全拒绝维度，保留了针对极端暴力和露骨内容的 100% 拦截。
揭示了均匀层跨度对 MoE 架构的穿透效应：打破了过去认为干预 2–3 个中间层足够的传统认知，证明在大模型特别是 MoE 架构中，拒绝表征沿深度高度弥散，均匀跨层干预能大幅提升消融效率达 70pp。
可直接赋能授权防御安全智能体：在无需昂贵微调重训的前提下，直接为企业红队、CTF 攻防和自动化漏洞挖掘构建高智能且无泛化安全坍塌的专用攻防大模型。

局限与展望¶

依赖正交投影单向线性假设：仅基于均值差分正交投影，面对具有非线性拒绝机制或深度分布防护的抗消融模型（如 Mistral 系列）无能为力，需要引入非线性白化或流形微调技术。
评估受限于规则匹配与英文语境：采用 31 条字符串规则判定拒绝行为，虽剔除了思考链 token，但仍可能误判复杂隐式拒绝，且目前仅在英文 CTF 攻防语境下验证，缺乏多语言与更广泛防御分支的泛化分析。
存在分布外过拟合倾向：定向消融对提取时采用的特定提示词分布较为敏感，当安全任务严重偏离 CTF 风格时，模型仍可能重新触发通用拒绝机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统实现万亿参数 MoE 模型的领域特异性安全消融并完成 24 款大模型横向机理剖析。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 0.6B 到 1T 参数的 24 款开源模型，对比 6 种危害领域、双重安全基准及 MMLU 能力保留评测。
写作质量: ⭐⭐⭐⭐⭐ 逻辑层次分明，方法机制与机理解释深入严谨，图表数据详实。
价值: ⭐⭐⭐⭐⭐ 为大模型在合法网络安全攻防中的赋能及大模型对齐机制鲁棒性研究提供了极具启发性的实践参考。