跳转至

SafeSteer: Localized On-Policy Distillation for Efficient Safety Alignment

会议: EMNLP 2026
论文: ACL Anthology
领域: 大模型对齐
关键词: 安全对齐、对齐税、在线策略蒸馏、激活干预、局部逆KL散度

一句话总结

SafeSteer 针对安全特征在词表中天然稀疏的特性,构建基于激活干预的拒绝教师并以此挖掘安全敏感词子集,仅在该子集上实施无重归一化的在线策略逆 KL 蒸馏,仅用 100 条有害样本且无需任何通用数据,即可在大幅降低攻击成功率的同时消除对齐税。

研究背景与动机

随着大语言模型(LLM)被广泛部署于对话系统与智能体交互场景,其输出中潜在的安全风险——如仇恨言论、违法建议、偏见歧视及恶意越狱攻击——引起了学术界与工业界的严密审视。人类价值观对齐因此成为基础模型部署前不可或缺的环节。然而,主流安全对齐范式往往面临沉重的“对齐税”(alignment tax):模型在习得拒绝有害请求的同时,其通用常识、数学推理与代码编写等核心能力往往发生显著退化。

现有主流对齐方法普遍将安全性与通用能力建模为双目标优化冲突,为了遏制遗忘,通常依赖在训练集中混入海量通用问答语料(如混合 DPO)、引入复杂的外部安全奖励模型实施约束优化(如 SafeRLHF、MoCAN),或利用正交投影算法将安全梯度强行约束至通用表征的零空间(如 NSPO)。然而,这些方案不仅极大地增加了对齐的计算开销与数据清洗负担,且未能从根本上解决分布干预过广的问题。实际上,语言模型生成空间中的安全语义特征极其稀疏,绝大多数词元(tokens)与模型的基础推理能力高度正交。全局性的概率惩罚机制无差别地冲击了全词表,正是诱发通用能力退化的核心根源。

本文切入的角度是:对齐不应被处理为全局的目标权衡,而应被约束为极小空间上的局部化精准修正。在线策略蒸馏(On-Policy Distillation, OPD)天然具备避免分布偏移和消除模式覆盖的优势,但标准 OPD 的全词表逆向 KL 散度依然会损伤通用词元。核心 idea:利用残差流激活干预构建稳定的自监督安全教师,通过差异对数概率投票算法自动挖掘稀疏安全敏感词子集,并在在线策略蒸馏中仅针对该子集施加未归一化的局部逆 KL 惩罚,以轻量且极少样本的方式彻底解耦安全对齐与通用能力保留。

方法详解

整体框架

SafeSteer 的核心目标是在不引入外部通用数据、不训练辅助奖励模型的前提下,实现极高数据效率(仅 100 条有害提示词)与零通用能力退化的安全对齐。整体流水线分为两大阶段:首先,离线构建安全教师并提取安全敏感词子集;随后,在有害提示词上进行学生模型的在线策略局部逆 KL 蒸馏。

在第一阶段,框架基于基础模型 \(\pi_0\) 的中间残差流注入预先提取的拒绝向量,构建能够对任何请求都输出稳定拒绝响应的激活干预安全教师 \(\pi_t\)。接着,让安全教师在无害数据集(Alpaca)上采样拒绝轨迹,并将轨迹分别送入 \(\pi_t\) 与基础模型 \(\pi_0\) 进行前向推理,计算每个位置各候选词元的差异对数概率(Contrastive Log Probability)。通过在轨迹序列上的多步投票聚合,筛选出全词表中对拒绝方向最敏感的 Top-\(K\) 个安全词元子集 \(\mathcal{S}\)。

在第二阶段,利用从 PKU-SafeRLHF 随机抽取的极少量有害提示词,学生模型 \(\pi_s\) 自采样生成多条响应轨迹。在每一个生成时间步,计算学生模型与教师模型在预提取集合 \(\mathcal{S}\) 内部的局部逆向 KL 散度损失,反向传播更新学生模型参数,而全词表外其余通用词元的概率分布保持未受约束。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["基础模型输入"] --> B["激活干预安全教师构建<br/>残差流注入拒绝方向生成稳定拒绝轨迹"]
    B --> C["差异对数概率投票筛选<br/>教师与基模对比生成 Top-K 安全词子集 S"]
    C --> D["未归一化局部逆KL蒸馏<br/>有害提示词多轨迹采样与稀疏子集惩罚"]
    D --> E["对齐后安全学生模型 π_s"]

关键设计

1. 激活干预安全教师构建:避免提示工程脆弱性与外部教师依赖

传统在线策略自蒸馏通常依赖针对输入设计的安全系统提示词(System Prompt)或外部更强大的闭源教师模型来提供监督信号。然而,系统提示词构建的教师在面对复杂攻击或良性指令时极易产生不稳定的拒绝行为,导致蒸馏监督信号噪声大,且需要强大的上下文理解能力。SafeSteer 借鉴表征工程的思路,通过对比模型在有害与无害指令下的中间隐藏层状态提取出单一维度的拒绝方向向量 \(d \in \mathbb{R}^{d_{\text{model}}}\)。在指定变换器模块层 \(\ell\) 的输入残差流前向注册钩子(Forward Pre-hook),对隐状态实施常量平移: $\(h^\star_\ell = h_\ell + d\)$ 该干预操作在序列所有 token 位置连续生效。实验表明,该机制赋予了教师模型 \(\pi_t\) 极强的抗干扰拒绝稳定性,在各类指令下几乎呈现 100% 的拒绝率,且彻底摆脱了对外部超大教师模型和提示词微调的依赖。

2. 差异对数概率投票筛选:自监督挖掘纯净深层安全敏感词集

直接根据有害样本的生成结果往往难以提取高质量的安全关键词,因为未对齐模型的输出充斥着有害内容本身。SafeSteer 采取了反直觉但极其高效的设计:让干预后的安全教师 \(\pi_t\) 在无害指令数据集 \(\mathcal{D}_{\text{harmless}}\) 上生成长度为 \(H\) 的拒绝轨迹 \(\{r^{(n)}\}_{n=1}^N\)。由于输入完全良性,生成内容完全由拒绝方向主导,从而保证提取出的安全词元具备最高纯度。在每个时间步 \(j\),通过同时对 \(\pi_t\) 与原始基模 \(\pi_0\) 执行前向计算,定义词元 \(v \in \mathcal{V}\) 的差异对数概率: $\(\Delta_j^{(x,n)}(v) = \log \frac{p_t(v \mid x, r^{(n)}_{<j})}{p_0(v \mid x, r^{(n)}_{<j})}\)$ 为了防止极端差值 token 扰乱全局排序,算法在每一步只为差值排名前 \(K'\) 的候选词投出指示票(Indicator Vote),并在多条轨迹与全序列步长上累加: $\(\text{vote}(v) = \sum_{x \in \mathcal{D}_{\text{harmless}}} \sum_{n=1}^N \sum_{j=1}^{H_{x,n}} \mathbf{1}\left(v \in C_j^{(x,n)}\right)\)$ 最终取总得票最高的 Top-\(K\) 个词构成稀疏安全子集 \(\mathcal{S}\)(文中设 \(|\mathcal{S}|=50\))。该机制能够随着响应步长 \(H\) 的扩展(如 \(H=5 \sim 7\)),有效滤除表层拒答词(如 "I", "Sorry"),深层捕获表征安全核心概念的语义词(如 "illegal", "harmful", "unethical")。

3. 未归一化局部逆KL蒸馏:切断通用能力空间受损的梯度路径

传统策略蒸馏使用全词表逆向 KL 散度(Reverse KL Divergence),由于其 mode-seeking(模式寻求)特性,非常适合驱使学生模型收敛至明确的拒绝模式。但在全词表 \(\mathcal{V}\) 上施加惩罚会不可避免地压缩通用知识词元的概率质量,进而诱发灾难性能力退化。SafeSteer 将逆向 KL 散度的求和范围严格限定在已选定的稀疏集合 \(\mathcal{S}\) 上: $\(\mathcal{L}_t^{(m)}(\theta_s) = \sum_{v \in \mathcal{S}} p_s(v) \log \frac{p_s(v)}{p_t(v)}\)$ 最为关键的理论与工程设计在于:计算该损失时,直接使用原始模型输出的条件概率切片 \(p_s(v \mid x, y_{<t}^{(m)})\) 与 \(p_t(v \mid x, y_{<t}^{(m)})\),而坚决不在子集 \(\mathcal{S}\) 上执行局部 Softmax 重归一化(Re-normalization)。消融分析揭示,未归一化的概率切片保留了全词表概率总和为 1 的绝对数值锚点,自然约束了 \(p_s(v)\) 的绝对概率量级;若强制在 \(\mathcal{S}\) 内重归一化,优化器将无节制地强行推高集合 \(\mathcal{S}\) 中 token 的原始 logits,挤占掉词表中其余通用能力 token 的概率空间,导致模型在数学与代码基准上遭遇毁灭性退化。

损失函数 / 训练策略

在训练阶段,算法仅使用从 PKU-SafeRLHF 随机抽样的 100 条有害指令。对于每个批次内的样本 \(x \in \mathcal{D}_{\text{harmful}}\),学生模型 \(\pi_s\) 采样 \(M=8\) 条完整响应轨迹。批次平均损失函数为所有有效时间步上的局部逆 KL 散度均值: $\(\mathcal{L}(\theta_s) = \mathbb{E}_{b, m} \left[ \frac{1}{T^{(b,m)}} \sum_{t=1}^{T^{(b,m)}} \mathcal{L}_t^{(b,m)}(\theta_s) \right]\)$ 其中 \(T^{(b,m)}\) 为第 \(b\) 个样本的第 \(m\) 条轨迹的有效生成长度。模型优化时,Qwen 家族模型采用学习率 1e-5,Llama 家族模型采用学习率 1e-6,仅在 2 张 NVIDIA H100 GPU 上微调 1 个 epoch 即可收敛。

实验关键数据

主实验

论文在四种主流开源基础模型(Qwen3-4B-Instruct、Qwen2.5-7B-Instruct、Llama-3.2-3B-Instruct、Llama-3-8B-Instruct)上进行了系统评估。安全测试涵盖 5 个有害基准(AdvBench、PKU-SafeRLHF、HarmBench、JailbreakBench、SORRY-Bench)与 2 个红队基准(HarmfulQA、ALERT),报告攻击成功率(ASR %,越低越好);通用能力涵盖 MMLU、AlpacaEval(胜率)、GSM8K、MATH500 与 HumanEval(Pass@1)。下表摘录温度为 0 时 Qwen 系列与 Llama 系列的主对比数据:

模型与方法 安全 AdvB ↓ 安全 PKU-Safe ↓ 安全 HarmB ↓ 安全 SORRY ↓ 安全 Avg ASR ↓ 通用 MMLU ↑ 通用 GSM8K ↑ 通用 HumanEval ↑ 通用 Avg ↑
Qwen3-4B-Instruct (Base) 0.30 1.71 5.00 6.82 2.87 70.61 73.08 92.07 71.68
+ DPO-Mix 0.19 1.00 0.00 9.09 1.70 70.61 75.89 90.85 67.10
+ MoCAN 0.00 0.10 0.00 6.82 1.13 62.98 72.18 90.24 69.35
+ W-DOOR 0.19 1.10 1.00 14.55 2.78 65.26 42.29 27.44 48.00
+ BFPO 0.00 0.20 0.00 6.59 1.14 70.60 73.31 90.24 71.49
+ NSPO 0.00 0.30 0.00 6.82 1.18 70.65 73.24 90.85 71.42
+ SafeSteer (本文) 0.00 0.07 0.00 5.91 0.91 70.67 73.47 90.85 71.39
Qwen2.5-7B-Instruct (Base) 0.30 1.80 5.00 19.32 4.59 71.70 70.35 81.70 68.90
+ DPO-Mix 0.58 3.91 13.50 32.73 8.89 71.61 77.10 73.78 61.44
+ MoCAN 0.00 1.24 3.50 23.18 4.92 70.18 68.91 84.76 68.44
+ W-DOOR 1.35 2.38 14.50 31.70 8.93 68.00 63.84 26.83 54.21
+ BFPO 0.00 0.80 4.50 16.36 3.75 71.86 71.49 83.54 69.48
+ NSPO 0.19 1.51 5.00 19.55 4.68 71.76 70.51 82.93 68.86
+ SafeSteer (本文) 0.19 0.20 0.50 7.27 1.48 71.63 72.71 82.32 69.17
Llama-3.2-3B-Instruct (Base) 0.19 3.85 4.00 19.55 5.26 62.19 72.78 53.67 63.61
+ SafeSteer (本文) 0.19 2.24 0.50 18.86 4.06 61.64 72.02 53.04 62.86
Llama-3-8B-Instruct (Base) 0.19 0.74 2.50 17.27 3.75 64.72 66.34 60.98 63.64
+ SafeSteer (本文) 0.00 0.74 1.50 17.09 3.54 64.63 65.04 60.98 63.18

消融实验

为验证核心设计(局部逆向 KL 散度与概率切片未归一化)的作用,作者测试了前向 KL、全词表无局部约束(w/o safety token)以及强制重归一化(w/ renorm)等变体。下表展示了核心消融指标:

评估维度与配置 Qwen3-4B Qwen2.5-7B Llama-3.2-3B Llama-3-8B 说明
通用能力均分 (MATH & HumanEval, T=0)
SafeSteer (Full) 59.03 53.76 44.92 45.49 完整模型:保持最佳通用能力
- 替换为前向 KL (w/ forward KL) 58.22 49.45 41.25 43.59 模式覆盖特性导致能力明显下降
- 去除安全词限制 (w/o safety token) 58.63 52.86 41.05 43.18 全词表惩罚显著损伤复杂推理
概率重归一化消融 (T=0)
SafeSteer 安全 Avg ASR ↓ 0.91 1.48 4.06 3.54 标准设计实现强安全防护
w/ renorm 安全 Avg ASR ↓ 0.72 0.21 4.23 3.25 重归一化略微增强拒绝倾向
SafeSteer 通用 Avg 指标 ↑ 71.39 69.17 62.86 63.18 通用能力近乎无损保留
w/ renorm 通用 Avg 指标 ↑ 70.79 66.13 58.10 62.86 Llama-3.2-3B 大跌 4.76 分,GSM8K 暴跌至 48.67

关键发现

  • 对齐税的本质解耦:PCA 隐藏层表征分析显示,干预后的安全教师 \(\pi_t\) 在良性输入上产生了巨大的表征偏移(呈现过度拒绝),但通过稀疏安全词元逆 KL 蒸馏出的学生模型 \(\pi_s\) 与基础模型 \(\pi_0\) 的隐藏层表征分布几乎 100% 重合。这直接证明了稀疏约束成功将安全拒绝机制与通用表征空间隔离。
  • 未归一化是保全常识与推理的胜负手:消融实验证明,如果在安全词子集 \(\mathcal{S}\) 上执行 Softmax 重归一化,优化器失去了全词表概率总和的基准约束,会强行放大安全词的绝对 logits,在 Llama-3.2-3B 上导致 GSM8K 从 72.02 暴跌至 48.67(温度为 1.0 时甚至崩塌至 33.28)。保持未归一化概率切片是算法能够保留通用能力的关键数学支柱。
  • 响应长度 \(H\) 的质变效应:当拒绝轨迹长度限制为 \(H=1\) 时,挖掘出的安全词集中在表层礼貌词(如 "I", "Sorry", "cannot");当放宽至 \(H=5 \sim 7\) 时,词集迅速转变为深度语义词(如 "illegal", "harmful", "unethical"),推动模型从表层应激式拒绝跃迁为深层语义安全认知。

亮点与洞察

  • 极简数据开销颠覆对齐范式:以往对齐基准(如 BFPO、NSPO、SafeRLHF)动辄需要数万条精心清洗的偏好对或混合数十万条通用指令,而 SafeSteer 仅需 100 条有害指令且完全不使用任何通用数据,在单机 2 卡 H100 上几分钟内即可完成高效对齐。
  • 未归一化概率切片求逆 KL 的巧妙设计:巧妙利用了概率切片的非归一化特性保留绝对量级信息,避免了局部集合内概率和为 1 导致的 logits 无限膨胀,为稀疏约束优化提供了极佳的理论借鉴。
  • 迁移潜力:该局部蒸馏思路可直接推广至其他垂直对齐场景(例如模型幻觉消除、事实性对齐、版权保护等),只需将拒绝方向替换为特定事实性干预向量,并挖掘对应敏感词集合即可实现即插即用的精准编辑。

局限与展望

  • 依赖基模已有的隐式拒绝表征:SafeSteer 需要利用基模在激活干预下的拒绝表现来构建安全教师,这意味着基模必须是经过指令微调、具备一定隐式拒绝能力模型,无法直接应用于纯预训练(Pretrained Base)无对齐模型。
  • 实验规模未覆盖超大模型:受算力限制,论文所有验证均在 10B 以下参数模型(3B-8B)上进行,更大体量模型(如 70B+)上的拒绝方向线性度与敏感词集大小是否需要自适应调整仍待进一步验证。
  • 模态与架构局限:目前验证仅局限于自回归文本模型,尚未探索在多模态视觉语言模型(VLM)或扩散语言模型(DLLM)中的适配机制。

相关工作与启发

  • vs DPO-Mix / BFPO: 后者依赖混合大量通用数据来对抗遗忘,不仅数据获取成本高昂,且实验证明单纯混入通用数据依然可能导致对抗性越狱成功率(ASR)不降反升;SafeSteer 完全不依赖通用数据,利用稀疏惩罚在源头阻断遗忘。
  • vs NSPO (零空间约束策略优化): NSPO 试图在参数更新时将梯度正交投影到通用特征空间的零空间,计算开销大且依赖通用特征协方差矩阵估计;SafeSteer 直接在词元概率空间进行稀疏截断,机制更直观轻量。
  • vs Circuit Breaker / 表征干预: 表征重定向通常需要修改模型权重使其隐藏状态在遭遇有害请求时发散,SafeSteer 则将表征工程局限在离线教师构建阶段,最终模型依然保留纯粹的标准自回归生成架构。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 颠覆双目标权衡直觉,将表征干预与稀疏词元在线策略蒸馏优雅结合。
  • 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 4 个主流模型、7 个安全基准与 5 个能力基准,深入进行了 PCA 隐藏层表征与多项消融验证。
  • 写作质量: ⭐⭐⭐⭐⭐ 论证环环相扣,从问题根源、几何表征直觉到理论与实验展开极为连贯。
  • 价值: ⭐⭐⭐⭐⭐ 仅需 100 条有害样本即可实现无损安全对齐,对开源模型的高效低成本微调部署极具实用价值。