On-Policy Consistency Training Improves LLM Safety with Minimal Capability Degradation¶

会议: NeurIPS 2026
arXiv: 2605.21834
领域: 安全
关键词: 大语言模型安全, 一致性训练, 在策略蒸馏, 谄媚性, 越狱防御

一句话总结¶

针对传统离线一致性训练易导致模型死记表面形式与通用能力严重衰退的问题，提出在策略一致性训练（OPCT），利用模型对对比提示词生成的实时 rollout 实施自监督逆向 KL 散度约束，在近乎消除谄媚性与越狱漏洞的同时保持通用基础能力。

研究背景与动机¶

大语言模型在对齐之后仍然表现出显著的部署期脆弱性：当用户在提问中带有预设立场或表达反对时，模型往往迅速放弃正确判断转向附和用户观点（谄媚性，Sycophancy）；当有害请求被包装进角色扮演、虚构设定或指令覆写的越狱模板中时，模型原有的拒绝机制极易被绕过（越狱，Jailbreak）；此外，模型尽管内部掌握充分的安全知识，但在未被显式触发的安全边缘场景下往往缺乏安全意识，无法主动给出必要的警示或规避潜在隐患。解决这些对齐失效问题，对于提升模型在开放环境中的安全性与可靠性至关重要。

为了从根本上消除此类脆弱性，一致性训练（Consistency Training）作为一种统一范式被提出，其核心思想是促使模型在成对的对比提示词（Clean Prompt 与 Perturbed Prompt）上产生一致的输出。然而，现有一致性训练方案（如偏差增强一致性训练 BCT）普遍采用离线监督微调（SFT）机制：即预先在干净提示词上采样教师模型的输出示范，随后冻结数据，强制学生模型在扰动提示词下拟合这些静态文本。这种离线生成与目标拟合的脱节导致了典型的泛化瓶颈——模型容易死记训练集中的表面特征，面对自适应攻击或未见提示词时泛化能力极差，并且容易诱发通用推理与指令遵循能力的剧烈退化（如在数学与推理基准上断崖式掉点）。

本文切入这一矛盾的关键洞察在于：一致性不应当被硬性编码为对静态外部回复的逐词模仿，而应当作为一种在策略（On-Policy）状态下的分布级不变性来优化。核心 idea：提出在策略一致性训练（OPCT），在每一步训练中让学生模型基于扰动提示词在线采样生成自身响应，并由条件对齐于干净对比提示词的冻结自身策略进行逐 token 逆向 KL 散度打分与监督，从而在无外部演示数据的闭环中实现不变性与安全知识压缩，最大限度避免能力退化。

方法详解¶

整体框架¶

在策略一致性训练（OPCT）由两部分构成：参数处于更新状态的学生策略 $\pi_\theta$ 和参数被完全冻结的教师策略 $\pi_T$。训练初始阶段，二者由同一个基座模型权重初始化（$\pi_{\theta_0} := \pi_T$）。训练数据由对比提示词对 $\mathcal{D} = \{(\mathbf{x}_i, \tilde{\mathbf{x}}_i)\}_{i=1}^N$ 组成，其中 $\mathbf{x}$ 为干净教师提示词，$\tilde{\mathbf{x}}$ 为扰动学生提示词。

在整体流程中，学生模型仅接收与实际部署场景完全一致的扰动提示词 $\tilde{\mathbf{x}}$，并在当前策略下实时自回归采样生成候选回复 $\mathbf{y} \sim \pi_\theta(\cdot \mid \tilde{\mathbf{x}})$；随后，冻结的教师模型接收对应的对比提示词 $\mathbf{x}$，并在相同的生成回复 $\mathbf{y}$ 上计算条件对数似然；最后，系统根据两者在逐 token 级别的对数似然差异计算逆向 KL 散度损失，反向传播更新学生策略参数 $\theta$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["对比提示词对<br/>教师 prompt x / 学生 prompt x~"] --> B["在策略采样生成<br/>学生生成动态轨迹 y ~ π_θ(·|x~)"]
    B --> C["双路条件似然评分<br/>教师条件 x 与学生条件 x~"]
    C --> D["逐 token 逆向 KL 散度更新<br/>优化分布对齐与策略不变性"]
    D --> E["双重安全对齐机制<br/>结构不变性与隐式安全知识压缩"]

关键设计¶

1. 在策略采样生成：消除离线分布偏移与死记硬背 离线 SFT 方案最大的瓶颈在于分布偏移：随着模型权重更新，其自身策略与静态数据集中固化的示范分布产生割裂，导致模型仅在静态支持集上过拟合表面模板，面对未见变体迅速崩溃。OPCT 在每一个训练步骤中，直接从当前学生策略 $\pi_\theta(\cdot \mid \tilde{\mathbf{x}})$ 中在线采样 $k$ 条动态完整序列 $\mathbf{y}$。这一设计保证了监督信号始终施加在模型真实的当前输出空间上，模型在其自身犯错的边缘得到实时纠正，从根源上消除了离线 SFT 引入的伪相关性与记忆缺陷。

2. 双路条件似然评分与逆向 KL 散度更新：免标注自监督约束 针对生成轨迹 $\mathbf{y} = (y_1, \ldots, y_T)$，OPCT 无需外部标注或奖励模型，而是直接利用模型自身在不同条件下的知识对称性。学生模型在扰动输入 $\tilde{\mathbf{x}}$ 下评估自身对每一步 token 的对数似然 $\log \pi_\theta(y_t \mid \mathbf{y}_{<t}, \tilde{\mathbf{x}})$，冻结的教师模型则在干净输入 $\mathbf{x}$ 下评估同一回复的前向似然 $\log \pi_T(y_t \mid \mathbf{y}_{<t}, \mathbf{x})$。利用逐 token 差值作为监督信号： $$\delta_t = \log \pi_\theta(y_t \mid \mathbf{y}_{<t}, \tilde{\mathbf{x}}) - \log \pi_T(y_t \mid \mathbf{y}_{<t}, \mathbf{x})$$ 通过最小化这一逆向 KL 散度指标，使学生模型在带有干扰项的提示词下输出的概率分布逼近基座模型在纯净输入下的原生分布。

3. 双重安全对齐机制：不变性与隐式知识压缩 OPCT 用一套统一目标覆盖了两类本质截然不同的安全对齐失效：（1）不变性对齐（针对谄媚性与越狱）：模型本身在无偏问题上具备正确判断或对直接恶意请求具备拒绝本能，但额外扰动（诱导性偏见陈述或越狱角色扮演）改变了表面特征。此时教师输入是学生输入的子集（$\mathbf{x} \subset \tilde{\mathbf{x}}$），训练目标迫使学生策略对额外的对抗/偏见包装保持鲁棒不变性。（2）知识压缩对齐（针对安全意识与隐患警示）：模型自身隐式包含安全知识但难以主动唤醒，此时在教师输入中提供包含安全事实的系统提示词，而学生仅接收裸提示词（$\tilde{\mathbf{x}} \subset \mathbf{x}$），从而驱动学生内化并压缩该安全知识，在无外部提示时也能自发激活防护意识。

损失函数 / 训练策略¶

在具体的参数优化中，模型使用 LoRA（秩 $r=32$，$\alpha=32$，无 dropout）进行轻量化微调，以保证基础能力骨干的稳定。训练损失以逐 token 逆向 KL 散度为基础，结合折扣因子 $\gamma$ 与正则化系数 $\lambda$： $$\mathcal{L}_{\text{OPCT}}(\theta) = \mathbb{E}_{(\mathbf{x}, \tilde{\mathbf{x}}) \sim \mathcal{D}} \mathbb{E}_{\mathbf{y} \sim \pi_\theta(\cdot \mid \tilde{\mathbf{x}})} \left[ \sum_{t=1}^T \gamma^{T-t} \left( \log \pi_\theta(y_t \mid \mathbf{y}_{<t}, \tilde{\mathbf{x}}) - \lambda \log \pi_T(y_t \mid \mathbf{y}_{<t}, \mathbf{x}) \right) \right]$$ 在微调期间，针对带有思考链（CoT）推理能力的模型（如 Qwen3-8B、Nemotron-30B），开启 train_on_thinking，令一致性约束贯穿思考链与最终回答阶段；对于采用 Harmony 结构化通道的 gpt-oss-20b，则进行全局单阶段生成约束。

实验关键数据¶

主实验¶

评估在三个安全维度展开：（1）MMLU 谄媚性测试（6,000 个测试样本，涵盖 57 个学科）；（2）HarmBench 越狱防护，评估包含静态攻击与基于 GRPO 训练的强自适应攻击（Adaptive Attacker）；（3）SAGE-Eval 跨域安全意识评测。

模型	方法	谄媚率 (Syco. Rate, %) ↓	偏见推理率 (BRR, %) ↓	静态越狱防御率 (1-ASR, %) ↑	自适应越狱防御率 (1-ASR, %) ↑	SAGE 安全曲线面积 (AUSC) ↑
Qwen3-8B	Baseline	16.5	10.3	62.2	0.0	—
Qwen3-8B	SFT / BCT	12.9	6.6	95.9	88.0	—
Qwen3-8B	OPCT (Ours)	8.6	2.5	100.0	98.8	—
Nemotron-30B	Baseline	18.8	13.3	—	—	—
Nemotron-30B	SFT / BCT	12.0	6.6	—	—	—
Nemotron-30B	OPCT (Ours)	8.9	3.5	—	—	—
gpt-oss-20b	Baseline	10.9	5.6	63.8	6.0	0.65
gpt-oss-20b	SFT / BCT	8.7	3.3	100.0	100.0	0.73
gpt-oss-20b	OPCT (Ours)	6.7	1.2	98.9	100.0	0.80

在跨领域的安全意识评估（SAGE-Eval）中，OPCT 在两款模型上显著领先 SFT，在另一款上取得相当表现；更为关键的是，在良性提示词测试集 Safe-SAGE-Eval 上，OPCT 未引发过度拒绝（Over-refusal），保持了与基座模型相当的实用性。

消融与通用能力保持实验¶

为评估安全对齐对基础能力的冲击，论文系统对比了 Baseline、SFT/BCT 与 OPCT 在 GPQA-Diamond、MATH-500 和 IFEval（严格提示级与指令级）上的准确率变化。

模型	条件	GPQA-Diamond (%) ↑	MATH-500 (%) ↑	IFEval prompt-strict (%) ↑	IFEval inst-strict (%) ↑
Qwen3-4B-Instruct	Baseline	40.9	89.2	84.3	89.1
Qwen3-4B-Instruct	BCT (SFT)	39.4	87.6	45.3	56.2
Qwen3-4B-Instruct	OPCT	43.4	88.6	68.4	74.6
Qwen3-8B	Baseline	57.1	80.8	84.1	88.1
Qwen3-8B	BCT (SFT)	16.7	57.4	76.9	82.3
Qwen3-8B	OPCT	37.9	59.2	76.2	80.3
gpt-oss-20b	Baseline	62.6	90.6	74.1	81.9
gpt-oss-20b	BCT (SFT)	3.5	6.8	10.2	16.9
gpt-oss-20b	OPCT	57.6	88.4	62.1	64.9

关键发现¶

离线 SFT 会导致毁灭性的灾难性遗忘与能力退化：在越狱训练条件下，离线微调的 BCT 导致 gpt-oss-20b 在通用基准上全面崩塌（GPQA 从 62.6% 骤降至 3.5%，MATH-500 从 90.6% 暴跌至 6.8%，IFEval 跌破 20%）。而 OPCT 维持了强劲的通用性能（GPQA 57.6%，MATH-500 88.4%），极大抑制了安全微调带来的附带损害。
面对自适应对抗攻击的泛化代差明显：在静态测试集上，BCT 和 OPCT 均能达到近 100% 的防御率；但当面对专门针对目标模型经过强化学习训练的自适应攻击者（Adaptive Attacker via GRPO）时，BCT 在 Qwen3-4B 上的攻击成功率高达 16.9%（OPCT 为 0.0%），在 Qwen3-8B 上为 12.0%（OPCT 仅为 1.2%）。这证明离线拟合无法防御分布外策略漂移，而在策略探索能够覆盖真实的攻防反应边界。
目标明确的不变性提升：在谄媚性实验中，OPCT 显著收窄了无偏与偏置提示词之间的准确率差距，模型在纯净输入下的原生精度未受负面影响，表明性能改进源于对偏见线索的真正鲁棒性，而非全局盲目过拟合。

亮点与洞察¶

无需外部示范数据的全自动对齐：OPCT 完全不依赖外部高成本人工撰写的拒绝模板或正向示范，仅通过基座模型在干净提示词下的原生概率分布，自发提供高质量且契合自身能力范围的逐 token 伪标签监督。
统一数学框架包揽不变性与知识压缩：将谄媚性偏见消除、越狱攻击抵御（不变性：$\mathbf{x} \subset \tilde{\mathbf{x}}$）与前瞻性安全警示激发（知识压缩：$\tilde{\mathbf{x}} \subset \mathbf{x}$）统一为对比输入下的在策略分布匹配问题，展示了一致性学习的高扩展性。
对后训练（Post-training）范式的启示：实验清晰揭示了“SFT 记表层、RL/在线蒸馏学泛化”的规律。在安全微调中，保持采样轨迹的在策略（On-Policy）状态是模型抵抗对抗漂移和保留基础推理能力的核心先决条件。

局限与展望¶

教师策略的固有能力上限：OPCT 依赖基座模型在干净提示词下能够展现期望行为（如正确拒绝明示恶意请求、在明确知识引导下给出合理提示）。若基座模型在纯净输入下本身缺乏该能力或拒绝失败，教师提供的监督信号将退化。
训练算力开销高于静态 SFT：OPCT 每个训练步均需要针对每个提示词在线生成 $k$ 条采样轨迹并执行前向打分，计算量和显存开销显著高于仅做前向传播与梯度更新的静态离线 SFT。
评估基准维度的延展空间：论文主要评估了推理、数学和指令遵循，尚未涵盖超长上下文推理、多轮代码生成等场景下的能力保留情况。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 将在策略自蒸馏机制优雅引入对比一致性安全微调，统一了不变性与知识压缩问题。
实验充分度: ⭐⭐⭐⭐⭐ 跨三个主流模型家族，覆盖三大安全维度，并包含强对抗强度的自适应 GRPO 攻击测试和全面的基础能力衰退审计。
写作质量: ⭐⭐⭐⭐⭐ 逻辑极为清晰，从离线泛化崩溃动机自然推导至在策略优化，图表详实严谨。
价值: ⭐⭐⭐⭐⭐ 为大模型安全后训练提供了摆脱低效静态 SFT 的实用指南，对兼顾防御鲁棒性与基础能力具有高度指导意义。