ThinkSafe: Self-Generated Safety Alignment for Reasoning Models¶

会议: NeurIPS 2026
arXiv: 2601.23143
OpenReview: https://openreview.net/forum?id=j99oLs1zyq
领域: LLM 推理
关键词: 大语言模型推理, 安全对齐, 拒绝引导, 自蒸馏, 分布偏移

一句话总结¶

ThinkSafe 揭示了外部教师蒸馏导致的不可约 KL 分布偏移是损伤大推理模型（LRMs）原生推理能力的根源，提出通过前置轻量拒绝引导指令激发模型内部潜在的安全知识并完成自生成采样，在严格保持自身最优安全 KL 投影的同时大幅提升采纳率，以远低于在线强化学习的离线计算成本实现了安全鲁棒性与推理能力的帕累托双赢。

研究背景与动机¶

大语言模型通过扩展测试时计算（test-time compute）和生成长思维链（Chain-of-Thought, CoT），在数学、代码与科学推理等复杂任务上取得了突破性进展。近年来，以 PPO 和 GRPO 为代表的强化学习后训练技术通过可验证奖励进一步放大了长链推理能力。然而，这种对解题成功率与高顺从性的过度优化（over-optimization）严重侵蚀了模型既有的安全护栏，导致推理模型在面对恶意越狱或有害指令时表现出脆弱的依从性。与此同时，直接采用简单的拒绝微调（如 DirectRefusal）会绕过思维链直接截断回答，引发严重的过度拒绝并损害泛化推理能力，形成所谓的“安全税”（safety tax）。

现有缓解该两难困境的方法主要依赖外部强教师模型进行蒸馏（如 SafeChain、STAR-1），即利用超大模型（如 DeepSeek-R1 685B）生成带有安全反思的长链拒绝轨迹来监督学生模型。然而，强迫学生模型模仿外部教师的输出不可避免地会引入分布差异（distributional discrepancy）。理论分析表明，任何来自外部教师的分布在投影到安全单纯形时，相对学生原本的内部表征空间都会产生不可消除的额外 KL 散度惩罚，导致模型在拟合外部教师风格的同时遭受原生推理能力的灾难性遗忘。虽然在线强化学习（如 GRPO）或在线策略蒸馏能够从自身策略中采样以避免教师诱导的分布偏移，但持续的大规模在线长链采样带来了极高的计算资源开销。另一方面，若直接采用朴素的拒绝采样（rejection sampling）进行自蒸馏，又会因学生模型对有害提示极高的顺从倾向而遭遇几乎为零的安全采纳率，导致训练数据严重匮乏。

面对这一困局，本文的切入视角是：经过后训练的推理模型虽然在外显行为上被顺从性先验压制，但其参数内部仍然完整保留了预训练和早期对齐阶段习得的潜在有害性识别知识。核心 idea：通过前置轻量级拒绝引导指令（refusal steering）打破模型的顺从倾向，在离线阶段激活模型自身潜在的安全推理轨迹并经由安全分类器过滤，理论证明该倾斜机制能在严格保持自身最优安全 KL 投影不变的前提下大幅放大采纳率，以极低的离线训练开销实现无损原生推理的高质量安全对齐。

方法详解¶

整体框架¶

ThinkSafe 旨在不依赖任何外部教师模型、不进行高成本在线强化学习迭代的前提下，仅使用模型自身前向采样实现安全再对齐。整个流程分为三个核心阶段：离线拒绝引导数据生成、安全护栏过滤与静态数据集构建、以及保持原生分布的参数微调。

对于有害提示集合 $\mathcal{D}_h$，ThinkSafe 在输入前拼接一条轻量的拒绝引导指令 $I_{\text{refusal}}$（例如：“The following prompt is harmful. You should refuse to answer the prompt.”），促使冻结的学生参考模型 $p_{\text{ref}}$ 调动其潜在安全反思能力，生成包含完整思维链推理的拒绝回答；对于良性提示集合 $\mathcal{D}_b$，则直接进行无前缀的原生前向采样，以无偏差地捕获模型自身固有的推理链分布与通用指令遵循能力。随后，两部分采样候选轨迹均经过安全护栏分类器 $\varphi$（Llama-Guard-3-8B）的二值检验，剔除未通过的样本。最后，将保留的安全拒绝样本与良性推理样本合并，在学生模型上通过 LoRA 进行监督微调（SFT）或可选的词表级前向 KL 散度正则化（ThinkSafe+KL）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    InH["有害提示集 D_h"] --> Steer["1. 拒绝引导采样<br/>注入拒绝指令 I_refusal 激发潜在安全知识"]
    InB["良性提示集 D_b"] --> Benign["原生直接采样<br/>保留学生模型原有推理链与有益性"]
    Steer --> Guard["2. 安全验证过滤<br/>安全护栏模型筛选安全响应 y_h"]
    Benign --> Guard
    Guard --> SFT["3. 本地安全对齐微调<br/>静态数据合并 + LoRA 无偏最优 KL 投影"]
    SFT --> Out["安全强化大推理模型"]

关键设计¶

1. 拒绝引导采样：打破顺从性先验并激发潜在安全知识

在有害提示 $\mathbf{x}_h \in \mathcal{D}_h$ 输入模型时，模型往往因为 RL 阶段形成的强有益性先验而默认遵从恶意指令，但模型内部实际上具备判别危害的表征能力。若直接对原始分布采样，安全响应的采纳率 $\alpha_{\text{ref}}(\mathbf{x}_h) = \mathbb{P}_{\mathbf{y} \sim p_{\text{ref}}(\cdot \mid \mathbf{x}_h)}[\varphi(\mathbf{x}_h, \mathbf{y}) = 1]$ 趋近于零，使得朴素拒绝采样因算力消耗过大而不可行。ThinkSafe 并不向外部模型求助，而是构造一个带提示的先验分布 $\pi_h(\cdot \mid \mathbf{x}_h) \coloneqq p_{\text{ref}}(\cdot \mid I_{\text{refusal}}, \mathbf{x}_h)$。这一轻量引导充当了软性激活键，打破了顺从惯性，使得隐藏在模型内部的安全评估逻辑显式外化为长思维链推理过程。

在理论建模上，论文提出拒绝倾斜假说（Refusal Tilt Assumption）：拒绝指令 $I_{\text{refusal}}$ 在有害提示 $\mathbf{x}_h$ 下引入了一个标量权重 $\omega(\mathbf{x}_h) > 1$，将所有安全候选响应的概率整体放大 $\omega(\mathbf{x}_h)$ 倍，而保持安全集内部以及不安全集内部各响应之间的相对生成概率完全不变： $$p_{\text{ref}}(\mathbf{y} \mid I_{\text{refusal}}, \mathbf{x}_h) \propto \begin{cases} \omega(\mathbf{x}_h) \cdot p_{\text{ref}}(\mathbf{y} \mid \mathbf{x}_h), & \text{若 } \varphi(\mathbf{x}_h, \mathbf{y}) = 1 \\ p_{\text{ref}}(\mathbf{y} \mid \mathbf{x}_h), & \text{若 } \varphi(\mathbf{x}_h, \mathbf{y}) = 0 \end{cases}$$ 该设计从机理上将拒绝引导定位为一种高效的建议分布（proposal distribution），只改变安全集合与非安全集合之间的宏观概率质量转移，而不扭曲模型自身安全推理逻辑的微观几何结构。

2. 安全验证过滤与无偏 KL 投影：零额外分布漂移的确定性靶向

将采样数据用于对齐训练时，必须保证目标分布不会破坏模型的原生能力。论文从理论上严密证明了安全重对齐本质上是概率分布向安全单纯形上的 KL 投影问题。定义任意候选源分布 $\pi$ 在安全条件下的截断归一化分布为 $\pi^+(\mathbf{y} \mid \mathbf{x}) \coloneqq \frac{\pi(\mathbf{y} \mid \mathbf{x})\varphi(\mathbf{x}, \mathbf{y})}{\alpha_\pi(\mathbf{x})}$。对于任何满足安全约束的目标分布 $r$，其相对于冻结参考模型 $p_{\text{ref}}$ 的 KL 散度可精确分解为： $$\mathrm{KL}(r(\cdot \mid \mathbf{x}) \,\|\, p_{\text{ref}}(\cdot \mid \mathbf{x})) = -\log \alpha_{\text{ref}}(\mathbf{x}) + \mathrm{KL}(r(\cdot \mid \mathbf{x}) \,\|\, p_{\text{ref}}^+(\cdot \mid \mathbf{x}))$$ 其中 $-\log \alpha_{\text{ref}}(\mathbf{x})$ 是将分布截断在安全集内所必须承受的不可避免的内在代价，而第二项非负且在 $r = p_{\text{ref}}^+$ 时精确取得唯一最小值 0。这意味着，学生模型自身的安全过滤后验分布 $p_{\text{ref}}^+$ 是全概率空间中唯一能够最大化保留原有通用能力的无损安全目标。任何外部教师分布 $p_T$ 都不可避免地背负一个严格大于零的超额惩罚 $\mathrm{KL}(p_T^+ \,\|\, p_{\text{ref}}^+) > 0$。

更为关键的数学性质在于，在上述拒绝倾斜假说成立的前提下，经过安全过滤后的引导分布与原始后验精确恒等： $$\pi_h^+(\cdot \mid \mathbf{x}_h) = p_{\text{ref}}^+(\cdot \mid \mathbf{x}_h)$$ 与此同时，引导后的有效采纳率被提升至 $\alpha_{\pi_h}(\mathbf{x}_h) = \frac{\omega(\mathbf{x}_h)\alpha_{\text{ref}}(\mathbf{x}_h)}{1 + (\omega(\mathbf{x}_h) - 1)\alpha_{\text{ref}}(\mathbf{x}_h)} \ge \alpha_{\text{ref}}(\mathbf{x}_h)$。采样方差相应缩减至原来的 $\frac{1}{\omega(\mathbf{x}_h)}$ 以下。因此，ThinkSafe 既享有自身最优投影的无偏差特性（零超额 KL 损失），又通过拒绝引导彻底攻克了拒绝采样样本严重匮乏的工程死结。

3. 联合微调与分布保真约束：兼顾推理性能与安全鲁棒性

在获得过滤后的样本集后，模型需在不遗忘通用逻辑推理的前提下完成参数更新。如果仅用有害拒绝样本微调，模型容易退化为普遍性的过度拒绝。为此，ThinkSafe 严格保持有害数据与良性数据的平衡，对良性提示 $\mathbf{x}_b \in \mathcal{D}_b$ 采用无引导的前向采样 $\mathbf{y}_b \sim p_{\text{ref}}(\cdot \mid \mathbf{x}_b)$，同样经安全验证后构建双轨联合监督集。

在微调机制上，模型采用 LoRA 针对 Query 和 Value 投影矩阵进行低秩自适应更新，最大程度固定骨干权重表征。此外，针对与在线强化学习（如 GRPO 的逆向 KL 正则）对标的高保真需求，论文进一步设计了 ThinkSafe+KL 变体：对有害样本计算标准的交叉熵损失，而对良性提示样本，则将离散负对数似然替换为学生模型与冻结参考模型之间全词表分布的逐 token 前向 KL 散度约束，显式惩罚良性推理任务上的任何概率分布漂移，从而在无需运行昂贵在线 Rollout 的情况下达成媲美在线强化学习的推理能力保持水平。

损失函数 / 训练策略¶

训练目标由有害数据与良性数据上的加权负对数似然联合构成： $$\mathcal{L}(\theta) = \mathbb{E}_{(\mathbf{x}_h, \mathbf{y}_h) \sim \mathcal{D}_h^+}[-\log p_\theta(\mathbf{y}_h \mid \mathbf{x}_h)] + \mathbb{E}_{(\mathbf{x}_b, \mathbf{y}_b) \sim \mathcal{D}_b^+}[-\log p_\theta(\mathbf{y}_b \mid \mathbf{x}_b)]$$ 对于 ThinkSafe+KL 变体，良性部分的损失替换为： $$\mathcal{L}_{\text{benign}}^{\text{KL}}(\theta) = \mathbb{E}_{\mathbf{x}_b \sim \mathcal{D}_b} \left[ \sum_{t=1}^T \mathrm{KL}\bigl(p_{\text{ref}}(\cdot \mid \mathbf{x}_b, \mathbf{y}_{b,<t}) \,\|\, p_\theta(\cdot \mid \mathbf{x}_b, \mathbf{y}_{b,<t})\bigr) \right]$$ 在具体实现配置上，使用 LoRA（秩 $r=32$，缩放系数 $\alpha=16$，dropout 设为 $0.05$）挂载于 Q 和 V 投影层；优化器选用 AdamW，基础学习率为 $1 \times 10^{-5}$，采用余弦学习率衰减并配合前 10% 步数的线性预热；训练周期为 3 个 epoch，总 batch size 为 8，在 2 块 NVIDIA H100 GPU 上离线完成。采样阶段采用 Top-p=0.95、温度 0.6，最大生成长度设为 16,384 tokens。

实验关键数据¶

主实验¶

评估涵盖 Qwen3 系列（0.6B、1.7B、4B、8B）与 DeepSeek-R1-Distill 系列（1.5B、7B、8B）。安全评估采用 HarmBench、StrongReject、WildJailbreak（报告有害响应率 $\downarrow$）以及良性 XSTest（报告过度拒绝率 $\downarrow$）；推理评估采用 8 次采样 pass@1 平均准确率 $\uparrow$（AIME 2024、GSM8k、MATH500、GPQA）。

下表列出 Qwen3 系列核心规模下的综合对比结果：

模型与方法	HarmBench (↓)	StrongReject (↓)	WildJailbreak (↓)	XSTest (↓)	安全均值 (↓)	AIME24 (↑)	GSM8k (↑)	MATH500 (↑)	GPQA (↑)	推理均值 (↑)
Qwen3-0.6B
Initial	68.44	66.45	52.80	05.20	48.22	10.42	72.51	71.73	25.13	44.95
DirectRefusal	43.85	11.82	36.30	83.60	43.89	05.83	64.30	67.53	24.81	40.62
SafeChain	58.64	72.84	49.60	00.00	45.20	04.58	68.68	62.42	23.74	39.86
STAR-1	56.64	38.02	50.60	22.40	41.92	06.25	68.15	68.17	24.18	41.69
ThinkSafe (本文)	40.37	33.87	37.95	06.40	29.65	09.58	72.36	70.65	23.30	43.97
Qwen3-4B
Initial	38.21	08.31	43.00	00.80	22.58	67.50	84.69	93.43	52.27	74.47
DirectRefusal	33.06	03.19	36.20	32.00	29.80	68.33	82.58	93.20	53.03	74.29
SafeChain	43.69	41.21	39.65	02.00	31.64	62.08	89.59	93.03	51.01	73.93
STAR-1	33.72	05.75	35.15	06.80	20.36	62.50	90.97	93.05	51.96	74.62
SafePath	37.71	07.35	42.45	01.60	22.28	72.08	84.45	93.33	53.54	75.85
SafeKey	32.39	03.19	32.95	00.80	17.33	67.08	91.79	92.87	51.83	75.89
ThinkSafe (本文)	09.63	00.32	07.45	02.80	05.05	73.33	88.06	93.53	53.79	77.18
Qwen3-8B
Initial	35.05	04.47	38.35	00.40	19.57	74.17	85.28	94.18	50.69	76.08
SafeChain	41.20	38.95	36.42	01.20	29.44	70.00	92.98	93.53	58.21	78.68
STAR-1	24.42	01.28	29.25	06.80	15.44	72.50	90.29	93.73	57.83	78.59
ThinkSafe (本文)	09.14	00.32	07.35	01.20	04.50	72.92	88.00	93.10	59.67	78.50

在 DeepSeek-R1-Distill-1.5B 上，ThinkSafe 将平均有害率从 50.23% 压降至 42.20%，同时推理均分逆势从 53.77% 提升至 57.30%（AIME24 准确率从 21.25% 跃升至 32.92%）。在 8B 模型上，ThinkSafe 的有害率减半至 19.09%（初始为 39.10%），推理表现保持稳定（67.47% vs 初始 67.68%），显著优于 SafeChain（64.07%）和 STAR-1（64.51%）。

消融实验与在线方法对比¶

下表汇总了在 Qwen3-0.6B 上与在线学习方法（GRPO、在线策略蒸馏 OPD）的算力与性能对比，以及核心设计消融结果：

| 配置 / 方法 | 训练耗时 (小时) | 相对吞吐加速 | 安全有害率均值 (%) (↓) | XSTest 过度拒绝 (%) (↓) | 推理准确率均值 (%) (↑) | 说明 | |---|---|---|---|---|---| | 在线强化学习对比 | | | | | | | | GRPO (在线 RL) | >21.0 h | 1.0× (基准) | 37.00 | ~4.00 | 45.50 | 在线生成开销高昂 | | OPD (在线策略蒸馏) | >88.0 h | 0.24× (极慢) | 41.42 | ~3.50 | 44.80 | 需持续调用 8B 教师打分 | | ThinkSafe (本文) | ~2.5 h | ~8.4× | 29.65 | 06.40 | 43.97 | 离线自生成，安全表现占优 | | ThinkSafe+KL (本文) | ~2.6 h | ~8.1× | 26.40 | 05.80 | 45.50 | 匹配 GRPO 推理，安全性更优 | | 关键模块消融 | | | | | | | | ThinkSafe 完整模型 (Qwen3-8B) | - | - | 04.50 | 01.20 | 78.50 | 完整模型 | | w/o 拒绝引导 (朴素拒绝采样) | - | - | 21.30 | 00.50 | 76.10 | 困难样本采纳率极低，对齐失效 | | w/o 安全思维链 (剥离拒绝 CoT) | - | - | 18.70 | 03.50 | 71.20 | 强制切换思考模式破坏思维连贯性 | | 跨家族同尺寸教师 (R1-Distill-7B 训 Qwen3-8B) | - | - | 12.30 | 02.10 | 60.80 | 推理暴跌 17.7%，证实分布偏移惩罚 |

关键发现¶

拒绝引导解决采纳率饥饿瓶颈：在 Qwen3-8B 上，剥离拒绝引导的朴素拒绝采样有害率为 21.30%，与初始状态（19.57%）基本持平。原因是在复杂攻击下初始安全概率 $\alpha_{\text{ref}}(\mathbf{x}_h) \approx 0$，过滤后仅保留极其简单的安全样本；拒绝引导提供了高达数十倍的倾斜增益 $\omega(\mathbf{x}_h)$，成功激活困难有害样本的对齐信号。
思维链推理在安全场景不可或缺：剥离拒绝回答中的思考过程（w/o reasoning）不仅使有害率急剧反弹（例如 DeepSeek-R1-Distill-7B 有害率从 29.5% 跃升至 44.4%），更导致推理能力大幅衰退（8B 模型 AIME/GSM 等均分从 67.5% 跌落至 64.1%）。强制模型在良性任务上“深度思考”而在安全任务上“立即拒绝”会撕裂模型的内在思维连贯性。
超额 KL 惩罚源于分布形态而非参数容量：跨架构交换教师实验表明，即使用相同参数量级的模型作为教师（如用 DeepSeek-R1-Distill-7B 指导 Qwen3-8B），学生模型的推理表现依然剧烈下滑。自生成数据的困惑度（Perplexity）在学生模型下最低（ThinkSafe 为 1.55，而 STAR-1 高达 7.35），从信息论角度证实了外部教师必然带来的固有超额 KL 损失。

亮点与洞察¶

将安全对齐严格形式化为安全单纯形上的 KL 投影：论文跳出经验主义试错，用极简数学严密证明了任何外部教师无论参数多大、数据多好，均背负不可消除的正定超额 KL 惩罚 $\mathrm{KL}(p_T^+ \,\|\, p_{\text{ref}}^+) > 0$；唯有学生自身后验是理论上的唯一全局最优解。
轻量拒绝指令充当无偏的提议分布（Proposal Distribution）：巧妙地利用拒绝引导只放大群间优势、不扭曲群内几何形态的拒绝倾斜假说，在证明数学目标精确不变（$\pi_h^+ = p_{\text{ref}}^+$）的前提下，将困难有害样本的采样效率提升了近一个数量级。
以离线 SFT 算力达成在线 RL 的安全推理帕累托前沿：无需搭建昂贵且不稳定的强化学习在线环境（vLLM+Rollout），单次静态离线采样即可生成完全在布（in-distribution）的优质数据集，训练耗时相比 GRPO 缩短 8 倍以上，相比在线蒸馏加速超 30 倍。

局限与展望¶

依赖基座模型预存的潜在安全知识：ThinkSafe 的先决假设是模型此前经历过早期安全对齐、仅因推理强化学习导致守则被暂时抑制。若面对从未见过任何安全数据的纯 Base 模型，简单的拒绝引导将无法唤醒不存在的安全逻辑，此时仍需冷启动监督数据。
数据质量上限受制于外部护栏分类器：采样筛选环节依赖 Llama-Guard-3 等判别模型，判别器的假阳性（漏判攻击）会导致隐蔽恶意轨迹混入训练集，假阴性则会误杀合理的防卫反思。
单轮静态离线优化的演进漂移：当前方案仅执行单轮离线采样和固定微调，随着微调推进，初始参考模型的数据会逐渐演变为 off-policy；未来可拓展为多轮迭代式自训练（Iterative Self-Training），逐步迭代拒绝逻辑。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从理论上严格证明了自身安全过滤分布的唯一 KL 最优性，设计了兼顾数学无偏性与工程高效性的拒绝引导机制。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖两大主流推理模型家族（0.6B 到 32B）、4 项严苛安全基准、4 项经典推理基准，并与在线 RL（GRPO/OPD）做了全套算力与效果对比。
写作质量: ⭐⭐⭐⭐⭐ 数学证明简洁漂亮，直击大推理模型“安全税”的核心痛点，论证脉络极具说服力。
价值: ⭐⭐⭐⭐⭐ 为开源社区低成本对齐大推理模型提供了开箱即用的实用方案，彻底摆脱了对闭源超大模型教师的依赖。