Curriculum Learning for Safety Alignment¶

会议: NeurIPS 2026
arXiv: 2605.26315
代码: https://github.com/Sandeep5500/curriculum-learning-for-safety
领域: 安全
关键词: 课程学习, 安全对齐, 直接偏好优化, 越狱鲁棒性, 样本效率

一句话总结¶

针对直接偏好优化（DPO）在安全对齐中表层脆弱且易受越狱攻击的瓶颈，提出结合模型感知偏好对齐边界评分、分阶段能力边界采样与参考模型渐进更新的 Staged-Competence 课程学习框架，显著提升分布外安全泛化与深层对齐鲁棒性。

研究背景与动机¶

大语言模型的安全对齐旨在让模型在面对有害诱导提示时坚决拒绝，同时对良性请求保持高可用性。直接偏好优化（DPO）因其无需独立训练复杂奖励模型、直接在偏好对数据上优化策略的优势，已成为当前开源与闭源模型安全对齐的主流范式。然而，标准 DPO 对齐后的模型表现出严重的表层脆弱性：防御效果高度聚集在输出序列的前几个拒绝标记（如“I cannot fulfill...”），一旦面对越狱攻击（如对抗性前缀填充 Prefill 或可迁移后缀对抗 GCG），或者遇到分布外（OOD）的有害意图表达，安全机制极易被完全击穿。

这种脆弱性的核心症结在于现有对齐训练范式对数据难度的忽视。传统 DPO 在微调过程中采用均匀随机打乱采样，并在整个训练周期内将参考模型锚定在初始未对齐状态。然而，安全偏好样本之间存在巨大的认知跨度：有些样本模型在零样本生成时已能清晰辨别并拒绝，而另一些高诱导性样本则极具误导性。如果不对样本难度施加认知进阶梯度，随机暴露的高难诱导样本容易导致策略在梯度剧烈振荡中陷入次优甚至捷径拟合；同时，固定的旧参考模型使得模型在训练后期缺乏适应性梯度信号，无法向更深层次的语义表征传递安全约束。

受认知科学与经典机器学习课程学习思想的启发，如果让模型从自身易于分辨的偏好样本开始循序渐进地构建安全防御边界，再逐步接触更具迷惑性的高难攻击样本，便能学习到更具判别力与鲁棒性的安全表征。本文的核心 idea 是：提出一种名为 Staged-Competence 的两阶段安全课程学习框架，首先基于未对齐基座模型的零样本输出与偏好对的几何嵌入距离定义全局可比的“偏好对齐边界”；随后将数据划分为难度递进的阶段，在阶段内采用平方根能力函数动态渐进扩充候选样本池，并在阶段间同步更新参考模型，实现从易到难、由浅入深的立体化鲁棒对齐。

方法详解¶

整体框架¶

Staged-Competence 的整体流程划分为难度评分（Phase 1: Difficulty Scoring）与课程训练（Phase 2: Curriculum Training）两大阶段。在第一阶段，框架避免使用启发式规则，而是以未对齐基座模型自身的表现为基准，计算每个偏好对的“偏好对齐边界（Preference Alignment Margin）”，从而建立跨全数据集的全局从易到难排序。在第二阶段，排好序的数据被切分为 \(K\) 个由易到难的难度分桶，训练按阶段依次推进；在每个阶段内部，算法采用平方根能力调度函数控制当前可采样的样本难度上限，实现渐进式难度暴露；在阶段跨越时，算法将当前阶段收敛的模型参数更新为下一阶段的参考模型，使得策略能够在更高的能力台阶上持续精细化学习。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：安全偏好数据集与未对齐基座模型"] --> B["偏好对齐边界评分：计算基座模型相对偏好几何余弦边界"]
    B --> C["阶段划分与全局由易到难分桶"]
    C --> D["阶段内能力边界动态采样：基于平方根调度函数逐步引入高难样本"]
    D --> E["阶段间参考模型渐进更新：继承上一阶段策略作为新参考模型"]
    E --> F["输出：具有深层语义抑制的鲁棒安全对齐策略"]

关键设计¶

1. 偏好对齐边界评分：衡量模型内在先验区分度的全局难度标尺 以往针对偏好对的课程学习方案多依赖于特定提示内的局部排序（例如 Curri-DPO 依赖单个提示词下候选响应的排位），无法在全局尺度上横向比较不同提示词之间的绝对难度差异。本文针对安全对齐的特殊性，提出以未对齐基座模型的认知先验作为基准标尺。对于训练集中的每个输入提示 \(x_i\)，首先让未对齐模型进行零样本随机采样生成输出 \(\hat{y}_i\)，随后利用预训练轻量语义编码器提取模型生成项 \(\hat{y}_i\)、安全选定项 \(y_i^+\) 与有害拒绝项 \(y_i^-\) 的归一化句子嵌入向量。偏好对齐边界（Preference Alignment Margin）定义为：

\[m_i = \cos(e_{\hat{y}_i}, e_{y_i^+}) - \cos(e_{\hat{y}_i}, e_{y_i^-})\]

若 \(m_i\) 为显著正值，说明基座模型自发生成的回复在语义空间中本身就更贴近安全回复，该样本对模型而言属于“简单样本”；若 \(m_i\) 接近零或为负值，则意味着基座模型天生容易滑向有害回复，属于容易诱发模型安全失效的“高难样本”。按照 \(m_i\) 从大到小降序排列，构建出能够跨越不同提示词进行公平比较的全局由易到难课程基准。

2. 阶段内能力边界动态采样：平滑递进控制样本暴露节奏 即便对数据完成了宏观分桶，如果在每个分桶内部直接退回为传统均匀随机打乱采样，依然会导致难度突变，使得模型尚未完全吸收当前认知阶段的内容就被迫面对分桶内最难的对抗样本。为此，Staged-Competence 在每个难度阶段 \(k\) 内部，结合能力边界学习（Competence-based Learning）机制。在分桶 \(\mathcal{B}_k\) 内部，对每个样本重新赋予局部归一化难度等级 \(d_i \in [0, 1]\)。在当前阶段的总训练步数 \(T\) 内，定义第 \(t\) 步的模型能力阈值 \(c(t)\)：

\[c(t) = \sqrt{(1 - c_0^2)\,\frac{t}{T} + c_0^2}\]

其中 \(c_0\) 为初始能力常数。在第 \(t\) 步时，算法维护一个合规候选样本池 \(\mathcal{P}_t = \{i \in \mathcal{B}_k : d_i \le c(t)\}\)，并仅从该池中均匀采样 mini-batch 进行梯度反向传播。平方根函数的导数随着时间递减，其核心机制在于“初期快速扩充基础简单样本，后期放缓高难样本的引入速率”，确保模型有充足的步数巩固已学安全模式，防止高难负样本破坏刚刚建立的防御梯度。

3. 阶段间参考模型渐进更新：打破表层对齐枷锁并构建深层梯度信号 在标准 DPO 中，参考策略 \(\pi_{\text{ref}}\) 始终冻结为初始的未对齐基座模型 \(\pi_0\)。随着训练的深入，策略模型与参考模型之间的 KL 散度约束项由于基准固定，会导致模型倾向于在输出序列最开头的极少数标记（如“I apologize, but...”）处过度惩罚以压低损失，进而形成只停留在前几个 token 的“浅层对齐”，序列后续 token 的概率分布则仍保留有害倾向。Staged-Competence 在阶段切换时执行渐进更新：

\[\pi_{\text{ref}}^{(k+1)} \leftarrow \pi^{(k)}\]

将前一阶段在相对容易数据上训练成熟的策略，直接作为下一个阶段的参考锚点。这彻底消除了模型反复重新适应已被解决的基础安全模式的冗余消耗，使得后续高难阶段的 DPO 隐式奖励差异能够聚焦于深层次的语义辨析与对抗防御，为策略提供充沛的纵深梯度信号，使得针对有害词元的抑制效果贯穿整个生成序列。

损失函数 / 训练策略¶

在训练目标上，算法保持 DPO 的经典损失公式形式不变，不额外引入复杂的约束惩罚或外部奖励模型。在阶段 \(k\) 内部的每一步 \(t\)，从候选池 \(\mathcal{P}_t\) 采样样本，优化以下经验损失函数：

\[\mathcal{L}_{\text{DPO}}(\theta) = -\mathbb{E}_{(x, y^+, y^-) \sim \mathcal{P}_t} \left[ \log \sigma \left( \beta \left( \log \frac{\pi_\theta(y^+ \mid x)}{\pi_{\text{ref}}^{(k)}(y^+ \mid x)} - \log \frac{\pi_\theta(y^- \mid x)}{\pi_{\text{ref}}^{(k)}(y^- \mid x)} \right) \right) \right]\]

实验中全阶段参数设定为：阶段总数 \(K=3\)，DPO 正则化系数 \(\beta=0.1\)，初始能力常数 \(c_0=0.01\)。模型采用 LoRA 针对 Query 和 Value 投影矩阵进行参数高效微调（秩 \(r=16, \alpha=32\)），学习率为 \(5 \times 10^{-5}\)，有效批大小为 32。每个阶段训练 5 个 epoch（在 Yi-1.5-9B 上为防偏好过优化设为 4 个 epoch）。此外，作者通过构建高质量 GPT-4o-mini 判别管线，对 PKU-SafeRLHF 与 HH-RLHF 中充斥的标签反转（PKU 中 82.2% 的选定项实际有害，HH 中 87.2% 的拒绝项实际安全）进行严格清洗，构建了由 10,931 个纯净样本组成的 Cleaned-PKU-HH-SafeRLHF 数据集作为统一训练基准。

实验关键数据¶

主实验¶

评估涵盖三个开源模型家族的去护栏版本（Abliterated Variants）：LLaMA-3-8B、Qwen3-8B 与 Yi-1.5-9B。主实验评估分布外（OOD）安全基准（SorryBench, AdvBench, HEx-PHI，有害回复率越低越好）以及越狱对抗攻击（Prefill, GCG，攻击成功率 ASR 越低越好）。

评估基准与方法	LLaMA-3-8B	Qwen3-8B	Yi-1.5-9B	全模型平均降低幅
OOD 有害回复率 (SorryBench, % ↓)
未对齐基准 (Unaligned)	90.0	85.8	72.7	—
标准 DPO (Baseline)	28.0	29.6	16.2	—
Curri-DPO	24.2	24.9	9.6	-5.0
Staged-Competence (本文)	18.7	8.9	4.2	-14.0
OOD 有害回复率 (AdvBench, % ↓)
未对齐基准 (Unaligned)	93.8	94.2	73.3	—
标准 DPO (Baseline)	18.7	38.5	1.5	—
Curri-DPO	9.2	21.3	1.0	-9.1
Staged-Competence (本文)	5.4	0.4	0.2	-17.7
OOD 有害回复率 (HEx-PHI, % ↓)
未对齐基准 (Unaligned)	91.7	86.0	72.7	—
标准 DPO (Baseline)	24.0	30.7	8.7	—
Curri-DPO	18.0	22.7	3.0	-6.6
Staged-Competence (本文)	10.0	2.7	0.7	-16.7
越狱攻击成功率 (Prefill Attack ASR, % ↓)
未对齐基准 (Unaligned)	88.2	88.8	82.0	—
标准 DPO (Baseline)	46.5	51.7	26.5	—
Curri-DPO	36.8	30.5	22.5	-11.5
Staged-Competence (本文)	24.2	16.2	9.2	-25.0
越狱攻击成功率 (GCG Transfer ASR, % ↓)
未对齐基准 (Unaligned)	67.6	68.8	67.1	—
标准 DPO (Baseline)	23.6	26.9	11.8	—
Curri-DPO	17.1	24.1	5.0	-5.4
Staged-Competence (本文)	8.3	8.3	1.5	-14.7

消融实验¶

消融实验对比了不同课程变体在 LLaMA-3-8B 与 Qwen3-8B 上的 OOD 综合改善幅度（\(\Delta_{\text{OOD}}\)）与越狱攻击改善幅度（\(\Delta_{\text{Attack}}\)，相较于标准 DPO 基准的绝对百分点变动），同时考察在数据削减条件下的样本利用效率。

训练配置与变体	LLaMA \(\Delta_{\text{OOD}}\)	LLaMA \(\Delta_{\text{Atk}}\)	Qwen \(\Delta_{\text{OOD}}\)	Qwen \(\Delta_{\text{Atk}}\)	核心特性说明
标准 DPO (100% 数据)	0.0	0.0	0.0	0.0	1阶段，无参考更新，全量随机打乱
Sequential (100% 数据)	-11.4	-10.7	-7.2	+0.2	1阶段，固定从易到难单向推进
Sqrt-Competence (100% 数据)	-9.0	-12.7	+0.5	+4.0	1阶段，全量数据能力平滑扩展
Curri-DPO (100% 数据)	-6.4	-8.1	-10.0	-12.0	3阶段，跨阶段更新参考，阶段内随机
Staged-Competence (50% 数据)	-11.4	-	+10.0	-	仅用半数数据，LLaMA 仍全面超越全量 DPO
Staged-Competence (75% 数据)	-13.8	-	-16.9	-	仅用 75% 数据即在双模型上稳超 100% DPO 基线
Staged-Competence (100% 完整模型)	-12.2	-18.8	-28.9	-27.1	3阶段 + 阶段内能力采样 + 阶段间参考更新

关键发现¶

两阶段机制协同效应显著：单纯使用阶段间参考更新（Curri-DPO）或单纯使用阶段内能力采样（Sqrt-Competence）均无法实现全局最优。在 Qwen3-8B 上，单阶段的 Sqrt-Competence 甚至出现安全性能劣化的现象（\(\Delta_{\text{Attack}} = +4.0\)）；而当二者融合成 Staged-Competence 时，展现出强大的正向放大效应，在 Qwen3-8B 上的 OOD 有害率暴降 28.9 个百分点，攻击成功率削减 27.1 个百分点。
对齐深度实现本质突破：通过在测试集不安全响应各 token 位置测量未对齐与对齐模型的抑制差值 \(\delta(t)\)，发现标准 DPO 仅在序列前 5-10 个 token 产生明显的对齐抑制，随后急剧归零；而 Staged-Competence 在前 128 个 token 持续保持强烈的抑制信号，整体累积抑制强度达到标准 DPO 的约 3 倍，成功破解了 Prefill 攻击绕开开头拒答语的破坏路径。
数据利用效率大幅提升：Staged-Competence 仅需 75% 的训练样本，在两个模型上的安全评测分数即可全面超越使用 100% 数据的标准 DPO 基线（如在 LLaMA-3-8B 上，75% 数据的有害率低至 16.4%/4.4%/10.0%，显著优于 100% DPO 的 28.0%/18.7%/24.0%）。
随模型规模扩展呈现正增益：在 Qwen3 家族（1.7B、4B、8B）上的扩展性实验表明，随着参数量上升，标准 DPO 的脆弱性显著放大，而 Staged-Competence 带来的绝对安全收益单调递增（OOD 安全提升幅度从 1.7B 的 1.5pp 猛增到 8B 的 29pp），在大模型上维持了近乎恒定的高安全防线。
通用能力完全保留且零过度拒绝：在 MMLU 与 HellaSwag 常识推理基准上，Staged-Competence 与标准 DPO 性能差距保持在 2-3 个点以内；在 XSTest 针对良性相似诱导提示的过度拒绝评测中，LLaMA-3-8B 与 Qwen3-8B 保持 0.0% 的极低过度拒绝率，兼顾了安全性与有用性。

亮点与洞察¶

全局可比的模型感知难度标尺：创新性地利用未对齐模型在零样本下的生成表征与偏好对的几何余弦距离差值定义 \(m_i\)，摆脱了以往研究依赖局部排位或人工启发式规则的局限，为开放式偏好对齐构建了客观且模型自适应的课程难度图谱。
机制与算法的优雅正交性：Staged-Competence 并不修改底层 DPO 损失公式的代数结构，仅通过重构数据喂入的时序分布与动态刷新参考模型即激发了巨大的鲁棒性收益。这意味着该方法天然可无缝插拔至 SimPO、KTO、SafeDPO 等新型对齐目标中，具有极佳的工程迁移价值。
开源数据集系统性除噪：敏锐地揭露了学术界广泛引用的开源安全偏好数据集（PKU-SafeRLHF 选定项 82.2% 含有害内容，HH-RLHF 拒绝项 87.2% 实际安全）中广泛存在的标签反转缺陷，构建并开源了 Cleaned-PKU-HH-SafeRLHF，为后续安全对齐研究提供了真实可靠的数据基准。

局限与展望¶

计算开销前置：在 Phase 1 评分阶段，需要对全部训练样本运行未对齐基座模型的零样本前向推理与生成（虽然使用了轻量 MiniLM 进行嵌入计算），在千万级海量对齐数据集上的前置准备时间相对显著。
参数规模受限：受制于单卡 A6000 硬件算力瓶颈，实验仅在最大 9B 级别的模型上采用 LoRA 验证，全参数微调以及 70B+ 旗舰模型上的动态行为与能力边界扩展机制尚未进行大规模验证。
未来改进方向：可进一步探索动态自适应课程调度机制，例如不再依赖预先设定的分桶数 \(K\) 与静态平方根函数，而是根据训练过程中的实时在线奖励方差或验证集损失动态调整阶段切换时机与参考模型刷新周期。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性将阶段化能力课程与参考模型迭代更新引入安全对齐，提出了新颖的模型自感知全局难度标尺。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖三大主流模型架构、多种模型参数规模、多项 OOD 安全评测与强越狱对抗攻击，并配有深层 token 抑制机制分析与数据清洗统计。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰紧凑，动机阐述直指 DPO 表层对齐缺陷，算法设计完备自洽。
价值: ⭐⭐⭐⭐⭐ 对开源大模型安全对齐有直接且低成本的工程落地价值，所揭露的数据集缺陷与发布的清洗集合对社区贡献显著。