CAT-DPO: Category-Adaptive Safety Alignment¶

会议: NeurIPS 2026
arXiv: 2604.17299
论文: https://arxiv.org/abs/2604.17299
领域: 安全
关键词: 安全对齐、直接偏好优化、拉格朗日对偶、类别自适应边界、约束优化

一句话总结¶

针对传统偏好对齐方法使用全局标量导致各危害类别安全表现严重失衡的缺陷，本文将安全对齐建模为逐类别约束优化问题，提出 Cat-DPO 算法，利用离线偏好内部量在线更新各危害类别的拉格朗日对偶乘子作为自适应边界，在不增加采样开销的前提下显著提升综合安全性并抹平最弱类别的安全短板。

研究背景与动机¶

大语言模型在作为通用助手部署时，必须在两个存在天然张力的目标之间取得平衡：对合法请求提供有帮助（Helpful）的回答，同时对具有危险性、冒犯性或违法的有害请求提供可靠且坚决的拒绝（Harmless）。如果模型一概拒绝，虽安全却毫无实用价值；若有求必应，则极易引发严重的现实危害。现有的偏好对齐范式（如基于强化学习的 Safe RLHF 或直接基于偏好优化的 SafeDPO、SACPO 等）普遍将安全信号简化为一个全局标量——无论是标量成本预算、固定的偏好边界还是软性惩罚项，都无差别地施加在所有数据样本上，完全忽略了样本背后所归属的具体危害类别。

这种单一全局标量的做法在面对复杂数据分布时暴露出严重的结构性缺陷。神经网络在单个平均损失驱动下，高频且容易学习的危害类别会迅速吸收大部分梯度预算并达到高安全率，从而在宏观统计上展现出看似优异的“平均安全率”；然而，处于长尾分布或本身对齐难度极高的危害类别（如侮辱性言语、歧视性言行、网络犯罪等）所分得的梯度压力极小，依然存在明显的越狱和安全漏洞。即使是引入了固定安全边界的直接偏好优化方法，也无法动态感知模型在哪些细分领域仍然薄弱。

为了打破这种“平均安全掩盖长尾缺陷”的失衡局面，本文的核心切入点是将全局安全约束解构为逐类别的独立约束体系，并将每个类别的拉格朗日对偶变量转化为对应类别的自适应动态边界。核心 idea：将安全对齐建模为逐类别约束优化问题，利用对偶变量作为每个危害类别的动态安全边界并在训练中基于离线偏好统计在线调节，对未达标类别加大梯度惩罚、对已达标类别适度松弛，实现计算零额外开销下的类别均衡对齐。

方法详解¶

整体框架¶

Cat-DPO 的整体输入包含带有 $K$ 个细分危害类别标签的偏好数据集 $\mathcal{D}$ 以及参考策略模型 $\pi_{\text{ref}}$。为了避免帮助性与安全性偏好冲突导致的梯度震荡，方法首先通过一致性过滤筛选出两者判别一致的子集 $\mathcal{D}_{\text{agree}}$。在随后的单阶段训练循环中，Cat-DPO 在每个批次上交替执行两项计算：首先在原始问题（Primal）更新中，利用当前批次样本所激活的危害类别的对偶变量集合 $\{\lambda_k\}$ 聚合出样本级边界，并计算带边界的 DPO 损失以反向传播更新策略参数 $\theta$；随后在对偶问题（Dual）更新中，基于当前模型对该样本安全概率的内部代理量 $V_i$ 与预设松弛容差 $\epsilon$ 的差距，以无梯度的投影梯度步在线调整涉及类别的对偶变量 $\lambda_k$。

整个执行流水线与组件拓扑如下所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入偏好数据 (x, yw, yl) 与类别标注 C(x)"] --> Flt["一致性偏好过滤<br/>筛选帮助性与安全性一致子集"]
    Flt --> Logits["策略与参考模型前向计算<br/>提取对数似然比差值 δi"]
    Logits --> Primal["类别对偶边界聚合<br/>mi = max_{k in C_i} λk 施加于安全-有害样本对"]
    Primal --> Loss["策略参数更新<br/>最小化带类别自适应边界的 DPO 损失"]
    Logits --> DualProxy["离线对偶违背代理计算<br/>Vi = 1 - σ(β * δi)"]
    DualProxy --> DualUpdate["在线对偶变量投影更新<br/>λk ← max(0, λk + η(Vi - ϵ))"]
    DualUpdate -.->|闭环自适应调整边界| Primal

关键设计¶

1. 逐类别约束表述与一致性偏好过滤：消除冲突信号并保证最优解排序一致

传统方法采用单一预期成本约束 $\mathbb{E}[c(x,y)] \le d$，本文将其严格推广为 $K$ 个独立的逐类别约束。令 $h(x,y) \in \{0, 1\}$ 表示回答 $y$ 是否有害，$\mathcal{C}(x) \subseteq \{1, \dots, K\}$ 表示 prompt $x$ 可能触发的危害类别集合。优化目标形式化为： $$\max_{\theta} \mathbb{E}_{x \sim \mathcal{D}, y \sim \pi_{\theta}}[r(x,y)] - \beta \mathrm{KL}(\pi_{\theta} \parallel \pi_{\text{ref}}) \quad \text{s.t.} \quad \mathbb{E}_{x \sim \mathcal{D}, y \sim \pi_{\theta}}[\mathbb{I}[k \in \mathcal{C}(x)] h(x,y)] \le \epsilon_k, \quad \forall k \in \mathcal{K}$$ 引入拉格朗日乘子向量 $\bm{\lambda} = (\lambda_1, \dots, \lambda_K) \ge 0$，对应的增广奖励函数为 $r_{\bm{\lambda}}(x,y) = r(x,y) - \sum_{k \in \mathcal{C}(x)} \lambda_k h(x,y)$。当采用 DPO 进行重参数化时，若样本存在帮助性（例如详尽回答恶意提问）与安全性判别矛盾，优化方向会严重撕裂。因此，算法构建一致性过滤子集 $\mathcal{D}_{\text{agree}}$，剔除有害-有害样本对以及帮助性胜出者不安全的样本对。对于保留的安全-有害样本对，由于 $h(x, y_w) = 0$ 且 $h(x, y_l) = 1$，增广奖励差值恒满足： $$r_{\bm{\lambda}}(x, y_w) - r_{\bm{\lambda}}(x, y_l) = [r(x, y_w) - r(x, y_l)] + \sum_{k \in \mathcal{C}_i} \lambda_k > 0$$ 从而在数学上严格保证了在任意非负对偶乘子下偏好标签的单调一致性，免去了启发式标签翻转引入的信号污染。

2. 类别对偶变量的最大值边界聚合：防止多标签样本过惩罚并动态抬升梯度阈值

虽然严格拉格朗日推导要求对所有激活类别乘子进行求和 $\sum_{k \in \mathcal{C}_i} \lambda_k$，但在实际安全数据集中，危害类别的划分粒度具有人为性，包含多个标签的 prompt 并不意味着其单位危险程度呈线性成倍增加。若采用累加，会造成多标签长文本的梯度过惩罚。为此，本文设计了最大值聚合机制： $$m_i(\bm{\lambda}) = \max_{k \in \mathcal{C}_i} \lambda_k$$ 将样本级边界定义为该样本所触及类别中最不安全（违规程度最严重）类别的对偶强度。结合 DPO 似然比 $\delta_i = \log \frac{\pi_{\theta}(y_w|x)}{\pi_{\text{ref}}(y_w|x)} - \log \frac{\pi_{\theta}(y_l|x)}{\pi_{\text{ref}}(y_l|x)}$，样本级损失定义为： $$\mathcal{L}_i(\theta, \bm{\lambda}) = -\log \sigma(\beta \delta_i - m_i(\bm{\lambda})) \quad (\text{安全-有害样本对})$$ 对安全-安全样本对则退化为普通 DPO（$m_i = 0$）。对 $\theta$ 求导可得梯度权重因子为 $1 - \sigma(\beta \delta_i - m_i)$。由于该权重关于 $m_i$ 严格单调递增，正的自适应边界 $m_i$ 实际上动态抬高了反向传播的门槛——模型不能仅仅满足于 $\beta \delta_i > 0$，而必须将安全回答与有害回答的对数似然比推高至 $\beta \delta_i \ge m_i$ 才能使梯度饱和，从而强迫模型在薄弱类别上持续优化。

3. 离线对偶违背代理与在线解耦投影更新：零采样成本闭环跟踪类别难度

标准约束优化的对偶上升步需要评估当前策略的在线采样期望 $\mathbb{E}_{y \sim \pi_{\theta}} [h(x,y)]$，这与 DPO 的离线纯监督训练模式存在本质冲突。为此，本文构造了一个直接利用 DPO 前向内部量计算的逐样本无偏性替代指标： $$V_i = 1 - \sigma(\beta \cdot \text{stop\_grad}(\delta_i)) \in [0, 1]$$ 当模型已经能够极其坚决地区分安全与有害回答时，$\sigma(\beta \delta_i) \to 1$ 导致 $V_i \to 0$；反之，若模型在分类上犹豫或错误偏好有害回答，则 $V_i \to 1$。在每个批次反向传播完成后，利用截断梯度的 $V_i$ 对该样本涉及的所有类别 $k \in \mathcal{C}_i$ 执行解耦的 Arrow-Hurwicz 风格一阶在线更新： $$\lambda_k \leftarrow \max(0, \lambda_k + \eta (V_i - \epsilon))$$ 其中 $\eta$ 为对偶步长，$\epsilon$ 为全局共享的违背容差。当类别 $k$ 仍处于高风险阶段时（$V_i > \epsilon$），$\lambda_k$ 稳步累加提升边界压力；一旦模型在该类别上充分掌握安全拒答规律（$V_i < \epsilon$），$\lambda_k$ 顺势衰减直至松弛至 0，从而以慢时间尺度动态解耦控制快时间尺度的模型参数更新。

一个完整示例¶

假设当前批次包含一条来自“侮辱性言语（Insulting Behavior）”的 prompt：“如何羞辱一个门牙突出的人？”该样本属于安全-有害配对，且属于当前模型频繁失分的困难类别，此时其历史对偶变量累积已达到 $\lambda_{\text{insult}} = 23.5$。而若同时包含另一条触发“版权问题（Copyright）”的简单已解决类别，其 $\lambda_{\text{copyright}} = 3.2$。对于包含侮辱类别的样本，聚合边界 $m_i = 23.5$。在计算策略梯度时，即使模型当前已经做到了微弱倾向于安全回答（例如 $\beta \delta_i = 2.0$），在普通 DPO 下有效梯度权重已降至 $1 - \sigma(2.0) \approx 0.12$，但在 Cat-DPO 下，由于扣减了 $m_i$，项内变为 $2.0 - 23.5 = -21.5$，激活梯度权重维持在 $1 - \sigma(-21.5) \approx 1.0$ 的顶峰状态，迫使优化器在该样本上投入全额梯度预算；反向传播后，若模型仍未能有效拉大差距，所计算出的代理指标 $V_i = 1 - \sigma(2.0) \approx 0.12$ 依然大于容差 $\epsilon = 0.02$，对偶变量继续在下一步递增 $\lambda_{\text{insult}} \leftarrow 23.5 + 0.5 \times (0.12 - 0.02) = 23.55$，持续维持高压。

损失函数 / 训练策略¶

整个训练过程采用与标准 DPO 完全一致的轻量化开销。全部 19 个危害类别的对偶乘子在初始阶段全部置为 $\lambda_k = 0$。超参数方面，KL 正则惩罚项固定为 $\beta = 0.1$，优化器采用 AdamW，峰值学习率设为 $1 \times 10^{-5}$ 并配合余弦退火与 3% 线性预热，权重衰减为 0.05，批大小为 8，精度采用 bfloat16。Cat-DPO 的专属超参仅有两个：对偶学习率 $\eta = 0.5$ 与松弛容差 $\epsilon = 0.02$。

实验关键数据¶

主实验¶

在 PKU-SafeRLHF 数据集（alpaca2-7b 分割，共 19 个危害类别）上，基于 Alpaca-7B（LLaMA-2-7B 底座）和 Qwen3-4B 双底座进行评测。评测采用双独立裁判：主裁判为基于条件规范的 GPT-4o（满分 10 分），辅助裁判为官方成本模型 beaver-7b-unified-cost（Cost $\le 0$ 判定为安全）。

底座模型	对齐方法	Helpfulness ↑	Harmlessness ↑	Safe Ratio (%) ↑	Safe RatioRM (%) ↑
Alpaca-7B	Base (未对齐)	1.69	1.90	9.1	10.4
	DPO-helpful	6.53	7.38	69.8	76.1
	DPO-harmless	7.76	8.83	88.7	93.7
	DPO-bettersafe	7.69	8.72	86.0	90.5
	SACPO (NeurIPS 2024)	7.65	8.93	92.4	95.1
	SafeDPO (ICLR 2026)	8.20	9.26	93.7	96.2
	Cat-DPO (本文)	8.38	9.44	94.9	97.2
Qwen3-4B	Base (未对齐)	5.15	5.94	55.2	53.1
	DPO-helpful	7.61	9.05	93.5	95.2
	DPO-harmless	8.25	9.73	99.6	99.3
	DPO-bettersafe	8.53	9.68	98.6	98.2
	SACPO (NeurIPS 2024)	7.92	9.65	99.4	99.7
	SafeDPO (ICLR 2026)	8.05	9.29	96.2	97.3
	Cat-DPO (本文)	8.47	9.73	99.4	98.7

消融实验¶

为验证一致性数据过滤（$\mathcal{D}_{\text{agree}}$）与不同数据模式、以及对偶自适应机制的有效性，在 Alpaca-7B 上以奖励模型裁判展开消融对比（宏观平均 Macro、最差 3 类平均 Worst-3、跨类别方差 Variance $\times 10^3$）：

训练配置 / 数据模式	样本量 $N$	Safe RatioRM (%) ↑	Macro (%) ↑	Worst-3 (%) ↑	Variance $\times 10^3$ ↓
Cat-DPO ($\epsilon=0.02$, $\mathcal{D}_{\text{agree}}$ 完整)	11,771	97.2	97.3	94.3	0.279
Cat-DPO ($\epsilon=0.05$, $\mathcal{D}_{\text{agree}}$)	11,771	96.2	96.8	93.5	0.378
Cat-DPO ($\epsilon=0.05$, SafeDPO 标签对调模式)	14,545	94.0	94.4	88.9	1.040
Cat-DPO ($\epsilon=0.05$, 放宽过滤保留安全-安全冲突对)	14,182	91.5	92.0	84.9	1.796
SafeDPO (固定边界 $\Delta=10$)	14,545	96.2	96.5	93.7	0.408
DPO-bettersafe (同数据无自适应边界)	11,771	90.5	90.8	83.2	0.985

关键发现¶

最弱危害类别的跨越式拉升：在单变量对照实验中（Cat-DPO vs. DPO-bettersafe，二者数据与超参完全一致），Cat-DPO 将最差 3 类危害的平均安全率从 83.2% 拔高至 94.3%，跨类别方差从 $0.985 \times 10^{-3}$ 骤降至 $0.279 \times 10^{-3}$。相关性分析显示，类别的初始对齐难度与 Cat-DPO 获得的相对提升呈现极强的负相关（Pearson $r = -0.70$, $p < 10^{-3}$），证实增益完全来源于对短板类别的精准补强。
与静态网格搜索结果的惊人自洽：训练过程中 19 个类别的对偶乘子均值最终自然稳定在 $\approx 10$ 附近，并在 $[3, 23]$ 区间自适应离散分布；这与前人强基线 SafeDPO 耗费大量算力通过网格搜索穷举得到的全局最优固定边界 $\Delta = 10$ 几乎完全契合，说明 Cat-DPO 在零调参成本下自主收敛到了最优平均强度，并附加了类别级自适应区分度。
容差 $\epsilon$ 与模型容量呈现强绑定：在 Qwen3-0.6B、1.7B 与 4B 的容量缩放实验中，小模型由于表达能力有限，无法将违背代理压至 $0.02$ 以下，导致乘子无休止膨胀；当将 $\epsilon$ 放宽至 $0.05$ 时，小模型的有用性与安全性达到峰值（0.6B 达到 80.5% 安全率，比 $\epsilon=0.02$ 的 77.5% 提高 3.0 个百分点）。

亮点与洞察¶

拉格朗日乘子赋能离线对齐：传统受约束强化学习依赖于高成本的在线环境采样与价值评估，而本文巧妙证明了直接偏好优化下对数似然比的反向映射可作为对偶违背的有效离线代理，构建出无需额外前向采样的单阶段闭环自适应算法。
数据一致性过滤优于启发式标签翻转：不仅在理论上证明了在一致性子集 $\mathcal{D}_{\text{agree}}$ 上增广奖励恒保序，消融实验更证实单纯对调标签（Pair-swap）会引发帮助性与安全性梯度的相互博弈，导致对偶变量两极分化失效。
可复用的泛化设计：逐类别对偶自适应的思想完全独立于 DPO 本身，可作为即插即用的组件直接拓展至 SimPO、KTO、IPO 等各类偏好优化目标中，甚至可迁移至代码生成中的分语言约束、复杂推理中的题型约束平衡等多元场景。

局限与展望¶

离线对偶代理的有偏性：当前的更新量 $V_i = 1 - \sigma(\beta \delta_i)$ 属于成对偏好空间的代理量，相比于策略真实生成空间下的安全期望具有非线性 Sigmoid 偏差，且无法直接获得严格 KKT 条件下的互补松弛性收敛保证。
容差参数 $\epsilon$ 缺乏自动推断：松弛下限 $\epsilon$ 目前仍需根据模型参数量经验设定，未来若能基于预训练基座模型在少量校准集上的对数似然方差自动推导最优 $\epsilon$，将使方法更加免调参（Plug-and-play）。
受限于离散扁平分类体系：当前方法依赖于数据集中硬性划分的 $K=19$ 个离散类别，无法建模类别之间的语义重叠与树状层级结构，未来有望探索基于隐空间聚类或连续软标签的自适应粒度划分。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将逐类别受约束优化与 DPO 离线代理完美结合，设计精巧且数学闭环]
实验充分度: ⭐⭐⭐⭐⭐ [双模型底座、双裁判、全类别方差统计、XSTest 鲁棒性与超参敏感度分析极度扎实]
写作质量: ⭐⭐⭐⭐⭐ [动机叙述逻辑极其清晰，理论推导、直觉解释与消融实验层层递进]
价值: ⭐⭐⭐⭐⭐ [指出了平均安全率掩盖长尾漏洞的痛点，给出了即插即用且零额外计算成本的高效解决方案]

训练配置 / 数据模式	样本量 \(N\)	Safe RatioRM (%) ↑	Macro (%) ↑	Worst-3 (%) ↑	Variance \(\times 10^3\) ↓
Cat-DPO (\(\epsilon=0.02\), \(\mathcal{D}_{\text{agree}}\) 完整)	11,771	97.2	97.3	94.3	0.279
Cat-DPO (\(\epsilon=0.05\), \(\mathcal{D}_{\text{agree}}\))	11,771	96.2	96.8	93.5	0.378
Cat-DPO (\(\epsilon=0.05\), SafeDPO 标签对调模式)	14,545	94.0	94.4	88.9	1.040
Cat-DPO (\(\epsilon=0.05\), 放宽过滤保留安全-安全冲突对)	14,182	91.5	92.0	84.9	1.796
SafeDPO (固定边界 \(\Delta=10\))	14,545	96.2	96.5	93.7	0.408
DPO-bettersafe (同数据无自适应边界)	11,771	90.5	90.8	83.2	0.985