BSO: Safety Alignment Is Density Ratio Matching¶

会议: NeurIPS 2026
arXiv: 2605.12339
领域: LLM对齐
关键词: 安全对齐, 密度比匹配, Bregman 散度, 直接偏好优化, Pareto 权衡

一句话总结¶

本文揭示了安全对齐最优策略的似然比可闭式分解为数据比与参考分布，从而将安全对齐严格重塑为基于 Bregman 散度的密度比匹配问题（BSO），在无需任何辅助奖励/成本模型的前提下统一了现有方法并取得了更优的安全性与有用性 Pareto 权衡。

研究背景与动机¶

大语言模型对齐过程中，有用性（Helpfulness）与安全性（Safety）天然存在着深层张力。模型若无节制遵循指令，可能在面对恶意输入时生成危险内容；反之，若盲目拒绝所有敏感提问，虽绝对安全却失去了实用价值。更棘手的是，人类偏好数据往往只反映对帮助程度的赞同，当获胜回复暗含安全隐患时，单纯的偏好优化甚至会主动奖励不安全行为。传统主流方案采用带约束优化框架（如 Safe RLHF），借助独立的奖励模型与成本模型，通过拉格朗日乘子结合近端策略优化（PPO）进行在线更新。这种多阶段流水线涉及多个独立模型的训练、在线采样与原始-对偶动态平衡，工程链路极其脆弱且计算开销巨大。

为了摆脱复杂的 RLHF 流程，直接偏好优化（DPO）及其衍生方法被广泛应用于有用性对齐，许多研究进而尝试将其扩展至安全场景。例如 SACPO 采用分阶段序列微调，CDPO 与 CAN 引入拉格朗日惩罚却仍需依赖辅助的奖励和成本模型来构建离线数据，而 SafeDPO 虽进一步简化为基于标签翻转和安全间隔（Margin）的单阶段微调，但其所添加的间隔项本质上是经验启发式的技巧，缺乏严密的理论推导。现有安全偏好优化方法各执一词，或引入多阶段微调、或引入辅助判别器、或强加启发式偏移，缺乏一个能够从第一性原理统一解释安全偏好学习并揭示底层工作机制的理论框架。

本文的切入视角是回归对齐策略的数学本质：带安全惩罚的最优安全策略，其似然比可以精确闭式分解为参考模型似然比、有用性偏好比以及安全校正因子三项乘积。这一结构性洞察表明，安全对齐根本上等价于驱动模型似然比去逼近由真实偏好与安全标签诱导的数据比。核心 idea：将大语言模型安全对齐形式化为 Bregman 散度下的密度比匹配问题，提出无辅助模型、单阶段闭式优化的 Bregman 安全优化（BSO）框架，不仅在理论上严格推导并泛化了现有启发式安全边际，更通过可控的样本重加权机制实现了显著更优的有用性-安全性 Pareto 前沿。

方法详解¶

整体框架¶

BSO 框架从受安全约束的最优策略闭式解出发，将策略分布与其参考模型的似然比重构为密度比匹配任务。整个方法管线包含三个核心部分：首先通过数学推导定义数据密度比 $R_{\text{data}}$ 与模型密度比 $R_\theta$；随后利用凸生成元 $h$ 的 Bregman 散度构建经验可计算的单阶段优化目标 $\mathcal{L}_{\mathrm{BSO}}^h$；最后针对大安全惩罚引发的数值不稳定性，提出等价的离线偏好数据确定性转换机制（翻转与过滤），并结合放缩巴苏幂散度（SBA）生成元实现兼顾协调样本与安全胜出样本梯度的稳定重加权。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据: (x, yw, yl, sw, sl)"] --> B["确定性数据转换<br/>翻转冲突样本 + 过滤双危险样本"]
    B --> C["安全感知密度比构建<br/>分解为基线项、有用性项与安全因子"]
    C --> D["Bregman 散度匹配目标<br/>通过变量代换消除不可访问的数据项"]
    D --> E["SBA 生成元梯度重加权<br/>解耦基线权重并对安全获胜样本自适应放大"]
    E --> F["输出: 兼顾有用性与安全性的最优策略 π_safe*"]

关键设计¶

1. 安全感知密度比构建：将安全最优策略分解为可匹配的目标比值 针对带有安全软惩罚的最优策略目标，设安全奖励为 $r_{\text{safe}}(x, y) = r(x, y) - C s(x, y)$（其中 $C > 0$ 为安全惩罚强度，$s \in \{0, 1\}$ 为不安全指示变量），带 KL 正则的最优安全策略具备闭式解 $\pi_{\text{safe}}^*(y \mid x) \propto \pi_{\text{ref}}(y \mid x) \exp((r(x, y) - C s(x, y)) / \beta)$。代入 Bradley-Terry 偏好模型可证明，获胜回复 $y_w$ 与失败回复 $y_l$ 的策略对数几率满足下式： $$ \frac{\pi_{\text{safe}}^(y_w \mid x)}{\pi_{\text{safe}}^(y_l \mid x)} = \frac{\pi_{\text{ref}}(y_w \mid x)}{\pi_{\text{ref}}(y_l \mid x)} \cdot \left(\frac{p_{\text{help}}(y_w \succ y_l \mid x)}{p_{\text{help}}(y_w \prec y_l \mid x)}\right)^{1/\beta} \cdot \exp\left(-\frac{C(s_w - s_l)}{\beta}\right) $$ 由于该比值属于离散空间下的连续 Concrete Score 且具备完全性（Completeness），只要匹配这一比值即可唯一确定最优策略分布。据此定义数据比 $R_{\text{data}}$ 与模型比 $R_\theta$ 如下： $$ R_{\text{data}}(x, y_w, y_l) := \frac{p_{\text{help}}(y_w \prec y_l \mid x)}{p_{\text{help}}(y_w \succ y_l \mid x)}, \quad R_\theta(x, y_w, y_l) := \left[\frac{\pi_\theta(y_l \mid x)\pi_{\text{ref}}(y_w \mid x)}{\pi_\theta(y_w \mid x)\pi_{\text{ref}}(y_l \mid x)}\right]^\beta \exp(-C(s_w - s_l)) $$ 当且仅当 $R_\theta = R_{\text{data}}$ 时策略收敛至 $\pi_{\text{safe}}^*$，从而将多阶段安全约束对齐转化为单一连续比值的拟合问题。

2. Bregman 散度匹配与闭式经验损失转换：消除不可见的数据真实分布项 理论上的 Bregman 散度 $D_h(R_{\text{data}} \parallel R_\theta) = \mathbb{E}[h(R_{\text{data}}) - h(R_\theta) - h'(R_\theta)(R_{\text{data}} - R_\theta)]$ 无法直接训练模型，因为真实数据比 $R_{\text{data}}$ 属于未知的总体隐变量。本文通过精妙的变量替换（利用偏好对称性 $p_{\text{help}}(y_w \prec y_l \mid x) = p_{\text{help}}(y_l \succ y_w \mid x)$ 以及互换生成物时比值严格取逆 $R_\theta(x, y_l, y_w) = R_\theta(x, y_w, y_l)^{-1}$），成功将不可求解的跨项 $\mathbb{E}[h'(R_\theta) R_{\text{data}}]$ 等价重写为在可采样偏好分布下的期望 $\mathbb{E}[h'(R_\theta^{-1})]$。由此推导出无需任何外部辅助模型的可训练目标： $$ \mathcal{L}{\mathrm{BSO}}^h(R\theta, p_{\text{help}}) := \mathbb{E}{p\right) \right] $$ 该损失函数与真实散度仅差一个与模型参数 }}(y_w \succ y_l \mid x)} \left[ h'(R_\theta) R_\theta - h(R_\theta) - h'\left(R_\theta^{-1$\theta$ 无关的常数，且任何严格凸且二阶连续可微的生成元 $h$ 均能保证全局最优解为 $\pi_{\text{safe}}^*$。特别地，当选取 Logistic 凸函数 $h(R) = \frac{1}{2}[R \log R - (1+R)\log(1+R)]$ 时，目标严格还原为带有安全边际的 SafeDPO 损失函数，首次为 SafeDPO 的启发式 Margin 提供了严谨的数学立足点。

3. 确定性数据转换：化解大安全惩罚导致的数值崩塌风险 在极度注重安全的实际场景下，惩罚常数需要极大（$C \to \infty$）。然而，若直接在优化式中代入过大的 $C$，因子 $\exp(-C \Delta s)$ 将发生严重的上溢或数值归零，造成参数更新梯度的彻底退化。深入考察可以发现，当偏好对存在安全冲突（即有用性获胜回复 $y_w$ 不安全 $s_w=1$，而失败回复 $y_l$ 安全 $s_l=0$）时，由于有用性奖励差有界，只要 $C$ 超过奖励差阈值，其综合安全奖励便必定发生颠倒；而当两回复均不安全时，理论最优策略赋予两者的生成概率皆趋向于 0，该样本对模型更新完全失效。为此，本文设计了无须引入超大常数的离线等价数据变换规则： - Swap（标签互换）：若 $s_w=1$ 且 $s_l=0$，直接对调两者的胜负标签 $(y_w, y_l) \leftarrow (y_l, y_w)$； - Drop（样本丢弃）：若 $s_w=1$ 且 $s_l=1$，判定其缺乏有效判别信息直接剔除。经变换后的数据集保证所有样本对的 $\Delta s \le 0$。模型随后只需在变换后的数据集上使用温和数值的 $C$ 进行梯度更新，既严格复现了大安全常数驱动的优先权逆转，又彻底消除了数值发散隐患。

4. SBA 生成元梯度重加权：解耦基线权重与安全放大倍率 梯度分析揭示，BSO 损失关于参数 $\theta$ 的更新方向恒为标准偏好优化梯度，而安全调整项 $C(s_w - s_l)$ 的核心物理作用是改变样本权重： $$ \nabla_\theta \widetilde{\mathcal{L}}^h = -\beta \mathbb{E} \left[ W_h(R_\theta) \left( \nabla_\theta \log \pi_\theta(y_w \mid x) - \nabla_\theta \log \pi_\theta(y_l \mid x) \right) \right], \quad W_h(R) = R^2 h''(R) + \frac{1}{R} h''(R^{-1}) $$ 对样本权重的渐近行为分析表明：传统的 Logistic 生成元在 $R \to \infty$ 时权重发生饱和（无法对高价值的安全胜出样本进行足量放大）；KLIEP 与 LSIF 虽具备增长特性，但 LSIF 在一致样本（$R \approx 1$）下的基线权重高达标准 DPO 的 8 倍，破坏优化平稳性。为此，BSO 采用放缩巴苏幂散度（Scaled Basu's Power Divergence, SBA），其生成元及权重为： $$ h_\lambda(R) = \frac{R^{1+\lambda} - R}{s \lambda (\lambda + 1)}, \quad W_{\text{SBA}_\lambda}(R) = \frac{R^{\lambda+1} + R^{-\lambda}}{s} $$ 通过选取缩放参数 $s=4$，在 $R=1$ 时权重恒定为 $W_{\text{SBA}}(1) = 1/2$，与标准 DPO 基线完全对齐；而在 $R \to \infty$ 时权重呈现渐近线式的 $R^{\lambda+1}/s$ 放大。超参数 $\lambda$ 独立控制安全冲突翻转样本的强化程度，在完全解耦基准扰动的同时对安全偏好形成了精准的自适应加权。

损失函数 / 训练策略¶

在经过 Swap 与 Drop 预处理的数据集 $\widetilde{\mathcal{D}}$ 上，BSO 采用 SBA 生成元端到端微调目标策略。超参数设置极为简练：在标准偏好优化（如 DPO 的温度因子 $\beta$）的基础上，仅引入温和安全惩罚系数 $C$ 与放大幂律系数 $\lambda$。全流程无需冻结或部署任何前置判别模型，采用单轮反向传播更新，在大模型参数更新中表现出极佳的计算收敛性与数值鲁棒性。

实验关键数据¶

主实验¶

实验基于 PKU-SafeRLHF-30K 数据集（包含约 27,000 条训练样本与 3,000 条测试样本），在 Qwen2.5-0.5B-Instruct 与 Llama-3.2-3B-Instruct 两种不同架构和参数规模的基座上开展评测。有用性评分采用 Beaver-7B-unified-reward 评估期望奖励，安全性指标采用 Beaver-7B-unified-cost 计算无害率（Harmless Ratio，即代价 $\le 0$ 的样本占比）。此外，在 Llama-3.2-3B 上使用 DeepSeek-V4 作为 LLM 评判裁判（满分 10 分制打分有用性，并进行二值安全判定）。

模型基座	方法	有用性评测 (Reward / Score)	无害率 (Harmless Ratio %)	综合表现说明
Qwen2.5-0.5B	SFT	高有用性 (Baseline)	极低无害率 (缺乏对齐)	极易生成不安全回复
Qwen2.5-0.5B	SafeRLHF	显著牺牲有用性	适度提升无害率	在线强化学习收敛震荡
Qwen2.5-0.5B	SACPO	有用性部分退化	显著提高无害率	两阶段微调存在跨阶段遗忘
Qwen2.5-0.5B	SafeDPO	有用性良好保持	较高无害率	启发式 Margin 权重饱和
Qwen2.5-0.5B	BSO (Ours)	最佳 Pareto 奖励平衡	最高无害率 (~SOTA)	前沿右上凸出，兼顾有用与安全
Llama-3.2-3B	SFT	7.6 (LLM-Judge)	~52% (LLM-Judge)	基础有用性强但安全性差
Llama-3.2-3B	SafeRLHF	~6.8	~78%	有用性严重受损
Llama-3.2-3B	SACPO	~7.1	~82%	表现中规中矩
Llama-3.2-3B	SafeDPO	~7.4	~86%	安全性提升明显但有用性落后
Llama-3.2-3B	BSO (Ours)	7.8 (最高有用性)	89.5% (最高无害率)	双指标全面胜出

消融实验¶

基于 Qwen2.5-0.5B 基座，对安全惩罚系数 $C$（固定 $\lambda=0.2$）与 SBA 放大系数 $\lambda$（固定 $C=30$）展开系统消融评测：

实验组别	核心超参数配置	有用性表现 (Helpfulness)	安全性表现 (Harmless Ratio)	机制分析与状态说明
安全惩罚 $C$ 消融	$C = 5, 10$ (过小)	保持极高奖励	改善微弱，无害率低	惩罚幅度不足以逆转偏好 gap
安全惩罚 $C$ 消融	$C = 30$ (最佳平衡点)	高位稳定	达到峰值并超越 SafeDPO	最佳 Pareto 平衡区间
安全惩罚 $C$ 消融	$C = 45, 50$ (过大)	奖励急剧下挫	出现瓶颈甚至下降	策略陷入过度防御与拒答
SBA 放大系数 $\lambda$ 消融	$\lambda = 0.0$ (退化为 KLIEP)	奖励正常	无害率提升平缓	线性放大强度不足
SBA 放大系数 $\lambda$ 消融	$\lambda = 0.2$ (最优配置)	最佳奖励水平	最高无害率	解耦基线且自适应强化安全样本
SBA 放大系数 $\lambda$ 消融	$\lambda = 0.3, 0.5$ (适度增大)	轻微下降	基本持平	处于有效收益递减区间
SBA 放大系数 $\lambda$ 消融	$\lambda \ge 0.6$ (激进放大)	剧烈恶化崩塌	严重下挫	极端样本权重击穿优化稳定性

关键发现¶

Pareto 前沿外推能力：对比 SFT、SafeRLHF、SACPO 与 SafeDPO，BSO 是唯一在双尺度骨干网络（0.5B 与 3B）上均同步实现“有用性维持+无害率攀升”的方法，将传统的负向 trade-off 曲线直接向右上方推移。
超参数的双峰狭窄区间：安全惩罚因子 $C$ 呈现明确的非单调态势，过小无法激活安全纠偏，过大则诱发模型过度拒绝导致有用性崩塌；最优取值位于 $C=30$ 左右。同样，$\lambda$ 仅在微弱放大的温和区间（$\lambda=0.2$）效果最佳，过度加权会破坏基于协调样本的自然语言生成连贯性。
训练开销极其低廉：由于抛弃了辅助奖励/成本模型及在线采样，BSO 在单张 NVIDIA H200 GPU 上的微调耗时极其精简，0.5B 模型单次全流程对齐仅耗时 20 分钟，3B 模型仅耗时 45 分钟。

亮点与洞察¶

第一性原理的理论统摄性：将大模型安全对齐抽象为 Bregman 散度下的密度比匹配问题，不仅给出了最优解严格收敛的理论证明，更顺理成章地将此前学术界经验性提出的 SafeDPO 等算法纳为其特定生成元下的特例。
大惩罚与数值稳定的双赢解耦：通过 Swap 与 Drop 两条确定性离线规则预处理偏好对，巧妙利用离线偏好序颠倒在物理上替代了无穷大乘子，彻底化解了指数项 $\exp(-C \Delta s)$ 的数值溢出顽疾。
通用对齐范式迁移潜力：基于 Bregman 散度的密度比匹配框架具有高度的数学通用性，可直接推广至版权对齐、幻觉抑制、多约束价值对齐等更广泛的 LLM 约束优化场景中。

局限与展望¶

二值化安全标签局限：理论推导与实验验证均建立在离散二值标签 $s \in \{0, 1\}$ 之上，无法细粒度刻画具有轻微违规、上下文依赖或分级严重性的潜在伤害。
强依赖偏好与安全标签的无噪性：密度比直接受经验分布影响，若标注数据中存在恶意伪标签或安全误标，无辅助判别的单阶段损失将无保留地吸收此类系统偏差。
未来方向：探索引入连续/等级安全代价下的密度比匹配扩展形式，并将该方法拓展至多轮交互式多智能体博弈与实时动态对齐管线。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从密度比匹配与 Bregman 散度视角严格解构安全对齐，理论优雅且完备。
实验充分度: ⭐⭐⭐⭐☆ 涵盖双骨干模型、奖励模型打分与强 LLM Judge 评测，消融实验论证充分。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严密流畅，从理论构建到工程算法设计的逻辑链环环相扣。
价值: ⭐⭐⭐⭐⭐ 为轻量级安全对齐提供了无需辅助模型的强劲基线与通用理论指导。

实验组别	核心超参数配置	有用性表现 (Helpfulness)	安全性表现 (Harmless Ratio)	机制分析与状态说明
安全惩罚 \(C\) 消融	\(C = 5, 10\) (过小)	保持极高奖励	改善微弱，无害率低	惩罚幅度不足以逆转偏好 gap
安全惩罚 \(C\) 消融	\(C = 30\) (最佳平衡点)	高位稳定	达到峰值并超越 SafeDPO	最佳 Pareto 平衡区间
安全惩罚 \(C\) 消融	\(C = 45, 50\) (过大)	奖励急剧下挫	出现瓶颈甚至下降	策略陷入过度防御与拒答
SBA 放大系数 \(\lambda\) 消融	\(\lambda = 0.0\) (退化为 KLIEP)	奖励正常	无害率提升平缓	线性放大强度不足
SBA 放大系数 \(\lambda\) 消融	\(\lambda = 0.2\) (最优配置)	最佳奖励水平	最高无害率	解耦基线且自适应强化安全样本
SBA 放大系数 \(\lambda\) 消融	\(\lambda = 0.3, 0.5\) (适度增大)	轻微下降	基本持平	处于有效收益递减区间
SBA 放大系数 \(\lambda\) 消融	\(\lambda \ge 0.6\) (激进放大)	剧烈恶化崩塌	严重下挫	极端样本权重击穿优化稳定性