TPO: Tri-level Distributionally Robust Learning for OOD Direct Preference Optimization¶

会议: NeurIPS 2026
arXiv: 2610.28229
论文: https://arxiv.org/abs/2610.28229
领域: 对齐/RLHF
关键词: 直接偏好优化 (DPO)、分布鲁棒优化 (DRO)、分布外泛化 (OOD)、Wasserstein距离、多层级不确定性

一句话总结¶

针对直接偏好优化（DPO）在跨环境部署时面临的多层级分布偏移难题，本文提出三层分布鲁棒学习框架 TPO，通过分层矩形 Wasserstein 不确定性集统一建模群体分布偏移、Prompt 协变量偏移与条件偏好翻转噪声，推导出闭式边际惩罚、Prompt 嵌入对抗扰动与最差群体动态重加权的解析目标，并给出了有限样本收敛界保障。

研究背景与动机¶

直接偏好优化（DPO）已成为大语言模型（LLM）对齐人类意图的主流范式。不同于经典的基于强化学习的人类反馈对齐（RLHF），DPO 绕过了显式的奖励建模过程，直接从成对比较数据构建闭式分类似然目标，极大提升了训练稳定度。然而，标准 DPO 隐式依赖训练分布与部署环境独立同分布（i.i.d.）的基本假设，最小化的是训练集上的经验风险。在真实世界的安全部署中，这一假设极易被打破，导致模型在面临分布外（OOD）环境时偏好泛化性能急剧衰退。

偏好对齐中的分布偏移具有天然的层次结构：在全局层面，用户群体、地域文化或交互群体的构成比例可能发生剧烈倾斜（群体级偏移）；在局部的群体内部，即使群体身份确定，输入的 Prompt 边际分布也会因使用场景、领域或时间推移而改变（Prompt 级协变量偏移）；而在相同的 Prompt 和候选回答下，人类反馈由于主观异质性、标注噪声或对抗投毒，条件偏好标签分布也会发生退化（偏好级偏移）。现有的鲁棒 DPO 方法往往只能兼顾部分维度：WDPO 和 KLDPO 虽在全联合偏好分布上构建不确定性集，却未能利用其层级解耦特性；GRPO 仅能重加权群体比例而忽视组内漂移；rDPO 和 Dr.DPO 则主要聚焦于标签翻转噪声。

本文的切入角度是，将偏好联合分布严格分解为群体混合、Prompt 边际与条件偏好的三级概率图分解，并在各层级分别引入独立的 Wasserstein 不确定性球。核心 idea：利用分解的矩形不确定性集（Rectangular Ambiguity Set），将三层级极大极小分布鲁棒优化解耦为三级可解析计算的代理目标——偏好级导出显式正边际惩罚截断、Prompt 级转化为嵌入空间的投影对抗扰动、群体级实现基于指数梯度的最差情况重加权。

方法详解¶

整体框架¶

TPO 旨在解决偏好数据集 $\mathcal{D}=\{(\boldsymbol{x}_i,\boldsymbol{y}_i^+,\boldsymbol{y}_i^-)\}_{i=1}^n$ 在部署时面临的群组级、Prompt 级和偏好级三级分布偏移。每个样本建模为多元随机变量 $U=(X,V,S)$，其中 $X$ 为 Prompt，$V=(Y_1,Y_2)$ 为固定的候选回答对，$S\in\{+1,-1\}$ 为偏好标签。对任意群组 $g \in \{1,\dots,m\}$，数据分布可因式分解为： $$ P_g(U) = P_g^X(X) P_g^V(V\mid X) P_g^S(S\mid V,X) $$ 由于离线偏好数据集中候选回复对 $V$ 是观测且固定的，TPO 在全局组权重 $\boldsymbol{\omega}$、局部 Prompt 边际分布 $Q_g^X$ 以及条件偏好分布 $Q_g^S$ 上分别定义 Wasserstein 距离半径约束 $\rho^\omega$、$\rho_g^X$ 与 $\rho_g^S$。

得益于该因式分解满足矩形集性质（Rectangularity），对抗者的三层级最坏情况寻优可以在数学上严格嵌套分解：最内层针对条件偏好求解析最差损失；中间层通过对偶理论将 Prompt 边际不确定性转化为嵌入空间的有约束对抗扰动；最外层通过投影指数梯度上升寻找最差群体权重。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：偏好样本 (x, y+, y-) 与群组划分 g"] --> B["阶段1：偏好级闭式边际截断惩罚<br/>解析对抗标签翻转，施加非负偏好边际上界惩罚"]
    B --> C["阶段2：Prompt 级嵌入空间对抗扰动<br/>投影梯度上升寻找最差输入扰动 delta"]
    C --> D["阶段3：群体级最差分布重加权<br/>指数梯度上升并投影至 L1 约束单纯形"]
    D --> E["模型策略参数更新<br/>在加权鲁棒代理损失上执行梯度下降"]

关键设计¶

1. 偏好级闭式边际惩罚：防止高置信度过拟合与噪声标签放大

在标准 DPO 设定下，经验分布假设所有成对比较的标签均为 $S=+1$。但在多标注者存在偏好冲突或存在投毒攻击的环境中，真实偏好可能翻转为 $S=-1$。TPO 在二元标签单纯形上引入离散翻转代价 $c_S(s,s')=\mathbf{1}[s\neq s']$ 的 Wasserstein 球，其半径 $\rho_g^S \in [0,1]$ 限制了标签翻转的最大比例。根据对偶变换，该最差条件偏好损失可被完全解析求出，推导证明无需任何额外优化步骤： $$ \bar{\mathcal{L}}_g(\boldsymbol{x},\boldsymbol{y}_1,\boldsymbol{y}_2;\boldsymbol{\theta}) = \varphi\bigl(m(\boldsymbol{x},\boldsymbol{y}_1,\boldsymbol{y}_2;\boldsymbol{\theta})\bigr) + \rho_g^S \bigl[m(\boldsymbol{x},\boldsymbol{y}_1,\boldsymbol{y}2;\boldsymbol{\theta})\bigr]+ $$ 其中 $m(\boldsymbol{x},\boldsymbol{y}_1,\boldsymbol{y}_2;\boldsymbol{\theta})=\beta\left(\log\frac{\pi_{\boldsymbol{\theta}}(\boldsymbol{y}_1\mid\boldsymbol{x})}{\pi_{\text{ref}}(\boldsymbol{y}_1\mid\boldsymbol{x})}-\log\frac{\pi_{\boldsymbol{\theta}}(\boldsymbol{y}_2\mid\boldsymbol{x})}{\pi_{\text{ref}}(\boldsymbol{y}_2\mid\boldsymbol{x})}\right)$ 为标准 DPO 边际，$[\cdot]_+=\max\{\cdot,0\}$ 为非负截断算子。这一闭式形式蕴含深刻的理论性质：标准 DPO 的凸损失使理想目标边际趋向 $+\infty$，极易造成策略模型在噪声偏好上过度自信；而 TPO 附加的单侧边际惩罚项使得最优目标边际被显式限制在有限区间 $M_g^\star = \log\frac{1-\rho_g^S}{\rho_g^S}$（当 $0<\rho_g^S<\frac{1}{2}$ 时）。当偏好不确定性增大时，目标边际自动向保守收缩，杜绝了异常噪声对策略分布的过度漂移拉扯。

2. Prompt 级嵌入空间对抗扰动：抵抗测试期协变量输入偏移

在群体内部，用户 Prompt 的词汇模式与表达习惯常出现协变量偏移。离散词元（token）空间的扰动在计算上是不可微且组合爆炸的，TPO 借鉴 NLP 对抗微调的严谨设定，在连续稠密嵌入空间定义传输代价 $c_X$。当固定候选回复对不改变时，将样本传输代价定义为 Prompt 嵌入差值的二次欧氏距离 $\frac{1}{2}\|\boldsymbol{h}-\boldsymbol{h}'\|_2^2$。基于 Wasserstein 对偶理论，群组经验鲁棒风险可等价表述为引入对抗扰动向量 $\boldsymbol{\delta}$ 的极值问题。

为保证计算可行性，TPO 固定对偶惩罚超参数 $\gamma_g>0$，并将扰动范围限制在欧氏球 $\mathcal{B}_g^X=\{\boldsymbol{\delta}: \|\boldsymbol{\delta}\|_2^2 \le 2\rho_g^X\}$ 内，构造出代理样本损失： $$ \ell_{\boldsymbol{\theta}}^g(\boldsymbol{z}i;\gamma_g) = \sup|_2^2 \right} $$ 在训练实现中，通过 }\in\mathcal{B}_g^X} \left{ \bar{\mathcal{L}}_g(\boldsymbol{h}_i+\boldsymbol{\delta},\boldsymbol{y}_i^+,\boldsymbol{y}_i^-;\boldsymbol{\theta}) - \frac{\gamma_g}{2}|\boldsymbol{\delta$K$ 步带二次正则项的投影梯度上升（Projected Gradient Ascent, PGA）快速逼近该最差扰动 $\boldsymbol{\delta}^\star$。该扰动同时注入被选择和被拒绝回复的共享上下文表征中，促使模型学会在语义扰动下依旧稳健的回复判别准则。

3. 群体级最差分布重加权：保证所有子群体的对齐公平性与最差表现

真实生产环境中，某些小众群体的样本占比极低，直接优化平均损失会导致该子群体在测试时完全失真。TPO 在群体混合权重单纯形 $\Delta^{m-1}$ 上以离散代价 $d_G(g,g')=\mathbf{1}[g\neq g']$ 定义 Wasserstein 距离，使其精确等价为全变差（Total Variation）或加权 $\ell_1$ 距离：$\mathcal{W}_{d_G}(\boldsymbol{\omega},\boldsymbol{\alpha})=\frac{1}{2}\|\boldsymbol{\omega}-\boldsymbol{\alpha}\|_1$。在每轮训练更新时，根据各组内部计算出的前述两级鲁棒代理经验损失 $\widetilde{\mathcal{R}}_g^{(t)}$，采用指数梯度上升（Exponentiated Gradient Ascent）更新临时权重，随后利用凸优化求解器将其投影回 $\ell_1$ 约束球 $\|\boldsymbol{\omega}-\boldsymbol{\alpha}\|_1 \le 2\rho^\omega$ 之内： $$ \boldsymbol{\omega}^{(t)} = \arg\min_{\boldsymbol{\omega}\in\Delta^{m-1}, |\boldsymbol{\omega}-\boldsymbol{\alpha}|1 \le 2\rho^\omega} \mathcal{D})) $$ 该机制保证了最外层优化动态将训练焦点迁移至当前鲁棒表现最差的群体，实现全局多群体的协同下界提升。}}(\boldsymbol{\omega} \parallel \boldsymbol{\omega}^{(t-1)} \odot \exp(\eta_\omega \widetilde{\mathcal{R}}^{(t)

损失函数 / 训练策略¶

TPO 的最终训练目标是一个可解的极大极小优化问题： $$ \min_{\boldsymbol{\theta}\in\Theta} \sup_{\boldsymbol{\omega}\in\mathcal{U}^\omega} \sum_{g=1}^m \omega_g \left[ \gamma_g \rho_g^X + \frac{1}{|\mathcal{B}g|} \sum}_g} \left( \bar{\mathcal{L}}_g(\boldsymbol{hi+\boldsymbol{\delta}}^\star, \boldsymbol{y}_i^+, \boldsymbol{yi^-; \boldsymbol{\theta}) - \frac{\gamma_g}{2}|\boldsymbol{\delta}^\star|_2^2 \right) \right] $$ 优化采用交替迭代（Algorithm 1）： 1. 内层对抗扰动：对 batch 内每个样本，执行 $K=1$ 步投影梯度上升，步长 $\eta_\delta=0.001$，求得最优扰动 $\boldsymbol{\delta}$； 2. 中层群体加权：计算每组的组内经验鲁棒损失估计，执行一步指数梯度上升并投影至 $\mathcal{U}^\omega$； 3. 外层策略更新：固定各样本扰动与各组权重，对策略参数 $\boldsymbol{\theta}$ 执行标准梯度下降，步长 $\eta_\theta$。

在对数线性策略类和一致协方差覆盖假设下，定理 1 给出了严格的有限样本收敛保障：经验最优解 $\widehat{\boldsymbol{\theta}}$ 与总体最优解 $\boldsymbol{\theta}^\star$ 的收敛速率受最差群体规模 $n_{\min}=\min_{g} n_g$ 支配，收敛速率达到 $\widetilde{\mathcal{O}}(n_{\min}^{-1/4})$。

实验关键数据¶

主实验¶

论文在基于 Emotion 构建的受控多层级偏好对齐基准（包含群体偏移、Prompt 偏移、偏好偏移以及综合三层偏移）上进行了系统评估，基座模型为 Qwen-2.5-0.5B 和 LLaMA-3.2-1B。

模型	方法	ID 测试集 (Avg/Worst)	群体偏移 (Avg/Worst)	Prompt偏移 (Avg/Worst)	偏好偏移 (Avg/Worst)	综合三层偏移 (Avg/Worst)	平均排名
Qwen-2.5-0.5B	DPO	86.87 / 77.78	81.80 / 76.15	83.17 / 76.98	82.93 / 78.16	82.60 / 76.40	5.30
	Dr.DPO	84.81 / 81.36	81.65 / 77.06	82.75 / 76.84	82.24 / 75.86	81.27 / 75.22	6.50
	WDPO	84.87 / 84.13	82.72 / 78.90	85.08 / 82.20	84.01 / 81.46	84.21 / 78.76	3.20
	TPO (本文)	86.95 / 85.12	84.61 / 81.65	85.47 / 82.56	85.44 / 82.34	85.25 / 79.94	1.10
LLaMA-3.2-1B	DPO	88.75 / 86.19	88.23 / 83.44	87.81 / 85.43	86.91 / 81.42	87.44 / 82.61	4.15
	Dr.DPO	84.16 / 81.00	84.65 / 79.87	83.73 / 80.98	82.87 / 78.87	85.51 / 79.13	7.00
	WDPO	87.53 / 84.17	87.24 / 80.86	87.78 / 85.82	85.28 / 79.73	86.71 / 81.16	5.80
	TPO (本文)	90.57 / 87.55	89.11 / 83.50	89.14 / 86.70	88.25 / 81.31	88.31 / 83.19	1.20

消融实验¶

论文通过分解单一鲁棒层级对各模块进行详尽消融（在 Qwen-2.5-0.5B 上的准确率 %）：

配置	激活层级	群体偏移 (Avg/Worst)	Prompt偏移 (Avg/Worst)	偏好偏移 (Avg/Worst)	综合偏移 (Avg/Worst)
TPO (Full)	群体 + Prompt + 偏好	84.61 / 81.65	85.47 / 82.56	85.44 / 82.34	85.25 / 79.94
TPO (Group)	仅群体 ($\rho^\omega>0$)	82.96 / 76.76	83.46 / 78.28	82.31 / 79.24	82.06 / 76.11
TPO (Prompt)	仅 Prompt ($\rho_g^X>0$)	82.84 / 80.43	84.69 / 81.05	85.02 / 83.03	84.37 / 79.65
TPO (Preference)	仅偏好 ($\rho_g^S>0$)	82.77 / 77.98	84.30 / 79.75	83.28 / 79.99	83.24 / 76.11
基线 DPO	无鲁棒组件	81.80 / 76.15	83.17 / 76.98	82.93 / 78.16	82.60 / 76.40

关键发现¶

三层级互补性：激活单一维度的鲁棒模块均只能针对特定偏移类型提供局部收益（如 TPO (Prompt) 在 Prompt 偏移上效果显著），但在面临复合多重分布偏移时，唯有 TPO 全量框架展现出全局最优表现，平均排名位列第一（1.10 与 1.20）。
对抗偏好投毒表现优异：在对抗性标签翻转攻击下，针对高 margin 偏好翻转的自适应投毒攻击中，TPO 依托有限目标边际截断机制，显著抑制了模型对被污染样本的置信度膨胀，高翻转率（如 30%-40%）下精度全面大幅领先传统基于标签去偏的 rDPO 与 Dr.DPO。
下游主流基准泛化无损：在 UltraFeedback 上微调并在 Open LLM Leaderboard v2（MMLU-Pro, BBH, GPQA, MATH-Hard, IFEval, MuSR）评测表明，TPO 在提升鲁棒性的同时完全保留甚至增强了基础推理与指令遵循能力，在 IFEval 指令遵循基准上 LLaMA-3.1-8B 取得 79.6（相比 DPO 的 75.4 显著提高 4.2 个绝对百分点）。
可接受的计算开销：在 2 张 H100 GPU 上微调 LLaMA-3.2-1B 时，相较于标准 DPO，三层鲁棒性总额外训练耗时仅增加约 14.9 分钟（PGA 步数 $K=1$），实用性极高。

亮点与洞察¶

解耦式矩形不确定性建模：巧妙地将偏好对齐过程中交织在一起的群组比例、输入表征和偏好噪声，利用概率因式分解拆解为三层级矩形集，克服了以往单层全局 DRO“一刀切”导致优化难度大、物理意义不明确的缺陷。
偏好级 Wasserstein 鲁棒导出解析截断：直接推导出带有单侧非负截断惩罚 $[m]_+$ 的闭式损失函数，不仅避免了内层针对偏好标签的显式优化开销，还从理论上揭示了有限最优边际的存在，数学推导极其优美。
向其他对齐框架迁移的通用性：该三层分级思想可直接推广到 KTO、SimPO、ORPO 等其他参考自由或参考依赖的偏好优化算法中，为安全大模型部署提供了标准化且模块化的理论工具箱。

局限与展望¶

作者承认的局限：有限样本收敛理论依赖于经验特征协方差一致覆盖假定（Assumption 2）；Prompt 级扰动是在连续嵌入空间进行的近邻逼近，尚无法完全刻画自然语言离散词元级别的句法重构与对抗释义；同时额外引入了三个相互独立的半径超参数，在不同数据集上仍需一定的网格搜索成本。
实际观察到的局限：群体划分依赖预设标签或 K-means 聚类嵌入，在无监督或群体边界极其模糊的复杂偏好语料上，聚类质量可能影响最差群体权重的平滑更新；偏好半径 $\rho_g^S$ 过大时容易造成欠拟合（边际过度保守收敛至 0）。
后续改进思路：探索自适应半径动态调节机制，根据验证集或训练动态损失自适应衰减 $\rho_g^S$；结合离散文本生成器进行可微的 Prompt 扰动学习。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出面向 DPO 的三层级分布鲁棒优化框架，数学推导严谨且解析性强。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖合成受控环境、对抗性投毒攻击、多参数规模模型（0.5B-8B）以及真实 Open LLM Leaderboard v2 全套评测。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰，理论假设、引理证明与算法实现环环相扣。
价值: ⭐⭐⭐⭐⭐ 为 LLM 在真实复杂非平稳环境下的可靠对齐与安全部署提供了极具实用价值的理论和方法方案。