Robust Nash Alignment under Preference Uncertainty¶

会议: NeurIPS 2026
arXiv: 2610.00715
OpenReview: https://openreview.net/forum?id=CiLFISXIZl
领域: 对齐/RLHF
关键词: 偏好不确定性、纳什对齐、分布鲁棒优化、四玩家代理博弈、乐观镜像升降

一句话总结¶

本文提出偏好不确定性下的鲁棒纳什对齐（Robust Nash Alignment）框架，将成对偏好核建模在伯努利-KL散度不确定集内，并通过四玩家原始-对偶代理博弈克服非矩形约束求解的NP困难性，实现了 $\mathcal{O}(1/\sqrt{T})$ 收敛率与认证最差情况胜率保证。

研究背景与动机¶

以 RLHF、DPO 为代表的主流大语言模型对齐方法，通常预设成对偏好遵循潜在标量奖励模型（如 Bradley-Terry 假设）。然而在真实交互中，人类偏好普遍存在上下文依赖、传递性缺失、循环偏好以及不同标注群体的异质性，无法被单一标量得分完美刻画。为了突破这一局限，纳什人类反馈学习（NLHF）等通用偏好对齐方法将偏好概率作为基元对象，通过构建零和博弈直接求解纳什均衡策略。

然而，现有通用偏好对齐方法大多将学得的偏好核视为不可动摇的确定性真值，并在单一经验估计上求解最优策略。在现实部署中，真实的偏好核不仅难以精确测量，且往往由于标注样本有限、噪声污染、群体偏差或测试阶段用户分布漂移而存在显著不确定性。这导致了所谓的“脆弱共识”（fragile consensus）漏洞：名义偏好下看似占优的策略，其微弱优势极易被微小的偏好扰动彻底颠覆。

为解决这一问题，本文借鉴分布鲁棒优化的思想，不再将偏好核视为固定点估计，而是将其建模为围绕名义偏好核的不确定性集合，使主学习策略在最坏情况对抗偏好核与对抗策略的双重博弈下最大化胜率下界。核心 idea：将成对偏好核构建在伯努利-KL不确定集中并转化为四玩家原始-对偶代理博弈，在保持单循环乐观镜像更新的同时，为不确定偏好下的语言模型对齐提供可证明的最差胜率理论保证。

方法详解¶

整体框架¶

方法从名义成对偏好核出发，通过伯努利-KL散度定义以半径 $\rho$ 约束的非矩形不确定集 $\mathcal{P}$。在标准的两人纳什博弈中，引入选择最恶劣偏好核的对抗方，构建极大极小极小形式的硬约束鲁棒博弈目标。由于消除对抗策略会导致非凸极小化且偏好对之间存在全局耦合，直接优化极其困难。因此，系统通过引入拉格朗日对偶变量并交换优化顺序，将高维非凸问题转化为由领导策略、跟随策略、对抗偏好核和对偶变量共同参与的四玩家凸-凹代理博弈，并采用单循环乐观镜像升降算法进行高效迭代。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["名义偏好核与参考策略<br/>P*, π_ref, 预算半径 ρ"] --> B["伯努利-KL 不确定集建模<br/>约束球 P: D_KL^Bern(p || p*) ≤ ρ"]
    B --> C["硬约束鲁棒博弈构建<br/>max_π min_ν min_p J(π, ν, p)"]
    C --> D["四玩家原始-对偶代理博弈<br/>拉格朗日展开并交换次序: max_(π,γ) min_(ν,p) F"]
    D --> E["单循环乐观镜像升降更新<br/>OGDA 双预测梯度自适应更新四方参数"]
    E --> F["认证鲁棒对齐策略 π_bar<br/>O(1/√T) 对偶隙收敛与最差胜率下界保证"]

关键设计¶

1. 伯努利-KL 不确定集与硬约束鲁棒博弈目标：抵御脆弱共识的最坏情况保证

传统方法在面对具有微弱优势的循环偏好时，往往会过度拟合易反转的边缘。本文在所有无序候选对 $E = \{(i,j): 1 \le i < j \le m\}$ 上建立偏好核 $p = (p_{ij})_{(i,j) \in E}$，以名义估计 $p^\star$ 为中心，通过成对伯努利分布的 KL 散度总和定义不确定集： $$ \mathcal{P} := \left{ p \in [0,1]^d : D_{\mathrm{KL}}^{\mathrm{Bern}}(p | p^\star) := \sum_{(i,j) \in E} \left[ p_{ij} \log \frac{p_{ij}}{p_{ij}^\star} + (1 - p_{ij}) \log \frac{1 - p_{ij}}{1 - p_{ij}^\star} \right] \le \rho \right}. $$ 在此基础上，主策略 $\pi$ 寻求在最差候选跟随策略 $\nu$ 与最恶劣偏好核 $p \in \mathcal{P}$ 下的最大化 KL 正则化胜率。该设定天然赋予求解策略认证下界：任意集合内的核 $p \in \mathcal{P}$ 和任意竞争对手 $\nu$ 下，学得策略的预期胜率均不低于该博弈的最优值。但由于单个标量预算 $\rho$ 耦合了所有候选对，不确定集是非矩形的，无法按动作独立分解。

2. 鞍点代理博弈转化与严格逼近间隙：将非凸极小转化为双边凸-凹博弈

若直接消去跟随者 $\nu$，内部极小化问题将退化为关于 $p$ 的凹函数极小化，这在一般凸集上属于 NP-hard 问题。为破除这一计算屏障，本文对可行域施加微小的下界截断保证正则性（截断误差经严格证明至多为 $\delta$），引入对偶乘子 $\gamma \in [\gamma_{\min}, \gamma_{\max}]$ 构造拉格朗日函数： $$ F(\pi, \gamma, \nu, p) := J(\pi, \nu; p) + \gamma \left( D_{\mathrm{KL}}^{\mathrm{Bern}}(p | p^\star) - \rho \right). $$ 通过在正则域上交换 $\max_\gamma$ 与 $\min_\nu$ 的优化层级，将原本层层嵌套的四层极大极小问题重构为极大玩家组 $(\pi, \gamma)$ 与极小玩家组 $(\nu, p)$ 的双边鞍点博弈。理论分析证明，代理博弈目标值 $g_{\mathrm{proxy}}^\delta(\pi; \rho)$ 严格下界于硬约束鲁棒值 $g_H^\delta(\pi; \rho)$，二者差距被精细控制在 $\rho \gamma_{\min}$ 内；且当曲率条件 $\tau \gamma_{\min} \ge \frac{1}{4}$ 满足时，对偶变量赋予核空间强凸性，消除了极小极大反序缺陷。

3. 多几何解耦的单循环乐观镜像升降算法：阻尼高阶耦合震荡的快速收敛策略

针对四玩家梯度演化中 $\gamma \to p \to (\pi, \nu)$ 的链式耦合依赖，常规同时梯度法极易产生极限环震荡。本文根据各优化块的几何特征，为概率单纯形策略 $\pi, \nu$ 赋予香农熵几何，为对偶标量 $\gamma$ 赋予欧氏几何，为偏好概率向量 $p$ 赋予二值熵几何。在每轮迭代中采用两倍当前梯度减去历史梯度的预测动量 $\widehat{g}_t^\bullet = 2 g_t^\bullet - g_{t-1}^\bullet$，执行分离镜像步： $$ p_{t+1} = \arg\min_{p \in P_\delta} \left{ \langle \widehat{g}t^p, p \rangle + \frac{1}{\eta} D_t^\gamma \right). $$ 论文通过构建全域 Lipschitz 上界与 Bregman 稳定性吸收证明，在步长 }}^{\mathrm{Bern}}(p | p_t) \right}, \quad \gamma_{t+1} = \mathrm{Proj}_\Gamma \left( \gamma_t + \eta \widehat{g$\eta = \frac{1}{8 L_\delta}$ 时，迭代平均策略 $\bar{z}_T$ 的对偶隙以 $\mathcal{O}(L_\delta / T)$ 速率收敛；选取截断参数 $\delta = \mathcal{O}(1/\sqrt{T})$，平均主策略 $\bar{\pi}_T$ 即可达到原始硬约束鲁棒对齐博弈的 $\mathcal{O}(1/\sqrt{T} + \rho \gamma_{\min})$ 近似最优。

损失函数 / 训练策略¶

在大模型参数化微调实践中（如 LoRA 微调主策略 $\pi_L$ 与跟随策略 $\pi_F$），系统采用参数化的反对称扰动头 $\delta_\psi(y_a, y_b) = g_\psi(u_{ab}) - g_\psi(u_{ba})$ 模拟对抗核。此时各玩家的参数更新目标为： $$ \mathcal{L}\psi = \mathbb{E}[p\psi] + \gamma \left( \mathbb{E}[D_{\mathrm{KL}}^{\mathrm{Bern}}(p_\psi | P^\star)] - \rho \right), $$ $$ \mathcal{L}\pi = -\mathbb{E} \left[ \left( p\psi - \tau \mathrm{clip}\left(\log \frac{\pi_L}{\pi_{\mathrm{ref}}}, -c, c\right) - b_L \right) \log \pi_L(y_L) \right], $$ $$ \mathcal{L}\nu = -\mathbb{E} \left[ \left( -p\psi - \tau \mathrm{clip}\left(\log \frac{\pi_F}{\pi_{\mathrm{ref}}}, -c, c\right) - b_F \right) \log \pi_F(y_F) \right], $$ 其中 $p_\psi = \sigma(\mathrm{logit} P^\star(y_L \succ y_F \mid x) + \delta_\psi(y_L, y_F))$，对偶变量 $\gamma$ 经由投影梯度上升单调追踪不确定性预算违约量 $\gamma \leftarrow \mathrm{clip}(\gamma + \eta_\gamma (\mathbb{E}[D_{\mathrm{KL}}^{\mathrm{Bern}}] - \rho), 0, \gamma_{\max})$。

实验关键数据¶

主实验¶

在 IMDb 文本续写重排序任务（8000 个测试 prompt，候选集 $m=8$，评测核采样 $M=600$）中，以三类异质标注群体（详尽分析型、精炼简洁型、折中平衡型）的均匀混合作为名义核，评估不同扰动半径下鲁棒策略 $\pi_R$ 相对名义基线 NashMD（$\pi_N$）的胜率：

训练半径 $\rho_{\mathrm{train}}$	$\rho_{\mathrm{eval}}=0.05$	$\rho_{\mathrm{eval}}=0.10$	$\rho_{\mathrm{eval}}=0.20$	$\rho_{\mathrm{eval}}=0.30$	$\rho_{\mathrm{eval}}=0.50$
0.01	0.986	0.967	0.927	0.894	0.844
0.02	0.985	0.965	0.925	0.891	0.841
0.05	0.984	0.961	0.918	0.883	0.832
0.10	0.978	0.949	0.901	0.866	0.814
0.15	0.934	0.894	0.844	0.810	0.766

在 TL;DR 摘要微调任务（1000 个测试 prompt，非 Bradley-Terry 的 PairRM 交叉编码器作为标称核）中，采用三个跨架构的大型外部裁判模型评估相对 NashMD 的胜率：

微调基座模型	训练半径 $\rho_{\mathrm{train}}$	DeepSeek-R1-Distill-32B	Gemma-4-31B	Nemotron-3-Nano-Omni
Qwen2.5-1.5B-Instruct	0.01	0.708	0.577	0.492
Qwen2.5-1.5B-Instruct	0.05	0.625	0.615	0.732

消融实验与参数敏感性¶

为验证温度超参 $\tau$ 与训练半径 $\rho_{\mathrm{train}}$ 的内在交互作用，论文在 IMDb 任务上测试了在固定评测扰动 $\rho_{\mathrm{eval}}=0.30$ 下的胜率表现：

正则化温度 $\tau$	$\rho_{\mathrm{tr}}=0.005$	$\rho_{\mathrm{tr}}=0.01$	$\rho_{\mathrm{tr}}=0.02$	$\rho_{\mathrm{tr}}=0.05$	$\rho_{\mathrm{tr}}=0.10$	$\rho_{\mathrm{tr}}=0.15$
$\tau = 0.001$	0.860	0.857	0.850	0.832	0.813	0.780
$\tau = 0.005$	0.877	0.874	0.870	0.857	0.831	0.784
$\tau = 0.01$	0.896	0.895	0.893	0.883	0.866	0.810
$\tau = 0.05$	0.976	0.976	0.976	0.976	0.977	0.972
$\tau = 0.1$	0.859	0.860	0.862	0.868	0.880	0.717

关键发现¶

全面超越名义博弈基准：在 IMDb 随机成对扰动与狄利克雷群体漂移测试下，鲁棒对齐策略在所有测试半径上均维持显著大于 0.50 的胜率（最高达 0.986 以上），证明了对抗不确定核训练带来的泛化稳定性。
最佳温度增益区间：在 $\tau=0.05$ 时鲁棒策略取得最显著的增益，胜率在 $\rho_{\mathrm{eval}} \le 0.30$ 时超过 97%；当 $\tau$ 极小时名义基线策略高度尖锐化，而 $\tau$ 极大时策略退化至均匀分布，均会削弱鲁棒优化的额外发挥空间。
抗过度保守机制：当训练半径过大（如 $\rho_{\mathrm{train}}=0.15$）时，模型对对抗扰动的预估过高，导致策略趋于过度防御与保守，胜率出现可察觉的回落。合理设置适度半径即可在兼顾名义性能的同时获取极佳鲁棒性。

亮点与洞察¶

首次将偏好核不确定性引入纳什对齐博弈：摆脱了以往分布鲁棒仅针对 Prompt 采样权重或标量奖励的局限，直接把博弈支付矩阵自身纳为对抗不确定对象，从根源上化解循环偏好中的微弱反转脆弱性。
精巧的原始-对偶代理博弈重构：巧妙利用拉格朗日乘子将耦合非凸的极小化问题提升为四玩家凸-凹博弈，在保持单循环一阶算法可解性的同时给出了无松弛间隙的精确等价条件。
多几何乐观镜像映射的无缝集成：针对单纯形、标量域与二值偏好超立方体分别设计相契合的 Bregman 散度，借助梯度外推阻尼博弈震荡，为复杂多玩家多模态博弈提供了可复现的理论模板。

局限与展望¶

计算开销相对两人博弈增加：引入对抗偏好核与对偶变量增加了迭代开销，在生成式大模型中需要额外训练一个反对称扰动网络并维护交叉推理。
不确定性半径选取的先验依赖：超参数 $\rho$ 的设置直接决定了鲁棒性与保守性之间的权衡，目前仍需依赖验证集或集中不等式先验，未来可探索根据在线反馈流方差自适应调节半径的机制。
理论收敛率与大模型参数化间隙：理论上的 $\mathcal{O}(1/\sqrt{T})$ 收敛率建立在表格概率单纯形假设上，在大模型神经网络参数化与深度 LoRA 结构下的非凸非凹非线性博弈理论仍有待进一步拓展。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立非矩形偏好核不确定性下的通用纳什对齐理论与四玩家代理博弈架构。
实验充分度: ⭐⭐⭐⭐☆ 涵盖可控表格博弈、多群体偏好重排与大语言模型摘要对齐，外部LLM裁判评估扎实。
写作质量: ⭐⭐⭐⭐⭐ 数学证明严密自洽，从理论难点剖析到算法收敛证明层层递进。
价值: ⭐⭐⭐⭐⭐ 为大模型在多标注者异质偏好、低质标注噪声和部署后分布漂移场景下的鲁棒对齐提供了坚实的理论基石。

正则化温度 \(\tau\)	\(\rho_{\mathrm{tr}}=0.005\)	\(\rho_{\mathrm{tr}}=0.01\)	\(\rho_{\mathrm{tr}}=0.02\)	\(\rho_{\mathrm{tr}}=0.05\)	\(\rho_{\mathrm{tr}}=0.10\)	\(\rho_{\mathrm{tr}}=0.15\)
\(\tau = 0.001\)	0.860	0.857	0.850	0.832	0.813	0.780
\(\tau = 0.005\)	0.877	0.874	0.870	0.857	0.831	0.784
\(\tau = 0.01\)	0.896	0.895	0.893	0.883	0.866	0.810
\(\tau = 0.05\)	0.976	0.976	0.976	0.976	0.977	0.972
\(\tau = 0.1\)	0.859	0.860	0.862	0.868	0.880	0.717