Inference-Time Nash Alignment

会议: NeurIPS 2026
arXiv: 2609.08082
OpenReview: https://openreview.net/forum?id=JKuHvi1fHD
领域: 安全
关键词: 推理时对齐, 纳什均衡, 通用偏好, 零和博弈, 纳什镜像下降

一句话总结

针对黑盒大模型与非传递性通用偏好，本文将推理时对齐建模为双人零和博弈纳什均衡求解，提出 Best-of-Nash 与 Nash Mirror Descent 两种达到紧致对偶间隙下界且免微调的高效对齐算法。

研究背景与动机

基于人类偏好的微调方法（如 RLHF 和 DPO）已成为对齐大语言模型的主流范式。然而，微调不仅依赖高成本的标注数据和繁重的计算开销，更严重的是必须具备模型白盒参数的访问权限。在顶尖模型（如 GPT-5.4 Thinking、Claude Opus 4.7、Gemini 3.1 Pro）普遍仅开放黑盒 API 的背景下，无需更新模型参数的推理时对齐（Inference-Time Alignment）成为了极具吸引力的替代途径。

以 Best-of-N 为代表的传统推理时对齐方法主要遵循“采样-排序”范式，但普遍深陷两大根本困境。其一，现存方法基于 Bradley-Terry 标量奖励假设，然而人类群体偏好往往具有非传递性（Non-transitive）与周期性，标量打分无法表达复杂的通用偏好（Generalized Preferences）。其二，Best-of-N 极易诱发严重的奖励黑客（Reward Hacking）现象：随着采样数 \(N\) 增大，代理奖励模型给出的分数单调上升，但模型在真实人类偏好下的实际表现却因过度优化而迅速劣变。

面对无法白盒微调且存在通用偏好与奖励黑客的现状，本文将对齐问题从标量寻优转向博弈均衡求解。核心 idea：将通用偏好下的黑盒推理时对齐建模为策略空间的双人零和博弈，通过求解经验偏好矩阵的纳什均衡或执行纳什镜像下降自博弈更新，以无需更新参数的方式达成理论最优对偶间隙。

方法详解

整体框架

给定提示词 \(x\)，基础模型策略 \(\pi_{\text{ref}}\) 以及不完美的成对偏好预言机 \(\widehat{\mathbb{P}}\)（输入两个候选回复 \(y, y'\)，输出 \(y\) 优于 \(y'\) 的概率），推理时纳什对齐的目标是在仅有黑盒采样与成对打分权限的情况下，求得一个对偶间隙极小的纳什均衡策略 \(\hat{\pi}\)。算法流程首先从参考策略采样 \(N\) 个候选回复，随后查询成对偏好矩阵，最后通过线性规划或镜像下降迭代求解候选集上的纳什分布。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入提示词 x 与基模采样<br/>y_1, ..., y_N ~ π_ref(·|x)"] --> B["成对偏好矩阵查询<br/>P_ij = P_hat(y_i ≻ y_j | x)"]
    B --> C{"对齐求解路径选择"}
    C -->|高精度精确求解| D["1. Best-of-Nash 极小化极大对齐<br/>线性规划 LP 求解经验零和博弈"]
    C -->|高吞吐快速自博弈| E["2. Nash Mirror Descent 镜像迭代<br/>显式闭式解双策略镜像下降更新"]
    D --> F["输出候选回复上的纳什均衡分布 π_hat"]
    E --> F
    F --> G["按概率抽取最终对齐回复"]

关键设计

1. Best-of-Nash 极小化极大对齐：消除标量贪心导致的奖励黑客 针对传统 Best-of-N 采用 \(\operatorname{argmax}\) 贪心选取单一最高分回复而极易引发奖励黑客的问题，Best-of-Nash（BoN）保留采样-排序结构，但将打分准则改为经验博弈的均衡求解。在抽取 \(N\) 个候选样本 \(\widehat{\mathcal{Y}}_N = \{y_1, \dots, y_N\}\) 后，查询偏好模型构建斜对称经验偏好矩阵 \(\widehat{P}_{ij} = \widehat{\mathbb{P}}(y_i \succ y_j \mid x)\)，进而通过线性规划直接求解双人对称零和博弈的纳什均衡 \(\hat{\pi} \in \Delta(\widehat{\mathcal{Y}}_N)\)：

\[\max_{\pi \in \Delta(\widehat{\mathcal{Y}}_N),\, v \in \mathbb{R}} v \quad \text{s.t.} \quad \sum_{j=1}^N \pi(y_j) \widehat{P}_{ji} \geq v \quad \forall i \in [N]\]

该设计避免了向有偏代理奖励极端峰值过拟合。理论证明，当采样量满足 \(N \geq 4 \log(\frac{2}{\varepsilon(x)}) \mathcal{C}_{\text{uni}}(x)\) 时，BoN 所返回策略的真实对偶间隙上界为 \(\text{DualGap}(\hat{\pi}) \leq 3 \varepsilon(x) \mathcal{C}_{\text{uni}}(x)\)，其中 \(\varepsilon(x)\) 为偏好预言机误差，\(\mathcal{C}_{\text{uni}}(x)\) 为参考策略对全响应空间的最大通用覆盖系数（Universal Coverage）。

2. Nash Mirror Descent 镜像迭代：闭式解自博弈替代高阶线性规划 针对 Best-of-Nash 使用内点法求解 LP 导致查询后计算复杂度高达 \(\mathcal{O}(N^{3.5} \log(1/\epsilon))\)、在长文本或大候选集下延迟激增的瓶颈，本文提出了基于无悔学习的 Nash Mirror Descent（NMD）算法。NMD 维护两套在候选集 \(\mathcal{Y}_N\) 上耦合演化的策略序列 \(\pi_t\) 与 \(\pi'_t\)。在每轮自博弈迭代中，策略利用历史预测梯度与当前梯度进行乐观镜像下降，并引入 KL 散度进行步长正则化约束：

\[\pi'_{t+1}(y_i) = \frac{\pi'_t(y_i) \exp(\hat{r}_t(y_i)/\beta)}{\sum_j \pi'_t(y_j) \exp(\hat{r}_t(y_j)/\beta)}\]

其中经验期望优势 \(\hat{r}_t(y_i) = \mathbb{E}_{y' \sim \pi_t}[\widehat{\mathbb{P}}(y_i \succ y' \mid x)]\)。通过双重镜像迭代，算法在 \(T = \mathcal{O}(\frac{\log N}{\varepsilon(x) \mathcal{C}_{\text{uni}}(x)})\) 轮后输出历史平均策略 \(\hat{\pi} = \frac{1}{T}\sum_{t=1}^T \pi_t\)。NMD 拥有完全闭式的指数权重更新，后处理时间复杂度大幅收敛至 \(\mathcal{O}(\frac{N^2 \log N}{\varepsilon(x) \mathcal{C}_{\text{uni}}(x)})\)，同时严格保持与 BoN 同阶的对偶间隙上界 \(\text{DualGap}(\hat{\pi}) \leq 5 \varepsilon(x) \mathcal{C}_{\text{uni}}(x)\)。

3. 纳什对齐极小化极大下界与通用覆盖理论：确立通用偏好对齐难度本质 现有标量奖励推理时对齐的遗憾界依赖于特定最优策略的单策略覆盖度平方根 \(\mathcal{O}(\varepsilon_{\text{RM}} \sqrt{\mathcal{C}^{\pi^*}})\)。为了探明通用偏好下对齐的极限性能，本文构建了含 \(K\) 个输出的双世界对抗实例证明信息论下界：对任意推理时算法，必然存在偏好实例使得对偶间隙满足 \(\text{DualGap} \geq \frac{\varepsilon_0 \mathcal{C}_{\text{uni}}(x)}{2\sqrt{2}}\)。

该理论揭示了通用偏好推理时对齐与标量奖励对齐的两大本质差异：第一，对参考策略数据覆盖质量的依赖从平方根级劣化为严格线性级 \(\mathcal{C}_{\text{uni}}(x)\)，基模在动作空间一旦出现低概率覆盖，将在对抗性博弈中付出更高代价；第二，决定误差放大的核心量变为了对任意对立策略取最大值的通用覆盖度 \(\mathcal{C}_{\text{uni}}(x) = \max_\pi \mathbb{E}_\pi [\frac{\pi}{\pi_{\text{ref}}}]\)。这也最终证明了 BoN 与 NMD 达成了理论最优收敛速率 \(\Theta(\varepsilon(x) \mathcal{C}_{\text{uni}}(x))\)。

实验关键数据

主实验

实验在三个代表性人类偏好数据集（TLDR 摘要、HelpSteer2 通用助益性、UltraFeedback 指令遵循）上展开，基模采用 LLaMA3-SFT (8B)，偏好预言机采用 LLaMA3-PM (8B)，评测模型采用 DeepSeek-V4-Flash（双向打乱消除位置偏差）。候选采样数设为 \(N=64\)，NMD 正则化系数设为 \(\beta=1\)。评测指标为预期胜率（Expected Win Rate, EWR = Win + Draw / 2）。

数据集	评测指标 (EWR)	基模 Base SFT	Best-of-Nash (本文)	Nash Mirror Descent (本文)	相对基模净提升
TLDR	EWR vs 参选参考	62.9%	73.5%	73.1%	+10.6% / +10.2%
HelpSteer2	EWR vs 参选参考	44.1%	68.8%	67.8%	+24.7% / +23.7%
UltraFeedback	EWR vs 参选参考	23.9%	48.8%	46.7%	+24.9% / +22.8%

在 TLDR 数据集上，微调对齐基线 LLaMA3-DPO (8B) 的胜率约为 74% 左右；BoN (73.5%) 与 NMD (73.1%) 仅凭推理时计算，在不更新任何模型参数的条件下完全逼近了经过全量偏好微调的 DPO 模型水准。

消融与扩展分析

1. 策略选择器机制消融（HelpSteer2，Qwen3-4B 候选 \(N=128\)）

选择机制	偏好 / 奖励形式	预期胜率 (EWR)	说明
随机基线 (Base SFT)	无 (随机抽取候选)	47.0%	未经对齐筛选的候选质量
标量 Best-of-N	Bradley-Terry 标量奖励头	64.0%	受制于标量传递性假设与极值偏好偏差
Best-of-Nash (本文)	成对偏好矩阵博弈求解	68.0%	比标量 BoN 高出 4.0%，消除过度优化

2. 推理时对齐 vs 参数微调 Nash 对齐对比（HelpSteer2，基模 Qwen3-0.6B，偏好模型 LLaMA3-PM）

对齐方式	具体方案	净胜率 (Win)	平局率 (Draw)	负率 (Lose)	预期胜率 (EWR)
原始基模	Qwen3-0.6B Base	13.0%	42.3%	44.7%	34.2%
参数微调	Nash-MD-PG (1 epoch 微调)	14.0%	55.0%	31.0%	41.5%
推理时对齐 (本文)	Best-of-Nash (\(N=64\))	29.0%	43.0%	28.0%	50.5%
推理时对齐 (本文)	NMD (\(N=64, \beta=1\))	33.0%	38.0%	29.0%	52.0%

关键发现

• 纯推理时对齐超越小模型参数微调：在小参数量（0.6B）实验中，全参数微调的 Nash-MD 胜率增长主要来源于把输局转化为平局（净胜率仅从 13% 增至 14%），而推理时纳什对齐（BoN 和 NMD）直接将净胜率提升至 29%~33%，EWR 突破 50%，证明小模型参数容量有限时，推理时均衡计算能比参数梯度更新更充分地释放偏好模型的指导信号。
• 超参数高度鲁棒：实验表明 NMD 的预期胜率在较宽的正则化超参数 \(\beta\) 变化范围内基本保持水平，无需复杂的超参搜索即可稳定运行；同时 BoN 的表现随候选数 \(N\) 严格单调上升（从 \(N=1\) 的 62.9% 平滑增长至 \(N=64\) 的 73.5%）。
• 轻量预言机跨级平替：使用仅有 0.4B 参数的 PairRM 与 8B 的 LLaMA3-PM 作为打分器时，BoN 和 NMD 在 TLDR 上取得了几乎持平的胜率，表明成对博弈机制降低了对超大偏好预言机的依赖。

亮点与洞察

• 跳出标量寻优的博弈视角：将推理时对齐提升到通用双人零和博弈的高度，摆脱了 Bradley-Terry 标量分数的传递性假设束缚，天然具备抵御单点奖励黑客与非传递循环偏好的鲁棒性。
• 理论上下界闭合：不仅给出了 BoN 和 NMD 的对偶间隙上界，还证明了 \(\Omega(\varepsilon \mathcal{C}_{\text{uni}})\) 的匹配下界，从统计学习理论层面清晰定格了通用偏好推理时对齐的误差缩放极限。
• 极其实用的 NMD 闭式演进：将原本求解复杂度随样本量激增的线性规划转变为自博弈镜像迭代，单步更新完全显式且无视 \(\beta\) 敏感度，为大批量推理部署铺平了工程道路。

局限与展望

• 成对查询开销显著：BoN 和 NMD 均需对 \(N\) 个候选进行全两两比较，导致对偏好模型的查询量为 \(\mathcal{O}(N^2)\)，当 \(N\) 增大到数百时模型打分延迟开销较大。
• 单提示词隔离假设：现有分析基于各 prompt 相互独立的理论假设，未利用跨提示词之间的任务相似性或共享风格表征。
• 基模覆盖范围决定的上限：推理时重加权策略严格受限于参考策略的采样支持集，若基模对高质回复的生成概率接近于零，单纯推理时对齐无法凭空生成最优答案，仍需与基础微调互为补充。

相关工作与启发

• vs 传统 Best-of-N：传统 BoN 基于标量奖励的 \(\operatorname{argmax}\) 排序，严重受限于 Bradley-Terry 假设且极易发生奖励黑客；本文算法基于成对偏好矩阵求解纳什分布，兼顾通用偏好并从理论上遏制过度优化。
• vs 训练期纳什微调（如 NLHF / Nash-MD）：NLHF 等方法需要白盒参数访问并依赖不稳定的强化学习/策略梯度更新；本文算法全程黑盒运行于推理阶段，无需梯度更新即可逼近甚至超越参数微调模型的表现。
• vs 悲观下界推理时算法（如 Pessimistic BoN）：此前研究仅针对标量奖励分析了单策略覆盖下的界；本文首度将通用偏好与通用覆盖度概念引入推理时对齐，确立了更为严密的理论完备性。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次系统性开拓并建立了通用偏好下的黑盒推理时纳什对齐理论框架与算法。
• 实验充分度: ⭐⭐⭐⭐☆ 覆盖三大标准偏好基准，包含详尽的标量基线对比、参数微调对比及消融分析。
• 写作质量: ⭐⭐⭐⭐⭐ 理论推导严密精巧，从算法设计、收敛界证明到匹配下界构建浑然一体。
• 价值: ⭐⭐⭐⭐⭐ 为无法微调的顶尖黑盒大模型对齐开辟了兼具理论保证与工程可行性的新范式。

相关论文

• [NeurIPS 2026] Inference-time Alignment via Sparse Junction Steering
• [NeurIPS 2026] Inference-Time Vulnerability Beyond Shallow Safety: Alignment Along Generation Trajectories
• [NeurIPS 2026] Improving Evaluation Realism with Inference-Time Compute and Deployment Scaffolds
• [NeurIPS 2026] Curriculum Learning for Safety Alignment
• [NeurIPS 2026] Fail-Closed Alignment for Large Language Models