Back to Blackwell: Closing the Loop on Intransitivity in Multi-Objective Preference Fine-Tuning¶

会议: NeurIPS 2026
arXiv: 2602.19041
OpenReview: https://openreview.net/forum?id=y6JzBUPPdU
论文: https://arxiv.org/abs/2602.19041
代码: https://github.com/cmu-sml/prosper
领域: LLM对齐
关键词: 偏好微调, 传递性缺失, 多目标对齐, 博弈论, 镜像下降回归

一句话总结¶

针对大模型偏好微调中多目标打分引起的偏好非传递性与最优策略不存在问题，本文提出最大熵布莱克威尔优胜者博弈解概念并推导出无须对抗训练的单玩家回归算法 PROSPER，在指令遵循与通用聊天基准上显著超越传统标量化对齐基线。

研究背景与动机¶

在大语言模型（LLM）的偏好微调（Preference Fine-Tuning, PFT）流程中，主流做法通常假设存在一个良定义的全局最优策略，即底层偏好满足传递性公理（若 $A \succ B$ 且 $B \succ C$，则必有 $A \succ C$）。然而在真实对齐场景下，作为评判者（LLM-as-a-Judge）的模型往往表现出严重的传递性缺失（Intransitivity，即偏好成环循环克制）。这种非传递性主要源自两大根源：其一是模型在单一评价维度上的打分本身存在固有噪声与不一致性；其二是试图通过预设或启发式权重将多维度指标（如帮助性、安全性、逻辑性或具体 Checklist 规则）强行标量化（Scalarization）为单一综合得分，这在心理学与社会选择理论中被证明必然引发偏好成环。

面对这一困境，现有缓解策略通常割裂了两个维度。一方面，Checklist 与细粒度评判（如 RLCF）主张将评判拆分为多条独立准则以降低粗粒度汇总的固有不一致性，但下游策略优化时仍粗暴依赖线性加权标量化，导致非传递性再度复现；另一方面，基于社会选择理论的单目标博弈论对齐方案（如 Nash-MD、Self-Play、von Neumann 优胜者）虽然能处理非传递偏好，但在扩展到多目标时，因著名的 Blackwell 向量收益极小化极大定理失效（Minimax Theorem 不再成立），导致经典自博弈收敛理论全面崩塌，陷入难以直接扩展的多玩家对抗困局。

本文从第一性原理出发，重新审视多目标且每项目标皆非传递环境下的最优对齐准则。核心 idea：提出正则化多目标博弈解概念“最大熵布莱克威尔优胜者”（MaxEntBW），通过将对手策略进行 KL 熵正则化以解析求解内层对抗并利用凹函数极值性质消去权重维度，最终将三玩家博弈完全退化为单玩家平方损失回归算法 PROSPER，在避免双模型对抗训练的同时从理论和算法上闭环解决多目标非传递偏好对齐。

方法详解¶

整体框架¶

PROSPER 将多目标非传递偏好微调建模为一个广义三人博弈：学习者策略 $\pi$、对手比较策略 $\pi'$ 以及目标权重分布 $w(x)$。为避免大规模语言模型对抗训练的数值崩溃与高计算开销，PROSPER 引入对参考策略 $\pi_{\mathsf{ref}}$ 的 KL 散度约束，利用最大熵逆强化学习结构解析推导出对手的最优响应闭式解，从而消除最内层的策略对抗；随后证明有效目标价值函数对权重向量具有严格凹性，利用鲍尔极值原理将连续权重优化压缩为按 Prompt 动态选取的离散最差维度；最后利用基于相对奖励的在线镜像下降（Online Mirror Descent, OMD）框架，将策略参数更新精确重构为单玩家加权平方损失回归。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入 Prompt 及多维度 Rubric / Checklist"] --> B["阶段1：多维度成对判别采样<br/>当前策略与参考策略生成候选集"]
    B --> C["阶段2：最劣目标识别<br/>依据配分函数求极小维度"]
    C --> D["阶段3：单玩家平方损失回归更新<br/>近似相对对数概率与优势梯度差"]
    D --> E["输出对齐策略参数"]

关键设计¶

1. 最大熵布莱克威尔优胜者（MaxEntBW）：构建兼具多目标鲁棒性与局部正规化的对齐解概念 针对经典 von Neumann 优胜者仅局限于单目标、而原始 Blackwell 优胜者因采用全空间无约束鞍点搜索导致在现代大模型下易退化出不可行病态策略的问题，本文引入参考模型正则化的博弈博弈价值函数： $$V(\pi) \triangleq \min_{w: \mathcal{X} \to \Delta_{m(x)}} \min_{\pi' \in \Pi} \mathbb{E}_{x}\left[\langle w(x), \mathcal{P}(\pi \succ \pi' \mid x)\rangle + \beta \mathbb{D}_{\mathrm{KL}}(\pi'(x) \parallel \pi_{\mathsf{ref}}(x))\right]$$ 该目标要求学习策略 $\pi$ 在面对最严苛的评价准则权重 $w(x)$ 以及邻域内最具挑战性的对手策略 $\pi'$ 时，仍能最大化其胜率期望。由于对手受到以 $\beta$ 为系数的 KL 散度惩罚，最内层优化 $\min_{\pi'}$ 存在精确的 Gibbs 测度闭式最优解： $$\pi'_{\star}(y' \mid x) = \frac{\pi_{\mathsf{ref}}(y' \mid x) \exp(-\langle w(x), \mathcal{P}_{\pi}(y' \mid x)\rangle / \beta)}{Z(w, \pi \mid x)}$$ 将此闭式解代回原博弈式，内层对手被解析消除，原博弈值直接等价于软配分函数期望的最大极小化：$\max_{\pi} \min_{w} \mathbb{E}_x [-\beta \log Z(w, \pi \mid x)]$。

2. 极值原理消去权重维度：利用凹性降维至 Prompt 级最差单目标追踪 传统多目标对齐常采用梯度上升下降法联调权重向量 $w(x) \in \Delta_{m(x)}$，极易产生振荡。本文通过 Hölder 不等式严格证明了负对数配分函数 $-\beta \log Z(w, \pi \mid x)$ 关乎权重向量 $w(x)$ 严格为凹函数。依据泛函分析中的鲍尔极大值原理（Bauer's Maximum Principle），紧凸集上的凹函数极小值必定在集合的极值点（Extreme Points）处取得。因此，单纯形 $\Delta_{m(x)}$ 上的极小化等价于在各个标准基向量（即各个单项指标）中取离散最小值。由此，对连续权重分布的优化直接简化为 Prompt 级识别最薄弱的单一评价维度： $$\widehat{k}(x) = \arg\min_{k \in [m(x)]} -\beta \log \widehat{Z}^k(x)$$ 该设计将多目标权重动态调整的计算复杂度降至离散指标级，同时确保了学习过程专注于当前模型在对应输入下表现最差的细粒度准则。

3. 在线镜像下降的单玩家回归转化：通过平方损失避免策略自对抗 在锁定最劣准则 $\widehat{k}(x)$ 后，目标函数对于学习策略 $\pi$ 仍保持凹性。根据凸分析中次微分复合规则，目标关于策略在回复 $z$ 处的泛函梯度可精确表示为经验期望的配分比值： $$g(z \mid \pi, x) = \frac{\mathbb{E}_{y' \sim \pi_{\mathsf{ref}}(x)} [\mathcal{P}^{\widehat{k}(x)}(z \succ y' \mid x) \exp(-\mathcal{P}_{\pi}^{\widehat{k}(x)}(y' \mid x) / \beta)]}{Z^{\widehat{k}(x)}(\pi \mid x)}$$ 为了在深度神经网络上执行自然策略梯度的镜像下降，PROSPER 融合了 REBEL 风格的相对优势回归技巧，将包含隐式配分归一化项的镜像下降更新规则转化为成对样本的显式平方损失最小化： $$\theta_{t+1} = \arg\min_{\theta \in \Theta} \sum_{x \in \mathcal{D}} \sum_{z, z' \in \mathcal{D}(x)} \left(\frac{1}{\eta} \left(\ln \frac{\pi_\theta(z \mid x)}{\pi_{\theta_t}(z \mid x)} - \ln \frac{\pi_\theta(z' \mid x)}{\pi_{\theta_t}(z' \mid x)}\right) - (\widehat{g}_t(x, z) - \widehat{g}_t(x, z'))\right)^2$$ 这一转化免去了价值网络（Critic）的学习以及双模型同步滚动的策略采样，使得整个优化完全由监督式成对对数概率差回归驱动，获得了 $O(\sqrt{1/T} + \sqrt{C_{\pi_{\mathsf{ref}} \to \pi^\star} \epsilon})$ 的严格次优界保证。

损失函数 / 训练策略¶

PROSPER 采用离线采样与批次回归相结合的多阶段训练方案。每个训练 Epoch 分为三个阶段：首先从当前策略 $\pi_{\theta_t}$ 中对每个 Prompt 采样 $K=8$ 个候选回复，并与参考模型回复混合构建成对数据集；随后调用判别器（Qwen3-14B，5 级 Likert 量表成对判别，经 10 次双向位置置换采样平均消除位置偏差）对每个维度打分并归一化至 $[0, 1]$；计算样本级梯度估计 $\widehat{g}_t(x, z)$ 并筛选全局梯度分歧最大（Score Gap 位于前 $15\% \sim 17\%$）的高置信度样本对；最后使用 AdamW 优化器（学习率 $3 \times 10^{-7}$，Batch Size 128，序列截断 2048）执行平方回归更新，全流程仅需迭代 2 个 Epoch 即可收敛。

实验关键数据¶

主实验¶

实验基于 WildChecklists 数据集，在 7B 与 3B 规模的 Qwen2.5-Instruct 模型上全面评测。在核心指令遵循与通用对话基准上，PROSPER 全面超越了基线模型与标量化加权算法 RLCF。

模型 / 方法	Arena-Hard (Vanilla)	Arena-Hard (Style-Controlled)	AlpacaEval 2.0 (Vanilla)	AlpacaEval 2.0 (Length-Controlled)
Qwen2.5-7B-Instruct (Base)	42.4	44.2	37.1	25.32
+ RLCF (标量化基线)	42.5	43.9	41.4	17.24
+ PROSPER-JC (单目标汇总)	44.2	42.0	55.3	38.21
+ PROSPER-VB (固定参考对手)	47.6	45.5	51.2	33.64
+ PROSPER (本文完整方法)	49.2	46.1	55.4	37.61
Qwen2.5-3B-Instruct (Base)	20.6	19.6	24.1	12.79
+ RLCF (3B 基线)	22.8	22.9	26.2	11.62
+ PROSPER (3B 完整方法)	26.0	24.6	35.8	20.94

消融实验¶

消融实验对比了去除两大内层优化机制的效果：PROSPER-JC（将所有 Checklist 汇总结算为单目标得分，消去多目标对抗权重）与 PROSPER-VB（令 $\beta \to \infty$，将动态最劣对手退化为固定的参考策略 $\pi_{\mathsf{ref}}$，对应变分下界近似）。

配置 / 变体	Arena-Hard (Style-Controlled)	AlpacaEval 2.0 (Length-Controlled)	综合通用评测平均分 (Avg QA/Reasoning)	说明
PROSPER (完整模型)	46.1	37.61	71.70	双层内环解析求解，综合性能最优
w/o 多目标动态加权 (PROSPER-JC)	42.0 (-4.1)	38.21 (+0.60)	71.69 (-0.01)	评判退化为单一标量汇总，风格控制胜率显著下滑
w/o 动态对手策略 (PROSPER-VB)	45.5 (-0.6)	33.64 (-3.97)	72.32 (+0.62)	对手固定为 $\pi_{\mathsf{ref}}$，长度控制指令胜率大幅下降
外部基线 RLCF (加权 DPO)	43.9 (-2.2)	17.24 (-20.37)	71.30 (-0.40)	传统标量化引发长度膨胀，LC 指标崩溃

关键发现¶

非传递性经验实证：在 WildChecklists 抽样评测中，随着采样候选数增加，LLM 评判在单目标汇总（$\mathcal{P}_{\mathsf{JC}}$）下高达约 40% 的 Prompt 陷入成环循环克制且不存在孔多塞优胜者（Condorcet Winner）；拆分为细粒度多维度评判（$\mathcal{P}_{\mathsf{SC}}$）可将无优胜者比例显著减半，但仍有成环现象，证明多目标架构与非传递博弈解两者缺一不可。
长度与风格欺骗免疫：传统标量化对齐（RLCF）极易诱导模型通过冗长回答套取奖励，导致其 AlpacaEval 长度控制胜率暴跌至 17.24%；PROSPER 凭借博弈论对各维度的木桶短板压制，使模型在长度控制与风格控制评测下仍分别保持 37.61% 与 46.1% 的高胜率。
通用能力零坍塌：在 IFEval、MMLU、ARC、HellaSwag 和 TruthfulQA 等 5 项与训练目标不相干的知识与常识推理基准测试中，PROSPER 7B 取得 71.70 平均分（Base 为 72.55），证明该博弈求解过程并未引入过度的对抗性保守泛化破坏。

亮点与洞察¶

博弈论与单玩家回归的理论统一：传统博弈对齐算法往往需要维护主攻模型与对抗模型两套策略或依赖自博弈迭代，PROSPER 巧妙结合 KL 正则解析解与鲍尔极值原理，将原本非凸非凹的三人向量博弈完全退化为单玩家显式回归。
攻克多目标对齐中的 Minimax 失效障碍：从理论层面指出了向量收益下 von Neumann 极小化极大定理失效的根本瓶颈，并通过定义最大熵布莱克威尔优胜者（MaxEntBW）开辟了一条在无须满足 Minimax 条件下高效逼近多目标均衡的新技术路径。
高价值样本对过滤机制：在成对回归中引入基于梯度差异向量范数的全局筛选策略（过滤保留前 $15\%\sim 17\%$ 间距对），有效滤除了评判模型由于置信度不足产生的非传递噪声。

局限与展望¶

判别成本高昂：离线分数生成阶段需要调用评判大模型对每个候选对在多个准则下重复 10 次双向推理，单模型单 Epoch 评分耗时近 50 GPU 小时，计算开销显著高于传统单标量奖励模型。
极值指标假设可能对离群噪声敏感：由于利用鲍尔原理直接追踪最差单一维度指标 $\widehat{k}(x)$，若评判模型在某个细粒度准则上发生幻觉误判，容易导致整个更新梯度被该异常维度主导。
未来方向：探索可在线学习的轻量化多目标判别头以降低推理开销，或在最差准则选择中引入适度温度平滑（如 Softmin）以增强对评判幻觉的容错能力。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出最大熵布莱克威尔优胜者并给出规避 Minimax 失效的单玩家回归闭式解，理论构思极其巧妙。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7B 与 3B 双模型规模、7 项下游评测基准，并给出了偏好非传递性发生率的详尽测量与消融。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严谨自洽，动机与前人工作差异阐述极为清晰。
价值: ⭐⭐⭐⭐⭐ 为多准则/多智能体裁判下的复杂大模型偏好对齐奠定了坚实的博弈论基础与实用工程范式。