Mult-DPO: Multinomial Direct Preference Optimization for Recommender Systems¶

会议: NeurIPS 2026
arXiv: 2606.10078
代码: https://github.com/yaochenzhu/Mult_DPO
领域: 推荐系统
关键词: 推荐系统, 直接偏好优化, 大语言模型, Plackett-Luce模型, 集合偏好对齐

一句话总结¶

针对推荐系统中多正样本无序集合偏好与原生 DPO 成对假设失配的核心瓶颈，Mult-DPO 提出多项分布代用似然，构造出边缘化 Plackett-Luce 损失的闭式可计算上界，以分类风格目标实现多正多负集合偏好的高效对齐，并可自然推广至多级偏好。

研究背景与动机¶

随着大语言模型（LLM）逐步成为下一代推荐系统的核心骨干，如何有效将 LLM 的生成策略与真实用户偏好进行对齐成为学术界与工业界关注的焦点。在通用自然语言处理任务中，直接偏好优化（DPO）基于 Bradley-Terry（BT）成对偏好模型，借助强化学习（RLHF）最优策略与隐式奖励函数之间的闭式解析映射，省去了训练独立奖励模型与强化学习在线采样的繁琐流程，被广泛应用于指令遵循与安全对齐。然而，推荐系统中的用户反馈结构与通用问答存在本质差异：问答任务通常由人工对比两个长回复给出成对胜负标签，而推荐场景面对特定上下文（如用户交互历史、多轮对话或画像）时，天然沉淀出的是包含多个正向交互（点击、收藏、点赞）与未交互/负向反馈的集合偏好（Set-wise Preference）。

在集合偏好设定下，系统的优化准则是令每一个正样本物品都优先于每一个负样本物品，但正样本内部以及负样本内部并没有固定的相对次序。直接沿用原生 DPO 意味着必须暴力枚举所有正负物品对，不仅计算开销剧增，而且完全割裂了候选集的联合排序结构。将 BT 扩展至列表排序的自然方案是 Plackett-Luce（PL）模型，但对集合偏好应用 PL 模型时，由于无法观测到正样本集合内部的实际生成次序，必须对正样本集合的所有置换进行边缘化积分，直接导致计算复杂度陷入 $k!$（或容斥原理下的 $2^k$）的组合爆炸，无法转化为闭式可计算的 DPO 损失。另一些折中方案（如 S-DPO、DMPO）退化为“单正样本对多负样本”，或者像 LiPO(BT) 那样将成对 BT 损失简单求和，依然人为施加了不必要的成对独立性假设，无法在统一理论视角下端到端保留多正多负的联合偏好分布。

本文的切入视角是寻找一种既能与 RLHF 最优策略重参数化完全兼容、又能在多正样本场景下保持闭式解与线性计算复杂度的代用事件模型。核心 idea：构建基于多项分布（Multinomial）的代用似然函数 Mult-DPO，在奖励诱导的相同概率权重空间上以 $\mathcal{O}(K)$ 复杂度将正样本联合对比负样本总权重，从理论上证明其为难解边缘化 Plackett-Luce 损失的紧致上界，并自然推广至多级细粒度评分对齐。

方法详解¶

整体框架¶

Mult-DPO 面向推荐场景中形如 $(x, \mathcal{E}^p, \mathcal{E}^d)$ 的集合偏好三元组展开，其中上下文 $x$ 涵盖用户画像、历史序列或交互对话，正样本集合 $\mathcal{E}^p = \{e_1, \ldots, e_k\}$（共 $k$ 个），负样本集合 $\mathcal{E}^d = \{e_{k+1}, \ldots, e_K\}$（共 $K-k$ 个），总候选池为 $\mathcal{E} = \mathcal{E}^p \cup \mathcal{E}^d$。优化目标是让 LLM 策略 $\pi_\theta(e \mid x)$ 满足集合偏好事件 $\Omega_x := \{e \succ e' \mid e \in \mathcal{E}^p, e' \in \mathcal{E}^d\}$。

整个框架的核心流程包括：首先在由策略比值诱导的权重空间上将连续奖励映射为候选物品上的类别分布；随后基于 $k$ 次独立抽样无负样本且无重复正样本的联合事件，构建紧致的多项分布代用似然；最后利用负对数似然导出分类形式的极简 Mult-DPO 目标。在面临多档评分时，框架利用序贯条件分解逐层应用边界多项分布，拓展为统一的 Mult$^2$-DPO。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入上下文 x 与候选集<br/>正样本集合 Ep + 负样本集合 Ed"] --> B["策略权重映射<br/>w_pi(e|x) ∝ (pi_theta/pi_ref)^beta"]
    B --> C["多项代用似然建模<br/>p_MN：k 次独立抽样且覆盖全部正样本"]
    C --> D["Mult-DPO 目标优化<br/>正样本对数似然对比全集联合权重"]
    D -->|细粒度多级偏好扩展| E["序贯多项式 Mult2-DPO<br/>G 级序贯分组条件独立分解"]
    D --> F["推理期物品打分与全库重排"]
    E --> F

关键设计¶

1. 策略诱导权重映射：打通 RLHF 解析最优解与离散物品概率空间

为了免除显式奖励模型训练和在线 PPO 迭代，方法复用了 DPO 中经典的最优策略重参数化推导。在 RLHF 正则化最大化目标下，最优策略 $\pi^*(e \mid x)$ 与隐式奖励 $r(x, e)$ 满足闭式解析映射 $r(x, e) = \beta \log \frac{\pi^*(e \mid x)}{\pi_{\text{ref}}(e \mid x)} + \beta \log Z(x)$。定义离散候选物品对应的正值指数权重为 $w(e \mid x) := \exp(r(x, e))$，将其替换为待优化策略 $\pi_\theta$ 后，未知配分函数 $Z(x)^\beta$ 在候选集相对比值中彻底消去，从而得到直接由策略比值表达的策略诱导权重： $$w_{\pi_\theta}(e \mid x) \propto \left(\frac{\pi_\theta(e \mid x)}{\pi_{\text{ref}}(e \mid x)}\right)^\beta$$ 该映射将语言模型 token 序列生成概率直接投影为 Plackett-Luce 与多项分布通用的参数空间，构成了所有后续对齐目标的基石。

2. 多项分布代用似然建模：化解边缘化置换的组合爆炸瓶颈

标准的 Plackett-Luce 模型定义在全排列空间上，对正样本内部无序的集合偏好事件 $\Omega_x$ 积分时，其边缘似然为： $$p_{\text{PL}}(\Omega_x \mid x, \mathcal{E}; w) = \sum_{\rho \in S_k} \prod_{t=1}^k \frac{w(e_{\rho(t)} \mid x)}{B + \sum_{j=t}^k w(e_{\rho(j)} \mid x)}$$ 其中 $B = \sum_{e \in \mathcal{E}^d} w(e \mid x)$ 为负样本累计权重，$S_k$ 为 $k$ 个正样本的全排列集合。该式计算涉及 $k!$ 项连乘，即便用指数竞争过程转换为容斥形式仍需 $2^k$ 次求和。为了打破计算瓶颈，Mult-DPO 构造了一个在归一化权重 $p(e \mid x) = \frac{w(e \mid x)}{W}$（$W = \sum_{e \in \mathcal{E}} w(e \mid x)$）上进行 $k$ 次独立抽样的虚拟代用事件：要求每个正样本恰好出现一次且未抽中任何负样本。该多项计数事件包含 $k!$ 种等价采样次序，由此导出解析多项似然： $$p_{\text{MN}}(\Omega_x \mid x, \mathcal{E}; w) = k! \prod_{e \in \mathcal{E}^p} \frac{w(e \mid x)}{W}$$ 作者在数学上证明了 $p_{\text{PL}}(\Omega_x) \ge p_{\text{MN}}(\Omega_x)$，并且似然比满足严格上下界 $1 \le \frac{p_{\text{PL}}}{p_{\text{MN}}} \le (1 + \frac{A}{B})^{k-1}$（其中 $A$ 为正样本总权重）。

3. 闭式 Mult-DPO 目标与紧致性上界优化：统一多正多负的分类式对齐

将策略诱导权重代入多项分布负对数似然并省略与参数无关的常数项后，可直接导出形式极其优雅且具有强数值稳定性的 Mult-DPO 损失： $$\mathcal{L}_{\text{Mult-DPO}}(x, \mathcal{E}^p, \mathcal{E}^d) = -\beta \sum_{e \in \mathcal{E}^p} \log \frac{\pi_\theta(e \mid x)}{\pi_{\text{ref}}(e \mid x)} + k \log \sum_{e \in \mathcal{E}} \left(\frac{\pi_\theta(e \mid x)}{\pi_{\text{ref}}(e \mid x)}\right)^\beta$$ 由于对数函数的单调性，作者在推论中证明了 $\mathcal{L}_{\text{PL-DPO}} \le \mathcal{L}_{\text{Mult-DPO}}$，且损失间隙被严格控制在 $(k-1)\log(1 + \frac{A_{\pi_\theta}}{B_{\pi_\theta}})$ 以内。这意味着优化 Mult-DPO 等价于最小化难解 PL-DPO 损失的紧致可导上界；更为深刻的是，当负样本数量增加或负样本硬度提升导致策略诱导的负样本总权重 $B_{\pi_\theta}$ 增大时，上界间隙单调收敛收紧，从而在理论层面指明了选择高质量困难负样本能让多项代用似然更加逼近真实排序分布。

4. 序贯多项式 Mult$^2$-DPO 扩展：多层级评分与细粒度偏好统一建模

当推荐系统中存在显式评分（如 1 星至 5 星）等多层偏好时，候选集被划分为 $G \ge 2$ 个有序分组 $\mathcal{E} = \bigcup_{g=1}^G \mathcal{E}^{(g)}$。利用 Plackett-Luce 的序贯选择独立性质，高优先级分组确定后低层偏好条件独立，全集多级偏好似然可完美分解为 $G-1$ 个边界多项式的连乘积。定义每个分界点上剩余未处理物品的加权和为 $W_g = \sum_{h=g}^G \sum_{e \in \mathcal{E}^{(h)}} w_{\pi_\theta}(e \mid x)$，对应的 Mult$^2$-DPO 损失为： $$\mathcal{L}_{\text{Mult}^2\text{-DPO}} = \sum_{g=1}^{G-1} \left[ -\beta \sum_{e \in \mathcal{E}^{(g)}} \log \frac{\pi_\theta(e \mid x)}{\pi_{\text{ref}}(e \mid x)} + k_g \log \sum_{h=g}^G \sum_{e \in \mathcal{E}^{(h)}} \left(\frac{\pi_\theta(e \mid x)}{\pi_{\text{ref}}(e \mid x)}\right)^\beta \right]$$ 该目标同样是多级 PL-DPO 损失的理论上界，当 $G=2$ 时退化为二值集合偏好的基础 Mult-DPO。

损失函数 / 训练策略¶

在训练实现中，针对上下文 $x$ 相同的大量候选物品，Mult-DPO 充分复用 Prompt 前缀的 KV-cache。设 prompt 长度为 $N_x$，单个物品序列平均长度为 $N_i$，全注意力代价为主导项 $\mathcal{O}(N_x^2 + c N_x N_i + c N_i^2)$。由于推荐场景中上下文远长于候选总数（$K \ll N_x$），多候选聚合计算并不会带来可感知的时延放大。优化采用 AdamW，学习率统一设置为 1e-6，通过在验证集上扫描正则化因子 $\beta \in [0.001, 0.5]$ 寻找最优对齐强度。

实验关键数据¶

主实验¶

论文在两个通用推荐基准（MovieLens-10M、Goodreads）和一个会话推荐基准（Reddit-V2）上进行了全面评测，骨干模型采用 Qwen-2.5-0.5B-Instruct 与 Qwen-2.5-3B-Instruct。所有测试均基于全物品库（Full Catalog）进行真实重排序评估，指标采用 NDCG@K（N@5, N@15, N@20）。

数据集	指标	Qwen2.5-0.5B: Mult-DPO	最强DPO基线 (LiPO-BT)	相对增益	Qwen2.5-3B: Mult-DPO	最强DPO基线 (LiPO-BT)	相对增益
Goodreads	N@5	0.0947	0.0862	+9.86%	0.1288	0.1252	+2.88%
	N@15	0.1292	0.1198	+7.85%	0.1678	0.1611	+4.16%
	N@20	0.1406	0.1294	+8.66%	0.1785	0.1731	+3.12%
MovieLens-10M	N@5	0.0650	0.0622	+4.50%	0.0751	0.0672	+11.76%
	N@15	0.1001	0.0980	+2.14%	0.1155	0.1046	+10.42%
	N@20	0.1103	0.1100	+0.27%	0.1300	0.1185	+9.70%
Reddit-V2	N@5	0.1097	0.0963	+13.91%	0.1369	0.1147	+19.35%
	N@15	0.1101	0.1020	+7.94%	0.1431	0.1234	+15.96%
	N@20	0.1154	0.1060	+8.87%	0.1503	0.1329	+13.09%

消融实验¶

消融实验重点验证了：(1) 上界紧致性与动态困难负样本（Epoch-level Dynamic Hard Negatives）的作用；(2) 显式评分场景下 Mult$^2$-DPO 相对二值分割的优势；(3) 骨干模型尺度（0.5B、1.5B、3B、7B）对多项式对齐的影响。

实验配置 / 策略变体	评测数据集与骨干	关键指标及数值	核心机制说明
基础 Mult-DPO（二值分割）	MovieLens-10M (Qwen2.5-0.5B)	NDCG@5 = 0.0650	仅将 5 星视为正样本，未评分项视为负样本
Mult$^2$-DPO（四级偏好扩展）	MovieLens-10M (Qwen2.5-0.5B)	NDCG@5 = 0.0732	划分 4 个偏好组进行序贯多项式对齐，增益达 +12.62%
Mult$^2$-DPO（四级偏好扩展）	MovieLens-10M (Qwen2.5-3B)	NDCG@5 = 0.0815 (vs 0.0751)	显著拉开差距，验证细粒度偏好建模在更大模型上的有效性
静态负样本 vs 动态困难负样本	Goodreads (0.5B, Hard Negs)	NDCG@5 相对提升 ~8%	温度 0.1 抽样自适应负样本，验证了增大 $B_{\pi_\theta}$ 能收紧理论界并提效
骨干模型规模扩展 (Goodreads)	0.5B → 1.5B → 3B → 7B	N@5: 0.0947 → 0.115 → 0.1288 → 0.134	0.5B到1.5B跳升最明显，更大参数量下收益保持单调增长

关键发现¶

多正样本联合结构的必要性：在正样本数量最为密集的会话推荐数据集 Reddit-V2 上，Mult-DPO 相对成对求和基线 LiPO(BT) 的性能提升幅度最大（3B 下 N@5 提升 19.35%），表明割裂正样本集合的成对独立性假设存在显著信息损失。
理论上界的收紧指导：动态困难负采样实验直观印证了定理 2 和推论 1 的预测——当选取的负样本更加困难、在策略下诱导的概率质量 $B_{\pi_\theta}$ 更大时，上界间隙公式 $(k-1)\log(1 + A_{\pi_\theta}/B_{\pi_\theta})$ 显著变窄，优化过程对真正边缘化 PL 似然的近似程度更高，最终推荐准确率得到明显强化。
细粒度等级对齐增益：将二值正负反馈推广至 4 级偏好后，Mult$^2$-DPO 在 MovieLens-10M 上取得了超过 12% 的显著提升，说明通过序贯乘积解耦多级偏好有效利用了隐式交互以外的评分差异。

亮点与洞察¶

从组合爆炸到闭式单层求和的巧妙化简：原本在正样本全排列上需要 $k!$ 次边缘化的难题，通过引入 $k$ 次无放回抽样中出现无重复全正样本这一等价多项计数事件，成功将分母归并为统一的全集总权重，推导出了极具工程实用价值的对数和形式。
严格的上界与紧致性闭式证明：论文不仅提出了代用损失，还严格证明了其关于边缘化 PL 似然的逐点下界关系与对数损失上界，明确给出了由正负权重比率 $(1+A/B)^{k-1}$ 控制的间隙解析式，为负样本采样策略提供了坚实理论依据。
极高的可迁移性与全库排序适配度：该目标完全不依赖于特定模型结构，且前向计算中共享 prompt 的 KV-cache，可以无缝迁移至信息检索多文档排序、代码生成的多正确解对齐以及数学证明的多路径搜索等广义非成对偏好场景。

局限与展望¶

正样本内部无序的可交换性假定：多项代用似然将同一等级内的正样本完全视为可交换（Exchangeable），若实际业务中正样本内部存在微妙的相对胜负关系（例如点击但未购买 vs 深度复购），该目标无法在同组内进一步施加偏好梯度。
超参敏感性与正则化平衡：实验表明超参数 $\beta$ 的选取直接影响对齐效果，对话推荐中较优的 $\beta$ 偏大，而协同过滤主导的场景则需要较小的 $\beta$，在工业界多业务混合场景下需要针对性调优。
未来方向：探索通过期望最大化（EM）引入候选隐式排序变量，或者利用变分推断构建正样本排列上的变分下界，在逼近紧致性与计算复杂度之间探索更优的平衡点。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙构造多项式代用事件化解 PL 模型组合爆炸，理论证明完备且优雅。
实验充分度: ⭐⭐⭐⭐☆ 覆盖通用推荐与对话推荐，包含多模型尺度、动态负采样与多级扩展，主实验均针对全库候选评测。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严谨精炼，问题背景切入准确，逻辑链条自洽完整。
价值: ⭐⭐⭐⭐⭐ 完美填补了大模型与推荐系统多正样本偏好对齐的理论空白，具有很强的落地与复用潜力。