Multi-dimensional Preference Alignment by Conditioning Reward Itself¶

会议: ECCV2026
论文: ECCV 原文
领域: 图像生成 / 对齐/RLHF
关键词: 多维偏好对齐、条件奖励、扩散模型、DPO、无分类器引导

一句话总结¶

MCDPO 将各奖励维度的胜负关系注入同一个扩散模型，使冲突图像对也能提供方向明确的偏好监督，并支持推理时按维度控制生成；在 PickV2 上，SD1.5 的六指标平均胜率由 Diffusion-DPO 的 66.74% 提升至 81.47%。

研究背景与动机¶

文本到图像模型生成的两个候选，往往不是一个全面优秀、另一个全面失败。一张图可能更漂亮，却漏掉提示词中的物体；另一张图构图普通，却准确实现了文本要求。 Diffusion-DPO 用整体胜负标签调整图像相对参考模型的生成概率，训练时并不直接知道用户究竟赞同了哪种属性。如果把多个评价轴压成一个标量，整体失败样本所包含的局部优点就可能随整体概率一起受到压制。本文关注的是这种多维偏好冲突，而不是让语言模型生成更好的文字回答。

已有方法可以分别训练专家再合并参数，也可以只保留在多个轴上共同占优的样本对。前者增加模型管理与组合成本，且参数平均不等于奖励方向的可靠组合；后者会舍弃大量带有互补属性的信息。论文中的无冲突过滤方案丢弃了 82% 的训练数据，说明一致标签并不是廉价资源。更重要的是，冲突本身告诉模型“好看”和“符合提示词”并非同一个概念，丢弃冲突也就失去了区分它们的机会。因此，作者希望在一次成对训练中保留逐维胜负信息，而不是事后修补一个混合奖励。

问题的关键是改变条件化对象：不是只给模型一句“整体上更好”，而是告诉模型当前比较在哪些维度取正向、哪些取反向。同一图像对在相反条件下接受相反排序约束，促使网络学会随条件改变隐式奖励。这一表示还让训练时的偏好监督与推理时的可控采样使用同一套接口。 核心 idea：把逐维胜、负、平构成的偏好结果向量作为扩散模型条件，在条件化 DPO 中利用冲突信号，并用条件分布之间的差异控制生成方向。

方法详解¶

整体框架¶

训练输入是同一提示词下的一对图像、原始人类胜负标签，以及代理奖励模型给出的逐维比较结果。实际配置包含 5 个轴：人类偏好、Aesthetic、CLIP、HPSv2 和 PickScore。输出不是 5 个独立专家，而是带有奖励条件分支的单个扩散模型。流程先构造偏好结果条件，再用上下文奖励条件化模块接收这些条件，随后进行对称条件 DPO 与维度 dropout 训练。推理时输入改为提示词、随机噪声与用户指定的奖励方向，不再需要候选图像对或外部奖励模型。监督初始化 MCSFT 用于让新分支先学会响应条件，不能替代后续偏好优化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        PAIR["图像对与逐维标签"] --> OUTCOME["偏好结果条件"]
        OUTCOME --> CONTEXT["上下文奖励条件化"]
        INPUT["提示词与加噪潜变量"] --> CONTEXT
        CONTEXT --> TRAIN["对称条件 DPO<br/>与维度 dropout"]
        TRAIN --> MODEL["训练后的单模型"]
        MODEL --> GUIDE["推理时奖励引导"]
        CONTROL["提示词、噪声<br/>与目标奖励方向"] --> GUIDE
        GUIDE --> IMAGE["生成图像"]

关键设计¶

1. 偏好结果条件：把冲突写进条件，而不是抹掉冲突

作者为一对图像定义偏好结果向量，每个分量取胜、负、平三种状态。下面用 \(\rho\) 表示原文的结果向量，用 \(r_i\) 表示第 \(i\) 个奖励轴，以避免缓存中的希腊字母识别混淆。式 (9) 的核心不是分别算出多个概率再平均，而是在 sigmoid 内用逐维结果校正奖励差的方向。在美学上获胜但语义上落败的第一张图，会对应一个同时包含正号和负号的向量。这样，“第一张图胜出”指的是在这个特定条件下胜出，不是宣称它在所有维度都更好。

\[ \rho_i(x^w,x^l)=\operatorname{sign}\!\left(r_i(x^w,c)-r_i(x^l,c)\right),\qquad p^*_{\mathrm{BT}}=\sigma\!\left(\sum_i w_i\rho_i\left[r_i(x^w,c)-r_i(x^l,c)\right]\right). \]

对非负权重而言，校正后的每一项都对应奖励差的绝对值；相等的轴不贡献方向。但直接为每个轴建立条件专家，仍要逐轴评估似然比，计算量会随维度增加。 MCDPO 改为让同一策略接收完整结果向量，用一个条件化隐式奖励表示这些组合。它避免为每个轴单独执行一套训练计算，但不是说一对样本只需一次网络调用。作者关于最优隐式奖励分解的论证依赖充分容量与表达能力，实际有限网络能否近似分解仍需实验检验。

2. 上下文奖励条件化：让奖励标签看见它正在评价的图文内容

结果向量首先被编码为自然语言 token，例如两个轴上的 win tie，然后经文本编码器得到初始奖励嵌入。只有“语义更好”几个字并不足以决定去噪方向，因为符合哪段文本、当前图像缺什么，都依赖具体样本。上下文奖励模块先让奖励嵌入与提示词通过注意力交互，再关注当前图像潜变量，最后经 MLP 得到奖励条件表示。因此该表示不是固定的用户偏好向量，而是随提示词、当前加噪图像状态变化的上下文表示。它尤其服务于 CLIP 等需要同时理解文本和图像的奖励轴。

U-Net 保留原有提示词交叉注意力，同时增加平行的奖励交叉注意力分支，并把两路输出相加。新增注意力分支复制预训练交叉注意力的结构，奖励支路加权系数在实验中设为 1。原文强调新模块的零初始化用于保留预训练知识，因此最初奖励条件不起作用。 MCSFT 先冻结 U-Net，训练条件模块在胜出条件下重建优选图像，让条件接口得到可用的初始化。随后才进入 MCDPO；附录级具体训练超参不在给定正文缓存中，不能据此补写学习率或训练步数。

3. 对称条件 DPO 与维度 dropout：同时学习两种排序，并防止容易的轴主导训练

同一对图像要参与两个互相对应的条件任务：在 \(\rho\) 下提高第一张的相对概率，在 \(-\rho\) 下提高第二张的相对概率。这与始终压低整体失败图像不同，第二张图的局部优点可以在相应条件下得到正向学习信号。为简洁呈现原文式 (17)，令 \(\Delta_\theta\) 表示两个图像的条件策略/参考策略对数比之差，\(\beta\) 控制偏好优化尺度。参考策略只接收提示词，训练策略额外接收偏好结果向量；对换图像时，条件方向也必须翻转。用这个记号，双向目标可写为：

\[ \begin{aligned} \Delta_\theta(\rho) &=\beta\left[\log\frac{p_\theta(x^w\mid c,\rho)}{p_{\mathrm{ref}}(x^w\mid c)} -\log\frac{p_\theta(x^l\mid c,\rho)}{p_{\mathrm{ref}}(x^l\mid c)}\right],\\ \mathcal L_{\mathrm{MC}} &=-\mathbb E\left[\log\sigma\!\left(\Delta_\theta(\rho)\right) +\log\sigma\!\left(-\Delta_\theta(-\rho)\right)\right]. \end{aligned} \]

扩散实现沿用 Diffusion-DPO，把策略与参考模型的比较落实到加噪样本上的去噪误差，而不是显式求整张图的可计算密度。条件化解决了排序方向歧义，却不自动解决优化强弱不均：容易学习的美学特征可能先让聚合 sigmoid 饱和。作者还指出，大梯度的维度可能压过其他维度，使网络在语义轴尚未学好时就缺乏有效更新。维度 dropout 在训练中随机把某些分量置为 0，让网络不能每次都依靠同一个容易的轴完成比较。这里的 0 既可来自真实平局，也可来自随机屏蔽；它表示该次条件不要求优化这个方向，而非该图像质量为零。 “置零就消去该轴贡献”的解释基于论文的奖励分解模型，不应当误读成一般神经网络梯度完全独立的保证。

4. 推理时奖励引导：用胜负条件分布之差控制采样

训练后，同一网络能够在不同偏好条件下给出不同去噪预测，对应不同条件分布的 score。对同一提示词和图像状态，胜出条件与落败条件的 score 差，可以解释为隐式奖励差的梯度方向。原文式 (20) 表达的关键关系如下，其中 \(r^w\) 与 \(r^l\) 是两种条件对应的隐式奖励，不是待生成图像的人工标签。

\[ \nabla_x\log p_\theta(x\mid c,\rho^w) -\nabla_x\log p_\theta(x\mid c,\rho^l) =\frac{1}{\beta}\nabla_x\left(r^w(x,c)-r^l(x,c)\right). \]

作者把这一差异放进无分类器引导（CFG），推动采样远离不希望的奖励方向、接近希望的方向。用户可以选择只强化美学、只强化语义，或组合多个方向；无需在推理时对图像再运行外部奖励评分器。这不代表推理开销完全不变，因为条件对比仍涉及不同去噪预测。条件还可以随时间步变化：Aes-CLIP Control 在前 25 步把美学设为平局，后 25 步再切换到美学获胜。其动机是让早期步骤优先形成语义结构，再在后期增强细节，而不是所有去噪阶段都使用相同的美学压力。

一个完整示例¶

以下是机制示例，不是原文新增的定量实验：同一提示词要求一把红椅子，候选甲构图漂亮但椅子颜色错误，候选乙颜色正确但构图普通。假设只观察“美学、语义”两个轴，甲对乙的结果向量为 \([+1,-1]\)，反向比较则为 \([-1,+1]\)。甲不会因为整体获胜就被当成正确颜色的示范，乙也不会因为整体落败就完全失去正向监督。奖励模块结合提示词与当前潜变量，学习在两种条件下改变偏好方向，对称目标要求两种排序都成立。训练时如果屏蔽美学轴，条件变成 \([0,-1]\)，模型就不能靠构图优势独自解释当前比较。生成时用户提供新的提示词及希望的方向，例如 \([+1,+1]\)，并从随机噪声开始采样。这个例子不意味着网络保证组合出“完美构图与正确颜色”；它说明训练为何能够保留两个候选的互补信息。

损失函数 / 训练策略¶

训练集采用 Pick-a-Pic v2，原始规模约 1M 个人类偏好图像对。四个代理轴的分数在训练数据上归一化后离散为 100 个区间，同一区间判为平局，再与人类标签一起构成 5 维条件。这种离散化减少了把细微分差全部当作明确胜负的情况，但也丢失了分差大小，结果依赖奖励校准与分箱方式。 SD1.5 使用约 180K 对，即 18% 数据；SDXL 使用约 30K 对，即 3% 数据。正文报告包含 MCSFT 的总训练成本分别为 16 和 32 A100 GPU 小时，不能把它们解释为端到端标注与预处理成本。主表基线使用完整数据，因此样本效率比较同时含有数据预算差异；原文表 3 另做统一 18% 预算的比较。表 3 的冲突数据实验显示方向性证据，但给定缓存部分行发生列交错，下面不重建那些不清晰的完整行。

实验关键数据¶

主实验¶

下表摘自原文表 1（第 9 页）与表 2（第 10 页），均为 PickV2 测试集上的胜率，单位为 %，越高越好。每一列表示相应评价器判定模型生成结果优于对应原始 SD1.5 或 SDXL 基线的比例，不是 MCDPO 与 DPO 直接两两对战的胜率。 Average 为论文报告的六指标平均；ImageReward 和 MPS 没有直接用于构造训练条件。

骨干	方法	PickScore	Aesthetic	HPSv2	CLIP	ImageReward	MPS	Average
SD1.5	Diffusion-DPO	75.52	65.08	70.28	57.80	64.44	67.33	66.74
SD1.5	MCDPO	86.20	91.88	93.44	57.64	82.92	76.75	81.47
SDXL	Diffusion-DPO	71.60	49.20	72.92	61.24	68.64	60.36	63.99
SDXL	MCDPO	74.92	63.40	85.84	58.16	77.72	64.31	70.72

SD1.5 平均胜率增加 14.73 个百分点，SDXL 增加 6.73 个百分点；但 CLIP 分别降低 0.16 和 3.08 个百分点。因此结论是综合偏好指标明显改善，同时存在语义指标取舍，不是每个轴都一致占优。

消融实验¶

下表摘录原文表 8（第 14 页）的维度 dropout 分析，并用表 6 的 ALL 行交叉核对完整模型指标；条件为 SD1.5、PickV2，数值均为胜率 %。只选可明确辨认的两行，不猜测缓存中与相邻行交错的其他消融数字。

配置	PickScore	Aesthetic	HPSv2	CLIP	ImageReward	MPS	Average
MCDPO，论文默认配置	86.2	91.8	93.4	57.6	82.9	76.7	81.1
reward dropout 0.0	87.3	96.0	92.1	49.2	79.2	77.1	80.1

取消 dropout 后美学上升 4.2 个百分点，CLIP 却下降 8.4 个百分点，支持“容易的轴主导优化”的解释。这种证据说明 dropout 有助于多轴平衡，但不能仅据两个输出指标证明内部表征严格解耦。

原文表 6（第 13 页）进一步比较同一 MCDPO 的推理控制设置，沿用 SD1.5、PickV2 胜率 % 口径。

推理目标	PickScore	Aesthetic	HPSv2	CLIP	ImageReward	MPS	Average
ALL	86.2	91.8	93.4	57.6	82.9	76.7	81.1
仅 Aesthetic	77.3	95.8	79.1	49.3	73.1	68.8	73.8
仅 CLIP	76.4	76.5	85.1	59.0	75.0	67.8	73.3
Aes-CLIP Control	88.0	90.6	91.2	59.6	81.0	78.4	81.5

关键发现¶

时间调度把 CLIP 从 ALL 的 57.6% 提高到 59.6%，报告平均值从 81.1% 提高到 81.5%，但 HPSv2 从 93.4% 降至 91.2%。
仅增强美学可达到 95.8%，但 CLIP 为 49.3%，说明可控性不等于所有维度同时改善。
原文存在报告不一致：主表 1 平均值为 81.47，分析表 6/8 为 81.1；后者也不等于所列六项的算术平均，笔记保留原值而不自行修正。
第 14 页正文描述取消 dropout 时使用 95.8/49.3，而表 8 对应行是 96.0/49.2；这里采用表格值，并明确二者不能混用。

亮点与洞察¶

冲突标签可以是可辨识属性的监督，而不只是需要过滤的噪声。双向条件比较保留了整体失败样本中仍有价值的特征。
同一条件接口连接训练与推理控制。模型学到的不是只能输出一种折中结果的固定策略，而是一组可选择的条件分布。
上下文模块把“哪种质量更好”与“当前图像和文本是什么”结合起来。它避免把语义偏好简化为一个脱离输入的静态标签。
时间步控制提供了比固定奖励权重更细的干预点。早期语义、后期美学是一种有实验支持的调度，而不是无代价的全指标增益。

局限与展望¶

作者明确承认代理奖励依赖：偏好向量的质量受评分器准确性限制，额外打分也带来预处理开销。
理论分解依赖容量与条件表达能力，5 维实验不能保证更多维度、稀有条件组合或强相关奖励下仍然稳定。
多个训练轴同时也是评价指标，ImageReward/MPS 的改善提供额外证据，但不等同于独立大规模人类偏好验证。
给定缓存只含正文与参考文献，没有作者提到的附录，无法核验全部超参、奖励一致率分析或额外时间控制实验。
读者建议：用更多独立的人类多属性标注检验冲突利用，并报告代理标注成本、引导计算成本和各维度的置信区间。

评分¶

新颖性: 4/5。将逐维结果条件、双向排序与推理控制连在一起，直接针对多偏好 DPO 的信息压缩问题。
实验充分度: 4/5。覆盖两种扩散骨干、三个提示词测试集和多种消融，但附录缺失与报告不一致限制复核。
写作质量: 3/5。动机与模块作用明确，但部分表格和正文数字冲突，需要逐项辨别。
价值: 4/5。适合探索可控图像偏好对齐，推广到语言模型或更广泛奖励轴仍需验证。