ParetoSlider: Diffusion Models Post-Training for Continuous Reward Control¶

会议: NeurIPS 2026
arXiv: 2604.20816
论文: https://arxiv.org/abs/2604.20816
领域: 图像生成
关键词: 扩散模型, 强化学习后训练, 多目标对齐, 帕累托前沿, 连续偏好控制

一句话总结¶

提出了基于前向流匹配后训练的多目标连续控制框架 ParetoSlider，通过轻量级偏好向量条件注入与独立优势标准化的后验标量化（Late-Scalarization）机制，使单套权重即可在推理时平滑滑动遍历完整的生成奖励帕累托前沿。

研究背景与动机¶

强化学习（RL）后训练已成为将生成模型与复杂人类偏好对齐的核心范式。在视觉生成领域，主流方法（如 FlowGRPO、DiffusionNFT）通常针对单一标量奖励进行策略梯度或流匹配后训练。然而在真实创作与视觉编辑场景中，生成质量往往由多个相互冲突的目标共同决定——例如在指令图像编辑中，模型必须在精准遵循编辑指令与严格保持源图身份背景之间权衡；在可控文生图中，真实感与特定艺术风格（如素描、水彩）天然排斥。

面对这类多目标优化问题，现有实践通常采用早期标量化（Early Scalarization），即在训练前预先设定固定的权重系数将多个奖励折叠为单个加权标量。这种妥协将模型固化在单一离散的折中操作点上，完全丧失了推理阶段响应用户差异化偏好的灵活性；若要覆盖不同折中方案，需针对不同权重分别独立微调并维护多个庞大权重底模，计算与存储成本随目标数量线性剧增。现有无训练推理引导方法（如梯度引导、CFG调节）则伴随严重的每步采样开销与伪影，而基于模型插值（如 Rewarded Soups）的方法亦受限于权重组合空间的线性假设。

本文的切入角度是打破离散权重的静态微调定势，将连续偏好向量作为条件信号贯穿扩散去噪的全过程，使单一策略模型具备泛化逼近整条帕累托前沿的能力。核心 idea：构建端到端多目标流匹配对齐框架 ParetoSlider，显式将偏好权重向量作为扩散主干的自适应条件信号，配合每奖励通道独立标准化的后验标量化策略与多目标 DiffusionNFT 隐式速度导引，实现单模型推理期零额外开销平滑滑动连续权衡帕累托前沿。

方法详解¶

整体框架¶

ParetoSlider 的训练管线建立在前向流匹配强化学习（DiffusionNFT）基础之上，旨在通过单一模型参数 \(\theta\) 逼近连续奖励单纯形 \(\Omega = \{\boldsymbol{\omega} \in \mathbb{R}^M \mid \sum_{m=1}^M \omega_m = 1, \omega_m \geq 0\}\) 对应的完整帕累托最优策略集 \(\mathcal{F}^*\)。系统整体包含三个阶段：偏好条件化分组采样、后验标量化优势解耦、以及偏好加权策略优化。

在每次迭代中，对于批次中的每个文本提示词或图文编辑指令 \(c\)，算法从狄利克雷分布及其极值边界中采样偏好向量 \(\boldsymbol{\omega}\)；将 \((c, \boldsymbol{\omega})\) 共同输入当前策略网络 \(\pi_\theta\)，前向生成一组 \(K\) 个独立样本。随后利用 \(M\) 个独立的奖励模型评估所有样本，在组内对每个奖励维度独立执行均值与标准差归一化得到解耦优势向量。最后，基于样本对应的隐式正向和负向速度构建分目标流匹配损失，并仅在最外层利用偏好权重 \(\boldsymbol{\omega}\) 执行凸组合聚合完成梯度回传。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入条件 c (提示词/源图) 与偏好分布 p(ω)"] --> B["偏好条件化分组生成<br/>采样偏好向量 ω 并前向生成 K 个候选样本"]
    B --> C["多目标评估与后验标量化<br/>M 个奖励模型评分 + 组内通道独立优势归一化"]
    C --> D["轻量级偏好条件注入模块<br/>时间步调制 / 共享残差门控 / 上下文 AdaLN"]
    D --> E["偏好加权策略更新<br/>单目标 DiffusionNFT 速度导引损失 + ω 加权聚合"]
    E -->|推理阶段| F["连续帕累托滑块控制<br/>单模型无需重训，滑动 ω 实时输出帕累托最优解"]

关键设计¶

1. 偏好条件化分组生成：覆盖连续单纯形与极端边界的探索机制

传统扩散 RL 框架（如 DiffusionNFT）仅以输入上下文 \(c\) 条件化生成样本组，导致模型无法习得不同权衡偏好的决策逻辑。为引导模型探索完整的多维权衡空间，ParetoSlider 在生成阶段将偏好向量 \(\boldsymbol{\omega}\) 显式引入策略分布 \(\pi_\theta(x_{t-1} \mid x_t, c, \boldsymbol{\omega})\)。在训练时，算法不仅通过对称狄利克雷分布 \(\mathrm{Dir}(1, \dots, 1)\) 均匀覆盖单纯形内部，还专门引入结构化极值采样策略：以预设概率将内部采样强制替换为单纯形顶点（One-hot 单一目标极值向量）或边缘（任选两目标的凸组合）。这种分层采样保证了模型对端点极端风格及复杂混合状态的均匀探索。模型在相同的 \((c, \boldsymbol{\omega})\) 下生成 \(K\) 个并行候选样本 \(\{x_{0,\boldsymbol{\omega}}^{(c,i)}\}_{i=1}^K\)，为后续的组内对比建立统计基线。

2. 多目标后验标量化：解耦奖励数值尺度与防止目标劫持

在多目标对齐中，不同奖励模型（如 CLIPScore、PickScore、VLM 评分、边缘对比度）往往具有截然不同的数值绝对尺度和方差动态。若在计算优势之前直接对原始奖励加权求和（即早期标量化），数值绝对值大或方差剧烈的“高响度”奖励将彻底淹没小尺度奖励，导致梯度更新被支配性目标劫持，使模型无法响应细微的偏好调制信号 \(\boldsymbol{\omega}\)。ParetoSlider 采用后验标量化（Late-Scalarization）策略：在提示词组内，对每个目标 \(m \in \{1, \dots, M\}\) 独立计算经验均值 \(\mu_{m,\boldsymbol{\omega}}\) 与标准差 \(\sigma_{m,\boldsymbol{\omega}}\)，构造无量纲的单通道标准化优势：

\[A_{m,\boldsymbol{\omega}}^{(c,i)} = \frac{r_m(x_{0,\boldsymbol{\omega}}^{(c,i)}, c) - \mu_{m,\boldsymbol{\omega}}}{\sigma_{m,\boldsymbol{\omega}} + \epsilon}\]

偏好权重 \(\boldsymbol{\omega}\) 被严格排除在归一化统计之外，确保每个维度的优势信号均处于相同的零均值单位方差基准，从数学上杜绝了尺度失衡导致的梯度偏移。

3. 隐式速度导引与偏好加权策略优化

为了规避 FlowGRPO 等算法中跨多步反向去噪轨迹计算复杂似然比带来的巨大显存与时间开销，方法继承了 DiffusionNFT 的前向扩散流匹配公式。将各目标的组内优势通过截断映射为连续插值权重 \(\rho_{m,\boldsymbol{\omega}}^{(c,i)} = 0.5 + 0.5 \cdot \mathrm{clip}(A_{m,\boldsymbol{\omega}}^{(c,i)} / \epsilon_{\mathrm{clip}}, -1, 1)\)。维护旧策略参数的滑动平均（EMA）网络 \(v_{\theta_{\mathrm{old}}}\)，根据步长系数 \(\beta\) 构建正负向隐式速度目标 \(v_+\) 与 \(v_-\)：

\[v_+ = (1-\beta) v_{\theta_{\mathrm{old}}}(x_t, c, \boldsymbol{\omega}, t) + \beta v_\theta(x_t, c, \boldsymbol{\omega}, t)\]

\[v_- = (1+\beta) v_{\theta_{\mathrm{old}}}(x_t, c, \boldsymbol{\omega}, t) - \beta v_\theta(x_t, c, \boldsymbol{\omega}, t)\]

针对每个目标 \(m\) 独立计算其引导流匹配损失 \(\mathcal{L}_m\)，随后在最终更新步将它们与偏好向量进行内积加权，并结合基座模型的 KL 正则项：

\[\mathcal{L}_{\mathrm{policy}} = \sum_{m=1}^M \omega_m \left[ \rho_{m,\boldsymbol{\omega}}^{(c,i)} \|v_+ - v\|_2^2 + (1 - \rho_{m,\boldsymbol{\omega}}^{(c,i)}) \|v_- - v\|_2^2 \right]\]

\[\mathcal{L}_{\mathrm{total}} = \mathcal{L}_{\mathrm{policy}} + \lambda_{\mathrm{KL}} \|v_\theta(x_t, c, \boldsymbol{\omega}, t) - v_{\mathrm{ref}}(x_t, c, t)\|_2^2\]

这一机制使得各目标的优势分配始终忠实于 \(\boldsymbol{\omega}\)，实现了训练速度与稳定性的兼顾。

4. 多主干适配的轻量级偏好条件注入架构

为将偏好向量无缝融入现代扩散 Transformer（DiT）中且不破坏预训练先验，针对不同任务主干设计了互补的轻量级注入路径。在参数效率上，基座网络完全冻结，仅微调注意力层 LoRA（Rank 32/64）与条件投影网络，且所有模块末层均采用接近零的高斯权重初始化。 - 文生图（SD3.5 Medium）：采用全局时间步注入与共享图像流残差的双路径机制。两层 MLP 将 \(\boldsymbol{\omega}\) 映射并累加至时间步嵌入 \(\tilde{\mathbf{t}}_{\mathrm{emb}} = \mathbf{t}_{\mathrm{emb}} + f_{\mathrm{time}}(\boldsymbol{\omega})\)，向所有 18 个联合 Transformer 块广播；同时正弦位置编码与 4 层 MLP 投影生成共享调制向量 \(\boldsymbol{\delta}_\omega \in \mathbb{R}^{1152}\)，在各块前馈网络后通过原生门控标量注入图像隐藏状态 \(\mathbf{h}^{(\ell)} \leftarrow \mathbf{h}^{(\ell)} + \mathbf{g}^{(\ell)} \odot \boldsymbol{\delta}_\omega\)。 - 指令编辑（FluxKontext）：由于双流架构的主控信息流集中在文本端，将正弦编码后的偏好与文本池化特征拼接，经三层 MLP 预测偏置与缩放增量 \((\Delta\boldsymbol{\gamma}_\omega, \Delta\boldsymbol{\beta}_\omega) = f_{\mathrm{ctx}}([\mathbf{W}_{\mathrm{enc}} \mathrm{enc}(\boldsymbol{\omega}); \bar{\mathbf{e}}_{\mathrm{text}}])\)，残差累加至上下文流的 AdaLN 调制参数中。 - 文生视频（LTX-2 19B）：复用共享图像/视频流残差注入结构，投影至隐层维度 \(d=3840\)，利用原生 FFN 门控实现视频帧序列的平滑时空风格调节。

实验关键数据¶

主实验¶

评估涵盖三大生成任务的代表性折中场景：SD3.5 上的“真实感 vs 艺术素描（Photorealism vs Sketch）”；FluxKontext 上的“指令遵循 vs 源图保留（Instruction Adherence vs Source Preservation）”；以及 LTX-2 上的“真实感 vs 3D动画风格（Photorealism vs Animation）”。下表展示在测试集上采用超体积指标（Hypervolume, HV）以及非支配 Pareto 最优点数量（Non-Dominated Points）的严格量化对比（参考点设为原点 \((0,0)\)，数值越高越优，反映解集向帕累托前沿的收敛性与展开广度）。

任务与场景	评估指标体系	对比方法	超体积指标 (HV) \(\uparrow\)	非支配点数 / 评估点数 \(\uparrow\)
文生图 (T2I) SD3.5 真实感 vs 素描	CLIPScore (真实感) + Qwen2.5-VL (素描)	ParetoSlider (单模型) Prompt Rewriting (Gemini 3) FlowMulti (ckpt 300) Fixed-Weights (5个独立模型)	0.870 0.827 0.683 0.435	5 / 5 2 / 3 1 / 1 2 / 5
指令图像编辑 (I2I) FluxKontext 指令 vs 保留	VIEScore (GPT-4o) (指令遵循与保真度双维度)	ParetoSlider (单模型) Text-CFG Scale Sweep Fixed-Weights (5个独立模型) Prompt Rewriting (Gemini 3) Image-CFG Scale Sweep	0.574 0.561 0.516 0.459 0.395	5 / 5 3 / 4 4 / 5 3 / 3 1 / 4

消融实验¶

在 SD3.5 文生图（真实感 vs 素描）任务上对条件注入架构与多目标标量化损失函数开展的系统消融对比：

实验维度	变体配置	帕累托前沿表现与收敛特征	连续转换与平滑度表现
条件注入架构	Shared Residual (本文默认) Per-block Modulation Hybrid Conditioning Token-based Conditioning	HV 达到最高 (0.870)，5个点全非支配前沿质量与分布接近默认，参数量略增前沿收敛度中等，中间折中区域分布不均严重塌缩至支配性目标，前沿宽度收窄	在全区间平滑过渡，无结构坍塌过渡较平滑，各块独立调制偶见细微抖动对偏好变化敏感度较低控制力微弱，风格突变且缺乏中间态
标量化损失函数	Late-Scalarization (本文默认) Early-Scalarization Smooth Tchebycheff (STCH)	前沿覆盖完整均匀，各偏好点间距对称总体覆盖面积相似，但点分布严重集中前沿两端覆盖可比，非线性聚合计算略重	权重线性滑动时视觉风格演变极平滑在中间偏好区强烈塌缩至真实感端中间状态缺乏细粒度过渡，易偏向极端

关键发现¶

单模型超越多模型集成：ParetoSlider 仅维护单套模型权重，在全谱段的超体积表现显著优于分别用固定权重独立训练的 5 个基线模型（Fixed-Weights 在 T2I 下 HV 仅 0.435，大量点被 ParetoSlider 严格支配）。这表明在连续多偏好联合训练下，不同目标之间形成了互补特征表示的正向迁移。
后验标量化根治偏好塌缩：早期标量化（Early-Scalarization）尽管能够覆盖两端极限，但在中间连续滑动时，因不同奖励尺度在梯度层面的隐式竞争，输出严重倾向于天然高方差的真实感奖励，无法呈现均匀的渐变；而后验标量化通过独立的组内标准化彻底解除了数值干扰。
残差调制优于 Token 条件化：在 DiT 架构中，将连续偏好投影为前置上下文 Token（Token-based）并不能有效传导连续数值强度，注意力机制倾向于将其离散化或忽略；而直接作用于 FFN 输出与时间步 AdaLN 的残差调制（Shared Residual）能直接控制特征空间的通道响应强度，实现精准的线性风格演变。

亮点与洞察¶

后验标准化解除奖励量纲冲突：在多目标 RL 中，将均值-方差标准化置于奖励求和之前（对每个奖励通道独立计算 advantage），是一个通用且极其优雅的设计。它用最简洁的无监督统计变换消除了繁琐的人工奖励权重对齐与缩放调参工作。
零成本的推理期多维控制：将偏好向量内化为连续生成条件，完全避免了测试时采样过程中的反向传播与测试时优化（Test-Time Optimization），使得文生图、图像编辑和视频生成能够直接绑定 UI 前端滑块（Slider），达到实时连续无缝拖拽调节的交互体验。
跨模态架构泛化的统一范式：无论是处理文生图（SD3.5）、指令编辑（FluxKontext）还是文本视频生成（LTX-2），统一的“条件注入 + 组内独立标准化 + 隐式速度流匹配”范式均展现出了高度自适应性，为多模态后训练提供了标准模板。

局限与展望¶

对奖励模型质量的高度脆弱性：ParetoSlider 的帕累托前沿完全由训练期采用的奖励模型定义。若某个奖励模型存在漏洞（Reward Hacking）或语义偏差（如素描奖励误将灰度图视作素描），模型不仅无法逼近真实的人类偏好前沿，还会在连续插值过程中放大视觉伪影。
维度扩展的样本复杂度瓶颈：实验主要验证了 \(M=2\) 及部分 \(M=3\) 目标的凸组合。当目标数量扩展到高维（如同时权衡真实感、多样性、指令匹配、安全过滤、构图美学等多维度）时，高维单纯形边界与内部的采样密度需求将急剧上升，训练稳定性和组大小要求将面临挑战。
非凸帕累托边界的理论逼近限制：当前采用的线性偏好加权损失本质上基于凸组合假设。虽然实验表明其凭借深度网络的表征能力能取得良好逼近，但对于理论上存在强非凸形状的帕累托区域，仍需进一步探索非线性偏好标量化（如切比雪夫或自适应超曲面拟合）的稳定训练方法。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将连续偏好向量条件化与后验标量化前向流匹配相结合，优雅解决了扩散模型多目标连续后训练难题。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 SD3.5、FluxKontext、LTX-2 三大前沿 DiT 主干与文生图、编辑、视频三大任务，量化超体积指标与正交评测模型验证兼备。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰，数学符号规范，框架设计动机充分，消融分析细致深刻。
价值: ⭐⭐⭐⭐⭐ 为生成式 AI 的人机交互与个性化对齐开辟了直接可用的工程路径，对多目标后训练社区具有广泛启发。