Flow-DPPO: Divergence Proximal Policy Optimization for Flow Matching Models¶

会议: NeurIPS 2026
arXiv: 2606.11025
OpenReview: https://openreview.net/forum?id=drpFiVnG8v
领域: 图像生成
关键词: 流匹配模型, 强化学习微调, 置信域策略优化, KL散度掩码, 灾难性遗忘

一句话总结¶

Flow-DPPO 揭示了高维连续潜空间中比率截断（ratio clipping）因单样本高斯采样噪声导致的有偏估计缺陷，利用流匹配去噪步高斯分布均值位移直接解析计算精确 KL 散度，构建基于方向感知的确定性散度掩码，以零额外开销实现严格置信域优化与高样本效率多轮复用。

研究背景与动机¶

流匹配模型（Flow Matching）已成为高质量图像与视频生成的核心生成范式。为了使预训练的连续时间速度场模型与下游人类偏好或复杂组合指令对齐，近期研究（如 Flow-GRPO 与 DanceGRPO）将确定性概率流 ODE 转化为具有相同边缘分布的随机微分方程（SDE），在离散去噪步上构建高斯策略并引入强化学习（RL）。为了抑制多步梯度更新时的离策略（off-policy）漂移并保证单调提升，现有方法直接继承了强化学习中 PPO 的重要性比率截断机制（ratio clipping）。

然而，PPO 截断机制的理论基石源于置信域策略优化（TRPO），其单调改进界建立在全轨迹或每步真实策略散度（如总变差散度 TV）的约束之上。在离散符号空间（如 LLM）中，单个动作的重要性比率被证明是真实散度的高方差单样本蒙特卡洛代理；而在高维连续潜变量空间的流匹配去噪过程中，这种高斯扰动引发的估计噪声被急剧放大。作者通过数学推导指出，高斯策略下对数重要性比率内含一个均值为零但方差巨大的噪声项，导致比率分布系统性左移。标准对称截断区间 \([1-\epsilon, 1+\epsilon]\) 在实际中演变为极其非对称的约束——它无法充分抑制正优势度样本的过度优化（引发奖励黑客攻击与模式崩溃），却过度抑制了负优势度样本的惩罚。尽管后续有工作尝试对比率分布进行重归一化，但这仅仅缓解了表象，无法消除单样本比率内在的随机采样噪声。

流匹配模型在策略结构上其实蕴含着一个未被发掘的巨大优势：流模型在每个时间步诱导的高斯策略具有由速度网络决定的均值和由预定噪声方案决定的固定方差。因此，新旧策略之间的 KL 散度可以由两次前向传播的速度预测向量差精确解析闭式表达，完全无需引入蒙特卡洛噪声，更无需像大语言模型那样对数万词表做昂贵的近似降维。核心 idea：彻底摒弃充满采样噪声的重要性比率截断，利用高斯策略均值位移解析计算精确的每步 KL 散度，构建兼顾优化方向与散度阈值的确定性掩码（Divergence Mask），以零额外开销实现严格的置信域策略约束。

方法详解¶

整体框架¶

Flow-DPPO 的核心在于为流匹配模型的强化学习对齐建立严格且方差为零的置信域机制。整个管线包含采样展开（Rollout）与策略优化（Policy Optimization）两个阶段。在展开阶段，给定条件提示词，使用旧模型参数 \(\theta_{\text{old}}\) 结合 Flow-SDE 或保持系数采样（CPS）沿逆扩散路径生成轨迹，记录去噪步的条件均值与对数概率，并在终端计算图像奖励及组内相对优势度；在策略优化阶段，模型计算新参数 \(\theta\) 下的当前速度与高斯均值，直接通过解析形式计算当前步与旧策略的精确 KL 散度，结合优势度符号与比率方向判定梯度掩码，仅对越过置信域边界且加剧偏离的更新进行梯度屏蔽，同时完全放行朝向旧策略回退的纠偏更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["条件提示词 c 与高斯初始隐变量 x_T"] --> B["随机去噪轨迹生成与均值记录<br/>Flow-SDE / CPS 采样 + 记录 μ_old"]
    B --> C["终端图像奖励评估与组内优势度计算<br/>GenEval2 / PickScore / HPSv2 归一化 A_i"]
    C --> D["精确高斯策略 KL 散度解析计算<br/>当前模型前向得到 μ_θ 并闭式计算 D_t"]
    D --> E["方向感知非对称散度掩码判定<br/>阻断远离旧策略的发散更新，放行自愈纠偏"]
    E --> F["置信域策略梯度回传与多轮样本复用<br/>最大化 Flow-DPPO 目标，抑制灾难性遗忘"]

关键设计¶

1. 高斯流匹配策略下比率方差与系统偏差的数学解构

传统方法假设重要性比率 \(r_t^i(\theta) = \frac{p_\theta(x_{t-\Delta t}^i \mid x_t^i, c)}{p_{\theta_{\text{old}}}(x_{t-\Delta t}^i \mid x_t^i, c)}\) 能够忠实反映策略变动的幅度。然而，在以均值 \(\mu_{\theta_{\text{old}}}\)、固定方差 \(\sigma^2(t)\mathbf{I}\) 构建的高斯反向去噪步中，采样动作可写为 \(x_{t-\Delta t}^i = \mu_{\theta_{\text{old}}} + \sigma \epsilon\)（其中 \(\epsilon \sim \mathcal{N}(\mathbf{0}, \mathbf{I})\)）。定义均值位移差向量为 \(d = \mu_\theta - \mu_{\theta_{\text{old}}}\)，对数比率严格展开为：

\[\log r_t^i(\theta) = \frac{\|\sigma\epsilon\|^2 - \|\sigma\epsilon - d\|^2}{2\sigma^2} = \frac{\epsilon^\top d}{\sigma} - \frac{\|d\|^2}{2\sigma^2}\]

该式清晰揭示出：对数比率由信号项 \(-\frac{\|d\|^2}{2\sigma^2} = -D_{\text{KL}}(\pi_{\theta_{\text{old}}} \parallel \pi_\theta)\) 与随机噪声项 \(\frac{\epsilon^\top d}{\sigma}\) 组成。噪声项服从均值为 0、方差为 \(\frac{\|d\|^2}{\sigma^2} = 2 D_{\text{KL}}\) 的高斯分布。其标准差 \(\sqrt{2 D_{\text{KL}}}\) 与信号项处于相同量级。当真实 KL 散度仅为 0.5 时，对数比率的标准差已达 1.0，导致在常规 \([1-\epsilon, 1+\epsilon]\)（对数区间约为 \([-0.22, 0.18]\)）截断下，大量并未超限的样本仅仅因为随机噪声 \(\epsilon\) 的取向而被错误截断，造成极大的训练方差与梯度失真。

2. 闭式零开销的高斯策略精确 KL 散度计算

既然连续状态高斯分布的单样本蒙特卡洛估计噪声过大，Flow-DPPO 转而利用两同方差各向同性高斯分布之间的解析 KL 散度。两高斯分布 \(p = \mathcal{N}(\mu_1, \sigma^2 \mathbf{I})\) 与 \(q = \mathcal{N}(\mu_2, \sigma^2 \mathbf{I})\) 之间的 KL 散度精确等于均值欧氏距离除以两倍方差：

\[D_{\text{KL}}(p \parallel q) = \frac{\|\mu_1 - \mu_2\|^2}{2\sigma^2}\]

在具体采样调度器中，该散度均可由网络输出的速度向量差解析求得。对于 Flow-SDE 方案，方差为 \(\sigma^2 = \sigma_t^2 \Delta t\)，其步级 KL 散度为：

\[D_{\text{KL}}^{\text{SDE}}(\pi_{\theta_{\text{old}}} \parallel \pi_\theta) = \frac{\Delta t}{2}\left(\frac{\sigma_t(1-t)}{2t} + \frac{1}{\sigma_t}\right)^2 \|v_\theta(x_t, t) - v_{\theta_{\text{old}}}(x_t, t)\|^2\]

对于保持系数采样（CPS），均值位移系数记为 \(c(t) = -(1-(t-\Delta t))t + (t-\Delta t)(1-t)\cos(\frac{\eta\pi}{2})\)，对应步级 KL 散度严格保留末期缩小的方差归一化因子：

\[D_{\text{KL}}^{\text{CPS}}(\pi_{\theta_{\text{old}}} \parallel \pi_\theta) = \frac{c(t)^2 \|v_\theta(x_t, t) - v_{\theta_{\text{old}}}(x_t, t)\|^2}{2(t-\Delta t)^2 \sin^2(\eta\pi/2)}\]

由于计算策略梯度本身就需要在训练步前向传递 \(v_\theta(x_t, t, c)\)，均值位移 \(\|v_\theta - v_{\theta_{\text{old}}}\|^2\) 仅是对已有前向特征做向量差，不引入任何额外的反向或前向推理开销。

3. 方向感知非对称散度掩码与单调优化保证

依据有限步长流模型 MDP 的策略改进下界定理，算法需将每步最大总变差散度约束在阈值之内。基于高斯分布下 TV 散度与 KL 散度的一致单调性，Flow-DPPO 设计了非对称散度掩码 \(M_t^i \in \{0, 1\}\) 代替传统的截断函数：

\[M_t^i = \begin{cases} 0, & \text{if } \left(\hat{A}^i > 0 \land r_t^i > 1 \land D_t > \delta\right) \lor \left(\hat{A}^i < 0 \land r_t^i < 1 \land D_t > \delta\right) \\ 1, & \text{otherwise} \end{cases}\]

其中 \(D_t \equiv D_{\text{KL}}(\pi_{\theta_{\text{old}}}(\cdot \mid x_t^i) \parallel \pi_\theta(\cdot \mid x_t^i))\)，\(\delta\) 为散度阈值。该掩码展现出精妙的非对称恢复机制： - 仅当更新导致策略进一步远离旧策略（即正优势度且比率已大于 1，或负优势度且比率已小于 1），并且步级真实散度已经突破安全置信域阈值 \(\delta\) 时，掩码才置为 0，彻底切断该样本的高风险发散梯度； - 在相反情况下（例如正优势度但比率小于 1，说明该动作概率正在从偏低处向旧策略回归），梯度具有将策略拉回置信域的自我纠偏作用，掩码无条件置为 1，确保模型在过度更新或扰动后能够迅速恢复，避免优化死锁。

损失函数 / 训练策略¶

Flow-DPPO 的最终优化目标整合了掩码加权的重要性采样替代目标与预训练参考模型的正则化项：

\[\mathcal{L}^{\text{Flow-DPPO}}(\theta) = \mathbb{E}\left[\frac{1}{G}\sum_{i=1}^G \frac{1}{T}\sum_{t=0}^{T-1} \left(M_t^i \cdot r_t^i(\theta) \cdot \hat{A}^i - \beta D_{\text{KL}}(\pi_\theta \parallel \pi_{\text{ref}})\right)\right]\]

在具体训练中，针对 Flow-DPPO（SDE 调度）与 Flow-DPPO+CPS，散度截断阈值分别设为 \(1\times 10^{-7}\) 与 \(1\times 10^{-6}\)；参考模型 KL 惩罚强度设为 \(\beta = 10^{-3}\)。为了保证多步采样的收敛效率，训练中采纳了 MixGRPO 策略（前一半去噪步中随机抽取 3 步注入 SDE 随机噪声，其余维持确定性 ODE 积分）。由于散度掩码排除了单样本采样方差对置信域的干扰，Flow-DPPO 成功支持多 Epoch 样本复用（即单次 Rollout 开展 2 轮内层梯度更新），使重开销生成采样的利用效率翻倍。

实验关键数据¶

主实验¶

论文在 Stable Diffusion 3.5 Medium (SD3.5)、FLUX2-klein-base-9B (FLUX2-9B) 和 FLUX.1-dev 等多种代表性模型上进行了评估。域内训练目标采用组合图像生成基准 GenEval2（20k 合成提示词训练，800 条官方发布测试），域外泛化跟踪 PickScore、CLIP 以及 HPSv2，全面考察防奖励黑客攻击与抗灾难性遗忘能力。

模型与算法配置	GenEval2 (In-Domain)	CLIP (In-Domain)	PickScore (In-Domain)	HPSv2 (In-Domain)	CLIP (Out-Domain)	PickScore (Out-Domain)	HPSv2 (Out-Domain)
SD3.5 预训练无微调	12.4	0.250	21.00	0.213	0.244	19.99	0.210
SD3.5 + Flow-GRPO	39.9	0.358	25.09	0.399	0.273	22.07	0.349
SD3.5 + Flow-CPS	44.6	0.359	25.51	0.407	0.265	22.08	0.343
SD3.5 + GRPO-Guard	47.8	0.353	25.64	0.409	0.272	22.32	0.354
SD3.5 + Diffusion-NFT	42.5	0.334	25.30	0.394	0.269	22.52	0.355
SD3.5 + Flow-DPPO (Ours)	48.1	0.345	25.63	0.409	0.273	22.58	0.360
SD3.5 + Flow-DPPO+CPS (Ours)	51.6	0.369	25.72	0.415	0.279	22.51	0.361
FLUX2-9B 预训练无微调	25.4	0.281	20.92	0.228	0.254	20.05	0.230
FLUX2-9B + Flow-GRPO	46.8	0.371	25.61	0.412	0.277	22.62	0.357
FLUX2-9B + Flow-CPS	47.1	0.361	25.70	0.416	0.276	22.85	0.364
FLUX2-9B + GRPO-Guard	49.0	0.375	25.27	0.411	0.269	21.99	0.349
FLUX2-9B + Diffusion-NFT	47.3	0.336	24.87	0.389	0.274	22.47	0.351
FLUX2-9B + Flow-DPPO (Ours)	57.7	0.364	25.76	0.418	0.282	22.90	0.368
FLUX2-9B + Flow-DPPO+CPS (Ours)	55.2	0.386	26.15	0.427	0.287	22.97	0.370

消融实验¶

消融实验聚焦于非对称掩码设计、散度阈值敏感度以及对预训练基座模型的 KL 偏移量（\(\times 10^{-3}\)，越低代表与基座分布保留越好、遗忘越少）。

算法与配置	FLUX2-9B 单奖励 KL 偏移 (\(\times 10^{-3}\))	FLUX2-9B 多奖励 KL 偏移 (\(\times 10^{-3}\))	SD3.5 单奖励 KL 偏移 (\(\times 10^{-3}\))	SD3.5 多奖励 KL 偏移 (\(\times 10^{-3}\))
Flow-GRPO (基线)	0.77	0.79	2.34	3.81
GRPO-Guard (比率归一化)	1.07	1.01	2.05	3.33
Flow-CPS (保持系数采样)	0.24	1.66 (崩塌)	2.41	3.18
Flow-DPPO (Ours)	0.17	0.49	1.16	2.49
Flow-DPPO + CPS (Ours)	0.68	0.70	1.60	2.52
非对称掩码消融 (SD3.5)	GenEval2 最终表现	训练稳定性说明
完整非对称掩码 (\(\delta = 10^{-7}\))	84.1%	收敛平稳，最强防塌陷能力
宽松散度阈值 (\(\delta = 10^{-5}\))	显著下降	置信域过宽，出现模式坍塌倾向
移除对向恢复 (对称硬屏蔽)	训练崩溃	无法放行向旧策略回归的自愈更新，梯度冻结

关键发现¶

对分布坍塌与灾难性遗忘的抵抗力：在训练中后期，基线模型为了片面拉高 GenEval2 域内奖励，域外 PickScore 与 HPSv2 均出现急剧下滑，且模型距预训练权重的 KL 漂移急剧攀升（Flow-CPS 在 FLUX2-9B 多目标场景下甚至于第 480 个 epoch 发生彻底坍塌）；Flow-DPPO 的模型 KL 漂移仅为基线的 \(1/2 \sim 1/4\)，在域外测评上保持高保真视觉细节。
高样本效率多轮微调（Multi-epoch Training）：在重度依赖 Rollout 开销的设定中，将批次采样复用 2 轮内循环梯度更新（G32-I2 与 G64-I2）时，传统 Flow-GRPO 迅速发生性能停滞或退化；而 Flow-DPPO 能稳定利用缓存轨迹持续攀升，展现出色的多轮复用鲁棒性。

亮点与洞察¶

抓住高维连续空间中概率比率的本质噪声：将大模型对齐中对比率截断的质疑推进到流匹配扩散模型中，严格证明高斯策略下对数比率具有尺度可观的噪声分量，用第一性原理讲清了 PPO 剪切在连续控制/生成中的失效应机制。
四两拨千斤的零计算开销置信域：不设计复杂的判别器或高维采样近似，巧妙借助高斯流去噪的解析结构，仅用前向已得均值之差便把原本极其昂贵的置信域约束变成了常数级向量点乘运算。
保留自愈通道的非对称掩码：不采取一刀切的硬截断，而是通过符号联合判定，仅阻断发散性更新，无条件鼓励回退性修正，为强化学习在生成式连续动作空间的稳定性提供了极具通用性的范式。

局限与展望¶

采样随机性引入的依赖：Flow-DPPO 目前依然依赖 SDE 或 CPS 等随机化离散求解器构建局部高斯策略，若要在纯 ODE 确定性轨迹上微调，仍需通过 MixGRPO 引入伪随机步。
局部均值位移假设与网络权重的非线性耦合：理论预测掩码将均值 \(\mu_\theta\) 视作独立决策变量，但实际中网络权重在各去噪时间步具有全局参数共享，未来可进一步探索结合参数曲率（如 Fisher 信息矩阵局部近似）的全局置信域改进。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从高斯策略解析性角度推导出流模型闭式 KL 散度，并设计针对连续流生成的确定性非对称置信域掩码。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 SD3.5、FLUX2-9B、FLUX.1-dev 等多个最新顶尖基座，覆盖单奖励与多奖励强化学习，并完成了 14 万 GPU 小时的详尽验证与消融。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完备，从性能差恒等式到高斯方差分析层层递进，实验图表信息极其详实。
价值: ⭐⭐⭐⭐⭐ 为流匹配扩散模型的强化学习微调提供了极具实用价值且理论严格的基础设施级优化器，极具落地普及潜力。