Finite Difference Flow Optimization for RL Post-Training of Text-to-Image Models¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/NVlabs/finite-difference-flow-optimization
领域: 图像生成
关键词: 有限差分、流匹配、强化学习后训练、成对轨迹、奖励优化

一句话总结¶

FDFO 用共享初始噪声的两条随机生成轨迹构造奖励加权的终点差分，统一指导沿途速度更新，在 Stable Diffusion 3.5 Medium 上把 OneIG-Bench 提示对齐最高分从 Flow-GRPO 的 79.56 提升至 84.25，并显著加快达到指定奖励水平的速度。

研究背景与动机¶

文生图模型预训练主要学习数据分布，后训练则希望让输出更符合提示、构图更好、文字更准确。后者通常只能通过 PickScore、视觉语言模型评分或人类偏好等代理奖励表达。与预训练不同，奖励并不约束图像的每个维度：提高文字可读性未必改善整体观感，提示对齐得分上升也未必保留多样性。因而，优化算法本身引入的无关变化会成为额外负担，而不只是训练曲线上的噪声。

Flow-GRPO 和 DDPO 将去噪过程建模成多步马尔可夫决策过程，把每次随机采样步骤视为动作，再用最终图像的奖励强化整条轨迹。问题在于，一张最终高分图像并不意味着沿途每次随机扰动都有帮助；部分步骤可能朝错误方向移动，只是被其他步骤抵消。作者认为，这种长程信用分配让更新混入大量与奖励无关的分量，既拖慢收敛，也可能造成风格漂移和长期训练中的网格状伪影。

本文利用图像生成的特殊结构：从相近轨迹得到的两张图像，其差异本身就给出了一个可比较的视觉变化方向。相比奖励所有偶然出现的随机步骤，更直接的做法是把这种终点变化反馈到沿途状态。核心 idea：将整次生成视为一个动作，用两张邻近图像的奖励差乘以图像差构造局部改进方向，再让两条轨迹沿途的更新都服务于这个方向，而不分别追随每一步的随机噪声。

方法详解¶

整体框架¶

输入是预训练流匹配模型、一批文本提示及一个返回标量的奖励函数；输出是完成 RL 后训练的生成模型。每轮先用当前模型生成成对轨迹，保存中间状态、速度预测及最终图像，再比较两个终点的奖励，以归一化差分构造更新信号，通过受裁剪约束的优化更新 LoRA 参数。

这里的“整次生成是一个动作”不意味着只更新最后一步。恰恰相反，两条轨迹上全部采样时刻都会接受监督，只是不再用各自的随机步长来定义各自的强化方向。随机采样负责发现邻近候选图像，有限差分负责确定如何更新，两者在算法中被分开。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["提示与当前模型"] --> Pair["成对随机采样"]
    Pair --> Images["双轨迹与终点图像"]
    Images --> Difference["归一化终点差分"]
    Reward["标量奖励评估"] --> Difference
    Images --> Reward
    Difference --> Update["受控同向更新"]
    Update --> Model["更新 LoRA 参数"]
    Model -.->|下一轮训练采样| Pair

图中循环是训练流程。推理时不需要奖励模型，也不需要成对生成来比较优劣，仍然可以从噪声进行确定性采样。训练中的随机性服务于探索，不能把这部分计算算成每张部署图像必须支付的成本。

关键设计¶

1. 成对随机采样：保留共同场景，再探索细节变化

每个提示对应两条轨迹，二者从同一个高斯噪声出发，但沿途注入不同的少量随机噪声。这样得到的图像通常保留相近的整体布局与内容，又在物体部件、位置或细节上有差别。共享起点不是要求两条轨迹完全相同，而是让奖励比较尽量聚焦于附近的变化；每个提示只需两次 rollout，也允许在固定生成预算内覆盖更多不同提示。

采样器并非直接沿用 Flow-GRPO 的 Euler–Maruyama 实现。作者指出，常规拆步方式可能让网络接收的时间条件与实际噪声量不一致，并在某些步骤注入相对过大的噪声。本文借鉴 EDM：先沿 ODE 方向走到比目标时刻更低的噪声水平，再补入新噪声并校正尺度，回到目标噪声水平。默认每步随机性强度为 \(\gamma_i=0.0025\)；\(\gamma_i=0\) 对应确定性采样。它主要重随机化尚未解析的细节，而不是刻意推翻已经形成的粗布局。缓存中算法 1 的完整尺度校正式排版损坏，因此这里保留可核实的操作含义，不猜补实现公式。

2. 归一化终点差分：把图像变化变成可用的奖励方向

令两条轨迹的终点为 \(x_T\) 和 \(\hat{x}_T\)。图像差 \(\Delta x=\hat{x}_T-x_T\) 本身不区分好坏，奖励差 \(\Delta R=R(\hat{x}_T)-R(x_T)\) 才给出偏好方向：若第二张更好，保持图像差方向；若第一张更好，反转方向。若两者奖励相同，该对样本不给出偏好更新。与需要可微奖励的方案不同，这里只读取标量评分，因此也能接受人类对二选一图像的偏好。

还需要处理尺度：差异较大的图像对往往同时具有更大的图像差和奖励差，直接相乘就会让它们获得过强权重。论文不是简单做单位长度归一化，而是用图像差的均方根范数平方作分母。将原文第 4.3 节的归一化与奖励权重合写，实际指导方向为：

\[ d=\frac{\Delta R\,\Delta x}{\lVert\Delta x\rVert_{\mathrm{RMS}}^2+10^{-6}}. \]

均方根范数平方衡量各坐标差值平方的平均量级；分母中的 \(10^{-6}\) 防止近乎相同的图像对导致数值不稳定。这个操作依赖奖励差在局部近似随图像差幅度增长的尺度直觉，不等于证明该估计是任意奖励函数的无偏梯度。图 8 的去归一化实验表明，这个看似简单的处理对最终表现很重要。

3. 受控同向更新：把终点改进反馈到整条生成轨迹

FDFO 让两条轨迹上各时刻的更新都朝终点差分所指示的改进方向弯折，而不是追随该时刻碰巧采到的噪声。其直觉是，图像去噪大体由粗到细地揭示信号，在中间状态中加入一种有意义的视觉变化，后续去噪通常会保留其大方向并补足细节。这也是为什么方法能不穿过完整采样轨迹反向传播，却仍把最终偏好反馈给多个中间步骤。

但“通常保留”是条件，不是定理保证。原文用从第 \(i\) 步到终点的流映射 Jacobian \(J_i\) 解释所需性质：中间状态沿差分方向变化，经后续流映射后，仍应与终点奖励梯度同向。对应的分析条件为：

\[ \nabla R(x_T)^\top J_i(x_i)[\Delta R\Delta x]\geq 0. \]

作者明确承认可以构造反例，并以扩散流与最优传输映射在数值上的相似性提供支持；不能把它读成所有扩散流都严格等于最优传输。归一化只乘上正尺度，因此不改变这个方向性条件。由于采样时间从 1 递减到 0，实现速度参数的梯度符号还必须遵循积分约定，不能将“向高奖励图像弯折”机械写成对速度无条件加上 \(d\)。

为了重复利用昂贵的 rollout，一轮采样后会进行多次参数更新。此时当前速度可能已经偏离采样时保存的旧速度，数据不再严格来自当前策略。本文采用 Simple Policy Optimization（SPO）裁剪，降低偏移过大的更新权重，以限制旧数据带来的失稳；消融中的 PPO 替代得到相近结果，说明收益不能简单归因于换了一种裁剪规则。

一个完整示例¶

以论文展示过的“一个扎辫子的女孩拿着巨大的向日葵”提示为例，一轮训练先从同一噪声生成两张相近构图的图像，再分别计算奖励。假设第二张更符合提示，奖励差为正，那么两张终点之差经过尺度归一化后，就给出了从第一张朝第二张改变的方向；若偏好相反，方向自动反转。这里仅解释操作，没有假定哪张实际得分更高。

这一差分会监督两条轨迹保存的全部 40 个采样时刻，而不是仅训练终点附近，也不要求指出“哪一个步骤画错了花”。432 对图像形成 \(432\times2\times40=34560\) 个轨迹状态，随后分为 4 个训练批次，每批 8640 个状态。下一轮重新用更新后的模型生成候选，从而持续改善当前模型附近的输出。

损失函数 / 训练策略¶

实验采用 Stable Diffusion 3.5 Medium，仅训练新增的 LoRA 层，输出分辨率为 \(512\times512\)，优化器为 AdamW。默认最多训练 1000 轮，每轮随机抽取提示生成 432 对轨迹；训练和推理均用 40 个采样步，另以 10 步配置研究实际耗时。本文方法在每个训练批次累积速度网络的梯度后更新一次参数，不需要通过奖励网络求导。

主要比较默认关闭 KL 正则化和 classifier-free guidance（CFG），并关闭对 Flow-GRPO 有害的权重指数移动平均，以减少混杂因素；作者另行实验比较 CFG，并在未包含于当前缓存的附录讨论 KL。相同轮次下，两种算法的生成模型调用数和奖励调用数一致，但优化器步数不必一致，因此不能把“每轮等预算”理解为“每次更新等预算”。

奖励包括 PickScore、Qwen2.5-VL-7B-Instruct 的提示对齐评分及二者组合。VLM 看图并回答图像是否符合提示，利用下一个 token 的 Yes/No logits 得到评分；组合奖励为：

\[ R_{\mathrm{VLM}}=100\,\operatorname{sigmoid}(\ell_{\mathrm{Yes}}-\ell_{\mathrm{No}}),\qquad R_{\mathrm{combined}}=R_{\mathrm{PickScore}}+R_{\mathrm{VLM}}/10. \]

Pick-a-Pic 提供训练提示，OneIG-Bench 与 HPSv2 则作为不直接用于这些奖励定义的外部检查指标。当前缓存包含完整正文，但不含作者引用的附录 B 完整训练伪代码，所以这里不补写无法核验的 SPO 精确损失或未报告超参数。

实验关键数据¶

主实验¶

下表取自原文图 8 内嵌表格，不是原文独立编号的 Table。指标为组合奖励训练下的 OneIG-Bench 提示对齐分，越高越好；“最高”指训练过程中达到的最高分，而非固定最终轮次的分数。B 到 E 是逐步替换与扩展配置，随机性强度对各配置单独调节。

配置	200 轮对齐分	最高对齐分	变化
A：Flow-GRPO	71.06	79.56	基线
B：A + 本文随机采样器	76.74	82.94	修正随机采样
C：B + 有限差分更新	82.14	83.07	保持每轮独特提示数量不变
D：C + 共享初始噪声	81.11	83.95	改善稳定性与最高分
E：D + 更多提示，即完整 FDFO	82.13	84.25	每个提示只用两条轨迹

完整方法相对基线在 200 轮时提高 11.07 分，最高分提高 4.69 分。C 到 D 的 200 轮分数反而下降，因此不能声称每个设计在所有训练阶段都单调改善结果。

消融实验¶

下表同样来自图 8，列出从完整方法 E 出发的替代设计。PPO 配置使用区间随机性调度；它不是仅替换裁剪公式、其他条件完全不动的严格单变量比较。

配置	200 轮对齐分	最高对齐分	解释
E：完整 FDFO	82.13	84.25	参考
F：一条轨迹改为确定性	79.76	84.02	前期较慢，最高分接近
G：用 PPO 替换 SPO	81.99	83.91	配合区间随机性调度
H：不归一化差分向量	79.74	80.78	最高分下降 3.47
I：使用真实奖励梯度	81.47	83.73	未超过差分估计
J：进一步穿过 SDE 步骤反传	66.69	68.78	最高分下降 15.47

关键发现¶

图 9 与第 5.5 节报告：达到图中选定的组合奖励水平，40 步配置实测约快 19 倍，10 步配置约快 5 倍。该倍数对应特定奖励门槛和 NVIDIA H200 GPU 小时，不是所有训练阶段的统一加速比；作者还给出排除实现开销的理想耗时曲线。
图 5 表明组合奖励比单独 PickScore 更可靠地改善提示对齐，也比单独 VLM 奖励更好地兼顾人类偏好指标。但所有奖励都降低多样性；按相同奖励水平比较，两种算法的多样性损失大致相近。
第 5.6 节用一名作者约 4 小时提供的 3200 对在线人类偏好完成 50 轮训练。它证明了无奖励模型、无离线偏好集的流程可运行，但不是多标注者或大规模人类评测。

亮点与洞察¶

把探索路径与优化方向拆开。 随机性用于发现候选，但参数更新读取最终图像间有意义的差别。对具有连续输出空间的生成任务，这比直接把所有随机步骤都当作应被强化的动作更有针对性。
有限差分可以比直接求导更适合该训练过程。 I、J 两行没有胜过 FDFO，说明更精确地穿过奖励或采样计算图不自动等于更好的模型更新。不过这只是本文设置的实证，不是对可微奖励方法的普遍否定。
效率也来自提示覆盖。 每个提示只需两条轨迹，使固定 rollout 预算能覆盖更多提示；因此完整算法的收益包含更新方向、采样器以及数据组织三部分，不能全部归功于一个公式。

局限与展望¶

方向传递依赖流的局部几何。 终点差分在中间状态加入后可能被后续映射旋转或扭曲；作者承认反例，当前缓存也不含附录 C 的完整推导。对不同生成骨干、其他模态或更强扰动的适用性仍需验证。
实验覆盖集中。 主实验使用一个骨干、LoRA 与 \(512\times512\) 分辨率，主要对照是 Flow-GRPO；不能据此断言对所有模型和所有后训练方法都取得最优结果。
多样性和奖励错配尚未解决。 训练更快并不意味着同奖励水平下更保多样性，未观察到网格伪影也不意味着消除了奖励投机。作者将显式多样性奖励与正则化作为后续方向。
人类反馈仍是小规模原型。 单人偏好容易带入个人审美，也没有大规模盲评支持。可进一步研究多标注者一致性、反馈成本，以及将昂贵反馈优先分配给信息量大的图像对。

评分¶

新颖性: 4/5。将终点有限差分用于整条流轨迹的偏好更新，改变了常见的逐步 MDP 信用分配方式。
实验充分度: 4/5。包含外部指标、采样与更新消融、耗时和人类反馈原型，但骨干与标注者覆盖有限。
写作质量: 4/5。动机和逐步消融清楚，关键实现与理论细节依赖当前缓存未包含的附录。
价值: 4/5。对昂贵或不可微奖励下的图像后训练有实际参考价值，同时保留多样性与跨模型泛化问题。