MPO: Single-Stream Policy Optimization for Efficient Text-to-Image Alignment¶

会议: ECCV 2026
论文: ECCV 2026 Poster
领域: 图像生成
关键词: 文本到图像对齐、在线强化学习、贝叶斯价值追踪、方差缩减、单流优化

一句话总结¶

MPO提出了一种无群组的单流在线强化学习框架（单Prompt、单轨迹、单次更新），通过SDE单轨迹探索、Girsanov漂移自适应贝叶斯价值追踪与全局优势归一化，彻底消除了组同步延迟并克服了组内优势坍塌，在FLUX.1 Dev上实现26倍训练加速与5倍样本效率提升。

研究背景与动机¶

基于扩散模型与流匹配（Flow Matching）原则的文生图大模型在视觉合成上取得了飞跃，然而引导模型精确对齐人类复杂偏好——包括严苛的构图指令遵循、物体计数、空间位置关系以及文本文字渲染（Visual Text Rendering）——仍然极具挑战。由于这些对齐目标往往由黑盒奖励模型定义且高度不可导，基于强化学习（RL）的在线策略优化成为了近年来的主流范式。以Flow-GRPO、DanceGRPO等为代表的GRPO系列方法，核心在于针对每一个输入Prompt在组内并行采样生成多张候选图像，通过计算组内相对胜负来估计局部基线并缩减方差。

然而，这种强依赖于组采样（Group-Relative Sampling）的架构在工程和理论上都面临严重瓶颈。首先是木桶效应式的组同步开销：在实际分布式训练中，一次梯度更新必须等待同组内耗时最长的一条轨迹生成完成；对于多步随机数值求解器与庞大的Flow模型，组内各轨迹解码耗时的随机抖动会导致高达50%以上的空转等待时间。其次是组内优势坍塌：随着策略逐步收敛和优化，针对同一个Prompt并行采样得到的图像在质量和偏好上愈发相似，导致组内奖励方差迅速趋零，使得耗费巨大算力采样的并行样本所能提供的梯度优势信号急剧减弱甚至失效。

面对这一矛盾，现存方案要么妥协回退到确定性ODE的前向过程回归，破坏了标准逆向生成轨迹的探索机制；要么依赖严格的配对偏好数据或可导奖励。本文的切入视角非常彻底：既然多样本组构造是同步延迟与信号坍塌的罪魁祸首，能否完全解耦方差缩减与组内比较，回到「单Prompt $\to$ 单轨迹 $\to$ 单次更新」的纯粹单流形态？核心 idea：彻底摒弃组级采样抽象，依托SDE单轨迹内在探索，引入基于Girsanov定理漂移感知的持久化贝叶斯价值追踪器动态维护历史基线，并配合跨Batch全局优势归一化与不确定性课程，实现高效稳定的单流文生图对齐优化。

方法详解¶

整体框架¶

MPO的核心流程遵循精简的单流原则。在每个训练迭代步，系统根据贝叶斯不确定性引导的课程从提示词集中采样一个Prompt $c$，固定其在训练阶段绑定的初始隐编码 $\mathbf{z}_0$；利用Euler-Maruyama离散化SDE求解器沿着逆向去噪轨迹生成单条随机样本轨迹 $\tau$；随后评估黑盒奖励 $r$ 并与历史贝叶斯奖励追踪器的均值计算原始优势；通过Girsanov漂移代理计算策略变动幅度并自适应更新追踪器的过程噪声；最后经跨Batch全局优势归一化与样本惊奇度加权，直接执行单轨迹速度场优势加权回归更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入提示词 c 与固定初始隐编码 z0"] --> B["SDE 单轨迹探索求解<br/>Euler-Maruyama 随机积分"]
    B --> C["终端图像解码与黑盒奖励评估 r"]
    C --> D["单轨迹策略漂移估计<br/>计算瞬时速度场位移代理"]
    D --> E["贝叶斯价值追踪器更新<br/>Kalman 滤波融合过程噪声 Qk"]
    E --> F["全局优势归一化与惊奇度加权<br/>EMA 跨 Batch 矩估计"]
    F --> G["优势加权单流速度场更新<br/>加权目标场重建回归"]
    E -.->|后验不确定性反馈| A

关键设计¶

1. SDE单轨迹探索与Girsanov策略漂移估计：在单条路径上释放充分探索并量化分布变动

在摒弃了多初始隐变量并行采样的组级探索机制后，单流训练必须将探索的重任转移至轨迹生成的时间维度上。针对连续时间漂移场 $\mathbf{v}_\theta(\mathbf{z}_t, c, t)$，MPO采用随机微分方程（SDE）进行路径采样，其Euler-Maruyama离散格式为： $$ \mathbf{z}{t+\Delta t} = \mathbf{z}_t + \mathbf{v}\theta(\mathbf{z}_t, c, t)\Delta t + g_t \sqrt{\Delta t} \boldsymbol{\varepsilon}_t, \quad \boldsymbol{\varepsilon}_t \sim \mathcal{N}(\mathbf{0}, \mathbf{I}) $$ 其中扩散系数 $g_t$ 随去噪时间步从0.1线性衰减至0。同时，MPO在训练期间对特定Prompt采用固定的初始隐编码 $\mathbf{z}_0$。这一设计至关重要：它将后续观察到的奖励变化严格归因于模型策略参数更新本身，彻底解耦了由初始随机噪声重采样带来的剧烈扰动。

然而，策略在持续更新时呈现非平稳性（Non-stationarity），历史奖励基线极易过时。依据同扩散系数SDE的Girsanov测度变换定理，两版策略之间的路径空间KL散度上界取决于漂移差的能量积分。为避免在线计算高昂且不稳定的路径散度，MPO构建了一个直接在当前轨迹采样的漂移代理标量： $$ \widehat{D}{\text{drift}}(\theta_k, \theta}) = \mathbb{E{t, \mathbf{z}_t \sim \tau} \left[ \left| \mathbf{v}}(\mathbf{zt, c, t) - \mathbf{v}_t, c, t) \right| \right] $$ 这一代理精准反映了策略参数变动对生成动态造成的实际扰动强度，为后续基线自适应追踪提供了量化依据。}}(\mathbf{z

2. 漂移自适应的贝叶斯价值追踪器：解决单样本在线无基线的非平稳追踪难题

单轨迹更新的核心难点在于失去了同Batch的同期参考物。MPO为每个提示词 $c$ 建立一个高斯后验分布 $\mathcal{V}(c) = \mathcal{N}(\mu_c, \sigma_c^2)$，以均值 $\mu_c$ 作为期望基线，以方差 $\sigma_c^2$ 度量当前估计的不确定性。当观测到新图像奖励 $r$ 时，基于Kalman滤波更新状态： $$ K_k = \frac{\sigma_{c, k-1}^2}{\sigma_{c, k-1}^2 + \sigma_{\text{obs}}^2}, \quad \mu_{c, k} \leftarrow \mu_{c, k-1} + K_k (r - \mu_{c, k-1}) $$ $$ \sigma_{c, k}^2 \leftarrow (1 - K_k)\sigma_{c, k-1}^2 + Q_k, \quad Q_k = \alpha \widehat{D}{\text{drift}}(\theta_k, \theta) $$ 式中 $\sigma_{\text{obs}}^2$ 为奖励模型的固定观测噪声，$Q_k$ 为自适应过程噪声。若策略发生大幅更新（$\widehat{D}_{\text{drift}}$ 变大），$Q_k$ 注入显著抬高后验不确定性，促使Kalman增益 $K_k$ 增大，使追踪器迅速遗忘陈旧历史、聚焦当前最新反馈；若策略收敛平稳，$Q_k$ 极小，追踪器则平滑长周期历史观测，从而兼顾了动态适应性与滤波抗噪性。

3. 全局优势归一化与不确定性引导课程：消减局部坍塌并优化样本探索效率

单Prompt的原始优势为 $A = r - \mu_{c, k}$。传统GRPO局限在组内进行减均值除标准差，一旦组内同质化便会导致分母除零或信号衰竭。MPO改用全局跨Batch优势归一化，通过指数移动平均（EMA，衰减因子 $\lambda=0.99$）实时维护全局优势的一阶矩 $\mu_A$ 与二阶矩 $\sigma_A^2$： $$ \tilde{A} = \frac{A - \mu_A}{\sqrt{\sigma_A^2} + \varepsilon_A} $$ 这使得所有Prompt在统一的宏观尺度下衡量好坏，哪怕某Prompt生成的样本在局部相仿，也能依据其相对于全数据集平均水平的表现获得稳定梯度。

在此基础上，后验不确定性 $\sigma_c$ 还被直接复用于Prompt动态调度。受UCB（Upper Confidence Bound）启发，MPO按照以下概率分布选择提示词： $$ p(c) \propto \sigma_c + \frac{\eta}{\sqrt{n_c + 1}} $$ 其中 $n_c$ 为该Prompt的历史访问次数，$\eta$ 为覆盖度正则权重。不确定性高的Prompt（处于快速优化或策略漂移期）获得更高采样频次，而访问次数衰减项则确保冷门Prompt不会被永久遗忘。

4. 惊奇度加权策略更新：兼顾高价值样本优先与稳定性

由于终端图像奖励不可导，MPO采用优势加权回归（Advantage-Weighted Regression）替代高方差的REINFORCE分数函数估计。为了使模型专注于最具信息量的样本，MPO定义归一化奖励惊奇度（Surprise）： $$ S_c = \frac{|r - \mu_{c, k}|}{\sigma_{c, k} + \varepsilon}, \quad w_c = 1 + \gamma S_c $$ 策略优化的最终损失函数为： $$ \mathcal{L}{\text{MPO}}(\theta) = \mathbb{E}t \sim \tau} \left[ \text{sg}(w_c \tilde{A}) \left| \mathbf{v}\theta(\mathbf{z}t, c, t) - \mathbf{u}\tau(\mathbf{z}_t, \mathbf{z}_0) \right|^2 \right] $$ 其中 $\text{sg}(\cdot)$ 为截断梯度算子，$\mathbf{u}_\tau$ 为当前生成轨迹的重构目标向量场。正优势促使模型拟合高收益轨迹，负优势则排斥低收益轨迹，配合惊奇度权重 $w_c$，构建出高效闭环的单流对齐优化。

损失函数 / 训练策略¶

训练过程采用AdamW优化器，学习率固定为 $5 \times 10^{-6}$，全局Batch Size设为64。SDE求解器采用12步Euler-Maruyama格式，扩散系数从0.1线性退火至0。关键超参数设置：EMA衰减 $\lambda = 0.99$，课程权重 $\eta = 1.0$，惊奇度缩放 $\gamma = 0.5$。为严防数据污染，训练前计算训练集与评测集的CLIP文本特征余弦相似度，剔除所有相似度 $\ge 0.8$ 的重叠Prompt。

实验关键数据¶

主实验¶

在FLUX.1 Dev主模型上，MPO在GenEval基准测试上的各细分维度均显著超越基线模型与主流在线强化学习算法：

Table 1: GenEval 细粒度对齐评测结果对比

模型架构 / 算法	Overall	单物体	双物体	计数能力	颜色绑定	空间位置	属性绑定
自回归模型
Emu3-Gen	0.54	0.98	0.71	0.34	0.81	0.17	0.21
Janus-Pro-7B	0.80	0.99	0.89	0.59	0.90	0.79	0.66
GPT-4o	0.84	0.99	0.92	0.85	0.92	0.75	0.61
扩散与流匹配基线
SD-XL	0.55	0.98	0.74	0.39	0.85	0.15	0.23
DALLE-3	0.67	0.96	0.87	0.47	0.83	0.43	0.45
SD3.5-M	0.63	0.98	0.78	0.50	0.81	0.24	0.52
FLUX.1 Dev (Base)	0.66	0.98	0.81	0.74	0.79	0.22	0.45
Flow-GRPO (SD3.5)	0.95	1.00	0.99	0.95	0.92	0.99	0.86
在线强化学习对齐 (FLUX.1 Dev)
FLUX.1 Dev + DanceGRPO	0.91	0.93	0.94	0.96	0.88	0.91	0.87
FLUX.1 Dev + MPO (本文)	0.98	1.00	1.00	0.99	0.94	0.99	0.93

在计算开销与训练效率方面，MPO与DanceGRPO在同等硬件（NVIDIA H800）和FLUX.1 Dev架构下的实测对比如下：

Table 4: MPO 与 DanceGRPO 详细训练效率与显存指标对比

评测指标	MPO (本文)	DanceGRPO	性能增益 / 对比说明
Batch Size	64	64	保持对齐评测一致
单步迭代物理耗时 (s/iter)	0.85	14.12	单步耗时降至约 1/16.6
单卡显存峰值 (GB, per H800)	60	68	显存占用显著更低
达成 GenEval=0.91 所需迭代步数	~940	~6,700	迭代步数缩减 7.1 倍
达成 GenEval=0.91 累计 GPU 耗时	~9 小时	~235 小时	端到端加速比 26× (235/9)
样本采样消耗量 (Sample Efficiency)	1× (基准)	~5×	样本效率提升 5 倍

消融实验¶

通过对FLUX.1 Dev架构下各关键模块逐一剥离，验证了MPO各组件的不可或缺性，以及在长期训练和多目标下的鲁棒性：

消融与扩展验证对比（源自 Section 4.4 及 Table 5）

实验配置 / 变体	评测设置	关键指标	结果说明
MPO 完整模型 (Full)	GenEval 标准评测	0.98	全模块协同工作
去除全局优势归一化	采用原始单样本优势	0.93	下降 0.05，单样本原始优势尺度极不稳定
去除漂移自适应 ($Q_k=0$)	固定过程噪声，禁用遗忘	0.94	下降 0.04，追踪器无法适应非平稳策略变化
替换贝叶斯追踪器为简单 EMA	无方差/无 Kalman 滤波	0.96	下降 0.02，缺乏对估计置信度的建模
去除不确定性引导课程	采用均匀随机 Prompt 采样	0.96	下降 0.02，高不确定性复杂样本优化滞后
确定性 ODE 替代 SDE 采样	200 GPU 小时对齐训练	停滞于 1.19 (ImageReward)	SDE 达到 1.32，ODE 缺乏单轨迹多样性探索
训练阶段随机化 $z_0$	每次采样随机噪声	0.93 (需 19.3h)	收敛耗时倍增（9.1h $\to$ 19.3h），方差扰动大
长周期训练（2k iterations）	与 DiffusionNFT 对比	0.98 (NFT: 0.53)	DiffusionNFT 后期严重坍塌，MPO 保持强鲁棒
盲测人类偏好评估 (100 prompts)	10 位评审员双盲打分	58% 胜率 (DanceGRPO: 15%)	其余 27% 为平局，主观生成质量大幅胜出

关键发现¶

SDE探索与固定初始隐编码的协同效应：消融表明，确定性ODE因缺乏单轨迹扩散探索，其ImageReward在1.19处即陷入严重停滞，而SDE平稳突破至1.32；更关键的是，如果在训练中对同Prompt随机初始化 $z_0$，价值追踪器会被噪声混杂严重干扰，导致收敛时间从9.1小时剧增至19.3小时，得分从0.98跌至0.93。
全局归一化是单流优化的基石：去掉全局优势归一化会导致GenEval暴跌至0.93，是单一组件剥离中掉点最多的模块，充分证实了在缺少同组对比的情况下，跨Batch的宏观矩估计对防止梯度弥散或震荡具有决定性作用。
超参数宽容度极高：对漂移缩放系数 $\alpha \in [0.1, 5.0]$ 进行扫描，模型在GenEval上的表现均极度稳定，表明算法并不依赖狭窄的微调区间。

亮点与洞察¶

将组采样拆解为纯粹的时间域与分布域追踪：MPO最深刻的洞见在于看透了GRPO多样本组的本质其实只是在近似一个局域价值基线。作者用持久化贝叶斯滤波器将其在时间轴上展开，用 $O(1)$ 的时空代价完全取代了 $O(G)$ 的组并发，设计构思极其优雅。
Girsanov定理巧妙落地为轻量漂移代理：通常测度变换的路径空间KL散度极其难以计算，论文用同轨迹上的速度场位移期望作为代理，直接指导Kalman滤波的过程噪声注入，在严格的随机过程理论指导下找到了极简的工程解法。
可复用的单流对齐范式：不仅在流匹配模型（FLUX.1 Dev、SD3.5-M）上表现卓越，在传统U-Net（SD1.5）上也取得了GenEval从0.43到0.55的跨架构飞跃，完全具备向视频生成、3D生成等其他高生成延迟领域平移的巨大潜力。

局限与展望¶

作者承认的局限：尽管在常规提示词上逼近饱和，但在极其罕见的空间组合关系（如极度反常识的物理摆放）与超细粒度属性绑定上，仍然偶发失败案例；此外，目前训练阶段固定初始隐变量 $z_0$ 虽然保证了因果解耦，但在理论上可能在训练阶段局部收缩了单个Prompt的初始覆盖流形。
深入洞察的潜在局限：对长尾或词表分布外（OOD）的Prompt，在初次访问时其后验方差 $\sigma_c^2$ 默认为先验设定，前几次更新可能面临Kalman增益过大带来的局部过校准；若奖励模型本身存在盲区，单流快速优化可能会加速针对奖励欺骗（Reward Hacking）的过拟合。
未来改进思路：探索动态噪声调度（Dynamic Noise Scheduling）机制，在保持基线解耦的前提下逐步放开 $z_0$ 的探索流形；同时引入多头/混合奖励抗过拟合正则项。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 彻底打破主流GRPO组采样范式，提出单流文生图对齐并巧妙融合Girsanov漂移与贝叶斯滤波。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖FLUX/SD3.5/SD1.5多架构，详尽消融SDE/归一化/漂移/固定隐变量，包含长周期鲁棒性与盲测人评。
写作质量: ⭐⭐⭐⭐⭐ 论证线索清晰严密，从痛点剖析到数学推演再到实测工程落地一气呵成。
价值: ⭐⭐⭐⭐⭐ 彻底解决了文生图RLHF高昂的计算资源门槛（26倍提速），对学界和工业界均具极高实用价值。