Doob-Based Generative Policy Optimization¶

会议: NeurIPS 2026
arXiv: 2610.28990
论文: https://arxiv.org/abs/2610.28990
代码: https://maojiangsu.github.io/DoobPO/
领域: 强化学习 / 机器人/具身智能
关键词: 扩散策略, 流匹配策略, 强化学习微调, Doob h-变换, 条件漂移匹配

一句话总结¶

针对扩散与流匹配等生成式策略在强化学习微调中精确动作似然不可计算的瓶颈，提出将策略提升解耦为轻量比率学习与基于 Doob h-变换的条件漂移匹配两阶段优化框架，统一支持 PPO 与 GRPO 等主流算法并达到最小能量控制最优。

研究背景与动机¶

基于扩散模型与流匹配的生成式策略在连续控制与机器人操作领域展现出建模高维多峰动作分布的强大表现力。然而，为了进一步超越离线模仿学习，利用强化学习进行在线微调成为提升智能体交互性能的关键路径。然而，生成式策略的动作生成依赖于逆向去噪或速度场积分的多步轨迹模拟，其最终动作的精确边缘似然通常在计算上高度难解。这直接阻碍了依赖显式概率比率的经典信任域策略梯度方法（如 PPO、GRPO）在生成式策略中的直接部署。

现有方案在绕过似然评估时面临诸多妥协：部分方法依赖单步近似或启发式噪声注入来构造可计算似然，导致梯度估计存在严重偏差且降低了数据效率；部分方法通过价值梯度对多步去噪网络进行反向传播，带来了沉重的显存与计算开销；还有部分框架被严格限制在特定模型族或特定的闭式策略更新规则中，缺乏统一性与可扩展性。如何在免除似然估计的前提下，稳定且高效地将任意主流强化学习更新准则蒸馏进扩散与流匹配策略，成为该领域的核心挑战。

本文的切入角度是打破将策略提升与生成网络训练强行绑定的传统思路，将其显式解耦为两阶段任务：先用轻量网络学习期望的策略更新比率，再通过随机微分方程控制理论将比率倾斜分布无偏蒸馏至生成模型。核心 idea：利用 Doob h-变换刻画比率倾斜目标测度，将策略提升转化为无偏等价的条件漂移匹配，从随机最优控制视角实现生成式策略的最小能量策略优化。

方法详解¶

整体框架¶

DoobPO 将生成式策略的强化学习微调拆分为两个相互独立却数学等价的阶段： 1. 策略比率学习阶段：不依赖生成模型本身的似然，引入独立的轻量神经网络直接拟合信任域策略更新所诱导的概率比率； 2. 条件漂移匹配蒸馏阶段：利用 Doob h-变换刻画倾斜后的目标去噪/流生成过程，并证明可操作的条件漂移匹配与理想 Doob 漂移匹配梯度等价，将更新无偏蒸馏入得分或速度场网络。

该框架完全解耦了策略改进准则（PPO、GRPO、PMD 等）与底层生成模型类别（扩散或流匹配）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["环境交互与经验回放池<br/>收集状态 o 与生成动作 a"] --> B["阶段一：策略比率学习<br/>轻量网络 r(o,a) 优化强化学习目标"]
    B --> C["阶段二：Doob h-变换与漂移匹配<br/>将比率加权映射为生成扩散/流动力学"]
    C --> D["条件漂移匹配目标优化<br/>梯度等价闭式回归训练 g_theta / u_theta"]
    D --> E["更新生成策略部署<br/>最小控制能量最优逆向 SDE / ODE 推理"]

关键设计¶

1. 两阶段策略解耦与轻量比率学习：规避生成式模型难解似然

针对扩散和流策略无法直接计算动作边缘概率密度 $\pi_\theta(a|o)$ 的问题，DoobPO 放弃从生成器内部计算概率比率，转而引入参数化的轻量辅助网络 $r_\beta(o,a) = \exp(\tilde{r}_\beta(o,a)) > 0$ 来直接表示目标更新比率 $\pi_{\text{target}}(a|o)/\pi_{\text{old}}(a|o)$。在收集到行为策略数据后，直接使用标准截断强化学习代理目标优化 $\beta$（例如在 DoobPPO 中采用 PPO 目标，在 DoobGRPO 中采用组归一化优势）。为了防止辅助比率模型出现测度漂移和非正规化问题，引入双重采样的比率中心化正则项，强制约束比率在行为策略下的均值为 1： $$\mathcal{L}_{\text{reg}}(\beta) = \lambda_{\text{reg}} \mathbb{E}_{o}\left[ \left( \mathbb{E}_{a \sim \pi_{\text{old}}(\cdot|o)} [r_\beta(o,a)] - 1 \right)^2 \right]$$ 该正则项利用两组独立动作样本消除了蒙特卡洛平方估计的内生偏差，使得即使在复杂离线回放池混合分布下，比率学习依然收敛稳定。

2. 基于 Doob h-变换的目标动力学刻画与漂移参数化重构：打通比率到生成场的映射

在获得比率模型 $r_\beta(o,a)$ 后，目标策略分布呈现指数倾斜形式 $\pi(a|o) \propto r_\beta(o,a)\pi_{\text{old}}(a|o)$。对于扩散策略，DoobPO 利用连续时间反向扩散过程的 Doob h-变换，证明了通过在反向 SDE 漂移项中追加 $\nabla_x \log h_t(x,o)$（其中 $h_t(x,o) = \mathbb{E}[r_\beta(o,X_0)|X_t=x,o]$）即可精确诱导目标倾斜测度。为避免训练与推理时重复调用基础得分模型 $s_\phi$，作者将漂移项重参数化为单个统一得分网络 $g_\theta(x,t,o) \approx s_\phi(x,t,o) + \nabla_x \log h_t(x,o)$，使微调模型直接学到完整的修正漂移场，采样推理时无需双网络叠加。

3. 条件漂移匹配的无偏梯度等价性：将不可行期望转化为单步闭式回归

由于边际 Doob 漂移 $\nabla_x \log h_t$ 与倾斜边际分布 $p_t^h$ 均不可解析采样，直接优化漂移匹配目标不可行。DoobPO 提出了条件漂移匹配目标（CDM）。对于扩散策略，利用贝叶斯法则将其展开为基于参考加噪核的加权最小二乘回归： $$\mathcal{L}_{\text{CDM}}(\theta) = \mathbb{E}_{t,o,X_t,X_0} \left[ r_\beta(o,X_0) \left\| -\frac{X_t - \sqrt{\bar{\alpha}_t} X_0}{1 - \bar{\alpha}_t} - g_\theta(X_t,t,o) \right\|_2^2 \right]$$ 对于流匹配策略，同样构建了关于线性插值速度向量场 $\dot{\alpha}_t X_0 + \dot{\beta}_t X_T$ 的加权回归目标。作者在理论上严谨证明了对任意固定状态 $o$，条件漂移匹配损失关于模型参数 $\theta$ 的梯度精确正比于理想 Doob 漂移匹配损失的梯度： $$\nabla_\theta \ell_{\text{CDM}}(\theta,o) = Z_\beta(o) \cdot \nabla_\theta \ell_{\text{DM}}(\theta,o)$$ 其中 $Z_\beta(o) = \mathbb{E}_{X_0 \sim p_0^\phi}[r_\beta(o,X_0)]$ 为配分常数。这一性质保证了在模型容量充足时，二者具有完全重合的全局最优解，将复杂的轨迹级优化降解为无偏、高效的有监督加权去噪得分匹配。

4. 随机最优控制（SOC）视角下的能量最小性：理论保证微调稳定性

除了恢复目标终端策略分布外，DoobPO 还从终端约束随机最优控制理论给出了最优性证明。将参考预训练反向 SDE 视作无控系统，策略微调是在所有满足终端边际分布转移至 $p_0^h \propto r_\beta p_0^\phi$ 的受控扩散过程中，求解具有最小二次控制能量 $\inf_u \frac{1}{2}\mathbb{E}\int_0^T \|\sigma_t u_t(Y_t,o)\|_2^2 dt$ 的控制律。理论证明表明，条件漂移匹配所得的解析最优解 $u_t^\star(x,o) = -\nabla_x \log h_t(x,o)$ 正是该薛定谔桥/SOC 问题的唯一最优控制。这意味着 DoobPO 在实现预定策略提升的同时，对预训练生成流形进行了改动能量最小的平滑扰动，从动力学能量泛函角度阐释了其卓越的收敛平稳性。

损失函数 / 训练策略¶

算法以迭代在线交替循环执行： 1. 经验收集：在当前环境中使用由生成网络参数诱导的策略 $\pi^k$ 收集交互样本存入回放池 $\mathcal{D}$，计算 GAE 或 GRPO 组相对优势估计； 2. 比率网络更新：固定生成模型，优化 $\beta$ 最大化带有双重采样中心化正则项的强化学习目标： $$\max_\beta \left\{ J_{\text{RL}}(\beta) - \lambda_{\text{reg}} \mathbb{E}_{o \sim \mathcal{D}} \left[ \hat{g}_1(o)\hat{g}_2(o) \right] \right\}$$ 3. 漂移匹配更新：固定比率网络权重 $r_{\beta_{k+1}}$，从均匀分布采样时间步 $t \sim U[0,T]$，根据正向扩散核或插值路径构造扰动动作 $x_t$，通过 Adam 优化器最小化以 $r_{\beta_{k+1}}(o,a)$ 为权重的均方误差回归损失，更新生成策略参数 $\theta$。

实验关键数据¶

主实验¶

在 OpenAI Gym MuJoCo 标准连续控制基准（包含 10 个代表性移动、操纵与平衡环境）上，对扩散策略（44M 环境步）与流匹配策略（55M 环境步）分别评估回报。

表 1：扩散策略在 MuJoCo 连续控制基准上的平均回报表现（3个随机种子均值±标准差）

环境	PPO (高斯基线)	SAC (高斯基线)	DPPO	DPMD	DACER	SDAC	DoobPPO (本文)	DoobGRPO (本文)
HalfCheetah	1696 ± 223	14422 ± 20	248 ± 28	12612 ± 932	14037 ± 370	14731 ± 166	14921 ± 39	7800 ± 271
Humanoid	492 ± 113	5866 ± 16	195 ± 17	5138 ± 191	6460 ± 494	6173 ± 1592	6679 ± 63	6634 ± 1517
Ant	1973 ± 67	6534 ± 123	-29.9 ± 1.7	6358 ± 276	7137 ± 137	1880 ± 1025	6738 ± 53	3278 ± 40
Hopper	1280 ± 197	3533 ± 19	338 ± 5.1	3608 ± 73	3774 ± 106	3384 ± 303	3681 ± 269	251 ± 1.4
Walker2d	1242 ± 693	6882 ± 60	535 ± 278	5381 ± 26	5384 ± 1174	5181 ± 986	5642 ± 13	5636 ± 10
Swimmer	121 ± 1.7	139 ± 1.1	36 ± 5.0	51.1 ± 1.4	145.1 ± 5.4	154 ± 5.1	161 ± 0.7	142 ± 2.4
Reacher	-3.63 ± 1.54	-3.03 ± 1.21	-11.82 ± 1.28	-2.97 ± 1.34	-2.97 ± 0.00	-5.83 ± 1.36	-2.96 ± 0.02	-2.95 ± 1.35
Pusher	-25.28 ± 2.73	-23.96 ± 3.47	-248.1 ± 86.3	-28.22 ± 6.06	-24.59 ± 0.37	-108.0 ± 5.23	-23.67 ± 3.16	-23.62 ± 4.35

表 2：流匹配策略在 MuJoCo 连续控制基准上的平均回报表现（3个随机种子均值±标准差）

环境	FPO	ReinFlow	Flow-SDE	DoobPMD (本文)	DoobPPO (本文)	DoobGRPO (本文)	相比最强基线提升
HalfCheetah	327 ± 399	1344 ± 310	27 ± 219	4810 ± 53	3190 ± 60	6368 ± 51	+373.8% (vs ReinFlow)
Humanoid	390 ± 110	525 ± 92	244 ± 60	688 ± 123	556 ± 94	735 ± 111	+40.0% (vs ReinFlow)
Ant	-13 ± 13	-5 ± 12	-45 ± 41	1614 ± 583	1417 ± 203	2986 ± 56	显著逆转并收敛
Hopper	137 ± 55	1911 ± 740	210 ± 100	452 ± 4	423 ± 10	3282 ± 7	+71.7% (vs ReinFlow)
Walker2d	186 ± 140	503 ± 213	243 ± 128	726 ± 144	440 ± 16	4215 ± 13	+738.0% (vs ReinFlow)
Swimmer	35.8 ± 2.51	42.3 ± 1.77	33.9 ± 4.44	96.9 ± 32.1	48.0 ± 1.30	132.7 ± 2.71	+213.7% (vs ReinFlow)
Reacher	-8.79 ± 3.20	-6.30 ± 2.83	-31.08 ± 3.53	-4.35 ± 1.40	-6.73 ± 2.16	-3.60 ± 1.37	+42.9% (vs ReinFlow)
Pusher	-53.77 ± 3.69	-32.85 ± 3.81	-178.4 ± 6.41	-39.10 ± 4.08	-42.81 ± 3.75	-29.90 ± 3.74	+9.0% (vs ReinFlow)

消融实验¶

在 HalfCheetah-v4 环境下针对比率网络容量架构以及去噪/积分步数进行了充分的敏感性消融分析。

表 3：比率网络架构与步数设置消融实验（HalfCheetah-v4 峰值回报）

消融维度	配置选择	DoobPPO (扩散) 表现	DoobGRPO (流匹配) 表现	核心观察说明
比率网络架构	轻量 MLP (3×256)	14921	6433	学习平稳且泛化优秀，无过拟合崩溃
比率网络架构	深层 MLP (10×256)	显著落后轻量模型	23 (训练崩溃)	容量过大导致比率估计过拟合/方差发散
比率网络架构	大型 ResNet (20×512)	显著性能退化	-94 (完全失败)	参数过重导致策略优化失效
去噪/积分步数	T = 10 步	性能良好但略低	6120	步数偏少导致离散化截断误差
去噪/积分步数	T = 20 步 (默认)	最优平衡	6433	精度与计算效率的最佳折中
去噪/积分步数	T = 30 步	性能显著衰减	6282	扩散策略长步数累积漂移误差加剧

关键发现¶

轻量比率网络是稳定微调的核心命门：实验出人意料地表明，增加比率网络深度和容量（如 10 层 MLP 或 20 层 ResNet）会导致优化灾难性崩溃。简单的 3 层 MLP 足以准确提供策略更新所需的相对权重，过高容量会导致比率估计剧烈振荡并破坏漂移匹配回归。
流策略下 DoobGRPO 的惊人飞跃：在流匹配设置下，无需值函数评价网络的 DoobGRPO 表现出远超 FPO 与 ReinFlow 的性能，在 Walker2d 上取得了超过 7 倍的飞跃。这证明了组归一化优势与确定性流速度场的结合高度自洽。
适中步数表现最优：扩散模型采用 20 步去噪明显优于 10 步和 30 步。长步数去噪在强化学习闭环更新中容易受到微小漂移误差沿轨迹积分放大的影响。

亮点与洞察¶

解耦设计彻底甩掉似然包袱：传统方法试图对整条积分轨迹做自动微分或近似边缘密度，DoobPO 巧妙地将策略评估从生成骨干中抽离到仅作用于 (状态, 动作) 的独立比率函数上，把非凸强化学习难题转化为了极其标准且稳定的加权无偏扩散匹配。
数学严谨的桥梁贯通：建立起了 Doob h-变换、条件漂移匹配与随机最优控制（SOC）之间的完整等价链条，证明了最小化加权回归等价于寻找改动能量最小的控制律，为生成模型强化学习提供了极具穿透力的理论基础。
极佳的计算性价比：显存开销仅 1.5~1.8 GB，单百万环境步训练耗时约 25~28 分钟，与 DACER、SDAC 相当且显存占用远低于粒子蒸馏方法 DIPO（5.2 GB），具备极强的工业落地实用性。

局限与展望¶

依赖连续空间假设：现阶段的理论公式深度依赖连续扩散 SDE 与流 ODE 动力学体系，尚无法直接原样迁移到大语言模型或离散动作空间的自回归强化学习微调中。
复杂环境与长视野机器人任务探索有限：主实验大多局限在标准 MuJoCo 连续控制模拟与低维状态的 Robomimic 玩具场景（且因任务饱和提升不明显），尚未在真实高维视觉输入机器人（如泛化双臂操纵）上进行大规模端到端验证。
比率估计误差未作有限样本理论界定：当前的理论最优性与梯度等价性建立在总体期望（Population）与网络可实现性假设上，未来需进一步量化有限样本下比率估计误差如何沿漂移匹配向策略表现传递。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用 Doob h-变换与随机最优控制能量最小性，将生成式策略强化学习统一拆解为比率学习与条件漂移匹配，理论兼具优美性与普适性。
实验充分度: ⭐⭐⭐⭐☆ 覆盖了扩散与流匹配两大主流分支，横跨 10 个 MuJoCo 任务和 Robomimic 操纵基准，对比了 8 种前沿基线并给出详尽的算力、显存与超参消融。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严密自洽，从问题提出、引理证明、定理等价性到 SOC 最优性层层递进，结构清晰逻辑严整。
价值: ⭐⭐⭐⭐⭐ 为当前具身智能与连续控制中大火的扩散/流匹配策略（如 $\pi_0$ 等）提供了一个极具通用性、极高训练稳定性且算力友好的开源微调新范式。