Diffusion Guidance Is a Controllable Policy Improvement Operator¶

会议: NeurIPS 2026
arXiv: 2505.23458
代码: https://github.com/kvfrans/cfgrl
领域: 图像生成
关键词: 扩散模型引导, 策略改进算子, 无分类器引导, 离线强化学习, 目标条件行为克隆

一句话总结¶

本文首次在理论上严格证明了扩散模型与流匹配中的无分类器引导（CFG）等价于强化学习中的策略改进算子，提出无需重训即可在测试期连续调控探索-最优权衡的 CFGRL 框架，并在无需拟合价值函数的纯目标条件模仿学习中实现了性能的免费大幅跃升。

研究背景与动机¶

强化学习（RL）的核心魅力在于能够超越数据集本身的次优表现，通过策略迭代探索更高的回报空间；然而在大规模离线数据与复杂高维动作空间下，传统基于时序差分（TD）或迭代策略优化的 RL 算法面临着灾难性的价值过估计、超参数高度脆弱以及训练不稳定性。与之形成鲜明对比的是，以扩散模型（Diffusion）和流匹配（Flow-Matching）为代表的现代生成建模展现出了惊人的可扩展性与训练鲁棒性，但现有的生成式模仿学习（如行为克隆 BC）本质上只是在被动拟合数据分布，其策略表现严格受制于离线数据集的次优瓶颈，无法自主实现超越数据水平的最优性提升。

这一核心矛盾在离线 RL 与目标条件任务中尤为突出：若采用经典的优势加权回归（AWR）等加权模仿方法，指数加权项会导致单个批次内少数样本的梯度幅值极端尖锐（peaked），严重淹没其余有效样本的学习信号；同时，权衡参考分布与回报最大化的正则化温度超参数必须在训练前固定，调优往往需要耗费昂贵的网格重训成本。更进一步地，在目标条件行为克隆（GCBC）等无需价值网络的轻量框架中，尽管其训练极为简单稳定，但被动的事后目标重标记天然存在严重的渐进行为次优性，传统方法若想打破此上限，又不得不重新引入不稳定的价值函数估计与双重拟合误差。

本文的切入视角极其精巧：生成模型中早已被广泛验证的“无分类器引导”（Classifier-Free Guidance, CFG）本质上是在无条件先验分布与条件分布之间做对数几率插值，而策略改进在数学上同样是在参考行为策略与优势函数诱导的最优性分布之间做乘积调整。核心 idea：将策略形式化为参考策略与单调优势函数乘积的“乘积策略”，从理论上证明放大引导权重等价于单调优势衰减下的严格策略改进，并将扩散引导重构为一种可在测试期任意调节最优性强度、且完全脱离显式价值网络依赖的通用策略改进算子（CFGRL）。

方法详解¶

整体框架¶

CFGRL 框架的核心目标是将强化学习中的策略改进形式化为生成模型中的条件引导采样。整个流水线包含两个关键环节：在训练期，通过极简的监督式流匹配（Flow-Matching）同时联合建模无条件参考行为分布与条件最优分布；在推断期，通过测试期动态调节的无分类器引导尺度 $w$，在参考策略基底与最优方向之间插值与外推，生成单调优于数据集先验的高回报动作轨迹。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["离线状态-动作转移数据集<br/>(s, a) ~ D"] --> B["最优性条件标注<br/>o = 1(A >= 0) 或 目标 g"]
    B --> C["条件/无条件联合流匹配训练<br/>Dropout o=∅ 建模单一速度场 v_θ"]
    C --> D["测试期无分类器引导采样<br/>v = (1-w) v_θ(a,t,s,∅) + w v_θ(a,t,s,o)"]
    D --> E["动态策略改进输出<br/>w 控制最优性与先验偏移连续权衡"]

关键设计¶

1. 乘积策略形式化与切比雪夫不等式下的单调提升：将强化学习策略改进转化为概率乘积分布

为了将生成模型的引导与策略改进建立数学同构，论文将目标策略 $\pi(a|s)$ 显式分解为参考策略 $\hat{\pi}(a|s)$ 与依赖优势函数的最优性因子 $f(A(s,a))$ 的乘积： $$ \pi(a|s) \propto \hat{\pi}(a|s) f(A(s,a)) $$ 论文借助概率测度下的切比雪夫和不等式（Chebyshev's Sum Inequality）严格证明：只要 $f: \mathbb{R} \to \mathbb{R}$ 是一个有界、非负且关于优势函数 $A_{\hat{\pi}}(s,a)$ 单调递增的函数，则新策略关于参考策略价值的期望优势恒满足 $\mathbb{E}_{a \sim \pi(\cdot|s)} [Q_{\hat{\pi}}(s,a)] \geq V_{\hat{\pi}}(s)$，进而由经典随机策略改进定理直接导出全局目标 $J(\pi) \geq J(\hat{\pi})$。更关键的是，当引入指数衰减权重 $w_2 > w_1 \geq 0$ 构造 $\pi_{w} \propto \hat{\pi} f^w$ 时，策略的期望回报关于指数 $w$ 单调严格递增。这直接证明了：生成模型中对条件分布的加权增强（attenuation）不仅是一种经验性的图像增强技巧，而是在数学上受严格保证的保真度-最优性单调控制算子。

2. 贝叶斯反转与无分类器引导：避免显式最优性判别器与梯度对抗脆弱性

若直接学习最优性预测器 $p(o|s,a) = f(A(s,a))/Z(s)$ 并在扩散采样中做分类器引导，必须在整个加噪动作流形上准确估计分母归一化常数 $Z(s)$，且反向传播通过神经网络判别器极易在分布外（OOD）动作区域诱发对抗样本扰动攻击。CFGRL 借鉴无分类器扩散引导思想，利用贝叶斯法则反转概率分布： $$ \nabla_a \log p(o|s,a) = \nabla_a \log \hat{\pi}(a|s,o) - \nabla_a \log \hat{\pi}(a|s) $$ 进而将乘积策略的分数函数统一转化为无条件分数与条件分数的线性组合： $$ \nabla_a \log \pi_w(a|s) = \nabla_a \log \hat{\pi}(a|s) + w (\nabla_a \log \hat{\pi}(a|s,o) - \nabla_a \log \hat{\pi}(a|s)) $$ 该设计将原本不可解的乘积归一化常数消去，用单一神经网络同时承载条件与无条件策略流。这从根本上颠覆了传统优势加权回归（AWR）中必须将正则化温度 $\beta$ 固化在监督损失函数内的缺陷：温度调整不再需要昂贵的网格搜索与反复重训，用户只需在推理生成动作时任意滑动参数 $w$，即可在先验保真与极致回报之间获得平滑连续的最优权衡曲面。

3. 零价值网络的目标条件外推：彻底打通目标条件模仿学习的理论上限

CFGRL 展现出的最震撼能力是其在目标条件强化学习（GCRL）场景下完全免除了对价值网络（Q-function）的依赖。传统目标条件行为克隆（GCBC）在几何折扣采样下最大化条件似然时，其隐式拟合的策略实际上等价于 $\pi(a|s,g) \propto \hat{\pi}(a|s) Q_{\hat{\pi}}(s,a,g)$，即隐式地对应了 $w=1$ 的乘积策略基线。由于贴近目标的折扣似然本身就是优势函数的单调非负函数，CFGRL 巧妙地将目标 $g$ 直接作为条件变量，并在采样时施加引导： $$ \nabla_a \log \hat{\pi}(a|s) + w (\nabla_a \log \pi(a|s,g) - \nabla_a \log \hat{\pi}(a|s)) $$ 当选取 $w > 1$（如 $w=3$）时，生成过程在无需拟合任何 Critic 网络、不消耗任何额外采样预算的前提下，自动放大了通向目标动作的最优性权重。这种“免费”的外推能力甚至能够层叠应用于分层模仿学习（HCFGRL），使高层子目标生成器与底层动作执行器同时获得策略改进加速。

一个完整示例¶

以 AntMaze 导航任务中的动作生成为例，观察 CFGRL 如何在推断期一步步引导动作流场脱离次优轨迹： - 步骤 1（初始化状态与噪声注入）：智能体位于迷宫岔路口 $s = [x, y, \theta]$，目标为终点标记 $g$。初始动作用高斯白噪声 $a_0 \sim \mathcal{N}(0, I)$ 采样，设定离散时间步 $N=16$。 - 步骤 2（双分支速度场评估）：在流匹配积分步 $t_k$，网络前向计算两路向量：一路为无目标条件速度场 $v_\theta(a_t, t, s, \varnothing)$（代表数据集平均行为，可能徘徊不前）；另一路为注入终点条件的感知速度场 $v_\theta(a_t, t, s, g)$。 - 步骤 3（差分速度合成与外推）：根据设定的引导强度 $w=3.0$，计算合成速度场 $v = (1-3.0) v_\theta(a, t, s, \varnothing) + 3.0 v_\theta(a, t, s, g)$。原本指向无效死胡同的均值漂移分量被深度抑制，而朝着终点几何优势正向对齐的加速度分量被放大 3 倍。 - 步骤 4（动作输出与终点触达）：经 16 步欧拉积分还原出干净物理动作 $a$。相较于基线 GCBC（$w=1.0$）仅有 22% 的终点成功率，CFGRL（$w=3.0$）在该任务上直接跃升至 50% 以上，展现了清晰的外推改进能力。

损失函数 / 训练策略¶

CFGRL 采用连续时间流匹配（Flow Matching）目标进行监督训练。设状态-动作对 $(s,a) \sim \mathcal{D}$，初始噪声 $a_0 \sim \mathcal{N}(0, I)$，采样连续时间步 $t \sim \mathcal{U}(0, 1)$。构建线性概率流插值点 $a_t = (1-t)a_0 + t a$，目标向量场直接为常数速度 $u_t(a|a_0) = a - a_0$。优化目标为标准条件均方误差： $$ \mathcal{L}(\theta) = \mathbb{E}{(s,a)\sim\mathcal{D}, a_0\sim\mathcal{N}(0,I), t\sim\mathcal{U}(0,1)} \left[ | v\theta(a_t, t, s, o) - (a - a_0) |^2 \right] $$ 为了统一无条件与条件策略，训练时以 $p_{\text{uncond}} = 0.1$ 的独立概率随机将条件置空 $o = \varnothing$。 - 离线 RL 条件标注：当存在离线训练的价值网络（如通过 IQL 算法提取时），优势函数为 $A(s,a) = Q(s,a) - V(s)$，最优性标签采用指示函数硬截断：$o = \mathbf{1}(A(s,a) \geq 0)$。 - 目标条件 BC 标注：直接采用轨迹未来几何采样状态作为目标 $g$；无条件分支直接令 $g = \varnothing$。 - 网络与优化设置：采用 3-4 层 MLP（隐藏层维度 512，Mish/GELU 激活函数），Adam 优化器学习率设为 $3 \times 10^{-4}$，批大小为 256 或 1024。

实验关键数据¶

主实验¶

论文在两大核心基准上展开了严格的量化对比。首先是在基于探索性数据的 ExORL 基准上评估离线强化学习策略提取性能（对比主流基线 AWR，均采用相同的 IQL 价值函数，4 种随机种子平均回报）：

任务环境 (ExORL)	AWR 基准表现	CFGRL (本文)	性能提升幅度
walker-stand	$603 \pm 8$	$\mathbf{782} \pm 8$	$+29.7\%$
walker-walk	$444 \pm 4$	$\mathbf{608} \pm 32$	$+36.9\%$
walker-run	$247 \pm 10$	$\mathbf{282} \pm 6$	$+14.2\%$
quadruped-walk	$\mathbf{776} \pm 15$	$762 \pm 25$	$-1.8\%$
quadruped-run	$485 \pm 7$	$\mathbf{571} \pm 25$	$+17.7\%$
cheetah-run	$168 \pm 7$	$\mathbf{216} \pm 15$	$+28.6\%$
cheetah-run-backward	$146 \pm 8$	$\mathbf{262} \pm 26$	$+79.5\%$
jaco-reach-top-right	$33 \pm 2$	$\mathbf{72} \pm 6$	$+118.2\%$
jaco-reach-top-left	$30 \pm 8$	$\mathbf{46} \pm 6$	$+53.3\%$

在无需价值函数的目标条件模仿学习设置下，论文在包含高维连续控制与视觉像素输入的 OGBench 基准上进行了系统测试（成功率 %，8 个种子平均）：

任务名称 (OGBench)	纯行为克隆 (BC)	目标条件克隆 (GCBC)	流匹配目标克隆 (Flow GCBC)	CFGRL (本文, $w=3$)	分层流匹配 (Flow HGCBC)	分层CFGRL (HCFGRL)
pointmaze-medium	$0 \pm 0$	$9 \pm 5$	$66 \pm 4$	$\mathbf{77} \pm 6$	$57 \pm 7$	$\mathbf{63} \pm 5$
pointmaze-giant	$0 \pm 0$	$2 \pm 2$	$4 \pm 2$	$\mathbf{30} \pm 10$	$6 \pm 5$	$\mathbf{18} \pm 8$
antmaze-medium	$13 \pm 2$	$25 \pm 8$	$42 \pm 9$	$\mathbf{53} \pm 12$	$67 \pm 8$	$\mathbf{90} \pm 5$
antmaze-large	$11 \pm 4$	$20 \pm 4$	$22 \pm 5$	$\mathbf{24} \pm 10$	$61 \pm 5$	$\mathbf{78} \pm 4$
antmaze-giant	$0 \pm 0$	$0 \pm 0$	$0 \pm 0$	$\mathbf{1} \pm 1$	$14 \pm 5$	$\mathbf{38} \pm 7$
antmaze-teleport	$4 \pm 2$	$19 \pm 5$	$24 \pm 7$	$\mathbf{35} \pm 9$	$38 \pm 5$	$\mathbf{50} \pm 5$
humanoidmaze-medium	$3 \pm 3$	$6 \pm 3$	$8 \pm 3$	$\mathbf{19} \pm 6$	$23 \pm 4$	$\mathbf{64} \pm 10$
humanoidmaze-large	$0 \pm 1$	$2 \pm 1$	$1 \pm 2$	$\mathbf{3} \pm 2$	$11 \pm 2$	$\mathbf{38} \pm 4$
cube-single-play	$4 \pm 2$	$6 \pm 2$	$8 \pm 2$	$\mathbf{11} \pm 5$	$26 \pm 5$	$\mathbf{46} \pm 6$
visual-cube-single	$1 \pm 1$	$1 \pm 2$	$13 \pm 7$	$\mathbf{37} \pm 9$	-	-
visual-scene-play	$5 \pm 1$	$5 \pm 2$	$25 \pm 4$	$\mathbf{40} \pm 8$	-	-

消融实验¶

针对引导权重 $w$ 的可控外推能力以及条件网络架构设计的消融分析表明：

消融配置项	典型环境表现 (pointmaze-large / antmaze-teleport)	关键结论与行为机制说明
CFG 权重 $w = 0$ (退化为无条件先验)	$0 \pm 0$ / $3 \pm 2$	彻底丧失目标指向能力，等价于无条件的被动流匹配先验
CFG 权重 $w = 1.0$ (等价于标准 GCBC)	$74 \pm 7$ / $24 \pm 7$	传统目标重标记上限，未能利用梯度外推获得策略改进收益
CFG 权重 $w = 2.0$ (中度引导增强)	$76 \pm 5$ / $31 \pm 8$	回报随最优性单调递增，验证定理 2 的理论预测
CFG 权重 $w = 3.0$ (默认最优设定)	$\mathbf{77} \pm 5$ / $\mathbf{35} \pm 9$	达到最优峰值，兼顾向目标逼近的强推动力与低流形偏离
CFG 权重 $w = 5.0$ (过度引导增强)	$68 \pm 9$ / $21 \pm 11$	引导过度导致动作生成漂移出真实动力学有效流形（OOD）
条件分离网络架构 (Separate Networks)	成功率相对降低约 $15\% \sim 25\%$	条件与无条件网络独立参数化无法共享底层状态几何表征
统一共享表征网络 (Shared Embedding, 本文)	跨所有任务均维持最强外推泛化能力	统一主干借助条件嵌入插值共享表征，具备极佳的正则化泛化性

关键发现¶

梯度分布的均匀性优势：相比 AWR 中少数高优势样本引发极端梯度主导整个 mini-batch（引发学习信号退化），CFGRL 的条件扩散损失对全体样本赋予均匀权重，梯度方差极低，训练异常稳健。
超越数据分布的外推能力：GCBC 传统上被认为无法超越数据集中的拼接轨迹，而 CFGRL 通过简单放大 $w > 1$，在 pointmaze-giant 和 visual-cube-single 上分别实现了超过强基线 7 倍与近 3 倍的成功率飙升。
高维视觉与分层架构普适性：引导不仅作用于低维动作向量，在像素级观测以及分层子目标生成中展现出一致的单调增益特性，HCFGRL 在复杂人形迷宫任务（humanoidmaze-medium）上将成功率从 23% 拔高至 64%。

亮点与洞察¶

经典生成算子与 RL 理论的优美大一统：揭示了计算机视觉与文本生成中广泛使用的 Classifier-Free Guidance 在底层本质上就是带约束的强化学习单调策略改进算子，打通了两大学科的核心理论桥梁。
测试期零成本超参数调优（Test-time Controllability）：将传统离线 RL 中极其敏感、需反复网格搜索重训的探索-保守性折中超参（如 KL 惩罚 $\beta$）完全解耦到采样阶段，通过单一模型在推理时滑动 $w$ 即可完成最优控制。
无价值函数的免费性能赠送：在目标条件设定下完全不需要训练 Critic，不仅省去了海量的价值网络计算开销，还彻底规避了强化学习中令人头疼的 Bellman 误差传播与死区发散风险。

局限与展望¶

并非端到端全局强化学习替代品：在离线通用 RL 设置下，CFGRL 仍然依赖上游提供相对可靠的优势函数或 Q 估计（如借由 IQL 提取），其本质是策略提取阶段的增强算子，自身无法解决探索不足带来的全局认知盲区。
过高引导权重的流形偏离惩罚：定理 2 保证了在完美优势函数下的单调性，但真实神经网络生成的动作超出数据支撑集太远时，不可避免地会遭遇物理环境不可达或动作截断错误（如 $w > 4$ 时的性能回落）。
未来方向：探索 CFGRL 与多轮在线交互（Online RL Fine-tuning）的深度结合，以及将该框架拓展到通用大语言模型（LLM）的对齐与多步长推理解码引导中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从切比雪夫不等式与乘积测度角度证明扩散引导就是策略改进算子，理论视角极其深刻新颖。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖离线强化学习、目标条件控制、像素级视觉任务及分层架构，消融与对比数据详实完备。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严丝合缝，动机清晰流畅，从理论到算法落地的叙述一气呵成。
价值: ⭐⭐⭐⭐⭐ 为生成式机器人控制、离线决策乃至大模型对齐提供了一种极简、通用且即插即用的核心基础工具。

任务环境 (ExORL)	AWR 基准表现	CFGRL (本文)	性能提升幅度
walker-stand	\(603 \pm 8\)	\(\mathbf{782} \pm 8\)	\(+29.7\%\)
walker-walk	\(444 \pm 4\)	\(\mathbf{608} \pm 32\)	\(+36.9\%\)
walker-run	\(247 \pm 10\)	\(\mathbf{282} \pm 6\)	\(+14.2\%\)
quadruped-walk	\(\mathbf{776} \pm 15\)	\(762 \pm 25\)	\(-1.8\%\)
quadruped-run	\(485 \pm 7\)	\(\mathbf{571} \pm 25\)	\(+17.7\%\)
cheetah-run	\(168 \pm 7\)	\(\mathbf{216} \pm 15\)	\(+28.6\%\)
cheetah-run-backward	\(146 \pm 8\)	\(\mathbf{262} \pm 26\)	\(+79.5\%\)
jaco-reach-top-right	\(33 \pm 2\)	\(\mathbf{72} \pm 6\)	\(+118.2\%\)
jaco-reach-top-left	\(30 \pm 8\)	\(\mathbf{46} \pm 6\)	\(+53.3\%\)

任务名称 (OGBench)	纯行为克隆 (BC)	目标条件克隆 (GCBC)	流匹配目标克隆 (Flow GCBC)	CFGRL (本文, \(w=3\))	分层流匹配 (Flow HGCBC)	分层CFGRL (HCFGRL)
pointmaze-medium	\(0 \pm 0\)	\(9 \pm 5\)	\(66 \pm 4\)	\(\mathbf{77} \pm 6\)	\(57 \pm 7\)	\(\mathbf{63} \pm 5\)
pointmaze-giant	\(0 \pm 0\)	\(2 \pm 2\)	\(4 \pm 2\)	\(\mathbf{30} \pm 10\)	\(6 \pm 5\)	\(\mathbf{18} \pm 8\)
antmaze-medium	\(13 \pm 2\)	\(25 \pm 8\)	\(42 \pm 9\)	\(\mathbf{53} \pm 12\)	\(67 \pm 8\)	\(\mathbf{90} \pm 5\)
antmaze-large	\(11 \pm 4\)	\(20 \pm 4\)	\(22 \pm 5\)	\(\mathbf{24} \pm 10\)	\(61 \pm 5\)	\(\mathbf{78} \pm 4\)
antmaze-giant	\(0 \pm 0\)	\(0 \pm 0\)	\(0 \pm 0\)	\(\mathbf{1} \pm 1\)	\(14 \pm 5\)	\(\mathbf{38} \pm 7\)
antmaze-teleport	\(4 \pm 2\)	\(19 \pm 5\)	\(24 \pm 7\)	\(\mathbf{35} \pm 9\)	\(38 \pm 5\)	\(\mathbf{50} \pm 5\)
humanoidmaze-medium	\(3 \pm 3\)	\(6 \pm 3\)	\(8 \pm 3\)	\(\mathbf{19} \pm 6\)	\(23 \pm 4\)	\(\mathbf{64} \pm 10\)
humanoidmaze-large	\(0 \pm 1\)	\(2 \pm 1\)	\(1 \pm 2\)	\(\mathbf{3} \pm 2\)	\(11 \pm 2\)	\(\mathbf{38} \pm 4\)
cube-single-play	\(4 \pm 2\)	\(6 \pm 2\)	\(8 \pm 2\)	\(\mathbf{11} \pm 5\)	\(26 \pm 5\)	\(\mathbf{46} \pm 6\)
visual-cube-single	\(1 \pm 1\)	\(1 \pm 2\)	\(13 \pm 7\)	\(\mathbf{37} \pm 9\)	-	-
visual-scene-play	\(5 \pm 1\)	\(5 \pm 2\)	\(25 \pm 4\)	\(\mathbf{40} \pm 8\)	-	-

消融配置项	典型环境表现 (pointmaze-large / antmaze-teleport)	关键结论与行为机制说明
CFG 权重 \(w = 0\) (退化为无条件先验)	\(0 \pm 0\) / \(3 \pm 2\)	彻底丧失目标指向能力，等价于无条件的被动流匹配先验
CFG 权重 \(w = 1.0\) (等价于标准 GCBC)	\(74 \pm 7\) / \(24 \pm 7\)	传统目标重标记上限，未能利用梯度外推获得策略改进收益
CFG 权重 \(w = 2.0\) (中度引导增强)	\(76 \pm 5\) / \(31 \pm 8\)	回报随最优性单调递增，验证定理 2 的理论预测
CFG 权重 \(w = 3.0\) (默认最优设定)	\(\mathbf{77} \pm 5\) / \(\mathbf{35} \pm 9\)	达到最优峰值，兼顾向目标逼近的强推动力与低流形偏离
CFG 权重 \(w = 5.0\) (过度引导增强)	\(68 \pm 9\) / \(21 \pm 11\)	引导过度导致动作生成漂移出真实动力学有效流形（OOD）
条件分离网络架构 (Separate Networks)	成功率相对降低约 \(15\% \sim 25\%\)	条件与无条件网络独立参数化无法共享底层状态几何表征
统一共享表征网络 (Shared Embedding, 本文)	跨所有任务均维持最强外推泛化能力	统一主干借助条件嵌入插值共享表征，具备极佳的正则化泛化性