Model-Based Online Decision Making via Generative Trajectory Planning¶

会议: NeurIPS 2026
arXiv: 2610.18677
代码: https://github.com/haldunbalim/GTPlanning
领域: 强化学习
关键词: 在线强化学习, 轨迹规划, 扩散生成先验, 基于模型的强化学习, 光束搜索

一句话总结¶

提出基于生成轨迹规划（GTP）的在线决策框架，将扩散模型作为动作序列的生成先验与提议分布，结合动力学集成的不确定性与迭代光束搜索进行序列级推理与探索，在连续控制与长程视觉操作任务中大幅超越传统RL和扩散策略基线。

研究背景与动机¶

在线决策在智能体强化学习中长期面临高效推理与长程规划之间的结构性矛盾。主流无模型与基于模型的强化学习方法普遍依赖基于标量价值函数的单步自举（short-horizon bootstrapping），这导致长时序信息反向传播极慢且容易累积单步估值误差；同时，依靠动作空间局部随机扰动的探索机制难以在复杂的物理交互中发现具有时序连贯性的高级行为。虽然传统基于动力学模型的轨迹优化（Trajectory Optimization）或模型预测控制（MPC）能够在时序轨迹级别进行显式规划，但它们必须在每个决策步从头求解高维非凸优化问题，计算开销巨大且严重受制于高斯参数化分布对复杂多峰动作空间的表达瓶颈，极易受到复合预测误差的欺骗。

近年来条件扩散模型在离线轨迹规划中展现出建模复杂多峰轨迹分布的强大表现力，然而在在线交互设定下，现有方法大多仅将扩散模型退化为单步策略网络，继续套用传统的策略梯度或 Q 引导目标进行单步更新。这使得扩散模型强大的长程序列生成能力与表达先验完全没有在线上被释放出来，依旧受困于单步自举价值传播迟缓和局部高斯探索匮乏的桎梏。

面对这一两难困境，本文的核心思路是将在线决策重塑为基于生成先验的概率推断问题：与其将生成模型当作被动的单步策略，不如将其作为轨迹动作序列的高效提议分布（proposal distribution），从而将长程规划的计算负担分摊（amortize）进扩散先验之中。核心 idea：将扩散模型作为动作序列的结构化提议分布，通过动力学集成的不确定性感知光束搜索与前向扩散加噪去噪迭代精炼候选轨迹，并以轨迹级加权回归和朗之万动力学采样在线反哺扩散先验，实现推理效率与长程探索的统一。

方法详解¶

整体框架¶

GTP（Generative Trajectory Planning）由四个紧密协同的学习组件构成：一是基于时间卷积 U-Net 的动作序列扩散先验 $p_\theta(\mathbf{a}_t \mid s_t)$，负责根据当前状态提出长为 $H$ 步的候选动作轨迹；二是由 $N=5$ 个独立 MLP 组成的动力学模型集成 $\{f_{\phi_i}\}_{i=1}^N$，通过自回归预测未来状态残差，并以集成间的分歧量化轨迹级认知不确定性；三是带终止预测头的奖励模型 $r_\xi$ 与 $d_\xi$，在模拟展开中预测即时奖励与轨迹早停概率；四是长程折扣回报价值函数 $V_\psi$，在预测轨迹末端提供终端自举回报估计。

在环境交互与训练过程中，GTP 在决策探索时采用乐观聚合（最大化集成回报）来引导动作序列级别的定向探索；在构造训练学习目标时则采用保守聚合（中位数集成回报与方差倒数加权）来抑制模型预测误差的外溢。通过光束搜索迭代产生的精英轨迹经过朗之万梯度上升扰动后，以指数倾斜的重要性权重在线蒸馏更新扩散先验，形成闭环自进化机制。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["当前环境观测状态 $s_t$"] --> B["扩散先验提议候选<br/>采样 $B \times D$ 条动作序列"]
    B --> C["分步光束搜索与局部扩散精炼<br/>前向加噪 $K_{\text{ref}}$ 步 + 条件去噪补全"]
    C --> D["动力学集成双重评估<br/>交互决策乐观探索 vs 目标构造保守折中"]
    D --> E["双向更新闭环<br/>朗之万增强精英集 + 轨迹级自适应温控蒸馏"]
    E --> F["输出高回报动作 $a_t^\star$<br/>执行并存入在线经验池"]

关键设计¶

1. 扩散先验引导的分步光束搜索与局部扩散精炼：解决高维动作序列从头优化的组合爆炸瓶颈

针对传统 MPC 每次从高斯分布从头优化动作序列易陷入局部极值且算力消耗过大的问题，GTP 提出一种结合先验提议与扩散去噪精炼的迭代光束搜索机制。算法首先从扩散先验中批量采样 $B \times D$ 个全长为 $H$ 的候选动作序列，通过单步前向预测得分筛选出前 $B$ 个最优前缀存入光束 $\mathcal{B}_0$。在此后每一步 $h=1, \dots, H-1$，算法将每个保留的前缀分支扩展为 $D$ 份，对已固定的历史动作前缀 $0:h$ 保持不变（inpainting 机制），而对其后续动作后缀施加 $K_{\text{ref}}$ 步前向扩散加噪破坏，随后调用扩散先验进行逆向条件去噪恢复。这一设计保证了未来动作既顺应当前固定的动作前缀，又在动力学评估导向的高回报区域内局部调整多峰模式，最后经动力学模型累计折扣回报与价值截断评分 $J_{h+1}$ 剪枝保留前 $B$ 个轨迹，避免了全局维度灾难。

2. 动力学集成的乐观探索与保守自适应价值回传：兼顾主动序列级探索与抑制复合模型误差

针对在线基于模型强化学习中模型偏差（model bias）导致规划器剥削虚假高回报，以及单步自举回报传播过慢的痛点，GTP 设计了“探索时乐观、更新时保守”的双重聚合机制。在与环境交互采集数据时，智能体对动作序列在集成模型中的预测回报采取最大值聚合 $\max_{i \in [N]} J_h^{(i)}(s_t, \mathbf{a}_t)$，利用集成模型在未探索区域产生的分歧诱发主动探索，从而以连贯动作序列发现高价值交互模式；而在构造价值学习目标与离线回归更新时，则采用集成中位数 $\bar{J}_h^{\text{med}}(s)$ 抵消单模型的高估偏置，并以集成方差的倒数通过 softmax 构造多步回报置信度权重： $$\omega_h(s) = \frac{\exp(1/\sigma_h^2(s))}{\sum_{h'=1}^H \exp(1/\sigma_{h'}^2(s))}, \quad \sigma_h^2(s) = \operatorname{Var}_{i \in [N]} J_h^{(i)}(s, \mathbf{a}^\star)$$ 价值网络 $V_\psi$ 通过加权多步自举目标计算 Huber 损失，在充分利用长程确定性信息的同时动态截断高不确定性时步的误差累积。

3. 朗之万动力学增强与自适应温控先验蒸馏：防止采样自模仿导致的先验模式坍缩

在在线迭代自训练扩散先验时，若仅将规划搜索得到的精英轨迹重新拟合，扩散先验会因多峰收缩而陷入模式坍缩（mode collapse），丧失提出多样化新颖轨迹的能力。GTP 在光束搜索获得的精英集合上引入 $L_{\text{lan}}=4$ 步朗之万动力学上升，沿规划目标对动作序列的联合梯度方向引导扰动： $$\mathbf{a} \leftarrow \mathbf{a} + \eta \nabla_{\mathbf{a}} J_H(s, \mathbf{a}) + \sqrt{2\eta}\,\boldsymbol{\epsilon}, \quad \boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I})$$ 该扰动将候选集主动推向当前先验未覆盖但在动力学模型下具备高回报的新区域。随后，为了解决训练过程中不同阶段回报方差收缩导致固定温度超参失效的问题，GTP 引入在线自适应温度损失 $\mathcal{L}_\lambda(\lambda) = \mathbb{E}[( \operatorname{ESS}(\lambda; s_t) - \rho )^2]$，动态调整重要性权重 $w^m \propto \exp(J_H^m/\lambda)$ 的锐度以恒定维持有效样本量 $\rho=0.8$，实现稳定渐进的 KL 正则化策略改善。

损失函数 / 训练策略¶

系统通过统一重放缓冲区 $\mathcal{D}$ 联合训练所有组件。动力学集成 $\{f_{\phi_i}\}$ 采用独立 Bootstrap 有放回子样本拟合单步状态差分平方损失；奖励模型 $r_\xi$ 与终止预测头 $d_\xi$ 分别采用均方误差损失 $\mathcal{L}_{\text{rew}}$ 与二元交叉熵损失 $\mathcal{L}_{\text{term}}$ 联合优化；价值函数采用目标网络双重剪枝与 Huber 损失回归自适应置信度目标。训练全程配备时域渐进式课程（Horizon Curriculum），在前 30-35 万步将规划时域 $H$ 从 1 线性增加至设定上限，确保模型在低步长自举收敛稳定后再进行长程自回归推断。此外，训练期通过每 10 步梯度更新复用缓存精英轨迹（Trajectory Reuse）将更新耗时降低 8.2 倍。

实验关键数据¶

主实验¶

在标准 OpenAI Gym MuJoCo 连续控制基准（1M 交互步，5 个随机种子）与长程机械臂操作基准（Fetch 系列与 PushT 视觉操作）中，GTP-H4 展现出对传统强化学习、扩散策略 RL 及先进基于模型规划算法的显著领先优势。

任务 / 基准	指标	GTP (Ours)	TD-MPC2	DPMD (扩散RL)	SAC (无模型)
HalfCheetah-v4	最终回合回报 (Return)	13944 ± 498	12216 ± 267	11591 ± 123	10515 ± 286
Walker2d-v4	最终回合回报 (Return)	5546 ± 201	1622 ± 148	4133 ± 109	4453 ± 158
Humanoid-v4	最终回合回报 (Return)	6660 ± 132	4160 ± 795	5269 ± 44	5118 ± 153
Ant-v4	最终回合回报 (Return)	7369 ± 73	7339 ± 119	4092 ± 354	4229 ± 366
FetchPush	任务成功率 (%)	100 ± 0	67 ± 17	6 ± 0	6 ± 0
FetchPick&Place	任务成功率 (%)	98 ± 1	99 ± 0	3 ± 0	3 ± 0
PushT-Vision	任务成功率 (%)	99 ± 1	0 ± 0	0 ± 0	0 ± 0

消融实验¶

在 Walker2d-v4 上对 GTP 核心组件进行系统性剥离评估（Best Mean Return ± SE，5 个种子），明确量化各设计模块对稳定收敛与高渐近回报的贡献。

配置	最终回报 (Return)	说明
GTP 完整模型 (Full)	5546 ± 201	完整光束搜索 + 动力学集成 + 朗之万增强
无朗之万数据增强 (No aug.)	1652 ± 470	扩散先验缺乏探索扰动产生严重模式坍缩，性能骤降 70.2%
高斯随机扰动替代 (Gauss. aug.)	4599 ± 529	时序无关的高斯白噪声无法提供目标导向探索，下降 17.1%
单步 TD 目标替代 (TD-1)	4556 ± 282	剥离轨迹级自适应方差加权，长时序信息反传滞后导致降点
无光束搜索精炼 (No plan.)	3177 ± 782	仅从扩散先验中单批采样取最优，缺乏局部条件精炼，性能大幅下滑
坍缩为单动力学模型 (No ensemble)	1998 ± 475	丧失不确定性量化能力，规划陷入模型偏差欺骗，崩溃 64.0%
移除保守更新聚合 (No cons. update)	3567 ± 489	单模型虚假乐观估计污染价值目标，放大模型偏差
移除乐观展开评估 (No opt. rollout)	5238 ± 206	压制不确定高潜路径探索，虽最终能收敛但前期样本效率显著落后

关键发现¶

朗之万动力学增强与动力学集成是整个系统最不可或缺的两大支柱：移除朗之万增强（No aug.）导致回报从 5546 骤降至 1652，移除动力学集成（No ensemble）直接跌至 1998，证明了保持生成先验多峰活性与控制复合误差的决定性意义。
规划时域 $H$ 呈现出与环境物理交互特性的强相关性：在接触剧烈的 HalfCheetah 上，$H=4$ 达到性能顶峰，更长时域（$H \ge 8$）因动力学误差累积产生衰减；而在接触交互平缓的操作任务（FetchSlide）上，即使拓展至 $H=16$，算法依然保持极高训练稳定性并处于高位平台期。
在以图像输入为主的 PushT-Vision 任务中，包括 SAC、TD3、DPMD、DreamerV3 在内的基线在 1M 交互步下完全无法产生有效推进动作（成功率 0%），甚至在 3M 步扩展训练下依旧卡死在 0%；而 GTP 仅需 1M 步即可达到 99% 成功率。物体中心坐标热力图可视化证明，传统无模型和高斯 MPC 仅在工作空间做弥散性游走，而 GTP 能自发聚焦在目标 T 型块外廓进行连续推移。

亮点与洞察¶

将生成式扩散模型定位为轨迹规划的“提议分布”而非最终执行“策略”，巧妙打破了离线扩散规划无法自适应修正与在线单步扩散缺乏时序全局观的两难处境。
利用动力学集成不确定性在“动作决策”（最大值乐观探索）与“目标构建”（中位数保守估计+方差加权自适应截断）之间的非对称分流，在理论上构筑了紧凑的悲观-乐观鲁棒决策框架。
朗之万梯度上升扰动克服了扩散模型自训练中模式坍缩的经典理论顽疾，为后续生成式序列强化学习提供了兼具目标导向与多样性保证的通用增强范式。

局限与展望¶

规划过程高度依赖终端价值函数 $V_\psi$ 的准确性，在极端稀疏奖励或长程冷启动阶段，自举价值偏差可能导致先验提议被错误评分所误导。
在线光束搜索结合去噪推断带来了额外的单步时间开销，虽然通过轨迹复用（Trajectory Reuse）缓解了训练更新压力，但高频（如 100Hz 以上）硬件闭环控制仍需进一步加速。
后续可探索免价值函数自举的纯轨迹生成评测机制，以及将该提议-精炼范式迁移至带有复杂语言指令的通用具身智能（VLA）多模态场景。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆了在线决策中将扩散模型仅作为策略网络的常规思路，首创扩散提议加光束搜索精炼的在线模型强化学习架构。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖经典连续控制、长程机械臂抓取以及视觉端到端高维操作，包含丰富的消融对比、热力图探索可视化与延迟分析。
写作质量: ⭐⭐⭐⭐⭐ 数学表达推导严谨自洽，对核心探索与保守更新权衡阐述清晰透彻。
价值: ⭐⭐⭐⭐⭐ 为强化学习与生成式大模型的有机结合树立了新的方法论标杆，对机器人操作及具身决策具重大指导意义。