DiRecT: Safe Diffusion-Based Planning via Receding-Horizon Denoising¶

会议: NeurIPS 2026
arXiv: 2606.15359
OpenReview: https://openreview.net/forum?id=2nsFEzrTEf
代码: https://github.com/azizanlab/DiRecT
领域: 机器人
关键词: 扩散模型规划, 随机最优控制, 终端约束采样, 安全规划, 模型预测控制

一句话总结¶

针对现有受约束扩散规划器在加噪中间迭代步强制投影导致采样动态过度受限并破坏生成分布的缺陷，DiRecT 将推理期约束满足重构为带终端约束的随机最优控制问题，通过 MPC 式后退地平线代理将终端约束拉回到数据域，在不扭曲扩散先验的前提下实现了兼顾零违背与高任务回报的免训练安全规划。

研究背景与动机¶

基于扩散模型的生成式规划器凭借对多模态状态-动作分布的强大建模能力，在机器人导航、轨迹生成与灵巧操作中展现出巨大潜力。然而，在避障、运动学边界限制以及多机防撞等安全攸关场景下，扩散生成的高维随机去噪轨迹极易在推理期产生不可忽视的碰撞或越界，即便是训练在完全合规数据上的扩散策略，面对推理期新出现的未知环境约束时也难以保证绝对安全。

当前主流的推理期约束施加手段主要分为两类：一类是通过后验梯度采样或控制屏障函数引入软引导，但软约束本质上无法提供确定性的安全边界；另一类是投影扩散模型，即在去噪逆扩散的每一个时间步，强制将带有高斯噪声的中间潜变量投影到可行域集合内。然而，这种每步投影策略存在严重的物理与数学错位——规划任务中的硬约束严格定义在最终生成的去噪平滑轨迹上，中间加噪样本本身处于高斯破坏的潜空间流形，对其施加可行性投影会不可逆地扭曲逆向 SDE 漂移项，过度限制采样动态并导致轨迹脱离数据流形，产生严重的任务失败。

为了打破“中间加噪步硬投影破坏生成质量”与“终端轨迹缺乏安全保证”的两难困境，本文选择从控制论视角重构约束扩散生成。核心 idea：将免训练受约束扩散规划严格表述为带终端约束的随机最优控制（SOC）问题，并利用 Tweedie 公式与不动点逆映射推导出数据域后退地平线（Receding-Horizon）优化代理，将硬约束仅施加于预测的无噪终端样本上，实现随机去噪与约束满足的解耦。

方法详解¶

整体框架¶

DiRecT 的核心流程在去噪采样的每个时间步推进。在时间步 $t_i$，算法首先基于无控制的逆向扩散转移生成未受控的去噪候选潜变量，随后利用 Tweedie 公式外推得到当前潜变量对应的最终无噪轨迹代理；接着在数据域中求解一个紧凑的一步受约束优化子问题，在确保该预测轨迹完全落入硬约束可行域的同时最小化外加代价与控制偏差；最后将数据域的轨迹修正量通过尺度因子映射回潜空间，以无梯度的控制漂移驱动真实的逆扩散迭代。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["先验高斯噪声输入<br/>X_N ~ N(0, I)"] --> B["阶段1：无控逆向扩散更新<br/>生成去噪候选 X_bar_{i-1}"]
    B --> C["阶段2：Tweedie 终端清洁轨迹预测<br/>外推无噪轨迹 X_tilde_{0|i-1}"]
    C --> D["阶段3：数据域受约束优化子问题<br/>求解可行修正 X_hat*_{0|i-1} in S"]
    D -->|i > 1| E["阶段4：潜空间反向控制修正<br/>尺度注入更新 X*_{i-1}"]
    E -->|递推迭代 i = N...1| B
    D -->|i = 1 终止步| F["安全可行终端轨迹输出<br/>X*_0 = X_hat*_{0|0} in S"]

关键设计¶

1. 终端约束随机最优控制形式化：避免加噪中间步的过度约束

以往方法在每个去噪时间步 $t_i$ 直接对中间潜变量 $X_i$ 做投影，忽视了 $X_i$ 本质上是加噪破坏状态，硬性将其推入几何可行域会导致逆扩散漂移项偏离真实数据流形。DiRecT 将扩散规划的推理期约束形式化为带有终端约束的随机最优控制（Stochastic Optimal Control, SOC）问题：以预训练逆向 SDE 漂移项作为名义参考动态，引入外加控制漂移 $u_t(X_t)$，控制目标为在极小化控制能量 $\frac{1}{2}\int_0^1 \|u_t(X_t)\|^2 dt$ 与终端任务代价 $C(X_0)$ 的同时，严格且仅在最终时间步 $t=0$ 强制满足状态约束 $X_0 \in \mathcal{S}$。根据 Girsanov 定理，二次控制能量项在路径空间上等价于受控测度与名义扩散测度之间的 KL 散度 $\mathrm{KL}(\mathbb{P}^u \parallel \mathbb{P}^0)$，从而在理论上保证受控扩散过程最大程度贴合预训练数据先验，彻底释放中间去噪过程的动态灵活性。

2. Tweedie 后退地平线代理：将全时域连续 SOC 转化为单步易解问题

直接求解终端约束的高维连续时间 Hamilton-Jacobi-Bellman (HJB) 偏微分方程在计算上是不可能的，因为控制变量与多步非线性神经网络去噪图深度耦合。DiRecT 借鉴模型预测控制（MPC）思想，构造一步前瞻（one-step look-ahead）后退地平线代理：在离散时间步 $t_i \to t_{i-1}$，利用 Tweedie 公式计算当前候选潜变量 $\bar{X}_{i-1}^{\varepsilon_i} = \Phi_i^\theta(X_i^\star, \varepsilon_i)$ 条件下的无噪期望估计 $\tilde{X}_{0|i-1} = \hat{x}_0^\theta(\bar{X}_{i-1}^{\varepsilon_i}, t_{i-1})$。将全时程剩余代价与终端约束直接作用于该无噪代理上： $$\mathbb{E}[C(X_0) \mid X_{i-1}] \approx C(\hat{x}_0^\theta(X_{i-1}, t_{i-1})), \quad \hat{x}_0^\theta(X_{i-1}, t_{i-1}) \in \mathcal{S}$$ 从而将贯穿全采样周期的 intractable 长期最优控制，分解为离散时间网格上串行的单步后退地平线子问题。

3. 不动点逆映射与数据域优化：绕开神经网络反向传播

即便在单步代理下，若在潜空间直接优化 $X_{i-1}$，由于约束项 $\hat{X}_{0|i-1} \in \mathcal{S}$ 需要经过神经网络映射 $\hat{x}_0^\theta(\cdot)$ 拉回，每次优化迭代都必须计算大型去噪网络的梯度，引发极高的显存与时间开销。DiRecT 引入基于 Banach 不动点定理的单步近似逆映射，将潜变量位移 $X_{i-1} - \bar{X}_{i-1}^{\varepsilon_i}$ 线性近似为数据域预测轨迹之差的缩放： $$X_{i-1} - \bar{X}_{i-1}^{\varepsilon_i} \approx \alpha_{t_{i-1}} (\hat{X}_{0|i-1} - \tilde{X}_{0|i-1})$$ 基于此变换，单步受约束优化问题被彻底重构到数据空间： $$\hat{X}_{0|i-1}^\star \in \arg\min_{\hat{X}_{0|i-1} \in \mathcal{S}} \lambda C(\hat{X}_{0|i-1}) + \frac{\alpha_{t_{i-1}}^2}{2 g_i^2 \Delta t_i} \|\hat{X}_{0|i-1} - \tilde{X}_{0|i-1}\|_2^2$$ 求解后，若 $i > 1$，则通过 $X_{i-1}^\star = \bar{X}_{i-1}^{\varepsilon_i} + \alpha_{t_{i-1}}(\hat{X}_{0|i-1}^\star - \tilde{X}_{0|i-1})$ 完成无梯度的闭式潜空间修正；而在终止步 $i=1$，直接输出数据域可行解 $X_0^\star = \hat{X}_{0|0}^\star \in \mathcal{S}$，在数学上严格保证了最终轨迹的可行性。

一个完整示例¶

以 Maze2D-Narrow 迷宫导航为例： 1. 初始状态采样先验高斯噪声 $X_N \sim \mathcal{N}(0, I_d)$（包含整个时间跨度的位置、速度和动作）。 2. 在第 $i$ 步（例如 $i=16$），通过扩散骨干预测当前噪声并执行一步 DDPM 反向迭代，得到未受控候选 $\bar{X}_{15}$。 3. 利用 Tweedie 公式外推得到无噪轨迹预测 $\tilde{X}_{0|15}$，此时该轨迹可能穿过新增的红色椭圆障碍物。 4. 调用优化器（如 IPOPT 或 JAX 凸化求解器），在可行域 $\mathcal{S}$（满足障碍物距离、起止点及动力学方程）内求解距离 $\tilde{X}_{0|15}$ 最近且平滑的最优修正 $\hat{X}_{0|15}^\star$。 5. 计算位移量 $\Delta \hat{X} = \hat{X}_{0|15}^\star - \tilde{X}_{0|15}$，并乘上当前加噪系数 $\alpha_{t_{15}}$ 注入潜变量，得到更新后的 $X_{15}^\star$。 6. 重复以上步骤直至 $i=1$，直接采纳 $\hat{X}_{0|0}^\star$ 作为输出规划，经 PD 控制器执行后实现零碰撞且高分到达终点。

实验关键数据¶

主实验¶

在 D4RL Maze2D 安全导航（评测在 Broad 与 Narrow 障碍物配置下的 100 次独立采样）和 D3IL 避障机械臂操作中，DiRecT 与代表性受约束扩散方法展开全面对比。

环境配置	方法	安全率 (SR) ↑	碰撞步数 (Violations) ↓	归一化得分 (Score) ↑	采样耗时 (s) ↓
Maze2D Broad	Diffuser [29]	0.000	45.92 ± 11.86	1.601 ± 0.025	0.316 ± 0.078
	Gradient Guidance [15]	0.040	25.52 ± 10.18	1.587 ± 0.164	3.637 ± 0.076
	Projected Diffusion [14]	0.220	42.00 ± 47.28	1.119 ± 0.708	46.398 ± 11.096
	Augmented Lagrangian [71]	0.080	72.92 ± 92.75	-0.010 ± 0.145	5.676 ± 0.566
	SafeDiffuser-RoS [69]	0.040	66.26 ± 41.72	1.186 ± 0.533	148.967 ± 3.831
	DiRecT (Ours)	0.970	0.45 ± 3.81	1.500 ± 0.419	17.657 ± 0.629
Maze2D Narrow	Diffuser [29]	0.000	103.94 ± 21.88	1.601 ± 0.025	0.321 ± 0.086
	Gradient Guidance [15]	0.000	51.30 ± 19.22	1.619 ± 0.0029	3.608 ± 0.023
	Projected Diffusion [14]	0.780	37.29 ± 129.88	0.163 ± 0.459	112.918 ± 19.517
	Augmented Lagrangian [71]	0.000	217.51 ± 159.43	0.156 ± 0.449	6.022 ± 0.122
	SafeDiffuser-RoS [69]	0.000	278.87 ± 209.87	0.735 ± 0.681	509.850 ± 19.929
	DiRecT (Ours)	0.940	0.23 ± 1.04	1.624 ± 0.027	98.093 ± 5.047

在 D3IL 六柱避障机械臂操作任务（100 次闭环测试，后退地平线规划，执行界限 $M=4, H=16$）中：

测试环境	方法	安全率 (SR) ↑	任务成功率 (TS) ↑	达标步数 (Steps) ↓	采样耗时 (s) ↓
D3IL Avoiding	Unconstrained Diffuser [29]	0.060	0.960	70.30 ± 11.83	0.224 ± 0.002
	Gradient Guidance [15]	0.880	0.980	62.58 ± 7.05	6.615 ± 0.540
	Projected Diffusion [14]	0.770	0.970	63.77 ± 6.88	1.367 ± 0.057
	Augmented Lagrangian [71]	0.220	0.840	63.45 ± 7.22	4.152 ± 0.018
	SafeDiffuser-RoS [69]	0.370	0.820	63.19 ± 11.56	18.890 ± 0.877
	DiRecT (Ours)	1.000	1.000	62.86 ± 6.90	0.688 ± 0.061

多目标多样性消融与扩展实验（PushT 双智能体接触操作）¶

在 PushT 复杂多任务接触操作基准上，同时引入软多样性代价（DPP / Log-barrier）与刚性速度上限约束（$v_{\max} = 8.4$）：

规划算法	动态时间规整 (DTW) ↑	离散 Fréchet 距离 (DFD) ↑	约束满足率 (CS) ↑	任务完成分 (TC) ↑	单次耗时 (s) ↓
Diffusion Policy [13]	3.260 ± 1.280	0.477 ± 0.167	0.655 ± 0.098	0.928 ± 0.194	0.136 ± 0.015
CD-LB [43]	4.242 ± 1.292	0.610 ± 0.166	0.592 ± 0.136	0.907 ± 0.209	0.138 ± 0.006
CD-DPP [43]	3.871 ± 1.169	0.560 ± 0.150	0.632 ± 0.134	0.921 ± 0.207	0.142 ± 0.010
PCD-LB [43]	3.928 ± 1.238	0.557 ± 0.159	1.000 ± 0.000	0.890 ± 0.226	0.490 ± 0.008
PCD-DPP [43]	3.530 ± 1.236	0.503 ± 0.160	1.000 ± 0.000	0.898 ± 0.224	0.492 ± 0.008
DiRecT-LB (Ours)	4.046 ± 1.139	0.581 ± 0.146	1.000 ± 0.000	0.924 ± 0.190	0.373 ± 0.008
DiRecT-DPP (Ours)	4.226 ± 1.126	0.609 ± 0.142	1.000 ± 0.000	0.913 ± 0.207	0.372 ± 0.008

关键发现¶

安全率与任务回报的双赢：在狭窄迷宫环境（Maze2D Narrow）中，基线 Projected Diffusion 虽然取得 0.78 的安全率，但任务得分从 1.601 崩塌至 0.163；而 DiRecT 在达成 0.940 安全率（违背步数降至 0.23）的同时，得分逆势达到最高（1.624），充分证明了仅约束终端预测轨迹能避免破坏扩散先验的分布模式。
计算时间大幅缩减：相较于 SafeDiffuser 在 Maze2D 中动辄数百秒的求解耗时，DiRecT 将受约束优化迁移到数据域并复用不动点逆映射，计算速度提升 5 至 8 倍，在 D3IL 上推理仅耗时 0.688 秒。
Pareto 边界占优：在 PushT 的多样性与任务完成率权衡中，DiRecT 显著优于 PCD 系列，以更低的采样耗时（0.37s vs 0.49s）实现了多样性（DTW 4.226）与高完成度（0.913）的最佳平衡。

亮点与洞察¶

从路径空间 KL 视角确立扩散约束优化的理论边界：揭示了二次控制惩罚与名义逆扩散路径之间的 KL 散度等价性，从根本上厘清了为何中间潜变量硬投影是次优且破坏先验的。
免反向传播的数据域优化桥梁：巧妙借助 Tweedie 估计与不动点逆映射，将昂贵的潜空间神经优化重塑为数据空间的无约束/标准凸优化，无需穿透神经网络反向传播即可实现精准的潜变量闭式校准。
通用且可组合的控制接口：算法支持任意标准外挂优化器（IPOPT、JAX-ADMM、PGD），可无缝集成环境动力学线性拟合等显式物理先验与软引导目标。

局限与展望¶

推理期计算开销：尽管比逐步神经投影显著高效，但相比完全无约束的单次扩散推理仍引入了额外的数学规划耗时，高频闭环执行需依托 JAX 等 JIT 编译优化器支持。
数据域不动点逆映射的收缩性假设：在噪声极大（$t \to 1$ 阶段）或神经网络分数函数极端非线性的区域，单步不动点近似可能存在理论残差，通常需将引导集中在后半程（如后 50% 步数）。
未来方向：探索将终端约束控制蒸馏至扩散策略微调阶段，实现兼具极高推理帧率与严格安全保障的自适应端到端生成策略。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次从终端约束随机最优控制理论统一扩散生成规划，推导数据域不动点代理]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖迷宫导航、机械臂操作、20智能体多机协同与多模态接触操作四大真实基准]
写作质量: ⭐⭐⭐⭐⭐ [数学推导严谨自洽，算法图解逻辑清晰，理论与实验结合极佳]
价值: ⭐⭐⭐⭐⭐ [为安全攸关场景下生成式具身智能规划的落地提供了极为优雅可行的通用范式]