Coarse-to-Fine Compositional Diffusion for Long-Horizon Planning¶

会议: NeurIPS 2026
arXiv: 2606.00837
代码: https://CoFi-diffusion.github.io/
领域: 机器人
关键词: 组合式生成, 扩散模型, 长程规划, 由粗到精, 轨迹拼接

一句话总结¶

针对短视界扩散先验在组合长程计划时难以保持全局连贯性的难题，提出一种由粗到精的推理阶段采样器（CoFi），通过先在局部去噪估计间构建共享粗粒度脚手架、再注入适量噪声进行结构保持重精炼，以极低计算代价兼顾局部一致性与全局合理性。

研究背景与动机¶

扩散模型为各类结构化数据生成提供了极具表现力的先验，但在长程机器人规划、全景图像合成及长视频生成等复杂任务中，目标输出的尺度通常远超预训练模型所支持的有效视界。若直接针对超长序列训练专属扩散模型，不仅长程高质量轨迹或时空数据极度匮乏，且训练开销会随序列长度和状态维度剧烈增长。为此，组合式生成（Compositional Generation）成为极具前景的范式：利用已有短视界局部先验并行生成重叠片段，并在推理阶段将它们拼接组合为一个完整的长程全局规划。

然而，现存的组合式扩散采样机制大多基于重叠边界约束（如相邻片段重叠区域的一致性惩罚或 Bethe 自由能近似）。这种基于相邻重叠的局部引导虽然能平滑边界过渡、消除边缘缝隙（即局部一致性），却无法强制约束整体长程任务级的合理布局（即全局连贯性）。局部匹配良好但彼此视角受限的片段拼接起来后，极易出现任务轨迹无法抵达目标、全景图远端风格严重漂移或长视频主体身份逐渐失真的现象。为缓解全局失真，已有方案要么在每一步逆扩散中引入多轮内部迭代（如 CDGS 的消息传递与重采样），要么依赖复杂的推理阶段外部优化或任务奖励微调。这些策略随着拼接片段数量增多或局部维度膨胀，会带来数十倍的采样算力开销。

本文的切入点在于：全局布局的确定与局部高频细节的填充本就属于不同粒度的生成需求，无需在每一步逆扩散中强行反复做跨片段消息传递。既然扩散模型天然具备多尺度生成特性，我们完全可以先在去噪空间聚合局部估计以形成全局粗粒度脚手架，再利用局部扩散先验做局部细节精炼。核心 idea：将组合式扩散解耦为粗粒度脚手架构建与保持结构的局部重精炼两阶段，先通过闭式一致性目标将局部去噪均值收敛为共享的全局粗框架，再向前加噪至中间步并复用局部先验进行无缝细节精炼，兼顾全局连贯性与极低的推理开销。

方法详解¶

整体框架¶

CoFi（Coarse-to-Fine Compositional Diffusion）是一个纯推理阶段的扩散采样框架，无需修改或重新训练底层短视界扩散模型。给定 $N$ 个具有边界重叠的短视界局部规划片段 $X^1, \dots, X^N$，目标是合成全局长程规划 $Y$。整个采样流程分为两个阶段：第一阶段为“粗粒度脚手架构建（Coarse Scaffold Construction）”，在逆扩散的每一步计算局部 Tweedie 去噪估计，并通过解析求解的骨架对齐目标将局部估计向全局均值收缩，同时施加局部重叠引导，最终由粗到细降噪得到全局粗粒度脚手架 $Y_0^{\mathrm{c}}$；第二阶段为“保持结构的扩散精炼（Structure-Preserving Refinement）”，将该脚手架向前加噪到指定的中间噪声水平 $t^\star$，随后重新映射为局部视图并继续利用短视界先验与重叠引导完成逆扩散，恢复高频细节与物理可行性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["高斯初始噪声<br/>X_T^1, ..., X_T^N ~ N(0, I)"] --> B["全局脚手架对齐更新<br/>求解粗粒度骨架闭式解并收缩局部估计"]
    B --> C["双重逆扩散单步更新<br/>全局骨架驱动 DDIM + 局部重叠引导梯度"]
    C -->|反向迭代至 t=0 拼接| D["粗粒度全局规划脚手架<br/>Y_0^c = Compose(X_0^1, ..., X_0^N)"]
    D --> E["全局结构保持前向加噪<br/>共享噪声加噪至中间时间步 t*"]
    E --> F["诱导局部视图及精炼去噪<br/>复用预训练局部先验恢复高频细节"]
    F -->|反向迭代至 t=0 拼接| G["高保真全局连贯输出<br/>Y_0^r = Compose(X_0^1,r, ..., X_0^N,r)"]

关键设计¶

1. 基于凸二次闭式解的粗粒度脚手架对齐：以零额外网络开销捕获全局宏观语义
标准组合式生成由于缺少跨片段的长程协调，独立的局部估计极易在空间或语义上各自发散。为了在早期扩散阶段迫使所有局部片段共享同一个任务级粗轮廓，作者提出了脚手架对齐目标。在逆扩散时间步 $t$，每个局部片段拥有独立的 Tweedie 预测估计 $\hat{X}_{0|t}^i = \frac{1}{\sqrt{\bar{\alpha}_t}}(X_t^i - \sqrt{1-\bar{\alpha}_t}\epsilon_\theta(X_t^i, t))$。为了兼顾对当前局部去噪结果的忠实度以及全局一致的粗结构，为局部片段定义优化变量 $Z^1, \dots, Z^N$ 并最小化： $$ \min_{Z^1, \dots, Z^N} \sum_{i=1}^N \left[ |Z^i - \hat{X}{0|t}^i|^2 + \gamma_t |Z^i - \bar{Z}|^2 \right], \quad \bar{Z} := \frac{1}{N}\sum^N Z^i $$ 其中第一项维护局部可信度，第二项惩罚各个片段偏离整体均值的偏差。该目标为严格凸二次规划，其全局最优解具有极简的解析闭式： $$ \bar{X}{0|t}^i = (1 - \lambda_t)\bar{X}} + \lambda_t \hat{X{0|t}^i, \quad \bar{X}^i $$ 其中 } := \frac{1}{N}\sum_{i=1}^N \hat{X}_{0|t$\lambda_t = \frac{1}{1+\gamma_t} \in [0, 1]$。该解本质上是将局部预测向全局均值线性收缩，保留了共享宏观特征 $\bar{X}_{0|t}$，同时衰减了容易导致跨片段矛盾的特异残差。随后将该闭式结果代入 DDIM 逆扩散均值更新中，彻底消除了传统方法需要反复迭代求解全局一致性的巨大开销。

2. 耦合全局骨架与局部重叠梯度的协同逆扩散：分离宏观约束与微观匹配
在获得对齐后的粗粒度估计 $\bar{X}_{0|t}^i$ 之后，逆扩散更新需要同时响应宏观结构与微观边界连续性。作者将更新分为两部分：主干状态由骨架对齐后的 DDIM 步骤确定，提供全局连贯的宏观演化方向；辅助步则叠加基于局部重叠差分的梯度项 $\sigma_t \nabla \hat{r}_t(X_t^i, X_t^{i+1})$，强制相邻片段在重叠边界处平滑过渡： $$ X_{t-1}^i = \mathrm{DDIM}\theta(\bar{X}) $$ 在机器人规划中，局部重叠奖励定义为边界均方误差 }^i, t) + \sigma_t \nabla \hat{r}_t(X_t^i, X_t^{i+1$\hat{r}_t(X_t^i, X_t^{i+1}) = -c \|\mathrm{R}(\hat{X}_{0|t}^i) - \mathrm{L}(\hat{X}_{0|t}^{i+1})\|^2$；在全景图像与长视频生成中，则采用基于 Bethe 自由能近似的边界融合与线性斜坡加权（Ramp Blending）。通过将全局对齐注入 DDIM 核心均值、将局部引导作为轻量一阶修正，不仅使得信息能够瞬间跨越全部片段传递，还避免了长距离拼接中局部连续但全局偏离终点的“平滑死胡同”现象。

3. 全局结构保持的中间态加噪与局部精炼：利用扩散自净化机制恢复高频保真度
第一阶段输出的全局规划 $Y_0^{\mathrm{c}} = \mathrm{Compose}(X_0^1, \dots, X_0^N)$ 虽具备优异的全局路径和语义结构，但由于收缩权重 $\lambda_t$ 的平滑效应，局部高频细节（如机器人规划中的障碍物边缘避障、图像中的细致纹理、视频中的动态细节）存在平滑假象或穿墙伪影。直接截断使用会损失局部质量，而重新从头采样又会毁掉全局结构。因此，CoFi 借鉴 SDEdit 原理，在全局长程空间施加一次单步前向扩散： $$ Y_{t^\star}^{\mathrm{r}} = \sqrt{\bar{\alpha}{t^\star}} Y_0^{\mathrm{c}} + \sqrt{1 - \bar{\alpha}(0, I_d) $$ 关键在于：加噪是在全局组合空间 }}\varepsilon, \quad \varepsilon \sim \mathcal{N$Y$ 上由同一个随机高斯噪声向量 $\varepsilon$ 统一注入，而非对各局部片段独立加噪。这保证了加噪后诱导出的局部片段 $\{X_{t^\star}^{i, \mathrm{r}}\}_{i=1}^N$ 在边界和宏观上依然高度协同，不会打乱粗骨架的拓扑结构。随后，算法以 $t^\star$ 为起点，纯粹运行带有局部重叠引导的逆扩散直至 $t=0$。此时局部扩散先验 $\epsilon_\theta$ 在宏观骨架的约束下，高效填充高质量的真实局部高频流形，实现了全局连贯与微观细腻的双重统一。

损失函数 / 训练策略¶

CoFi 为免训练（Training-free）的推理阶段采样算法，直接复用离线训练好的短视界局部去噪网络 $\epsilon_\theta$。推理阶段涉及的核心超参数与调度策略包括： - 骨架对齐权重调度 $\lambda_t$：在扩散早期（高噪声阶段），全局结构正在确立，采用较小的 $\lambda_0 = 0.2$ 以实施强全局对齐约束；随着去噪推进至低噪声阶段，$\lambda_t$ 线性（或余弦）递增至 1.0，逐步放宽对局部估计的均值惩罚，避免过度平滑。 - 重精炼噪声深度 $t^\star$：控制全局结构锚定与局部微调自由度之间的权衡。实验发现 $t^\star \in [0.5T, 0.8T]$（默认推荐 $0.7T$）构成各领域的黄金平衡点；若 $t^\star \to 0$ 则无法清除粗糙阶段的穿墙/模糊伪影，若 $t^\star \to T$ 则丢失全局脚手架信息退化为无骨架基线。 - 采样步数与开销：粗粒度阶段耗费 $T$ 步评估，精炼阶段耗费 $t^\star$ 步评估，总函数评估次数（NFE）严格等于 $(T + t^\star) \cdot N$。相较于 CDGS 等包含群体采样与内部消息传递（$K \cdot T \cdot P \cdot N$）的方法，NFE 稳定降低 2 至 8 倍。

实验关键数据¶

主实验¶

评估涵盖三大组合生成领域：OGBench 机器人长程规划（PointMaze、AntMaze 与 Scene-Play 桌面操作）、Stable Diffusion 2.0 全景图像生成（512×4608 分辨率，9 个 512×512 切块，50% 重叠）以及 CogVideoX-2B 长视频生成（273 帧 720p，9 个 50 帧片段，50% 重叠）。基线涵盖非组合式强化学习方案（GCBC、GCIVL、GCIQL、HIQL）与主流组合式扩散方法（GSC、CD、SyncDiffusion、CDGS）。

表 1：OGBench 长程机器人规划成功率对比（100 个评测回合，5 个随机种子均值±标准差）

环境与任务规模	拼接片段数 $N$	GSC	CD	CDGS	CoFi (本文)
PointMaze-Stitch Medium	3	100±0	100±0	100±0	100±0
PointMaze-Stitch Large	6	100±0	100±0	100±0	100±0
PointMaze-Stitch Giant	8	29±3	68±3	82±4	96±2
AntMaze-Stitch Medium	3	96±2	97±2	97±1	97±2
AntMaze-Stitch Large	6	66±2	86±2	88±2	88±2
AntMaze-Stitch Giant	9	20±1	65±3	84±3	85±3
Scene-Play (桌面操作)	8	8±2	13±1	51±2	63±3

注：非组合式离线 RL 基线（如 GCIQL、HIQL）在 PointMaze-Giant 和 AntMaze-Giant 上成功率均断崖式下跌至 0%，无法应对超长视界。

表 2：全景图像生成质量与语义对齐评测（Stable Diffusion 2.0，14 个多样化 prompt，5 个随机种子）

方法	局部风格距离 Intra-LPIPS ↓	全局风格损失 Intra-Style-L ↓	文本对齐 CLIP-S ↑
GSC (MultiDiffusion)	0.72±0.08	2.96±0.24	31.77±2.14
SyncDiffusion	0.60±0.05	1.36±1.07	32.40±1.85
CDGS	0.65±0.05	1.71±1.03	32.67±1.92
CoFi (本文)	0.48±0.08	0.72±0.54	33.18±1.84

表 3：长视频生成质量评测（CogVideoX-2B，273 帧，VBench 官方指标）

方法 / 模型	主体一致性 Subject ↑	画面闪烁 Flickering ↑	美学质量 Aesthetic ↑	文本对齐 Prompt ↑
CogVideoX (原生 50 帧短视频参考)	95.91	97.36	63.10	25.51
CogVideoX (直接自回归扩展 273 帧)	90.24	98.44	49.44	21.78
GSC (Gen-L-Video)	89.51	96.89	60.12	25.13
CDGS	91.67	97.16	58.90	26.13
CoFi (本文)	94.11	97.27	62.36	26.86

消融实验¶

消融实验围绕骨架构建阶段的对齐调度策略 $\lambda_t$ 以及重精炼深度 $t^\star$ 展开，以定量分析粗全局骨架与局部细化对最终质量的决定性影响。

表 4：脚手架对齐调度与重精炼深度消融分析（全景图像与长视频跨域综合）

配置方案	全景 Intra-Style ↓	全景 CLIP-S ↑	视频 Subject ↑	视频 Aesthetic ↑	性能机制说明
恒定强对齐 ($\lambda_t = 0.8$)	1.15	31.82	92.30	59.40	早期后期均强行拉向均值，导致纹理与高频细节过度平滑
无骨架对齐 ($\lambda_t = 1.0$)	2.10	31.16	89.90	58.70	退化为纯局部重叠引导，长程出现明显的风格与主体漂移
调度对齐 ($\lambda_0=0.2 \to 1.0$)	0.72	32.85	94.11	62.36	早期确立宏观骨架、后期松绑保留局部表现力，综合最优
无精炼步骤 ($t^\star = 0$)	0.81	31.54	93.80	57.20	保留强全局连贯性，但粗糙阶段的穿墙/像素模糊假象未被修正
极端重加噪 ($t^\star = T$)	1.85	32.20	90.15	60.10	加噪过深完全冲毁了粗阶段脚手架，失去跨片段全局一致性
最佳精炼深度 ($t^\star = 0.7T$)	0.72	33.18	94.11	62.36	既牢固锁定全局几何/时空结构，又充分激活局部扩散去噪能力

关键发现¶

最难长程规划任务上的决定性突破：在 PointMaze-Giant 极端复杂迷宫上，CoFi 将成功率从最强基线 CDGS 的 82% 提升至 96%（相对提升 14 个百分点），在 Scene-Play 复杂机械臂多模态抓放任务中从 51% 飞跃至 63%。定性可视化证实，第一阶段粗骨架完全消除了全局路径迷失和局部死循环问题，第二阶段精炼则精准修复了粗骨架中的穿墙瑕疵。
全景图与长视频主体一致性的显著改善：在全景生成中，Intra-Style 损失从 CDGS 的 1.71 骤降至 0.72（降低 58%），表明远距离切块之间的色彩、光照和艺术风格高度协同；在 273 帧长视频中，主体一致性高达 94.11，已非常接近原生 50 帧模型的 95.91 上限，彻底克服了自回归生成中人物随时间畸变的问题。
计算效率实现 2 到 8 倍显著缩减：CDGS 依赖内循环搜索（$K=3, P=4$），计算复杂度随切块增多而爆发式上升；CoFi 凭借闭式骨架计算和单遍局部精炼，总 NFE 仅为 $(1 + 0.3 \sim 0.7)T \cdot N$，在全域保持最低计算延迟的同时刷新了最优生成质量。

亮点与洞察¶

将组合式生成的全局协调与细节刻画显式解耦：以往方法将局部边界匹配与全局一致性混为一谈，试图通过反复的局部梯度惩罚或耗时的采样重搜索在微观层面逼出宏观合理性，属于低效的“自底向上”试错；CoFi 采用“先全局粗胚、后局部雕琢”的自顶向下分治哲学，抓住了宏观规划与微观细节的主次关系。
解析闭式均值对齐与全局加噪设计的数学自洽性：骨架对齐目标构造成凸二次函数，推导出的解析解无需进行任何耗时的内部优化循环；此外，第二阶段精炼不是对各个局部片段单独加噪，而是在全局拼合空间施加同源高斯扰动，从数学结构上确保了局部切片在重精炼起点的绝对相容。
跨规划、图像、视频三大领域的强通用范式：无论是低维连续机器人动作空间、2D 像素空间还是 3D 时空潜变量，只要具备重叠切片特性，CoFi 的算法架构完全无需改动，展现出作为扩散模型扩展视界通用推理接口的巨大潜力。

局限与展望¶

受限于预训练局部先验的表达上限：由于是免训练的纯推理方法，最终生成质量严格受制于短视界基模的表达能力；若局部模型在某些狭窄区域本身去噪能力不足，重精炼阶段亦无法无中生有。
超参数调度对不同任务域具有敏感度：对齐衰减规律（线性还是余弦）以及重精炼噪声深度 $t^\star$ 在机器人轨迹与视频生成中仍需经验调优，尚未实现自适应动态选择。
全局均值对齐采用了均匀权重假设：公式中对所有局部片段一视同仁赋予均等权重，但在长程任务中，起点、终点或涉及关键交互（如抓取点）的片段通常具备更高的拓扑重要性，未来可探索注意力加权或基于方差不确定性的非均匀骨架构建机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用凸二次闭式解构建全局骨架，并将 SDEdit 重加噪机制迁移至长程组合生成领域，构思优雅且自洽。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖机器人复杂规划、全景超宽幅图像与长视频生成三大迥异领域，对比基线全面且包含详实的消融与开销分析。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰，理论推导严密且直观，算法伪代码与参数设置详尽。
价值: ⭐⭐⭐⭐⭐ 为解决扩散模型长程/大尺度生成的全局一致性痛点提供了一种开箱即用、计算极度高效的推理阶段通用方案。

配置方案	全景 Intra-Style ↓	全景 CLIP-S ↑	视频 Subject ↑	视频 Aesthetic ↑	性能机制说明
恒定强对齐 (\(\lambda_t = 0.8\))	1.15	31.82	92.30	59.40	早期后期均强行拉向均值，导致纹理与高频细节过度平滑
无骨架对齐 (\(\lambda_t = 1.0\))	2.10	31.16	89.90	58.70	退化为纯局部重叠引导，长程出现明显的风格与主体漂移
调度对齐 (\(\lambda_0=0.2 \to 1.0\))	0.72	32.85	94.11	62.36	早期确立宏观骨架、后期松绑保留局部表现力，综合最优
无精炼步骤 (\(t^\star = 0\))	0.81	31.54	93.80	57.20	保留强全局连贯性，但粗糙阶段的穿墙/像素模糊假象未被修正
极端重加噪 (\(t^\star = T\))	1.85	32.20	90.15	60.10	加噪过深完全冲毁了粗阶段脚手架，失去跨片段全局一致性
最佳精炼深度 (\(t^\star = 0.7T\))	0.72	33.18	94.11	62.36	既牢固锁定全局几何/时空结构，又充分激活局部扩散去噪能力