ABC: Any-Subset Autoregression via Non-Markovian Diffusion Bridges in Continuous Time and Space¶
会议: NeurIPS 2026
arXiv: 2604.27443
论文: https://arxiv.org/abs/2604.27443
代码: https://abc-diffusion.github.io/
领域: 图像生成
关键词: 连续时间自回归, 任意子集生成, 扩散桥, 非马尔可夫SDE, 视频内插
一句话总结¶
提出 ABC 框架，通过在连续时间和状态空间中构建单条非马尔可夫连续扩散桥 SDE，使噪声注入尺度与物理耗时自适应对齐，并借助高斯过程回归与 Girsanov 测度变换导出免仿真的路径依赖去噪得分匹配目标，实现了支持任意非因果子集约束的高保真随机过程生成。
研究背景与动机¶
连续时间、连续空间的随机过程生成（如高帧率视频、湍流流动、气象雷达回波与金融资产价格）是生成式建模的基础挑战。实际应用中，观测数据往往具有高度不规则的时间采样（如按成交触发的交易记录、偶发性同步的 GPS 轨迹），并且常常需要根据任意非因果子集观测进行缺失状态修补（如给定视频首尾关键帧进行内插补帧）。然而，现有的连续数据生成模型主要沿袭针对静态图像设计的流匹配（Flow Matching）或扩散模型（Diffusion Models），直接将整个时间序列拼接处理会在长序列下遭遇严重的显存爆炸，且难以适应连续物理时间演化。
为了克服长序列维度瓶颈，近年来自回归生成方案被引入连续域。但传统的自回归扩散模型普遍采用“噪声到数据”（noise-to-data）的局部演化范式，即每生成一个后续状态都重新从无信息的标准高斯噪声出发进行反向采样。这种割裂的设计彻底忽视了物理过程中相邻状态高度相似的固有先验，不仅引入了剧烈非物理的跳跃，还在数值 SDE 求解中因刚性（stiffness）在低步数时产生严重的失真与抖动。为缓解跳跃问题，部分研究尝试采用端点对齐的扩散桥模型（Diffusion Bridges）或随机插值（Stochastic Interpolants），但在其公式体系中，状态间过渡均被固定映射到辅助时间区间 \([0, 1]\) 内并套用静态噪声扰动表，使得物理间隔 1 秒与间隔 1 小时的状态跃迁注入完全相同的方差，无法反映真实随机过程的二次变差结构。
本文的核心洞察在于：生成过程的扩散时间必须与物理世界的真实时间严格合一，状态间的过渡必须是连续的数据到数据桥接，且其扩散挥发度（volatility）必须随跨越的物理时间间隔动态缩放。核心 idea：将连续时间自回归形式化为单条跨越真实物理时钟的非马尔可夫连续扩散桥 SDE，通过 Doob h-变换使 SDE 边缘分布精确对齐数据，并导出与物理时间步长自适应匹配的路径依赖去噪得分匹配损失，统一了扩散模型与任意子集自回归。
方法详解¶
整体框架¶
ABC 的核心思想是用一条连续运行的随机微分方程（SDE）来建模整个时间序列的生成过程，其中 SDE 的时间参数 \(t\) 直接对应真实物理时间，SDE 的瞬时状态 \(X_t\) 直接对应物理系统的连续隐空间状态。整个系统包含基础无先验扩散过程定义、基于 Doob h-变换的目标漂移项推导、支持任意子集与未来锚点约束的网络参数化，以及免仿真的路径依赖得分匹配训练。
在生成阶段，模型从初始已知状态（如视频首帧 \(x_0\)）出发，沿物理时间轴逐步积分推进。每当跨越观测或已生成的时间节点（Waypoints）时，该状态作为新的上下文被压入历史集合，指导后续扩散桥的漂移方向；若预先给定未来时间点的非因果约束观测（如尾帧或稀疏关键帧），网络会额外融合未来引导项（如布朗桥导向漂移），确保轨迹平滑严丝合缝地命中目标。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入：初始状态 x_0 与稀疏观测约束集 O"] --> B["连续时间基底 OU 扩散过程<br/>dX_t = -a(t)X_t dt + σ(t)dW_t"]
B --> C["Doob h-变换与测度变换导引<br/>推导非马尔可夫物理时间漂移项"]
C --> D["任意子集交叉注意力网络<br/>多尺度物理时间与历史/未来标记嵌入"]
D --> E["布朗桥显式未来约束引导<br/>端点自适应强拉回保障命中"]
E --> F["物理时间步长自适应 SDE 采样求解<br/>单条连续轨迹无缝生成全序列"]关键设计¶
1. 物理时钟与状态对齐的连续时间基底 SDE：消除非物理跳跃与二次变差失配
传统自回归扩散或扩散桥（如 DDBM、PFI）为每对相邻状态构造独立的人工时间跨度 \(\tau \in [0, 1]\)，并将多段离散桥接级联为拼合过程 \(Y_t\)。论文在定理 3 中严格证明：由于拼合桥共享了与物理间隔无关的局部挥发度计划 \(\tilde{\sigma}(\tau)\)，在任意通用时间网格上，拼合过程的二次变差密度与真实物理过程的二次变差 \(\int \sigma(s)^2 ds\) 存在本质失配，两者在路径测度上几乎必然可分（almost surely distinguishable），导致帧间闪烁与轨迹失真。ABC 摒弃分段辅助时钟，直接以全域物理时间 \(t \in [0, t_L]\) 定义基底 Ornstein-Uhlenbeck（OU）过程： $\(dX_t = -a(t) X_t dt + \sigma(t) dW_t, \quad X_0 = x_0\)$ 其扩散挥发度 \(\sigma(t)\) 直接表征物理时间流逝的不确定性累积。两个相邻状态越近，其间累积的布朗扰动方差越小；物理跨度越大，方差自适应增大。未来状态的生成直接以上一个已经演化到位的数据状态为起点连续前向积分，从数学机理上根除了标准扩散模型从纯噪声起步带来的数值刚性与结构丢失。
2. 基于 Doob h-变换的非马尔可夫漂移与测度变换：建立严格边缘分布匹配
由于基底过程与实际复杂数据分布无关，必须对其施加漂移项校正。根据定理 1，利用测度变换（Girsanov 定理与 Doob h-变换），存在一个目标测度 \(\mathbb{Q}\)，使得变换后的连续过程 \(X^{\text{new}}\) 在指定时间网格 \((t_0, t_1, \dots, t_L)\) 上的有限维联合分布精确契合真实数据分布 \(p_{\text{data}}(x_0, x_{t_1}, \dots, x_{t_L})\)。针对实际连续物理系统往往具有长程依赖或隐变量非马尔可夫特性（如物理快照仅含位置缺少速度），ABC 的校正漂移项依赖于网格上的离散观测历史 \(\mathbf{x}_{0:i^*}\)（其中 \(i^* = \max\{i: t_i < t\}\)）： $\(dX^{\text{new}}_t = \left[-a(t) X^{\text{new}}_t + \sigma(t)^2 s(t, X^{\text{new}}_t; \mathbf{X}^{\text{new}}_{0:i^*})\right] dt + \sigma(t) dB_t\)$ 该得分函数不仅包含局部的无条件基底扩散梯度，还包含了对下一个目标时间点 \(t_{i^*+1}\) 状态积分的条件期望，在物理时间推进中持续对中间扩散态施加朝向真实流形密度的“回拉力”。
3. 免仿真的路径依赖去噪得分匹配目标（Path-Dependent DSM）：解析化闭式训练
由于定理 1 中的理想得分函数包含对未来高维数据分布的边缘化积分，直接计算完全不可行。定理 2 证明，通过方差-偏差分解，该复杂漂移项的学习可以等价转化为针对 OU 基底过程转移核条件期望的去噪得分匹配问题，无需在训练期间进行任何耗时的 SDE 数值仿真求解： $\(\mathcal{L}_{\text{DSM}}(\hat{s}) = \mathbb{E}_{t \sim \mathcal{U}(0, t_{L-1})} \mathbb{E}_{\begin{subarray}{c}p_{\text{data}}(x_0, \dots, x_{t_{i^*+1}})\\ p_{\text{base}}(x_t \mid x_{t_{i^*}}, x_{t_{i^*+1}})\end{subarray}} \left[ \left\| \hat{s}(t, x_t; \mathbf{x}_{0:i^*}) - \nabla_{x_t} \log p_{\text{base}}(x_{t_{i^*+1}} \mid x_t) \right\|_2^2 \right]\)$ 基于高斯过程回归分析（引理 1），基底过程的加噪核 \(p_{\text{base}}(x_t \mid x_{t_{i^*}}, x_{t_{i^*+1}})\) 与回归目标得分梯度 \(\nabla_{x_t} \log p_{\text{base}}(x_{t_{i^*+1}} \mid x_t)\) 均具备完全闭式解析解。并且由于训练目标形式中巧妙抵消了在左端点 \(t_{i^*}\) 处发散的奇异项，使得网络回归目标在半开区间 \([t_{i^*}, t_{i^*+1})\) 内保持严格光滑与有界，保证了满足 Novikov 条件，彻底解决了扩散桥训练中的梯度爆炸问题。
4. 任意子集与非因果布朗桥参数化：支持任意时间分辨率与未来锚点约束
为使单个模型具备任意时间戳、任意非因果子集（Any-Subset）的泛化能力，网络被参数化为多任务预测形式 \(\mathbf{f}_\theta(t, x_t, t_{i^*+1}, \mathbf{x}_{0:i^*}, \mathcal{O})\)，其中不仅显式接收下一个待生成目标时刻 \(t_{i^*+1}\)，还接收已给定的未来锚点观测集合 \(\mathcal{O}\)。当面对非因果约束（如已知终帧）时，未生成的未来锚点可能由于有限参数网络误差而无法精确命中。ABC 提出了残差得分分解结构： $\(\mathbf{f}_\theta(t, X^{\text{new}}_t, t_{i^*+1}, \mathbf{X}_{0:i^*}, \mathcal{O}) = \mathbf{f}_\theta^{\text{res}}(t, X^{\text{new}}_t, t_{i^*+1}, \mathbf{X}_{0:i^*}, \mathcal{O}) + \nabla_{x_t} \log p_{\text{base}}(x_{t_{i}\mathcal{O}_{>t}} \mid x_t)\)$ 当物理时间 \(t\) 逐步逼近下一个未来约束时刻 \(t_{i^{\mathcal{O}_{>t}}}\) 时，解析形式的布朗桥漂移项自然主导动态，以极小的数值扰动强制 SDE 轨迹精准收敛到预定锚点状态。
损失函数 / 训练策略¶
训练时，时间跨度归一化为 \([0, 1]\)。对每个样本序列，随机抽取条件观测数量 \(L \sim \mathcal{U}[1, 16]\)，首帧固定保留，其余帧随机选取构成非规则子集。当前扩散物理时间 \(t \sim \mathcal{U}[0, 1)\)，提取其左侧最近已观测点 \(t_{i^*}\) 与右侧最近待生成目标点 \(t_{i^*+1}\)。通过解析加噪核采样得到加噪隐状态 \(x_t\)，以时间加权系数 \(w(t, t_{i^*}, t_{i^*+1}) = \frac{C_t(t_{i^*+1}, t_{i^*+1})}{\Phi(t, t_{i^*+1})}\) 优化带权 \(\mathcal{L}_2\) 回归损失。网络结构基于 DiT-B（202M 参数），引入可变长 FlashAttention 交叉注意力模块处理历史与约束标记，并在自注意力与交叉注意力的 query/key 上引入 RMSNorm 以确保跨物理时段训练的数值稳定性。
实验关键数据¶
主实验¶
在视频生成基准（Sky-Timelapse、CelebV-HQ）及复杂天气雷达对流回波预测（SEVIR VIL）上评测。非因果生成设置下，每隔 \(K\) 帧提供真实帧作为锚点条件（pin_every = \(K\)），评估缺失帧的内插质量。评价指标包含衡量时序连贯性的 FVD（越低越好）、帧级画质 FID 以及气象关键成功指数 CSI（越高越好）。
| 数据集 / 任务 | 评测设置 (步数/约束) | 指标 | ABC (本文) | 级联扩散桥 (DDBM) | 噪声到数据扩散 (SMLD) | 优势表现 |
|---|---|---|---|---|---|---|
| Sky-Timelapse | 32帧, pin=4 (250步) | FVD (\(\downarrow\)) | 61.8 ± 0.2 | 72.3 ± 0.2 | 509.2 ± 0.9 | 时序连贯度大幅领先 |
| Sky-Timelapse | 32帧, pin=8 (250步) | FVD (\(\downarrow\)) | 162.5 ± 0.9 | 193.5 ± 0.3 | 716.8 ± 0.8 | 相比扩散桥提升 16.0% |
| CelebV-HQ | 32帧, pin=4 (500步) | FVD (\(\downarrow\)) | 32.6 ± 0.1 | 38.8 ± 0.2 | 337.5 ± 0.7 | 达到顶级面部动态保真度 |
| CelebV-HQ | 32帧, pin=8 (500步) | FVD (\(\downarrow\)) | 88.5 ± 0.2 | 93.9 ± 0.3 | 497.2 ± 0.8 | 稀疏引导下依然稳健 |
| SEVIR 雷达回波 | 847序列全集非因果 | MAE / RMSE (\(\downarrow\)) | 18.23 / 34.85 | 55.20 / 88.04 | 35.70 / 62.46 | 误差较扩散桥下降超过 60% |
| SEVIR 雷达回波 | 强对流阈值 CSI160 | CSI (\(\uparrow\)) | 0.664 | 0.129 | 0.328 | 强降水极端对流事件捕捉极佳 |
消融实验¶
1. 历史条件依赖程度消融（CelebV-HQ 32帧 因果生成 FVD/FID）
| 条件方式 | 机制说明 | 250步 FVD (前缀=1) | 250步 FVD (前缀=8) | 250步 FID (前缀=8) |
|---|---|---|---|---|
| 完整路径条件 (Full AR) | 注意力覆盖所有历史已生成点 \((0, \dots, t_{i^*})\) | 303.93 | 281.24 | 11.62 |
| 蒙特卡洛采样 (Monte Carlo) | 随机抽取单个历史帧 + 初始帧 + 最近帧 | 332.86 | 224.36 | 12.17 |
| 近马尔可夫 (Near-Markov) | 仅保留初始帧与最近演化帧 \((0, t_{i^*})\) | 364.95 | 260.68 | 13.87 |
| 仅静态前缀 (Prefix Only) | 仅看初始给定的前缀帧，不接入自回归生成物 | 448.23 | 343.07 | 177.73 |
2. 物理时间超分辨率与布朗桥归纳偏置（Sky-Timelapse 64帧生成，训练时剔除一半奇数时间点）
| 训练与模型配置 | 训练可见时间网格 | pin_every=8 FVD | pin_every=8 FID | pin_every=16 FVD |
|---|---|---|---|---|
| 全网格训练 + 带布朗桥 (W/ BB) | 100% 完整网格 | 77.17 | 2.45 | 244.83 |
| 全网格训练 + 无布朗桥 (No BB) | 100% 完整网格 | 107.35 | 2.94 | 323.65 |
| 半网格训练 + 带布朗桥 (W/ BB) | 仅偶数帧（未见奇数帧） | 155.27 | 1.96 | 300.27 |
| 半网格训练 + 无布朗桥 (No BB) | 仅偶数帧（未见奇数帧） | 875.72 | 97.06 | 1003.98 |
关键发现¶
- 数据到数据连续桥接彻底碾压标准扩散：传统 noise-to-data 扩散模型在所有视频与天气序列实验中 FVD/MAE 均严重落后（Sky-Timelapse FVD 经常高达 500~900+），其低积分步数下的严重数值刚性导致严重的画面重影与闪烁。
- 时间自适应挥发度的必要性得到理论与实证双重验证：级联扩散桥虽然有时在单一 FVD 指标上调参后接近，但在 FID（单帧质量）上常发生大幅退化产生高频噪点；ABC 无论在因果生成还是非因果内插的综合 Pareto 前沿评级中均位列第一（综合平均排名 1.0~2.2）。
- 布朗桥偏置赋予强大的未见时间泛化力：在训练仅暴露半数时间点的情况下，引入布朗桥残差漂移的模型能零样本无缝插值出高质量的未见时间点视频（FID 达 1.96），而无偏置模型在未见网格上彻底崩溃（FID 暴跌至 97.06）。
- 非因果约束达成亚像素级精确锁定：在预留约束未来帧实验中，ABC 依靠得分引导获得了 0.995 的 SSIM 和 45.6 dB 的超高 PSNR，证明其完全具备精准命中未来锚点的能力。
亮点与洞察¶
- 物理时钟与数学扩散轴的优雅合一：打破了以往扩散模型将生成过程视为与物理世界脱节的人工伪时间扩散的惯性思维，让 SDE 的时间参数直接度量真实物理流逝，以极简统一的理论消除了二次变差失配。
- 解析化的非马尔可夫得分匹配目标：巧妙借助高斯过程条件回归与测度变换，把原本极其棘手的全路径依赖 SDE 漂移项学习完全闭式化，训练零仿真且无奇异点，工程可落地性极高。
- 真正意义上的连续时间任意子集自回归：将任意顺序离散自回归成功推广到连续时空，既支持任意不规则采样的数据训练，又能在推理时任意指定因果外推或双向锚点内插。
局限与展望¶
- 历史全量注意力的计算复杂度随序列增长：当前模型通过交叉注意力对所有历史状态进行显式交互，虽然保持了严格的数学理论保真度，但在超长序列（如数百帧视频）生成时显存和算力开销将呈二次方增长，未来可引入选择性状态空间模型（Mamba / SSM）进行历史上下文压缩。
- 多帧块生成的缺失：当前实现以单帧隐空间为离散交互点，未来可将 SDE 状态扩展为局部时空 Patch 或多帧块（Chunk-wise），进一步提升极长视频生成的推理吞吐量。
- ODE 加速采样的探索空间：目前主要依赖 Euler-Maruyama SDE 求解器，未来可探索对应的概率流常微分方程（Probability Flow ODE）或混合 SDE-ODE 采样算法，进一步压缩生成步数。
相关工作与启发¶
- vs DDBM (Denoising Diffusion Bridge Models) / BBDM: DDBM 仅考虑两端点之间的单段桥接，在多步自回归级联时每次均强制重置回 \([0, 1]\) 虚拟时间并使用恒定挥发度。ABC 证明了其二次变差与物理过程不一致，并通过全局物理时间 SDE 统一了多端点演化。
- vs PFI (Probabilistic Forecasting with Interpolants): PFI 基于离散时间假设且受限于马尔可夫性约束，无法灵活接纳未来非因果锚点与任意时间戳。ABC 拓展到了连续时间、非马尔可夫及任意子集生成。
- vs Standard Video Diffusion (VDM / Latte / DiT): 标准视频扩散将时空展平或分步加噪，难以应对任意可变帧率与不规则时间戳观测。ABC 提供了天然适应连续物理信号的生成新范式。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次实现连续时间连续空间的任意子集非马尔可夫扩散桥生成，理论推导扎实优雅。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 Toy SDE 动力学对比、视频插值与外推、高难度 SEVIR 雷达回波预测及全方位消融与算力画像。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，数学符号规范，定理与动机衔接紧密。
- 价值: ⭐⭐⭐⭐⭐ 为物理动力系统建模、不规则时序补全和下一代连续视频生成提供了重要方法学基石。