Continuous-depth Deep Gaussian Processes¶
会议: NeurIPS 2026
arXiv: 2610.30890
领域: 优化/理论
关键词: 深度高斯过程, 连续深度, 随机微分方程, 变分推断, 神经流
一句话总结¶
将深度高斯过程（DGP）从离散层级复合重构为由漂移族驱动的潜随机微分方程（SDE），并通过可分离核直接建模或神经流演化定义漂移先验，克服深层离散优化的敏感性病态。
研究背景与动机¶
深度高斯过程（DGP）作为层次化的贝叶斯非参数回归框架，理论上能够逐层学习复杂特征表示并提供精准的不确定性度量。然而在实际优化过程中，当网络深度增加时，离散堆叠结构通常会出现严重的训练病态，性能不升反降，迫使研究者通常只能将其限制在极浅的层数（如 2 到 3 层）。这一瓶颈的根源在于离散复合映射下的雅可比连乘累积效应：单样本变分下界对参数扰动的敏感度随着层数指数级放大，使得基于蒙特卡洛采样的梯度估计方差急剧攀升且极易发散。
为了缓解退化问题，残差高斯过程（Residual DGP）通过引入恒等捷径将层间映射转化为加性修正，一定程度上抑制了扰动的逐层放大。但残差结构仍然保留了离散堆叠与独立分层参数化的本质，在更深层数下依旧难逃误差累积和参数割裂的限制；另一方面，若直接转向神经常微分方程（Neural ODE）或神经随机微分方程（Neural SDE），虽然实现了深度连续化，却彻底抛弃了高斯过程原生的函数空间非参数先验与可靠的不确定性校准优势。
针对离散深度与纯神经网络动力学之间的割裂，本文提出了全新的视角：深度应当被视为潜在表征沿连续区间的平滑演化，而非孤立的离散阶段；同时必须在动力学漂移场上保留高斯过程的函数先验。核心 idea：将深层表征演化形式化为潜随机微分方程（SDE），在连续深度漂移族上赋予高斯过程先验，并由此衍生出基于可分离核的直接漂移建模（CDGP）与基于神经流演化的动态漂移建模（FlowDGP）两种统一变分推断方案。
方法详解¶
整体框架¶
本文将离散高斯过程的层数索引转变为连续深度变量 \(t \in [0, T]\)。输入向量 \(\mathbf{x} \in \mathbb{R}^{D_x}\) 作为连续动力系统的初始状态 \(\mathbf{h}_0 = \mathbf{x}\)，表征在深度区间内遵循由高斯过程驱动的 Itô 随机微分方程进行连续演化；到达终端深度 \(T\) 时，输出状态 \(\mathbf{h}_T\) 通过统一的高斯观测似然直接生成目标预测 \(\mathbf{y}\)。
对于核心动力学组件——深度索引漂移族 \(\{f_t\}_{t \in [0,T]}\)，论文设计了两种不同先验假设的实现范式：一种是直接将状态与深度联合建模并采用可分离核的 CDGP；另一种是通过神经连续归一化流对基高斯过程进行跨深度确定性输运的 FlowDGP。两者均无缝嵌入到基于伪点诱导变量的稀疏变分推断框架中。整体计算流程如下：
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入数据 x<br/>初始潜状态 h_0 = x"] --> B["潜表征连续演化 Itô SDE<br/>dh_t = f_t(h_t) dt + σ_t dw_t"]
B --> C["漂移族先验建模<br/>CDGP: 可分离状态-深度核 / FlowDGP: 神经流演化基GP"]
C --> D["统一稀疏变分推断<br/>Euler-Maruyama 离散化积分与蒙特卡洛 ELBO"]
D --> E["终端似然读取<br/>y ~ N(h_T, σ_noise^2 I)"]关键设计¶
1. 连续深度潜 SDE 与路径敏感性控制：从离散雅可比爆炸到连续漂移约束
传统 \(L\) 层离散 DGP 的潜变量通过递归映射 \(\mathbf{h}^{(\ell)} = f^{(\ell)}(\mathbf{h}^{(\ell-1)}) + \bm{\epsilon}^{(\ell)}\) 逐层前向传播。分析其单样本变分目标对各层参数 \(\bm{\theta}\) 的 Lipschitz 常数可以发现，\(L_{\mathrm{DGP}} \le C \big(\sum_{k=1}^L \prod_{\ell=k+1}^L \lambda_\ell^2\big)^{1/2} + O(\sqrt{L})\)，其中 \(\lambda_\ell\) 为各层采样子函数的 Lipschitz 常数。由于层间映射的连续雅可比连乘 \(\prod_{\ell=k+1}^L \frac{\partial \mathbf{h}^{(\ell)}}{\partial \mathbf{h}^{(\ell-1)}}\)，一旦局部 Lipschitz 常数略大于 1，梯度敏感度就会随深度 \(L\) 指数级激增，导致深层优化剧烈动荡。
针对这一离散复合病态，本文将潜表征演化重新表述为连续区间 \(t \in [0, T]\) 上的 Itô SDE： $\(d\mathbf{h}_t = f_t(\mathbf{h}_t) dt + \sigma_t d\mathbf{w}_t\)$ 其中 \(\mathbf{w}_t\) 为标准布朗运动，\(\sigma_t\) 为连续扩散系数。当系统受参数扰动时，两个共享同一布朗驱动但参数分别为 \(\bm{\theta}_1, \bm{\theta}_2\) 的轨道差 \(\bm{\Delta}_t = \mathbf{h}_t^{(1)} - \mathbf{h}_t^{(2)}\) 满足连续积分方程。利用 Grönwall 引理可证明其路径敏感度由单一漂移场的 Lipschitz 常数控制： $\(\|\mathbf{h}_t^{(1)} - \mathbf{h}_t^{(2)}\| \le L_\theta \phi(L_h, t) \|\bm{\theta}_1 - \bm{\theta}_2\|\)$ 其中 \(\phi(L_h, t) = (e^{L_h t} - 1)/L_h\)。这表明连续深度表征消除了离散逐层参数的割裂连乘，转由连续漂移场的统一光滑性约束。若漂移场进一步满足单边压缩条件 \(\langle f(\mathbf{h}_1) - f(\mathbf{h}_2), \mathbf{h}_1 - \mathbf{h}_2 \rangle \le -\mu \|\mathbf{h}_1 - \mathbf{h}_2\|^2\)，其敏感度上界将完全与终端深度 \(T\) 无关（\(\le L_\theta / \mu\)），从根本上避免了深层优化的不稳定性。
2. 漂移族先验建模：可分离联合核（CDGP）与流演化基函数（FlowDGP）
在确定了连续 SDE 架构后，首要挑战是如何在漂移族 \(\{f_t\}\) 上赋予合理且可计算的先验分布。论文提出了两种互补的设计思路：
第一种是直接可分离高斯过程（CDGP）。将漂移族视作状态和深度的联合输入函数 \(f_t(\mathbf{h}) \equiv f(\mathbf{h}, t)\)，并在其上施加联合高斯过程先验，其协方差函数由状态核与深度核张量积构成： $\(k\big((\mathbf{h}, t), (\mathbf{h}', t')\big) = k_h(\mathbf{h}, \mathbf{h}') k_t(t, t')\)$ 通过在笛卡尔积空间 \(\mathbf{Z}_h \times \mathbf{Z}_t\) 上布设诱导点，利用 Kronecker 积分解将诱导协方差矩阵求逆分解为各维度的低维运算。然而，可分离核假设漂移在不同深度处的空间相关结构严格相似，无法刻画复杂的非平稳状态演化，且诱导点规模受 \(M_h \times M_t\) 的制约。
第二种是连续归一化流演化高斯过程（FlowDGP）。为了在控制计算复杂度的同时捕捉更丰富的跨深度非线性依赖，FlowDGP 仅在初始深度赋予基函数高斯过程先验 \(f_0 \sim \mathcal{GP}(0, k_0)\)，随后通过由轻量级多层感知机（MLP）参数化的连续归一化流驱动漂移演化： $\(\frac{d f_t}{dt} = g_{\bm{\phi}}(f_t), \quad f_0 \sim \mathcal{GP}(0, k_0)\)$ 在推断计算中，流映射 \(g_{\bm{\phi}}\) 逐点作用于沿潜轨迹采样的漂移取值上。这一设计将不确定性完全凝聚在初始基高斯过程的诱导点上，而跨深度的动态迁移则交由确定性神经 ODE 积分求解，既规避了联合大核矩阵的二次乘积代价，又赋予了漂移随深度动态变形的强大表达能力。
3. 统一稀疏变分推断与路径离散化模拟
为了对包含连续潜扩散过程的非线性非高斯系统进行高效端到端训练，本文构建了统一的基于模拟器的稀疏变分推断框架。设潜在高斯过程对象为 \(\mathbf{F}\)（CDGP 中为联合漂移 \(f(\mathbf{h}, t)\)，FlowDGP 中为初始基漂移 \(f_0\)），引入诱导变量 \(\mathbf{U} \sim \mathcal{N}(\mathbf{m}, \mathbf{S})\)，变分后验保持精确高斯过程条件分布 \(q(\mathbf{F}, \mathbf{U}) = q(\mathbf{U}) p(\mathbf{F} \mid \mathbf{U})\)。
在数值实现中，采用步长为 \(\Delta \tau_j = \tau_j - \tau_{j-1}\) 的 Euler–Maruyama 方案离散化连续 SDE（网格划分为 \(0 = \tau_0 < \tau_1 < \dots < \tau_J = T\)）： $\(\mathbf{h}_{\tau_j}^{(n)} = \mathbf{h}_{\tau_{j-1}}^{(n)} + f_{\tau_{j-1}}^{(n)}\!\bigl(\mathbf{h}_{\tau_{j-1}}^{(n)}\bigr) \Delta \tau_j + \sigma_{\tau_j} \Delta \mathbf{w}_j, \quad j=1,\dots,J\)$ 通过蒙特卡洛重参数化采样得到终态 \(\mathbf{h}_T^{(n, s)}\) 后，整体证据下界（ELBO）优化目标写为： $\(\widehat{\mathcal{L}} = \sum_{n=1}^N \frac{1}{S} \sum_{s=1}^S \log p\bigl(\mathbf{y}_n \mid \mathbf{h}_T^{(n, s)}\bigr) - \mathrm{KL}\bigl[q(\mathbf{U}) \parallel p(\mathbf{U})\bigr]\)$ 该目标对于 CDGP 和 FlowDGP 具有完全一致的形式，使得两者可以共享相同的优化调度与似然读取结构。
损失函数 / 训练策略¶
训练过程采用 Adam 优化器端到端最大化式 (9) 所示的变分 ELBO。在各基准数据集上默认迭代 2500 个 epoch，学习率通过验证集网格搜索选取（\(\{0.01, 0.02, 0.03, 0.05\}\)），积分步数 \(J \in \{2, 3, 5\}\)，扩散系数固定为 \(\sigma = 0.15\)。推断预测阶段，针对每个测试样本抽取 \(S=300\) 条蒙特卡洛轨迹，以样本均值作为点预测，以样本方差叠加观测噪声作为不确定性方差，计算负对数似然（NLL）与连续排位概率评分（CRPS）。
实验关键数据¶
主实验¶
论文在涵盖重尾分布、异方差噪声、非平稳两阶段变换以及真实物理/传感器采样的 6 个典型回归基准上进行了全面对比。评估指标包括均方根误差（RMSE）、负对数似然（NLL，衡量不确定性质量）以及训练时间（秒）。
| 数据集 | 指标 | FlowDGP (本文) | CDGP (本文) | Residual DGP | Standard DGP | NSDE |
|---|---|---|---|---|---|---|
| heavy_tailed | RMSE ↓ NLL ↓ Time (s) |
0.235 ± 0.003 0.329 ± 0.022 27.49 |
0.231 ± 0.005 0.355 ± 0.037 201.33 |
0.311 ± 0.005 0.490 ± 0.022 47.88 |
0.321 ± 0.002 0.536 ± 0.036 71.36 |
0.480 ± 0.043 0.828 ± 0.259 74.35 |
| heteroscedastic | RMSE ↓ NLL ↓ Time (s) |
0.819 ± 0.011 1.248 ± 0.008 19.13 |
0.856 ± 0.077 1.285 ± 0.076 189.18 |
0.823 ± 0.003 1.254 ± 0.004 74.58 |
1.012 ± 0.002 1.442 ± 0.002 124.42 |
0.962 ± 0.037 3.527 ± 1.601 67.58 |
| nonstationary | RMSE ↓ NLL ↓ Time (s) |
0.377 ± 0.123 0.411 ± 0.286 27.69 |
0.634 ± 0.008 0.979 ± 0.006 126.93 |
0.676 ± 0.056 1.032 ± 0.076 67.96 |
0.745 ± 0.002 1.125 ± 0.002 119.19 |
0.211 ± 0.010 2.058 ± 0.462 69.42 |
| sarcos_small | RMSE ↓ NLL ↓ Time (s) |
0.323 ± 0.028 1.352 ± 0.692 14.87 |
0.332 ± 0.004 0.376 ± 0.011 202.64 |
0.347 ± 0.006 0.440 ± 0.017 48.06 |
1.050 ± 0.001 1.470 ± 0.001 70.54 |
0.302 ± 0.007 9.516 ± 0.390 73.25 |
| uci_bike_small | RMSE ↓ NLL ↓ Time (s) |
0.934 ± 0.121 1.868 ± 0.203 12.89 |
1.122 ± 0.012 1.585 ± 0.016 93.15 |
1.126 ± 0.005 1.605 ± 0.010 51.41 |
1.182 ± 0.031 1.800 ± 0.022 71.33 |
1.052 ± 0.033 1.584 ± 0.049 63.44 |
| uci_energy_small | RMSE ↓ NLL ↓ Time (s) |
0.804 ± 0.009 1.229 ± 0.021 31.91 |
0.802 ± 0.001 1.223 ± 0.003 178.60 |
0.802 ± 0.001 1.232 ± 0.004 117.85 |
0.802 ± 0.027 1.218 ± 0.003 128.72 |
1.317 ± 0.146 1.204 ± 0.003 79.74 |
消融实验与稳定性分析¶
论文在合成高频非平稳玩具数据集上深入分析了模型对离散步数 \(J\)、积分时间界限 \(T\) 以及离散层数 \(L\) 的鲁棒性，并在 YearPredictionMSD 大规模数据集上验证了扩展性能。
| 配置 / 模型 | 核心参数设置 | 测试 RMSE | 测试 NLL | 测试 CRPS / 稳定性表现 |
|---|---|---|---|---|
| Standard DGP | \(L=1 \to 10\) | 剧烈恶化 (从 0.3 飙升至 >1.0) | 剧烈恶化 (从 0.5 飙升至 >3.0) | 随层数增加优化崩溃，梯度敏感度爆炸 |
| Residual DGP | \(L=1 \to 10\) | 0.311 (中低层) \(\to\) 缓慢恶化 | 0.490 \(\to\) 恶化 | 恒等残差大幅缓解震荡，但深层依然退化 |
| CDGP (本文) | \(T=1.0, J=1 \to 10\) | 保持在 0.23 附近波动极小 | 保持在 0.35 稳定水平 | 对积分分辨率 \(J\) 高度鲁棒，方差平稳收敛 |
| FlowDGP (本文) | \(J=3, T=1 \to 10\) | 持续优于两层残差 DGP | 在长积分区间保持极佳 NLL | 跨深度流演化赋予更优长程动态建模能力 |
| YearPredictionMSD (DKL) | 500 epochs, 90 维 | 0.8090 ± 0.0022 | 1.2078 ± 0.0023 | 0.4243 ± 0.0012 |
| YearPredictionMSD (NSDE) | 2500 epochs, 90 维 | 0.8075 ± 0.0022 | 1.2074 ± 0.0033 | 0.4227 ± 0.0016 |
| YearPredictionMSD (FlowDGP) | 2500 epochs, 90 维 | 0.8052 ± 0.0015 | 1.2027 ± 0.0023 | 0.4234 ± 0.0016 (全面优于 DKL/NODE) |
关键发现¶
- 离散深度的病态机制得到实证验证：标准 DGP 在层数 \(L > 3\) 时指标出现断崖式下跌，残差 DGP 虽能延缓退化但依然受制于离散累积误差；而连续深度的 CDGP 和 FlowDGP 无论改变数值离散步数 \(J\) 还是连续时间域长 \(T\)，性能均高度平稳。
- 高斯过程漂移先验相比神经动力量化优势明显：与同为连续动力学的 Neural SDE 相比，FlowDGP 与 CDGP 在异方差和复杂分布下展现出压倒性的概率预测质量（例如在
sarcos_small上 NSDE 的 NLL 恶化至 9.516，而 CDGP 保持在 0.376），说明非参数函数先验对不确定性校准具有不可替代的作用。 - FlowDGP 兼顾非平稳建模与计算效率：FlowDGP 的训练耗时仅为 CDGP 的 1/5 至 1/14（如
uci_bike_small上 12.89s 对比 93.15s），同时在需要剧烈频域切换的非平稳数据集上 RMSE 大幅领先 CDGP（0.377 vs 0.634），证明确定性神经流输运能极其高效地捕捉漂移场的非线性演变。
亮点与洞察¶
- 将离散层次复合重构为连续时间潜 SDE：跳出了传统 DGP 通过堆叠更多离散层或残差块的调优死胡同，从函数动力系统视角统一了深度表征，为贝叶斯深度学习提供了更具数学美感的连续演化视角。
- 巧妙的“基函数采样 + 神经流输运”混合机制：FlowDGP 将不确定性严格限定在初始基高斯过程，而将复杂的跨深度演化交给参数量极小的确定性 CNF，在算力复杂度 \(\mathcal{O}(M^3)\) 级别实现了高维非平稳漂移场的精细刻画。
- 从路径分析角度严格界定敏感度边界：通过严密的随机分析，揭示了连续 SDE 相比离散雅可比连乘在扰动传递上的结构性优势，给出了在单边收缩漂移下的无界深度敏感度上界。
局限与展望¶
- 先验表达能力与确定性假设的权衡：CDGP 受制于可分离核的张量分解，无法刻画复杂的空间-深度交互；而 FlowDGP 采用确定性神经流演化漂移，使得所有深度的不确定性完全退化为初始基高斯过程的外推，未能实现真正意义上的全路径随机过程输运。
- 实验场景局限于中低维标量回归：当前实验任务仅覆盖了标量连续回归（\(D_y = 1\)），对于大规模图像分类、高维连续控制或序列生成任务，连续 SDE 的采样推断开销与伴随状态反向传播仍需进一步探索。
- 未来的优化路径：可研究为神经流增设随机扰动以实现双重随机动态输运，或结合自适应步长 SDE 求解器在保持不确定性精度的同时进一步压缩数值积分开销。
相关工作与启发¶
- vs Residual DGP (Wyrwal et al., 2025)：Residual DGP 借助残差捷径修补了离散 DGP 的优化崩溃，但仍局限于固定离散分层的局部参数化；本文通过潜 SDE 将深度连续化，消除了离散层间雅可比连乘，在深度延伸时展现出更强的数学一致性与训练鲁棒性。
- vs Neural ODE / Neural SDE (Chen et al., 2018; Li et al., 2020)：神经动力系统虽然引入了连续深度，但使用纯黑盒神经网络拟合向量场，缺乏可靠的不确定性度量先验；本文在连续向量场上引入高斯过程先验，完美兼顾了平滑的连续演化与贝叶斯不确定性校准。
- vs Differential GP Flows (Hegde et al., 2019)：Differential GP flows 利用高斯过程后验定义输入空间的坐标扭曲（input warping），后接独立输出高斯过程；而本文直接将整个潜表征看作连续 SDE 状态演化，并在终端状态直接对齐观测似然，架构更为统一简洁。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [将连续深度潜 SDE 与高斯过程漂移先验结合，并提出可分离核与流输运两种优雅的实现范式]
- 实验充分度: ⭐⭐⭐⭐☆ [覆盖合成极端分布、经典 UCI、高维动力学及百万级大规模数据集，评测深入扎实]
- 写作质量: ⭐⭐⭐⭐⭐ [数学推导严密清晰，从离散病态到连续修正的逻辑链条一气呵成]
- 价值: ⭐⭐⭐⭐⭐ [攻克了深度高斯过程长年受限于浅层的核心优化瓶颈，为连续深度概率模型树立了新基准]