Neural Galerkin Normalizing Flows for Bayesian Inference of Diffusions with Inaccessible Boundaries¶

会议: NeurIPS 2026
arXiv: 2606.04324
OpenReview: https://openreview.net/forum?id=7Qy5PJB1Db
领域: 优化/理论
关键词: 连续时间扩散过程, 贝叶斯推断, 转移概率密度, 神经伽辽金方法, 规范化流

一句话总结¶

针对具有不可达边界且扩散矩阵退化的随机扩散过程，本文提出一种基于截断高斯混合规范化流与神经伽辽金时域投影的转移概率密度近似方法，免去 MCMC 在线轨迹桥模拟或实时求解 Fokker-Planck 方程的巨大计算开销，实现高效高精度的离散观测贝叶斯参数推断。

研究背景与动机¶

离散时间观测下连续时间随机扩散过程的参数贝叶斯推断是计算统计学、量化金融与应用数学中的核心难题。对任意给定时间序列观测轨迹，其似然函数依赖于相邻观测时刻之间转移概率密度函数（TPDF）的乘积。然而，除了极少数线性高斯或特定可解系统外，多维非线性随机微分方程（SDE）的真实转移概率密度不存在解析表达式。传统推断范式通常依赖两类技术路径：一类基于数据增强（Data Augmentation），在相邻观测点之间插入大量潜在插补点并结合 Metropolis-within-Gibbs 或粒子 MCMC（Particle MCMC）开展采样；另一类依赖精确模拟（Exact Simulation）或似然无关近似贝叶斯计算（ABC）。这些方法在面对低频稀疏观测或高维扩散过程时，计算负担急剧膨胀，潜在变量间的强自相关导致链的混合效率极低，极难支撑实际场景下的参数推断。

从偏微分方程的视角来看，转移概率密度函数本质上是具有狄拉克测度初始条件的 Fokker-Planck（FP）偏微分方程的时变解。直接求解该 PDE 面临极具挑战性的数理与数值瓶颈：初始条件高度奇异且空间局域化，扩散系数在状态空间边界退化甚至消失（例如满足严格 Feller 条件的随机波动率模型），导致方程呈现对流占优特征；同时数值解必须在全局严格满足非负性与全空间积分为 1 的概率测度约束。现有基于物理信息神经网络（PINNs）的方法在全时空域均匀采样训练，不仅无法保证严格的概率密度积分为 1 与非负性，而且在对流占优或高度集中初值条件下极易发生因果性崩塌与传播失效。

为了彻底摆脱昂贵的在线似然估计与离散化偏差，本文提出将具有紧支撑与边界依从特性的规范化流嵌入神经伽辽金（Neural Galerkin）动态投影框架中。核心 idea：构建一种显式满足齐次狄利克雷不可达边界与紧支撑约束的有界截断高斯混合规范化流架构，并将 Fokker-Planck 方程的瞬时残差动态投影到该规范化流参数流形的时间导数上，通过离线求解参数演化常微分方程构建跨初值与参数连续可微的转移密度代理模型，使在线 MCMC 推断退化为纯粹前向流计算。

方法详解¶

整体框架¶

本文方法的输入为 SDE 的参数先验空间、狄拉克初值空间以及观测轨迹，输出为高精度的后验参数分布。整体流程划分为离线参数动力学学习阶段与在线贝叶斯推断阶段两个解耦的部分。在离线阶段，模型首先定义带有紧支撑的有界规范化流架构，其以截断高斯混合（MTG）累积分布函数为核心变换层，通过输出层的零初始化与方差微小化精确重构狄拉克测度初值，并在不可达退化边界上通过源分布构造直接满足齐次狄利克雷边界条件。随后，算法计算当前时步下规范化流密度相对于时变 Fokker-Planck 算子的物理残差，在由当前流模型自身采样的自适应支撑点上通过最小二乘求解神经伽辽金投影方程，获得流参数的时间导数并利用显式 Runge-Kutta 积分器推进流参数。在在线阶段，面对给定的离散观测数据，推断算法无需任何昂贵的扩散桥模拟或实时 PDE 求解，仅需将观测样本代入已训练流模型的变量代换公式，即可瞬时完成似然函数求值与切片 MCMC 采样。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：SDE 扩散系统规范<br/>漂移项、扩散项与先验分布"] --> B["截断高斯混合规范化流架构<br/>多层可逆仿射缩放与 MTG 映射"]
    B --> C["初值与不可达边界显式编码<br/>零初始化逼近 Dirac 初值与 Gamma 截断源分布"]
    C --> D["时变 Fokker-Planck 神经伽辽金投影<br/>自适应测度采样与参数导数最小二乘更新"]
    D --> E["离线 Runge-Kutta 时域积分推进<br/>获得连续参数流形 θ(τ)"]
    E --> F["在线离散观测转移密度代理求值<br/>乘积似然重构与快速 MCMC 采样"]
    F --> G["输出：系统参数后验分布 π(μ|y)"]

关键设计¶

1. 截断高斯混合规范化流架构：精确适应非负紧支撑状态空间 针对随机波动率等过程具有天然物理边界（如方差非负）且扩散矩阵在边界退化的特点，传统无界实值流（如 Real NVP）无法施加硬性边界支撑约束。本文将扩散域限制在紧支撑超矩形 $\hat{\Omega}=\bigotimes_{m=1}^{d}(\hat{a}_{m},\hat{b}_{m})$ 上，首先通过第一层仿射缩放将物理支撑映射到归一化超立方体 $[-1,1]^d$。在后续 $L-1$ 个自回归单调映射层中，模型采用截断高斯混合（Mixture of Truncated Gaussians, MTG）变量的累积分布函数（CDF）构建一维保序非线性双射： $$ \tilde{F}(x)=2\left[\sum_{k=1}^{G}\alpha_{k}\Phi_{[-1,1]}(x|\mathrm{m}{k},\sigma)\right]-1 $$ 其中权重、均值与方差由门控循环单元（GRU）神经网络根据前序状态变量、初值 $x_0$ 和 SDE 参数 $\tilde{\mu}$ 条件化生成。由于每个分量仅依赖于前序坐标，变换的雅可比矩阵自然具备下三角三角结构，其行列式绝对值可沿对角线高效解析计算，同时自动保证生成密度在全空间上的积分恒等于 1 且逐点非负。

2. 狄拉克初值与不可达退化边界的显式编码：解决高奇异性与对流占优 Fokker-Planck 方程的初值为脉冲狄拉克分布 $\delta_{x_0}(x)$，常规数值网格或神经积分极易在初值处弥散或震荡。本文利用规范化流在第二层雅可比行列式的解析极限，通过将第二层神经网络的权重和偏置输出置零、方差取趋近于 0 的微小容差 $\hat{\epsilon}$、均值直接初始化在 $x_0$ 处，使第一可训练层的 CDF 坍缩为单位阶跃函数，其导数严格重构狄拉克脉冲。对于扩散矩阵退化的不可达边界 $\Gamma=\partial\Omega\cap\partial\hat{\Omega}$（在随机波动率模型中满足严格 Feller 条件），真实解满足齐次狄利克雷条件 $\rho(x)|_{\Gamma}=0$。本文在参考源分布 $p_Z$ 的选取上采用截断 Gamma 分布与均匀分布的张量积，使得源分布在物理退化边界处自然降为零，从而通过变量代换恒等式硬性施加了边界条件，无需引入额外的边界惩罚损失。

3. 时变 Fokker-Planck 算子的神经伽辽金参数投影：保证因果演化与跨参数泛化 为克服标准 PINNs 在时空全局随机采样时无法捕捉强局部对流特征的缺陷，本文将参数化概率密度代入 Fokker-Planck 算子 $\mathcal{L}^\star_t$，定义点态物理残差： $$ r_{t,s}(\boldsymbol{\theta},\boldsymbol{\zeta},\boldsymbol{x},\boldsymbol{x_{0}},\boldsymbol{\tilde{\mu}})=\nabla_{\boldsymbol{\theta}}\mathrm{P}(\boldsymbol{x}|\boldsymbol{\theta}(\tau),\boldsymbol{x_{0}},\boldsymbol{\tilde{\mu}})\cdot\boldsymbol{\zeta}-\mathcal{L}^{\star}{t}(\mathrm{P}(\cdot|\boldsymbol{\theta}(\tau),\boldsymbol{x) $$ 在每个相对演化时间 }},\boldsymbol{\tilde{\mu}}))(\boldsymbol{x$\tau$，通过最小化残差在自适应测度 $\nu_{\boldsymbol{\theta}(\tau)}$（直接取为当前流模型生成的密度 $\mathrm{P}$）、初值分布 $\eta$ 与参数先验 $\tilde{\pi}_0^\star$ 上的期望二次范数，将无限维 PDE 动力学正交投影为有限维参数流形的时间导数 $\boldsymbol{\dot{\theta}}(\tau)$。该超定线性最小二乘系统采用 LSMR 稀疏迭代算法高效求解，并配合显式五阶（四阶嵌阶）Runge-Kutta 自适应步长积分器沿时间轴推进，从数学机制上严格确保了时间因果性的单向传递与极高的空间局部解析能力。

损失函数 / 训练策略¶

离线阶段的目标是在每个时间步求解瞬时加权最小二乘变分泛函： $$ J_{\tau}(\boldsymbol{\theta},\boldsymbol{\zeta})=\int_{\Xi^{\star}}\int_{\Omega}\int_{\Omega}\lvert r_{s+\tau,s}(\boldsymbol{\theta},\boldsymbol{\zeta},\boldsymbol{x},\boldsymbol{x_{0}},\boldsymbol{\tilde{\mu}})\rvert^{2}\mathrm{P}(\boldsymbol{x}|\boldsymbol{\theta}(\tau),\boldsymbol{x_{0}},\boldsymbol{\tilde{\mu}})d\boldsymbol{x}d\eta(\boldsymbol{x_{0}})d\tilde{\pi}_{0}^{\star}(\boldsymbol{\tilde{\mu}}) $$ 在数值实现中，从先验参数分布 $\tilde{\pi}_0^\star$、初值分布 $\eta(x_0)$ 中分别抽取批量样本，并通过规范化流的反向映射直接从参考分布中精确生成对应当期密度的粒子集合 $\boldsymbol{x}_i \sim \mathrm{P}$。由此装配出大型线性方程组 $J \boldsymbol{\zeta} \approx \boldsymbol{f}_\tau$，调用 LSMR 算法求解最优速度场 $\boldsymbol{\dot{\theta}}(\tau)$。对于非仿射高阶非线性模型（如 SVCEV），为进一步增强数值鲁棒性，算法直接对对数密度 $q = \log \mathrm{P}$ 构造对偶形式的残差方程进行投影求解。

实验关键数据¶

主实验¶

论文在经典双变量仿射 Heston 模型与非线性非仿射 SVCEV 随机波动率模型上开展了系统性评估。对于 Heston 模型，由于其特征函数具有解析形式，可通过傅里叶逆变换（Fourier Inversion）作为真实半解析基准；对于 SVCEV 模型，特征函数不存在，采用细网格数据增强（Data Augmentation, DA）与修正布朗桥重要性采样作为黄金基准。对比方法包括二阶 Aït-Sahalia（A.-S.）闭式展开与四阶 Itô-Taylor 展开。

模型	评估指标	本文 (NGNF)	A.-S. 展开	Itô-Taylor 展开	基准说明 / 提升
Heston ($\Delta=0.5$)	真实参数 $\boldsymbol{\mu}^\star$ 处对数似然相对误差	0.0003	0.0064	0.0093	相比 A.-S. 误差下降 95.3%
Heston ($\Delta=0.5$)	测试分布上对数似然平均相对误差	0.063	0.401	0.361	显著优于多项式级数展开
Heston ($\Delta=1.0$)	低频观测下 $\boldsymbol{\mu}^\star$ 处对数似然相对误差	0.0044	0.1934	0.0441	低频稀疏采样下优势扩大一个数量级
Heston ($\Delta=1.0$)	低频测试分布上对数似然平均相对误差	0.257	4.335	3.232	A.-S. 发生严重漂移发散
SVCEV ($\Delta=0.5$)	真实参数 $\boldsymbol{\mu}^\star$ 处对数似然相对误差	0.0004	0.0063	0.0091	达到 DA 金标准理论误差极值 ($5.5\times 10^{-4}$)
SVCEV ($\Delta=0.5$)	测试分布上对数似然平均相对误差	0.084	0.941	0.811	非仿射复杂动力学下误差降低近一个数量级

消融实验与后验推断开销¶

在 MCMC 后验抽样阶段，论文在 Heston 和 SVCEV 两个系统上分别运行 10,000 次切片采样（丢弃 3,000 次 burn-in），统计后验分布相对于真实基准的联合与边际 Wasserstein-2（$W_2$）距离，并对比计算耗时。

模型与评估配置	采样方法	计算耗时 (s)	联合 $W_2$ 距离	边际 $W_2^\beta$ 距离	边际 $W_2^\sigma$ 距离	说明
Heston (10,000 MCMC)	Fourier 基准	14,560	0.000 (Ref.)	–	–	解析傅里叶求逆，在线极其耗时
Heston (10,000 MCMC)	本文 NGNF	2,243	0.066	0.057	0.0036	速度提升 6.5 倍，后验分布高度吻合
Heston (10,000 MCMC)	Itô-Taylor	15,069	0.948	0.938	0.0918	耗时长且由于泰勒截断引入系统性后验偏移
SVCEV (10,000 MCMC)	数据增强 (DA)	63,541	Ref.	–	–	依赖密集扩散桥模拟，耗时超 17 小时
SVCEV (10,000 MCMC)	本文 NGNF	1,389	0.412	–	–	耗时缩短至 23 分钟，提速 45.7 倍
SVCEV (10,000 MCMC)	Itô-Taylor	7,219	1.337	–	–	展开级数发散导致链震荡，$W_2$ 偏差大

关键发现¶

对远离真实参数区域的强健泛化：传统闭式多项式展开（如 Aït-Sahalia 与 Itô-Taylor）本质是基于时间步长 $\Delta$ 的渐近展开，当在 MCMC 探索过程中评估远离真实参数 $\boldsymbol{\mu}^\star$ 的提议值，或在低频观测（$\Delta=1.0$）下，这些多项式展开会剧烈发散甚至给出负概率。而 NGNF 从底层保证了概率测度几何结构，在远离真实参数区域仍保持极小误差。
边界极端工况的数值韧性：在初始方差极小（$v_0 = 10^{-2}$ 与 $v_0 = 10^{-4}$）逼近不可达奇异边界的测试中，NGNF 的相对 $L^2$ 误差稳定在 0.04 至 0.06，有效抵御了扩散退化导致的数值振荡。
离线训练开销的完全摊销：虽然离线积分求解 ODE 需要约 48 至 54 小时 GPU 算力，但一旦得到 $\boldsymbol{\theta}(\tau)$，在线似然计算仅需进行 $n$ 次前向传播，使得长链采样效率提升数十倍，彻底攻克了传统非仿射 SDE 无法实时采样的瓶颈。

亮点与洞察¶

概率几何与微分方程投影的有机契合：将归一化流的微分同胚性质与伽辽金投影结合，用流模型天然满足的非负积分为 1 代换式替代了传统数值偏微分方程网格或 PINNs 难以硬编码的测度约束。
初值狄拉克脉冲与退化边界的解析嵌入：利用单层可训练混合高斯方差趋于零的极限特性精确逼近狄拉克初始条件，配合 Gamma 截断源分布在边界置零的构造，优雅地在神经网络中实现了严格满足物理第一性原理的边界与初值约束。
时变参数化流流形的单向因果推进：避开了全时空时空神经网络训练的优化局部极小，沿着时间坐标通过 LSMR 与 RK 步进逐步推进参数，完全消除了对流占优方程中常见的因果倒错假象。

局限与展望¶

紧支撑假设与尾部极值建模受限：方法假定状态空间可被有界紧支撑矩形有效截断，在真实金融市场出现极小概率极端尾部事件时，紧支撑流的边缘截断可能导致极值概率被低估。
高维扩展面临的维度诅咒：神经伽辽金在计算多维雅可比矩阵以及自回归单调映射层时，参数量和采样点需求随维度增加显著提升（论文验证至 3 维 BDFS 模型，未知是否可推广至数十维复杂偏微分系统）。
当前局限于全状态离散观测：现阶段方法要求系统状态变量完全被观测，未来需进一步结合粒子滤波（Particle Filter）以适应部分可观测（Partial Observations）或带有显著测量噪声的隐扩散过程。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将带有不可达边界约束与狄拉克初值嵌入的截断高斯混合流与神经伽辽金时域投影结合，概念创新且数理严密。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖仿射 Heston、非仿射 SVCEV 及 3 维 BDFS 模型，设置了严格的数值边界测试、多频对比与长链 MCMC 后验量化分析。
写作质量: ⭐⭐⭐⭐⭐ 形式化数学定义极其扎实，从 Fokker-Planck 弱形式、李导数投影到具体网络初始化的推导脉络一目了然。
价值: ⭐⭐⭐⭐⭐ 为计算金融、统计物理与随机动力学系统中的复杂非线性扩散参数推断开辟了兼具理论保真度与工程实用性的全新范式。

模型	评估指标	本文 (NGNF)	A.-S. 展开	Itô-Taylor 展开	基准说明 / 提升
Heston (\(\Delta=0.5\))	真实参数 \(\boldsymbol{\mu}^\star\) 处对数似然相对误差	0.0003	0.0064	0.0093	相比 A.-S. 误差下降 95.3%
Heston (\(\Delta=0.5\))	测试分布上对数似然平均相对误差	0.063	0.401	0.361	显著优于多项式级数展开
Heston (\(\Delta=1.0\))	低频观测下 \(\boldsymbol{\mu}^\star\) 处对数似然相对误差	0.0044	0.1934	0.0441	低频稀疏采样下优势扩大一个数量级
Heston (\(\Delta=1.0\))	低频测试分布上对数似然平均相对误差	0.257	4.335	3.232	A.-S. 发生严重漂移发散
SVCEV (\(\Delta=0.5\))	真实参数 \(\boldsymbol{\mu}^\star\) 处对数似然相对误差	0.0004	0.0063	0.0091	达到 DA 金标准理论误差极值 (\(5.5\times 10^{-4}\))
SVCEV (\(\Delta=0.5\))	测试分布上对数似然平均相对误差	0.084	0.941	0.811	非仿射复杂动力学下误差降低近一个数量级