Closing the Approximation Gap in Simulation-Free Latent SDEs¶

会议: NeurIPS 2026
arXiv: 2606.16138
代码: https://github.com/lindermanlab/helmholtz-sde
领域: 学习理论
关键词: 潜随机微分方程, 无仿真变分推断, 亥姆霍兹分解, 散度自由向量场, 动力系统恢复

一句话总结¶

针对无仿真潜随机微分方程（Latent SDE）因单时刻边缘分布无法唯一确定路径定律所导致的后验逼近截断误差，本文提出 Helmholtz-SDE，通过在正交于边缘演化的无散度向量场空间中引入基于 Hermite 多项式基的解析修正，完全闭合了高斯共轭下的后验 KL 差距，在保持无仿真高效性的同时显著提升了动力学学习质量与多时刻统计保真度。

研究背景与动机¶

从带有噪声、不规则采样的观测时间序列中无监督地恢复潜在连续动力系统，是计算神经科学、生物种群动态与计算流体力学等领域的经典核心挑战。潜随机微分方程（Latent SDEs）为此提供了强大的连续时间概率生成建模框架：它假设系统状态在未观测的潜空间中遵从由漂移项和扩散项驱动的连续随机过程，并在离散时刻生成带噪声的观测。为了联合推断连续潜轨迹后验并学习动力系统参数，变分推断（VI）被广泛用于优化证据下界（ELBO）。然而，变分目标中包含潜轨迹全时程路径空间测度间的 Kullback-Leibler（KL）散度积分，传统的基于仿真的 VI 方法（如 Latent SDE、SING）必须在每步梯度更新中通过数值求解器离散轨迹或积分常微分方程，在时间开销和数值保真度之间面临严重的权衡瓶颈。

为了规避按时间步串行仿真的高昂代价，近年来兴起的“无仿真变分推断”（Simulation-Free VI，如 SVISE 与 SDE Matching）通过随机变分推断打破时序依赖：它们直接预设单时刻边缘分布（One-Time Marginals，通常为高斯分布），使得状态采样无需回溯历史轨迹，从而实现完全并行的无偏蒙特卡洛目标估计。然而，这种高计算效率背后隐藏着一个被长期忽视的理论缺陷：根据 Fokker-Planck 方程，给定的单时刻边缘分布序列并不能唯一确定随机过程的路径定律（Path Law）。现有无仿真方法为了工程便利，往往独立于变分目标，武断地选取某种特定的参考漂移（例如 SVISE 选取的对称矩阵规范，或 SDE Matching 选取的对称平方根规范）。这种任意的单射约定在数学上人为且严格地缩窄了变分后验族，剥夺了模型匹配真实后验转移分布的能力。

在观测稀疏或噪声较大的高后验不确定性场景下，这种由于漂移规范武断选择导致的逼近差距会急剧恶化，不仅使后验路径拟合失真，更会严重误导潜先验漂移项的参数学习，导致模型在预测极限环、混沌吸引子或涡旋输运等关键物理特征时出现定性崩溃。本文的核心切入点是解构边缘分布与路径定律之间的自由度，证明所有保持边缘演化不变的相容漂移差异完全由“无散度向量场”所张成，并利用变分目标自动在这一族等效漂移中筛选最优路径。核心 idea：通过加权亥姆霍兹分解将潜 SDE 漂移残差正交分解为改变边缘分布的梯度场与保持边缘分布不变的无散度场，利用 Hermite 多项式基正交投影解析求解最优无散度修正向量，在完全不破坏无仿真快速采样的前提下将后验族闭合至全量路径空间。

方法详解¶

整体框架¶

Helmholtz-SDE 构建在潜 SDE 的非监督参数学习与后验连续轨迹推断框架之上。针对给定的观测数据集 $\mathcal{D} = \{(t_n, \bm{y}(t_n))\}_{n=1}^N$，模型先验由漂移函数 $\bm{f}_p(\bm{x}(t)|\bm{\theta})$ 和常数扩散张量 $\bm{\Sigma}(\bm{\theta})^{1/2}$ 驱动的 SDE 定义。变分后验族采用由均值曲线 $\bm{m}(t|\bm{\phi})$ 和协方差曲线 $\bm{S}(t|\bm{\phi})$ 参数化的单时刻高斯边缘分布 $q(\bm{x}, t|\bm{\phi}) = \mathcal{N}(\bm{m}(t|\bm{\phi}), \bm{S}(t|\bm{\phi}))$。

传统方法直接使用预设的对称或平方根参考漂移 $\bm{f}_q$，而 Helmholtz-SDE 在每步随机采样时间点 $t \sim \mathcal{U}[0,T]$ 和潜状态 $\bm{x} \sim q(\bm{x},t)$ 时，首先计算先验漂移与变分参考漂移之间的残差向量场 $\bm{r}(\bm{x},t) = \bm{f}_p(\bm{x}) - \bm{f}_q(\bm{x},t)$；随后通过解析的 $q$-加权亥姆霍兹正交投影，提取残差场在保留单时刻高斯边缘约束下的最优无散度修正向量 $\hat{\bm{h}}^{(\ell)}(\bm{x})$；最后将修正项叠加至参考漂移形成完备的变分漂移 $\bm{f}_{q,\text{full}} = \bm{f}_q + \hat{\bm{h}}^{(\ell)}$，以此计算无偏路径空间 KL 散度与重构损失，实现端到端随机梯度反向传播。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["观测数据序列与不规则采样时刻"] --> B["时间序列编码器与连续参数化边缘分布<br/>输出均值轨迹与协方差矩阵"]
    B --> C["随机时刻与潜状态采样<br/>免仿真直接并行抽取样本点"]
    C --> D["参考漂移与先验残差向量场构建<br/>计算先验与参考漂移之间的空间残差"]
    D --> E["白化坐标变换与多元 Hermite 多项式基展开<br/>将加权无散度约束转化为谱代数线性方程"]
    E --> F["解析拉格朗日投影与 Stein 矩估计<br/>闭式求解截断度数的最优无散度修正向量"]
    F --> G["全漂移重构与随机 ELBO 无偏梯度更新<br/>完备路径空间变分后验优化与参数学习"]

关键设计¶

1. 保持单时刻边缘守恒的漂移空间特征化与亥姆霍兹分解：将路径定律歧义性收敛至无散度空间 现有无仿真算法所采用的高斯单时刻边缘分布遵从连续时间 Fokker-Planck 偏微分方程： $$ \frac{\partial q(\bm{x},t)}{\partial t} = -\nabla_{\bm{x}} \cdot [q(\bm{x},t) \bm{f}q(\bm{x},t)] + \frac{1}{2} \sum} \bm{\Sigma{ij} \partial}_i \bm{xj} q(\bm{x},t) $$ 由于该微分算子对漂移向量场的依赖完全通过其与概率密度的乘积的散度项体现，任何满足 $q$-无散度约束 $\nabla_{\bm{x}} \cdot [q(\bm{x},t) \bm{v}(\bm{x},t)] = 0$ 的向量场 $\bm{v}$，在叠加至参考漂移后，均严格不改变单时刻密度 $q(\bm{x},t)$ 的演化轨迹。本文证明无散度扰动是导致同边缘不同路径定律的充要条件。在变分目标负 ELBO 中，数据重构项和初始状态 KL 项由单时刻边缘唯一决定，因此无散度修正项 $\bm{v}$ 仅作用于路径空间 KL 散度 $\mathcal{L}_{\text{path}}$。定义漂移残差场 $\bm{r}(\bm{x},t) = \bm{f}_p(\bm{x}) - \bm{f}_q(\bm{x},t)$，在广义 $q$-加权 $L^2$ 内积空间中，$\bm{r}$ 具备唯一的强亥姆霍兹正交分解： $$ \bm{r}(\bm{x},t) = \bm{\Sigma} \nabla,t) $$ 其中标量势梯度场 }} \psi(\bm{x},t) + \bm{h}(\bm{x$\bm{\Sigma} \nabla_{\bm{x}} \psi$ 严格对应于推动边缘分布发生形变的方向，而 $\bm{h}$ 正是与所有保边缘漂移正交的无散度分量。将此分解代入路径 KL 目标后，交叉项因分部积分严格归零，从而证明在固定高斯边缘族下，最小化负 ELBO 的理论全局最优漂移增量恰好等于残差场的无散度投影 $\bm{v}^\star = \bm{h}$。

2. 白化正交坐标系下的多元 Hermite 谱投影：构建有限维多项式解析近似 尽管连续空间中的无散度向量场空间是无限维的且直接求解 Poisson 方程方差极大，但在高斯边缘设定下，可以通过正交基截断实现代数闭式解。算法首先引入仿射坐标变换 $\tilde{\bm{x}} = \bm{Q}(t)^\top \bm{S}(t)^{-1/2} (\bm{x} - \bm{m}(t))$，将时间依赖的非标准高斯分布白化为标准正态分布 $\mathcal{N}(\bm{0}, \mathbb{I}_K)$，其中 $\bm{Q}(t) \bm{\Lambda}(t) \bm{Q}(t)^\top$ 为矩阵 $\bm{S}(t)^{-1/2} \bm{\Sigma} \bm{S}(t)^{-1/2}$ 的特征值分解。在此白化空间中，标准正态密度下的无散度约束退化为 $\nabla_{\tilde{\bm{x}}} \cdot \bm{\nu}(\tilde{\bm{x}},t) - \tilde{\bm{x}}^\top \bm{\nu}(\tilde{\bm{x}},t) = 0$。

利用正规化多元 Hermite 多项式基 $\hat{H}_{\bm{\alpha}}(\tilde{\bm{x}}) = \prod_{i=1}^K \frac{\text{He}_{\alpha_i}(\tilde{x}_i)}{\sqrt{\alpha_i!}}$，微分算子 $(\partial_{\tilde{x}_i} - \tilde{x}_i) \hat{H}_{\bm{\alpha}}(\tilde{\bm{x}}) = -\sqrt{\alpha_i + 1} \hat{H}_{\bm{\alpha} + \bm{e}_i}(\tilde{\bm{x}})$ 展现出严格的阶数升阶性而绝不产生低阶交叉项。将待求解的无散度场限制在度数不超过 $\ell$ 的多项式子空间内，变换后的残差展开系数为 $\widetilde{\bm{b}}_{\bm{\alpha},i}(t) = \mathbb{E}[\tilde{\rho}_i(\tilde{\bm{x}},t) \hat{H}_{\bm{\alpha}}(\tilde{\bm{x}})]$。基于 Parseval 恒等式与拉格朗日乘子法，无散度约束在每个 Hermite 多重指标 $\bm{\beta}$ 上解耦为独立的标量极值问题，求得闭式修正系数： $$ \mu_{\bm{\beta}}(t) = \frac{\sum_{i=1}^K \sqrt{\beta_i} \, \widetilde{\bm{b}}{\bm{\beta}-\bm{e}i,i}(t)}{\sum}^K \lambda_i(t) \beta_i}, \quad \widetilde{\bm{c}},i}(t) = \widetilde{\bm{b}{\bm{\alpha},i}(t) - \lambda_i(t) \sqrt{\alpha_i + 1} \, \mu(t) $$ 逆变换回原坐标系即可获得保边缘的无散度修正向量 }+\bm{e}_i$\bm{h}^{(\ell)}(\bm{x},t) = \bm{S}(t)^{1/2} \bm{Q}(t) \bm{\nu}^{(\ell)}(\tilde{\bm{x}},t)$。该计算仅需 $O(K^{\max(\ell+1,3)})$ 复杂度，在线性近似 $\ell=1$ 下与基准参考漂移开销完全同阶。

3. 基于 Stein 恒等式的低方差矩估计与共轭完备性保证：从理论零差距到工程极速收敛 计算 Hermite 谱投影系数 $\widetilde{\bm{b}}_{\bm{\alpha},i}(t)$ 的核心难点在于高维正态期望的估计。若直接采用原始蒙特卡洛抽样，多项式阶数升高会导致估值方差急剧发散。本文基于高斯积分的 Stein 恒等式引入导数替换机制：对多重指标 $\bm{\kappa} \leq \bm{\alpha}$ 进行分部积分，将系数转化为包含残差场空间梯度的期望形式： $$ \widetilde{\bm{b}}{\bm{\alpha},i}(t) = \sqrt{\frac{(\bm{\alpha}-\bm{\kappa})!}{\bm{\alpha}!}} \, \mathbb{E}}}\sim\mathcal{N}(\bm{0},\mathbb{IK)} \left[ \partial}}}^{\bm{\kappa}} \widetilde{\bm{\rho}i(\tilde{\bm{x}},t) \hat{H}) \right] $$ 在线性修正 }-\bm{\kappa}}(\tilde{\bm{x}$\ell=1$ 下，取一阶导数 $\bm{\kappa}=\bm{\alpha}$ 完全消除了 Hermite 多项式项，将谱系数直接转化为残差场期望雅可比矩阵的反对称化投影，极大地压低了采样噪声，单次蒙特卡洛样本即可实现高精度反向传播。更重要的是，在先验与观测均为线性的高斯共轭系统（如 Ornstein-Uhlenbeck 过程）中，残差场严格为仿射函数，此时度数 $\ell=1$ 的多项式修正空间完全覆盖真实的解析后验空间。作者从理论上证明了（Theorem 1），在此设定下 Helmholtz-SDE 与真实 Kalman-Bucy 平滑后验之间的 KL 散度达到严格的零下界，完全消除了先前无仿真算法随系统旋转角速度 $\omega$ 线性发散的固有逼近差距。

损失函数 / 训练策略¶

算法使用随机变分推断目标，在每轮迭代中对观测时刻、潜状态和路径时间进行单点无偏蒙特卡洛采样： $$ \widehat{\mathcal{L}}(\bm{\theta},\bm{\phi}) = -N \log p(\bm{y}(t_n)|\bm{x}(t_n)) + \log \frac{q(\bm{x}(0),0|\bm{\phi})}{p(\bm{x}(0),0|\bm{\theta})} + \frac{T}{2} \left| \bm{\Sigma}(\bm{\theta})^{-1/2} (\bm{f}_{q,\text{full}}(\bm{x}(t),t|\bm{\phi}) - \bm{f}_p(\bm{x}(t)|\bm{\theta})) \right|_2^2 $$ 其中 $n \sim \mathcal{U}(\{1,\dots,N\})$, $t \sim \mathcal{U}([0,T])$, $\bm{x}(0),\bm{x}(t_n),\bm{x}(t) \sim q(\cdot|\bm{\phi})$。网络采用 Adam 优化器，通过重参数化技巧联合更新先验漂移神经网络参数 $\bm{\theta}$ 与后验生成网络参数 $\bm{\phi}$。对于高阶截断 $\ell \in \{1,2,3\}$，本文利用 Lyapunov 判据严格证明了修正 SDE 的非爆炸性与全局强解存在唯一性。

实验关键数据¶

主实验¶

论文在经典混沌系统（噪声 Lorenz 吸引子，潜空间维度 $K=4$）以及高维圆柱绕流计算流体力学降阶模型（2D Cylinder Flow ROM，POD 模态数 $K=38$）上，将 Helmholtz-SDE 与主流无仿真方法（SDE Matching、SVISE）及高精度仿真算法（SING、Latent SDE）进行了全面性能与运行耗时对比。

在噪声 Lorenz 系统上，由于增加了过程噪声并降低了采样频率（$\Delta t = 0.25$），后验呈现显著的不确定性，使得基于单漂移假设的方法性能急剧退化：

方法	类型	负 ELBO (nat) ↓	潜变量对数似然 ↑	对称 KL 散度 ↓	自相关误差 (RMSE) ↓	达到收敛目标耗时 (s) ↓
Helmholtz-SDE (本文, $\ell=1$)	无仿真 VI	47.42 ± 0.14	-3.21 ± 0.04	0.82 ± 0.05	0.082 ± 0.004	123.7 ± 3.4
SDE Matching (Bartosh 等)	无仿真 VI	68.35 ± 1.12	-3.85 ± 0.08	1.65 ± 0.11	0.165 ± 0.009	未在预算内达到
SVISE / ARCTA (Course 等)	无仿真 VI	72.10 ± 1.45	-4.02 ± 0.09	1.88 ± 0.14	0.181 ± 0.011	未在预算内达到
SING (Hu 等)	仿真 VI	45.20 ± 0.35	-3.15 ± 0.03	0.75 ± 0.04	0.078 ± 0.003	3695.6 ± 503.8
Latent SDE (Li 等)	仿真 VI	62.40 ± 2.10	-3.60 ± 0.07	1.42 ± 0.09	0.140 ± 0.008	9464.9 ± 930.4

在真实高维流体绕流降阶任务（$K=38$，观测时步 $\Delta t=0.3$，雷诺数 $Re=2000$）上的 10 时步外推预测与目标收敛表现如下：

方法	外推预测积分 MSE ↓	最终负 ELBO ($\times 10^4$) ↓	达到收敛门槛单步耗时 (ms/iter)	达到负 ELBO $<-2.5\times 10^4$ 耗时 (s) ↓
Helmholtz-SDE	3.46 ± 0.75	-2.57 ± 0.00	859.5 ± 9.6	17094.7 ± 314.0
SDE Matching	3.88 ± 0.53	-2.11 ± 0.01	577.5 ± 7.0	未在预算内达到
SVISE	3.86 ± 0.43	-2.13 ± 0.01	298.7 ± 3.2	未在预算内达到

消融实验¶

在噪声 Lorenz 吸引子实验中，对无散度投影的多项式截断阶数 $\ell$、Stein 导数阶数 $\kappa$ 以及蒙特卡洛/高斯-埃尔米特求积样本数进行全面消融（评估负 ELBO）：

修正阶数 $\ell$	估计策略	样本规模 ($N_{\text{mc}}$ 或 $N_{\text{quad}}$)	负 ELBO ($\kappa=0$, 原始无导数) ↓	负 ELBO ($\kappa=1$, 一阶 Stein 导数) ↓	负 ELBO ($\kappa=2$, 二阶 Stein 导数) ↓
$\ell=1$ (线性修正)	蒙特卡洛	$N_{\text{mc}} = 1$	76.56 ± 2.80	47.96 ± 0.45	—
$\ell=1$ (线性修正)	蒙特卡洛	$N_{\text{mc}} = 16$	49.89 ± 0.18	47.43 ± 0.17	—
$\ell=1$ (线性修正)	求积积分	$N_{\text{quad}} = 4$	47.42 ± 0.14	47.50 ± 0.20	—
$\ell=2$ (二次修正)	蒙特卡洛	$N_{\text{mc}} = 1$	111.66 ± 2.08	68.32 ± 0.90	47.23 ± 0.41
$\ell=2$ (二次修正)	蒙特卡洛	$N_{\text{mc}} = 1024$	46.94 ± 0.12	46.95 ± 0.18	46.86 ± 0.17
$\ell=2$ (二次修正)	求积积分	$N_{\text{quad}} = 4$	46.69 ± 0.16	47.03 ± 0.25	46.86 ± 0.17
$\ell=3$ (三次修正)	蒙特卡洛	$N_{\text{mc}} = 64$	60.25 ± 0.39	49.25 ± 3.36	46.81 ± 0.16

此外，在真实浮游轮虫-微藻捕食者-猎物（Predator-Prey）生态周期数据（374 天长程时序）分析中，Helmholtz-SDE 学出的极限环旋转周期为 6.92 天，捕食者相位滞后为 1.66 天，与真实生物学经验测算（周期 6.7 天、滞后 1.7 天）高度吻合；而 SDE Matching 衰减为定态固定点，且捕食滞后严重失真为 3.23 天。

关键发现¶

无散度修正是闭合逼近差距的关键瓶颈：在存在强旋转或周期特性的动力系统中（如 OU-spiral、Lorenz 双叶旋转、捕食者周期循环），原有的无仿真参考规范因丢失反对称场分量而严重欠拟合。引入无散度修正使负 ELBO 获得约 20 nat 的大幅优化，并直接避免了动力学模型退化为错误固定点。
Stein 导数使得极小批量采样成为可能：消融表明，当不使用导数时（$\kappa=0$），单个蒙特卡洛样本的负 ELBO 严重劣化（$\ell=1$ 下从 47.4 骤升至 76.5）；而利用 Stein 恒等式引入一阶导数替换 Hermite 项后，仅需 $N_{\text{mc}}=1$ 即可达到 47.96 nat，实现极高的单步优化效率。
计算时间性价比超越高精度仿真算法：在达到相同精度阈值（负 ELBO $<50$ nat）时，基于时间步采样的传统仿真实算法 SING 需要 3695.6 秒，而 Helmholtz-SDE 仅需 123.7 秒，实现了超过 25 倍的加速，且单步迭代耗时仅为 8.56 ms（与普通无仿真基线的 8.08 ms 几乎一致）。

亮点与洞察¶

物理数学工具在生成推断中的巧妙映射：巧妙地将流体力学与经典电磁场中的亥姆霍兹分解迁移至变分推断领域，严谨指出单时刻边缘与路径连续定律之间的差异全集正是无散度向量场，将原本模糊的“变分模型容量不足”精确化为“缺少与边缘密度正交的流形补空间”。
Hermite 多项式基与正态先验的正交升阶特性：利用白化正态分布下多元 Hermite 多项式在散度微分算子下的单向升阶代数恒等式，将非局部无限维偏微分极值问题精简为各阶独立的解耦最小二乘方程，推导出了完全闭式的线性投影代数公式。
高阶非高斯路径的无仿真拓展通路：该框架天然支持 $\ell \geq 2$ 的非线性多项式修正，这意味着即使维持单时刻边缘为标准高斯分布，模型也能在不进行时步仿真的前提下构建出具备非高斯多时刻联合分布（Non-Gaussian Path Law）的复杂连续后验。

局限与展望¶

状态无关扩散项与高斯边缘的先验假设依赖：当前闭式 Hermite 投影严重依赖于常数扩散系数 $\bm{\Sigma}$ 以及单时刻后验为高斯分布的假设。若扩散系数强依赖于状态位置，或者真实边缘具备强多峰非高斯形态，无散度场的精确解析解将难以直接展开，未来需探索通过神经网络隐式参数化并学习无散度场。
多项式维数灾难与高维缩放限制：修正项的 Hermite 张量基规模随潜变量维度 $K$ 呈 $O(K^{\ell+1})$ 增长。尽管当前实验在 $K=38$ 的流体降阶模型上验证了 $\ell=1$ 的可行性，但在更高维度系统（如视频潜空间、超大型神经网路状态流）中计算高阶多项式修正将受限于内存与计算开销，需要引入低秩张量分解或稀疏基截断机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次揭示无仿真潜SDE后验族受限的数学本质，创造性利用加权亥姆霍兹分解与Hermite谱正交投影解析闭合路径定律差距]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖一维严格理论验证、线性高斯共轭证明、非线性混沌吸引子、真实生态循环及38维流体动力学降阶全谱系验证]
写作质量: ⭐⭐⭐⭐⭐ [数学推导严密自洽，附录详实给出了良态弱解与强解存在唯一性证明，算法结构清晰透明]
价值: ⭐⭐⭐⭐⭐ [成功解决了连续时间动力系统无监督学习中高精度与低计算耗时不可兼得的核心矛盾，为大规模物理潜变量建模开辟了极具前景的通用范式]

方法	类型	负 ELBO (nat) ↓	潜变量对数似然 ↑	对称 KL 散度 ↓	自相关误差 (RMSE) ↓	达到收敛目标耗时 (s) ↓
Helmholtz-SDE (本文, \(\ell=1\))	无仿真 VI	47.42 ± 0.14	-3.21 ± 0.04	0.82 ± 0.05	0.082 ± 0.004	123.7 ± 3.4
SDE Matching (Bartosh 等)	无仿真 VI	68.35 ± 1.12	-3.85 ± 0.08	1.65 ± 0.11	0.165 ± 0.009	未在预算内达到
SVISE / ARCTA (Course 等)	无仿真 VI	72.10 ± 1.45	-4.02 ± 0.09	1.88 ± 0.14	0.181 ± 0.011	未在预算内达到
SING (Hu 等)	仿真 VI	45.20 ± 0.35	-3.15 ± 0.03	0.75 ± 0.04	0.078 ± 0.003	3695.6 ± 503.8
Latent SDE (Li 等)	仿真 VI	62.40 ± 2.10	-3.60 ± 0.07	1.42 ± 0.09	0.140 ± 0.008	9464.9 ± 930.4

修正阶数 \(\ell\)	估计策略	样本规模 (\(N_{\text{mc}}\) 或 \(N_{\text{quad}}\))	负 ELBO (\(\kappa=0\), 原始无导数) ↓	负 ELBO (\(\kappa=1\), 一阶 Stein 导数) ↓	负 ELBO (\(\kappa=2\), 二阶 Stein 导数) ↓
\(\ell=1\) (线性修正)	蒙特卡洛	\(N_{\text{mc}} = 1\)	76.56 ± 2.80	47.96 ± 0.45	—
\(\ell=1\) (线性修正)	蒙特卡洛	\(N_{\text{mc}} = 16\)	49.89 ± 0.18	47.43 ± 0.17	—
\(\ell=1\) (线性修正)	求积积分	\(N_{\text{quad}} = 4\)	47.42 ± 0.14	47.50 ± 0.20	—
\(\ell=2\) (二次修正)	蒙特卡洛	\(N_{\text{mc}} = 1\)	111.66 ± 2.08	68.32 ± 0.90	47.23 ± 0.41
\(\ell=2\) (二次修正)	蒙特卡洛	\(N_{\text{mc}} = 1024\)	46.94 ± 0.12	46.95 ± 0.18	46.86 ± 0.17
\(\ell=2\) (二次修正)	求积积分	\(N_{\text{quad}} = 4\)	46.69 ± 0.16	47.03 ± 0.25	46.86 ± 0.17
\(\ell=3\) (三次修正)	蒙特卡洛	\(N_{\text{mc}} = 64\)	60.25 ± 0.39	49.25 ± 3.36	46.81 ± 0.16