Amortized Structured Stochastic Variational Inference for Gaussian Process Latent Variable Models¶

会议: NeurIPS 2026
arXiv: 2610.03647
OpenReview: https://openreview.net/forum?id=TAYlbKu0tU
代码: https://github.com/jamesacodgers/conditional_overlaping_gaussian_processes
领域: 优化/理论
关键词: 高斯过程潜变量模型、结构化随机变分推断、摊销推断、认识不确定性、稀疏高斯过程

一句话总结¶

针对高斯过程潜变量模型（GPLVM）中平均场假设导致认识不确定性严重低估的问题，本文提出摊销结构化随机变分推断（A-S-GPLVM），通过将潜变量变分后验显式条件化于重参数化的稀疏 GP 诱导点状态，在保持小批量随机优化与闭式核期望的同时显著提升了流形重构与不确定性校准质量。

研究背景与动机¶

学习高维观测数据背后低维嵌入流形是无监督表示学习的核心任务。从经典的概率主成分分析（PPCA）到变分自编码器（VAE），现代生成模型能够发掘紧凑且具备解释性的低维表征。然而在许多生物学、化学工程或小样本物理测量等实际任务中，观测样本往往极其稀缺且伴随显著的测量噪声。此时模型不仅需要提供确定性的流形重构点估计，更关键的是要量化对学习到的数据流形本身的认识不确定性（epistemic uncertainty），以便下游的不确定性感知决策与贝叶斯优化能够识别流形外的不确定区域。

高斯过程潜变量模型（GPLVM）凭借其非参数贝叶斯性质天然具备防过拟合与流形外不确定性增长的潜力。但在现代可扩展的稀疏变分推断（SVI）架构下，现有方法均无一例外引入了平均场（Mean-Field, MF）变分假设——强制假设潜空间位置后验 $q(X)$ 与从潜空间到观测空间的 GP 映射（即诱导变量后验 $q(U)$）完全统计独立。这种解耦假设与真实后验的贝叶斯依赖性发生严重冲突：观测数据经过似然函数约束后，隐变量坐标与 GP 诱导点之间本质上强条件相关。由于变分推断自带的寻模（mode-seeking）特性，强制解耦迫使变分分布在评估期望似然时将每一个潜变量可能取值与每一个诱导点取值全排列交叉，从而系统性压缩了 GP 映射的方差，导致模型远离观测数据区域时对流形不确定性的估计严重低估。

针对这一根本矛盾，本文引入结构化随机变分推断（SSVI）框架，彻底打破潜变量与 GP 映射之间的独立性假设。核心 idea：构建条件化变分后验 $q(X|U)q(U)$，通过双分支摊销编码器接收观测数据与重参数化诱导变量标准正态样本，并结合闭式 $\psi$-统计量与退火先验正则化，在保持 $O(NK|\mathcal{I}|)$ 随机小批量训练可扩展性的同时精确恢复高斯过程潜流形的认识不确定性。

方法详解¶

整体框架¶

本文方法的输入为高维观测数据 $y_n \in \mathbb{R}^P$，目标是推断低维潜变量 $x_n \in \mathbb{R}^Q$（其中 $P \gg Q$）以及非参数 GP 映射 $f: \mathbb{R}^Q \to \mathbb{R}^P$ 的后验分布。为了支持大规模数据的随机变分优化，模型选取了 $M$ 个全局诱导输入 $Z \in \mathbb{R}^{M \times Q}$ 及其对应的 GP 诱导变量 $U \in \mathbb{R}^{P \times M}$ 作为全局变量。与平均场独立建模不同，本文采用结构化变分分布：首先从变分分布 $q(U)$ 中采样全局诱导状态，通过可重参数化变换提取样本扰动特征，随后将观测数据 $y_n$ 与诱导变量扰动联合输入双分支轻量级摊销编码网络，自适应输出条件潜变量高斯后验 $q(x_n|U)$ 的均值与方差；最后利用高斯核与高斯潜变量下的解析 $\psi$-统计量快速求解局部证据下界（Local ELBO），并通过小批量梯度反向传播联合更新诱导点超参数与编码器权重。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    InObs["高维观测数据 y_n"] --> Enc["条件摊销网络编码<br/>双分支 MLP 独立预测均值与方差"]
    GlobU["全局诱导变量分布 q(U)"] --> Reparam["诱导变量重参数化输入<br/>白化噪声输入保持全空间分散性"]
    Reparam --> Enc
    Enc --> CondLat["条件潜变量后验分布 q(x_n | U)"]
    CondLat --> ClosedStat["解析 ψ-统计量核期望<br/>闭式计算条件对数似然项"]
    GlobU --> ClosedStat
    ClosedStat --> SVIObj["结构化随机下界优化<br/>局部 ELBO + KL 散度退火正则"]
    SVIObj --> OutModel["收敛的非参数流形与精准认识不确定性"]

关键设计¶

1. 结构化条件后验因式分解：镜像匹配真实后验依赖结构 传统平均场 GPLVM 强加假定 $q(F, X, U) = \prod_p p(f_p|X, u_p) q(u_p) \prod_n q(x_n)$，切断了局部隐坐标与全局映射的联系。针对这一结构缺陷，本文镜像反映真实后验的条件依赖图，将变分后验族重构为： $$q(F, X, U) = \prod_{p=1}^P p(f_p \mid u_p, X) q(u_p) \prod_{n=1}^N q(x_n \mid U)$$ 其中选择以 $U$ 为条件约束 $X$（即 $q(X|U)q(U)$ 而非反向的 $q(U|X)q(X)$）构成了算法在大数据下可行的决定性前提：在 GP 模型中 $U$ 属于全局共享变量，而 $x_n$ 属于样本独有的局部变量。通过该因式分解，目标证据下界能够精准分解为全局诱导变量 KL 散度项与样本级别的局部下界之和： $$\mathcal{L}_S = \sum_{n=1}^N \mathbb{E}_{q(U)} [\hat{\mathcal{L}}_n(U)] - D_{\mathrm{KL}}(q(U) \parallel p(U))$$ 进而自然支持利用观测索引子集 $\mathcal{I}$ 进行无偏随机梯度估计，确保了算法复杂度与全局数据量解耦。

2. 诱导变量重参数化输入：规避训练后期的特征坍缩 在将全局诱导变量 $U_k \sim q(U)$ 注入局部潜变量分布参数映射函数 $h(y_n, U)$ 时，朴素方案是直接拼接观测向量与采样向量 $(y_n, U_k)$。但在训练中后期，诱导变量的变分后验 $q(u_p) = \mathcal{N}(\mu_p, \Sigma_p)$ 趋于高度收敛（方差显著变小），此时直接采样的诱导点状态 $U_k$ 几乎完全退化至均值附近，丧失了探索潜变量与诱导分布耦合关联的多样性。本文利用重参数化技巧，引入白化的标准正态随机变量 $\xi_{pk} \sim \mathcal{N}(0, I)$，其通过 Cholesky 分解矩阵满足 $u_{pk} = \mu_p + L_p \xi_{pk}$。设计中选择直接将归一化的采样张量 $\Xi_k = \{\xi_{pk}\}_{p=1}^P$ 与 $y_n$ 共同传入编码网络，不仅确保反向传播梯度能够平滑穿透至全局诱导变量参数，更让输入在全阶段维持均匀覆盖的空间分布，为摊销映射提供了极佳的数值条件。

3. 双分支独立摊销编码网络：解耦变异尺度与稳定正方差映射 由于潜变量在流形优化中均值漂移尺度与后验不确定性方差的动态范围差异极大，若共用特征主干网络容易导致方差梯度被均值误差淹没。本文设计了两个拓扑独立的双隐层多层感知机（MLP）：均值分支 $h_\mu(y_n, \Xi_k)$ 负责预测潜中心 $\mu_{nk}$，对数方差分支 $h_\sigma(y_n, \Xi_k)$ 负责预测波动幅度 $\log \sigma_{nk}$。为了从数学上严格保证协方差矩阵的正定性并避免浮点下溢，潜变量协方差对角阵采用 Softplus 映射与数值保护底数构造： $$\Sigma_{nk} = \operatorname{diag}\big(\operatorname{softplus}(\log \sigma_{nk}) + \epsilon_{\min}\big)$$ 配合该参数化方案，每个样本在给定诱导状态采样下的后验高斯分布 $q(x_n|U_k) = \mathcal{N}(\mu_{nk}, \Sigma_{nk})$ 得以实时前向推断，彻底免除了传统非摊销推断在测试阶段需要针对新输入反复求解非凸优化的巨大开销。

4. 解析 $\psi$-统计量闭式推导与动态退火先验正则：确保快速收敛与解析期望 为了避免在连续潜在空间进行昂贵的高维蒙特卡洛积分，本文针对自动相关性判定（ARD）高斯核推导了条件潜变量分布下的解析 $\psi$-统计量。将局部期望展开为： $$\mathbb{E}_{q(x_n \mid U_k)}\big[(y_{np} - \mu_{npk}^f)^2 + \sigma_{npk}^f\big] = y_{np}^2 - 2 y_{np} \psi_{1n} K_{ZZ}^{-1} u_{pk} + u_{pk}^\top K_{ZZ}^{-1} \psi_{2n} K_{ZZ}^{-1} u_{pk} + \big(\psi_{0n} - \operatorname{tr}(K_{ZZ}^{-1} \psi_{2n})\big)$$ 其中 $\psi_{0n}, \psi_{1n}, \psi_{2n}$ 为高斯核关于高斯潜变量分布 $q(x_n|U_k)$ 的显式核期望积分，具备解析闭式解，使得每一步迭代只需要对外部诱导变量进行 $K$ 次微型采样。同时，针对复杂数据集（如 MNIST/Fashion-MNIST）初期潜变量编码器后验易发生方差塌缩的现象，引入了类似于 $\beta$-VAE 的退火正则项，在初期赋予先验 KL 惩罚系数 $\beta=10$，随后二次衰减至 $\beta=1$，确保全局流形拓扑在训练初期迅速拉伸并稳定对齐。

损失函数 / 训练策略¶

最终小批量随机变分优化目标（负证据下界近似值）定义为： $$\tilde{\mathcal{L}}_S = \frac{N}{K |\mathcal{I}|} \sum_{k=1}^K \sum_{n \in \mathcal{I}} \left[ \sum_{p=1}^P \mathcal{F}_{npk} - \beta D_{\mathrm{KL}}(q(x_n \mid U_k) \parallel p(x_n)) \right] - D_{\mathrm{KL}}(q(U) \parallel p(U))$$ 其中 $\mathcal{F}_{npk}$ 为单维度高斯似然解析期望。优化器采用 Adam，对于小型数据集（Oilflow, qPCR）设置潜维度 $Q=10$、诱导点数量 $M=32$、诱导采样数 $K=64$、批大小 32、学习率 $10^{-3}$，迭代训练 100,000 步；对于大型图像数据集（MNIST, Fashion-MNIST）设置 $M=64$、诱导采样数 $K=4$、批大小 32、隐藏层维度 $(512, 256)$、学习率 $10^{-4}$，迭代训练 200,000 步。

实验关键数据¶

主实验¶

在 4 个标准基准数据集（小规模 Oilflow、单细胞 qPCR，以及大规模图像 MNIST 和 Fashion-MNIST）上，将本文 A-S-GPLVM 与传统非摊销平均场（MF）、摊销平均场（A-MF）以及重要性加权变分方法（IWVI-GPLVM）进行了 5 次独立重复运行对比（均值 $\pm$ 标准差）：

数据集	模型	训练 RMSE ↓	测试 RMSE ↓	训练 NLPD ↓	测试 NLPD ↓	最终负 ELBO ↓
Oilflow	MF	0.0528 ± 0.0040	0.1581 ± 0.0088	-15.9416 ± 0.5589	28.5091 ± 4.6286	-5.2531 ± 0.2447
	A-MF	0.0460 ± 0.0045	0.0496 ± 0.0053	-14.8375 ± 0.5922	-14.3680 ± 0.9450	-4.8859 ± 0.2265
	IWVI-GPLVM	0.0343 ± 0.0025	0.0375 ± 0.0023	-17.8099 ± 0.7425	-17.4136 ± 0.4695	–
	A-S (本文)	0.0418 ± 0.0032	0.0479 ± 0.0028	-19.8808 ± 0.7041	-18.8218 ± 0.6210	-6.4527 ± 0.0449
qPCR	MF	0.4993 ± 0.0141	0.6018 ± 0.0405	36.1396 ± 1.0722	50.4384 ± 5.1887	46.9602 ± 0.2065
	A-MF	0.4795 ± 0.0109	0.5190 ± 0.0061	35.3542 ± 0.6533	38.7142 ± 0.8894	47.4945 ± 0.2714
	IWVI-GPLVM	0.4354 ± 0.0053	0.4731 ± 0.0175	32.4221 ± 0.4552	35.5986 ± 1.3582	–
	A-S (本文)	0.4282 ± 0.0047	0.4701 ± 0.0132	29.8229 ± 0.4723	33.5050 ± 1.2980	44.9380 ± 0.3163
MNIST	A-MF	0.1550 ± 0.0006	0.1568 ± 0.0003	-342.5288 ± 2.8080	-333.9984 ± 1.5725	-294.0345 ± 2.8327
	IWVI-GPLVM	0.1540 ± 0.0010	0.1581 ± 0.0011	-348.0312 ± 5.5166	-328.9493 ± 5.6709	–
	A-S (本文)	0.1515 ± 0.0001	0.1537 ± 0.0007	-359.8706 ± 2.1250	-348.4373 ± 3.0311	-306.3421 ± 1.0179
FMNIST	A-MF	0.1339 ± 0.0004	0.1342 ± 0.0006	-456.6282 ± 3.1032	-454.4614 ± 4.2266	-409.8799 ± 2.5766
	IWVI-GPLVM	0.1340 ± 0.0009	0.1380 ± 0.0011	-458.0779 ± 5.4105	-436.8031 ± 6.0015	–
	A-S (本文)	0.1294 ± 0.0003	0.1299 ± 0.0004	-484.1356 ± 1.8203	-481.3409 ± 2.7219	-425.9231 ± 1.0856

同时，针对连续分级概率评分（CRPS，越低越好）与 95% 边际预测区间覆盖率（越接近 0.95 越好）评估预测分布校准质量：

数据集	模型	训练 CRPS ↓	测试 CRPS ↓	训练覆盖率 (目标: 0.95)	测试覆盖率 (目标: 0.95)
Oilflow	MF	0.0423 ± 0.0031	0.0832 ± 0.0114	0.9867 ± 0.0026	0.9385 ± 0.0191
	A-MF	0.0400 ± 0.0020	0.0416 ± 0.0030	0.9912 ± 0.0045	0.9862 ± 0.0074
	IWVI-GPLVM	0.0238 ± 0.0020	0.0251 ± 0.0015	0.9979 ± 0.0006	0.9954 ± 0.0026
	A-S (本文)	0.0247 ± 0.0021	0.0274 ± 0.0021	0.9863 ± 0.0019	0.9705 ± 0.0097
qPCR	MF	0.3454 ± 0.0061	0.4077 ± 0.0165	0.9587 ± 0.0024	0.9383 ± 0.0116
	A-MF	0.3364 ± 0.0031	0.3573 ± 0.0089	0.9650 ± 0.0020	0.9477 ± 0.0076
	IWVI-GPLVM	0.2459 ± 0.0030	0.2613 ± 0.0049	0.9763 ± 0.0005	0.9689 ± 0.0047
	A-S (本文)	0.2381 ± 0.0015	0.2558 ± 0.0079	0.9686 ± 0.0007	0.9589 ± 0.0056
MNIST	A-MF	0.1007 ± 0.0001	0.1016 ± 0.0001	0.9269 ± 0.0001	0.9247 ± 0.0004
	IWVI-GPLVM	0.1008 ± 0.0009	0.1024 ± 0.0010	0.9314 ± 0.0008	0.9272 ± 0.0008
	A-S (本文)	0.0978 ± 0.0001	0.0989 ± 0.0002	0.9270 ± 0.0002	0.9248 ± 0.0004
FMNIST	A-MF	0.0889 ± 0.0001	0.0890 ± 0.0002	0.9330 ± 0.0001	0.9324 ± 0.0004
	IWVI-GPLVM	0.0898 ± 0.0008	0.0916 ± 0.0005	0.9371 ± 0.0008	0.9321 ± 0.0027
	A-S (本文)	0.0859 ± 0.0003	0.0861 ± 0.0001	0.9337 ± 0.0002	0.9333 ± 0.0007

消融实验与开销分析¶

针对网络容量、诱导点数量与计算显存开销进行定量测试：

评估维度 / 配置	关键指标	说明
编码器宽度消融 ([16,8] 到 [256,128])	概率指标持续占优	A-S-GPLVM 在各隐藏层宽度下 NLPD 和 ELBO 均系统性优于 A-MF，即使极小编码器的 A-S 表现亦优于大容量 A-MF，证实增益来源于后验依赖结构而非参数量
诱导点数量 $M$ (16 vs 32 vs 64)	$M=32$ 下超越双倍诱导点的 A-MF	A-S-GPLVM 性能随 $M$ 提升而增强，用 32 个诱导点即达到甚至超过 A-MF 在 64 个诱导点下的精度表现
诱导采样数 $K$ (4 vs 64)	大 $K$ 显著降低梯度方差	增加 $K$ 稳步降低测试 NLPD；当受显存限制使用小 $K=4$ 时，将学习率微调至 $3 \times 10^{-4}$ 可完全平抑方差波动
硬件运行耗时与显存开销 (Oilflow, 100步)	时间 8.36s vs 5.03s；显存 598.7MB vs 29.0MB	A-S 计算开销仅增加约 1.66×，但因需并行存储 $K$ 份蒙特卡洛中间计算图，显存峰值增加约 20 倍

关键发现¶

概率质量显著提升而点估计差异解耦：双样本 Welch's t 检验显示（Table 3），在 Oilflow 上 A-S-GPLVM 相对 A-MF 在 NLPD 和 ELBO 上提升极显著（$p < 10^{-3}$），而 RMSE 差异不显著（$p = 0.55$）。这定量揭示了结构化后验的首要价值在于精准刻画预测概率质量与不确定性，而非单纯平移后验均值。
流形外认识不确定性迅速攀升：沿信息量最丰富潜维度的切片分析表明（Figure 5/10），平均场模型在远离数据支撑区（$|x| > 2$）时 GP 预测不确定性扩散极其平缓，而 A-S-GPLVM 的预测方差迅速外扩，精准反映了“模型不知道自己不知道”的流形外认识边界。
高阶语义分离与流形紧致性：在 Fashion-MNIST 潜空间投影中（Figure 3），A-S-GPLVM 自动将鞋类（凉鞋/运动鞋/短靴）与服装（长裤/连衣裙）沿着紧致的新月形流形分离，类间空白分界极为清晰，展现出远强于平均场模型的无监督语义解耦能力。

亮点与洞察¶

将 SSVI 优雅注入高斯过程潜变量体系：巧妙利用 $q(X|U)q(U)$ 拓扑对齐局部与全局因变量的贝叶斯依赖，既消除了平均场模型的方差低估病态，又严格守住了小批量 SVI 的线性扩展优势。
白化噪声输入抵御后期表征坍缩：直接将重参数化变量 $\Xi_k$ 而非诱导后验样本 $U_k$ 输入摊销网络，这一构思巧妙地解决了贝叶斯推断后期后验高度集中导致编码器输入退化的数值顽疾。
对贝叶斯优化流形传递的范式迁移潜力：认识不确定性随离群距离快速增长的特性，可直接迁移至高维受限分子设计或多目标贝叶斯优化（MOBO）中的数据流形共享，避免算法向无支撑区域产生虚假自信探索。

局限与展望¶

显存占用开销较为沉重：每个数据批次需要并行复制 $K$ 组诱导点状态的前向图，使峰值 GPU 显存相比平均场激增数十倍，对超大规模高维观测数据构成瓶颈。
后验高斯假设仍具约束：条件分布 $q(x_n|U)$ 目前仍采用对角高斯分布假设，且多输出 GP 诱导变量维度间假定独立，尚未完全逼近任意复杂的非对称或多峰真实后验。
未来方向：探索引入重要性采样或自适应拟蒙特卡洛抽样以缩减诱导采样数 $K$，并将具有精确流形不确定性的 A-S-GPLVM 推广至生物诊断分子序列的主动迁移探索等下游高价值场景。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次将结构化随机变分推断成功适配至高斯过程潜变量流形学习，打破了长达十余年的平均场独立性枷锁。
实验充分度: ⭐⭐⭐⭐☆ 覆盖 4 个基准数据集、提供多指标假设检验检验（Welch's t-test）、消融图表与显存耗时评估。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严密清晰，从变分下界到 $\psi$-统计量闭式推导一脉相承，动机阐述切中要害。
价值: ⭐⭐⭐⭐☆ 为基于不确定性感知的流形学习、化学分子逆向生成及高维贝叶斯优化提供了极具实用价值的概率基础。