Symmetry Guarantees Statistic Recovery in Variational Inference¶

会议: NeurIPS 2026
arXiv: 2604.18310
OpenReview: https://openreview.net/forum?id=ZDvmwsQZ73
论文: https://arxiv.org/abs/2604.18310
代码: 待开源
领域: 优化/理论
关键词: 变分推断、群对称性、统计量恢复、f-散度、方向统计学

一句话总结¶

本文建立了变分推断中基于对称性的统计量恢复通用理论，证明当目标分布关于变换群不变且变分族关于该群稳定时，唯一变分极小值点必继承对称性并落入统计量不动点集，不仅统一了解释位置-尺度族下的均值与协方差恢复，还首次为超球面 von Mises–Fisher 族导出了对称轴方向恢复保证及相变临界阈值。

研究背景与动机¶

变分推断（Variational Inference, VI）通过将后验推断重构为可解分布族上的散度极小化问题，在大规模贝叶斯计算与机器学习中取得了巨大成功。然而，变分推断的核心理论短板在于模型误设定（model misspecification）——在复杂实际任务中，先验与似然构成的真实后验分布往往高度多模或具有强非线性依赖，预设的变分分布族（如高斯分布或平均场平均分解族）通常无法包含真实目标。此时，经验观察与数值实验却屡次发现，变分极小值点仍能极其精确地捕获真实分布的某些关键特征（例如中心均值或主成分方向），但传统非渐近误差界在严苛误设定下往往平凡发散，无法从理论上解释这一现象背后的必然性。

近期研究（如 Margossian & Saul 2025a, 2025b）开始注意到对称性在这一反常现象中所起到的关键保护作用：当目标分布与变分族同时具备偶对称性或椭球对称性时，位置-尺度族下的逆 KL 散度极小值点能够无视误设定误差精确恢复均值，并在常数尺度内恢复协方差矩阵。然而，这些既有证明高度依赖欧氏空间具体的连续概率密度函数形式、显式仿射坐标变换以及特定的位置-尺度参数化形式，既无法泛化到非欧几何流形（如球面或定向统计学空间），也无法推广至更一般的非对称散度族。研究者无法回答更本质的问题：究竟在何种普遍数学机制下，对称性能强制变分极小值点精确恢复特定统计量？

本文突破了对具体分布族与欧氏测度的依赖，从可测自同构群（Automorphism Group）作用于概率测度空间的测度论视角切入，揭示了对称性在散度优化动力学中逐级传递并固定统计量的本质规律。核心 idea：利用通用 f-散度在可测同构推前变换下的全等不变性，证明当目标分布不变且变分族封闭时散度目标在群轨道上取常数值，从而迫使唯一的变分最优解完全继承目标的群不变性，并将其唯一约束在统计量诱导变换的不动点集中。

方法详解¶

整体框架¶

本文构建了一个从测度空间群作用、到变分优化极小值点、再到可识别统计量不动点集的完整传递理论。给定可测空间 $(\mathcal{X}, \mathcal{B})$ 及其概率测度集 $\mathcal{P}$，变分推断旨在最小化目标测度 $\mathbb{P} \in \mathcal{P}$ 与变分族 $\mathcal{Q} \subseteq \mathcal{P}$ 之间的通用 $f$-散度 $\mathcal{D}_f(\mathbb{P}\|\mathbb{Q})$。当引入可测自同构子群 $\mathcal{G} \leq \mathrm{Aut}(\mathcal{X}, \mathcal{B})$ 时，整个推断流程通过以下三个代数与几何层面的结构性条件相互咬合：

目标不变性：目标测度 $\mathbb{P}$ 在群作用推前变换下满足 $g_\# \mathbb{P} = \mathbb{P}, \forall g \in \mathcal{G}$；
变分族稳定性：变分族 $\mathcal{Q}$ 在群作用下封闭，即 $g_\# \mathcal{Q} \subseteq \mathcal{Q}, \forall g \in \mathcal{G}$；
统计量相容性：统计量映射 $S: \operatorname{dom}(S) \to \mathcal{Y}$ 的定义域稳定，且满足等价关系传递条件 $S(\pi_1) = S(\pi_2) \implies S(g_\# \pi_1) = S(g_\# \pi_2)$。

该框架不仅涵盖了经典欧氏空间的均值与协方差推断，还能直接推广到单位超球面 $\mathcal{S}^{d-1}$ 上的定向统计学推断。其核心信息流与理论传递机制如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["目标测度与对称变换群<br/>(P 在 G 下不变, Q 在 G 下封闭)"] --> B["测度推前不变性与极小值继承<br/>f-散度沿轨道恒定且解唯一"]
    B --> C["统计量相容映射与不动点集<br/>诱导商空间映射并确定解空间"]
    C --> D["特定几何流形实例化求解<br/>位置-尺度族与超球面 vMF 族"]

关键设计¶

1. 测度推前不变性与极小值继承：散度在群轨道上的守恒律

该设计旨在解决传统证明对显式积分形式与概率密度的严重依赖。作者首先在测度论层面证明了广义 $f$-散度的联合推前同构不变性：对任意概率测度 $\mathbb{P}, \mathbb{Q}$ 及可测自同构 $g \in \mathrm{Aut}(\mathcal{X}, \mathcal{B})$，恒有 $\mathcal{D}_f(g_\# \mathbb{P} \| g_\# \mathbb{Q}) = \mathcal{D}_f(\mathbb{P} \| \mathbb{Q})$。结合目标分布的 $\mathcal{G}$-不变性 $g_\# \mathbb{P} = \mathbb{P}$，可直接推得对于任意变分候选 $\mathbb{Q} \in \mathcal{Q}$，变分优化目标在群轨道上保持严格恒定： $$\mathcal{D}_f(\mathbb{P} \| g_\# \mathbb{Q}) = \mathcal{D}_f(g_\# \mathbb{P} \| g_\# \mathbb{Q}) = \mathcal{D}_f(\mathbb{P} \| \mathbb{Q})$$ 因为变分族 $\mathcal{Q}$ 在 $\mathcal{G}$ 作用下封闭（$g_\# \mathcal{Q} \subseteq \mathcal{Q}$），极小值点集 $\mathcal{Q}^\star$ 必然关于 $\mathcal{G}$ 稳定。由此得到一个决定性的理论推论：只要变分优化问题的极小值点唯一（即 $\mathcal{Q}^\star = \{\mathbb{Q}^\star\}$），则该极小值分布必须无条件继承目标分布的对称性，即对所有 $g \in \mathcal{G}$ 均有 $g_\# \mathbb{Q}^\star = \mathbb{Q}^\star$。该性质完全独立于模型是否误设定以及采用了何种特定的 $f$-散度。

2. 统计量相容映射与不动点集：将测度对称性提升至统计量精确恢复

仅证明分布本身的对称性尚不足以保证具体数值统计量的恢复。为此，作者形式化了统计量 $S: \mathcal{P} \rightharpoonup \mathcal{Y}$ 的相容性条件，要求其定义域 $\operatorname{dom}(S)$ 稳定，并且当两个分布的统计量相同时，其推前测度后的统计量依然一致。这一条件确保了对于任意 $g \in \mathcal{G}$，可在统计量值域 $\operatorname{Im}(S)$ 上良定义诱导映射 $\rho_g: \operatorname{Im}(S) \to \operatorname{Im}(S)$，满足 $\rho_g(S(\pi)) = S(g_\# \pi)$。

由此，对称性对统计量取值的约束被完全刻画在其不动点集（Fixed Set）中： $$\Gamma_S(\mathcal{G}) \coloneqq \left\{ y \in \operatorname{Im}(S) \;\middle|\; \rho_g(y) = y, \quad \forall g \in \mathcal{G} \right\}$$ 定理 3.1（统计量恢复主定理）确立：在上述三个条件满足且极小值点唯一的普遍假设下，目标真实统计量与变分估计统计量必然同时落入不动点集：$S(\mathbb{P}), S(\mathbb{Q}^\star) \in \Gamma_S(\mathcal{G})$。当该不动点集退化为单元素集合（Singleton）时，即实现了统计量的无偏精确恢复（$S(\mathbb{Q}^\star) = S(\mathbb{P})$）；若不动点集为低维流形（如一维射线），则保证其在特定自由度下（如常数缩放）实现部分精确恢复。

3. 特定几何流形实例化求解：从欧氏位置-尺度族到球面上 vMF 族

为了展示理论框架的普适性与建设性，作者系统推导了三类代表性结构的具体实现： - 欧氏偶对称性与均值恢复：针对关于 $m \in \mathbb{R}^d$ 偶对称的目标 $\mathbb{P}$ 与基分布关于原点对称的位置-尺度族 $\mathcal{Q}$，作用群为反射群 $\mathcal{G} = \{e, r_m\}$（其中 $r_m(x) = 2m - x$）。均值映射满足 $\rho_{r_m}(x) = 2m - x$，其不动点集为方程 $2m - x = x$ 的解集，即单点集 $\Gamma_\mu(\mathcal{G}) = \{m\}$，因而保证 $\mu(\mathbb{Q}^\star) = \mu(\mathbb{P}) = m$。 - 欧氏椭球对称性与协方差/相关系数恢复：群结构为椭球旋转群 $\mathcal{G} = \{g_R(x) = m + M^{1/2}R M^{-1/2}(x - m) \mid R \in \mathrm{O}(d)\}$。协方差诱导变换为 $\rho_{g_R}(V) = A_R V A_R^\top$。其对称正定矩阵不动点集为单参数射线 $\Gamma_\Sigma(\mathcal{G}) = \{\lambda M \mid \lambda > 0\}$。因此变分极小解精确恢复真实形状矩阵并与真协方差成正比，归一化后使得相关系数矩阵 $\rho(\mathbb{Q}^\star) = \rho(\mathbb{P})$ 达到严格精确恢复。 - 超球面旋转对称性与轴统计量恢复：对定义在 $\mathcal{S}^{d-1}$（$d \ge 3$）上关于轴向 $u$ 旋转对称的目标 $\mathbb{P}$，其密度满足 $f_\mathbb{P}(x) = \psi(u^\top x)$。群为保持 $u$ 不动的旋转群 $\mathrm{SO}(d)_u$。由于分布关于 $\pm u$ 轴向退化对称，统计量空间取实射影空间中穿过原点的直线 $\mathbb{R}P^{d-1}$，即轴向统计量 $\mathcal{A}(\pi) = \operatorname{span}(w)$。诱导不动点集恰为单点集 $\Gamma_\mathcal{A}(\mathcal{G}) = \{\operatorname{span}(u)\}$。选用在球面上关于该旋转群封闭的 von Mises–Fisher (vMF) 分布族 $\mathcal{Q} = \{\mathbb{Q}_{\nu, \kappa}\}$，即可保证唯一变分最优解恢复真轴：$\mathcal{A}(\mathbb{Q}_{\nu^\star, \kappa^\star}) = \operatorname{span}(u)$。

损失函数 / 训练策略¶

优化目标为任意凸生成元 $f: \mathbb{R}_{>0} \to \mathbb{R}$（满足 $f(1) = 0$）所定义的广义 $f$-散度： $$\mathcal{D}_f(\mathbb{P}\|\mathbb{Q}) = \int_{\{q>0\}} q \, f\left(\frac{p}{q}\right) d\mu + f'(\infty)\mathbb{P}(\{q=0\})$$ 这涵盖了机器学习中最常用的逆 KL 散度（$\tilde{f}(t) = -\log t$）、前向 KL 散度（$f(t) = t \log t$）、$\chi^2$-散度（$f(t) = (t-1)^2$）及平方 Hellinger 距离（$f(t) = (1-\sqrt{t})^2$）。在参数化变分族 $\mathcal{Q} = \{\phi(\theta) \mid \theta \in \Theta\}$ 中，只要参数空间的目标函数具备严格局部凸性或单峰性以确保参数唯一性，上述对称性恢复定理在任意一阶黑盒变分推断（BBVI）、随机变分推断（SVI）或自动微分变分推断（ADVI）算法下均严格成立。

实验关键数据¶

主实验¶

为了验证理论推导的完备性与跨几何流形泛化能力，论文在三类完全不同的对称性环境、统计量目标及变分分布族下进行了严格的对比与恢复检验，验证结果如下表所示：

对称性类别	空间流形 $\mathcal{X}$	目标真实结构 $\mathbb{P}$	变分分布族 $\mathcal{Q}$	目标统计量 $S$	不动点集 $\Gamma_S(\mathcal{G})$	恢复保证级别	实验/解析验证结论
偶对称	$\mathbb{R}^d$	任意关于 $m$ 偶对称的非高斯/多峰测度	高斯/拉普拉斯位置-尺度族	均值 $\mu \in \mathbb{R}^d$	$\{m\}$（单点集）	严格精确恢复	$\mu(\mathbb{Q}^\star) = m$，误差达机器精度零偏差
椭球对称	$\mathbb{R}^d$	任意关于 $(m, M)$ 椭球对称且非高斯分布	高斯位置-尺度族	协方差 $\Sigma \in \mathcal{S}_+^d$	$\{\lambda M \mid \lambda > 0\}$（单参数射线）	尺度等价恢复	$\Sigma(\mathbb{Q}^\star) = b M \propto \Sigma(\mathbb{P})$，主轴基方向完全对齐
椭球对称	$\mathbb{R}^d$	任意关于 $(m, M)$ 椭球对称且有限二阶矩	高斯位置-尺度族	相关矩阵 $\rho \in \mathcal{C}_+^d$	$\{\operatorname{diag}(M)^{-\frac{1}{2}} M \operatorname{diag}(M)^{-\frac{1}{2}}\}$	严格精确恢复	尺度常数完全对消，$\rho(\mathbb{Q}^\star) = \rho(\mathbb{P})$ 恒等成立
旋转对称	超球面 $\mathcal{S}^{d-1}$	非均匀非 vMF 目标 $e^{\lambda u^\top x - \eta (u^\top x)^2}$	von Mises–Fisher 族 ($\nu, \kappa$)	对称轴 $\mathcal{A} \in \mathbb{R}P^{d-1}$	$\{\operatorname{span}(u)\}$（单点集）	严格精确恢复	当 $\eta \le \eta_c$ 时极小解唯一，$\mathcal{A}(\mathbb{Q}^\star) = \operatorname{span}(u)$

消融实验¶

论文设计了极具代表性的反例与消融剖析，旨在检验“极小值点唯一性”这一前提假设失效时理论恢复保证的边界。在 $\mathcal{S}^2$ 超球面上取非线性轴向剖面目标 $f_{\mathbb{P}_{\lambda, \eta}}(x) \propto \exp(\lambda u^\top x - \eta (u^\top x)^2)$，采用固定浓度 $\kappa_0=2.5$、偏置系数 $\lambda=1.0$ 的 vMF 分布族进行逆 KL 变分推断。通过变分一维标量二次约化，推导出的临界相变阈值为： $$\eta_c(3, 1.0, 2.5) = \frac{\lambda \kappa_0 (\kappa_0 \coth \kappa_0 - 1)}{2(\kappa_0^2 - 3\kappa_0 \coth \kappa_0 + 3)} \approx 1.1632$$ 针对不同二次惩罚系数 $\eta$ 进行的相变测试结果如下表：

实验配置 ($\eta$ 取值)	状态机制与条件判定	变分极小值解集 $\operatorname{argmin}_\nu \mathcal{L}(\nu)$	投影内积 $u^\top \nu^\star$	极小解几何流形结构	轴统计量恢复状态 $\mathcal{A}(\mathbb{Q}^\star) = \operatorname{span}(u)$
$\eta = 0.50$	$\eta < \eta_c$ (处于亚临界区)	唯一单点解 $\nu^\star = u$	$1.0000$	孤立极小点 (0 维)	成功恢复 (理论保证区间)
$\eta = 1.00$	$\eta < \eta_c$ (临界区前沿)	唯一单点解 $\nu^\star = u$	$1.0000$	孤立极小点 (0 维)	成功恢复 (逆 KL 轮廓单峰对齐)
$\eta = \eta_c \approx 1.1632$	$\eta = \eta_c$ (相变分支分岔点)	临界单点解 $\nu^\star = u$	$1.0000$	临界极值退化点	成功恢复 (理论极值边界点)
$\eta = 1.50$	$\eta > \eta_c$ (进入超临界区)	非唯一样条圆环	$c^\star \approx 0.7755$	纬度圆环 $S^1$ (1 维流形)	恢复失败 (所有极小解均偏离主轴)
$\eta = 2.00$	$\eta > \eta_c$ (深度多模态区)	非唯一样条圆环	$c^\star \approx 0.5816$	纬度圆环 $S^1$ (1 维流形)	恢复失败 (数值优化停于纬度环随机点)
$\eta = 3.00$	$\eta \gg \eta_c$ (极度多峰/赤道塌缩)	非唯一样条圆环	$c^\star \approx 0.3877$	纬度圆环 $S^1$ (1 维流形)	恢复失败 (对称性破缺导致主轴信息遗失)

关键发现¶

唯一性是统计量恢复的充要分水岭：当二次惩罚项较弱（$\eta \le \eta_c$）时，目标函数的凸约束极小值点严格停留在边界端点 $c = 1$，使得极小值点唯一保持在对称轴极点 $u$；一旦 $\eta > \eta_c$，无约束极小点落入开区间 $(-1, 1)$ 内，极小值解集瞬间分岔为连续的同纬度圆环，任何单个收敛解均破坏对称轴对齐。
目标分布的非高斯多峰性并不阻碍对称恢复：哪怕目标分布在远离中心的区域呈现复杂的非单峰波动或多重子模态，只要其整体测度满足全局群旋转或偶变换不变性，且变分优化能维持单极小点，VI 就能实现对均值或主轴的零误差恢复。

亮点与洞察¶

将代数群不变性与变分优化极小值点解耦闭环：论文跳出了在变分密度积分内部硬凑导数方程的旧思路，利用 $f$-散度在同构推前变换下的全等守恒性直接锁定最优解的群不变性，数学结构极为优美纯粹。
为非欧流形变分推断建立了首个可迁移理论样板：首次将对称性驱动的统计量恢复理论拓展到定向统计学与超球面流形，并利用紧致李群 $\mathrm{SO}(d)$ 的极大连通闭子群性质，彻底解决了轴向空间 $\mathbb{R}P^{d-1}$ 上的良定义与唯一性判定。
可复用的模块化证明范式：提出的“群不变性 $\implies$ 变分族封闭 $\implies$ 极小解唯一继承 $\implies$ 不动点集求交”四步法，为未来推导图神经网络、黎曼流形推断或矩阵流形上的不变性推断提供了标准化研究模板。

局限与展望¶

充分条件尚非必要条件：作者明确指出条件 (3) 仅为充分条件。例如相关矩阵由于其定义域并非在群作用下自动稳定，直接检验条件 (3) 会失败，但通过协方差的中间过渡依然能间接获得恢复保证，完全充要条件仍有待建立。
严格对称假设在复杂真实数据中较为脆弱：现实贝叶斯模型中真实后验往往仅具有“近似对称性”（如轻微偏斜或局部扰动），在此类微小破缺下统计量恢复误差如何受摄动控制，当前理论尚未给出定量的扰动上界。
极小值唯一性的理论判定难度较高：虽然理论建立在唯一解前提下，但在高度非凸的复杂变分族（如混合模型或隐变量深度生成模型）中，显式验证极小值点唯一性在计算上极具挑战。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立变分推断对称性传递的统一抽象理论，开创性拓展至超球面流形。
实验充分度: ⭐⭐⭐⭐☆ 作为纯理论工作，包含了详尽的测度论证明、反例分析、显式相变阈值推导与数值模拟验证。
写作质量: ⭐⭐⭐⭐⭐ 概念抽象层次极高却论述严密清晰，由浅入深，数学符号体系规范统一。
价值: ⭐⭐⭐⭐⭐ 为解释变分推断在误设定下的优异经验表现奠定了坚实理论基石，具有重要指导意义。

对称性类别	空间流形 \(\mathcal{X}\)	目标真实结构 \(\mathbb{P}\)	变分分布族 \(\mathcal{Q}\)	目标统计量 \(S\)	不动点集 \(\Gamma_S(\mathcal{G})\)	恢复保证级别	实验/解析验证结论
偶对称	\(\mathbb{R}^d\)	任意关于 \(m\) 偶对称的非高斯/多峰测度	高斯/拉普拉斯位置-尺度族	均值 \(\mu \in \mathbb{R}^d\)	\(\{m\}\)（单点集）	严格精确恢复	\(\mu(\mathbb{Q}^\star) = m\)，误差达机器精度零偏差
椭球对称	\(\mathbb{R}^d\)	任意关于 \((m, M)\) 椭球对称且非高斯分布	高斯位置-尺度族	协方差 \(\Sigma \in \mathcal{S}_+^d\)	\(\{\lambda M \mid \lambda > 0\}\)（单参数射线）	尺度等价恢复	\(\Sigma(\mathbb{Q}^\star) = b M \propto \Sigma(\mathbb{P})\)，主轴基方向完全对齐
椭球对称	\(\mathbb{R}^d\)	任意关于 \((m, M)\) 椭球对称且有限二阶矩	高斯位置-尺度族	相关矩阵 \(\rho \in \mathcal{C}_+^d\)	\(\{\operatorname{diag}(M)^{-\frac{1}{2}} M \operatorname{diag}(M)^{-\frac{1}{2}}\}\)	严格精确恢复	尺度常数完全对消，\(\rho(\mathbb{Q}^\star) = \rho(\mathbb{P})\) 恒等成立
旋转对称	超球面 \(\mathcal{S}^{d-1}\)	非均匀非 vMF 目标 \(e^{\lambda u^\top x - \eta (u^\top x)^2}\)	von Mises–Fisher 族 (\(\nu, \kappa\))	对称轴 \(\mathcal{A} \in \mathbb{R}P^{d-1}\)	\(\{\operatorname{span}(u)\}\)（单点集）	严格精确恢复	当 \(\eta \le \eta_c\) 时极小解唯一，\(\mathcal{A}(\mathbb{Q}^\star) = \operatorname{span}(u)\)

实验配置 (\(\eta\) 取值)	状态机制与条件判定	变分极小值解集 \(\operatorname{argmin}_\nu \mathcal{L}(\nu)\)	投影内积 \(u^\top \nu^\star\)	极小解几何流形结构	轴统计量恢复状态 \(\mathcal{A}(\mathbb{Q}^\star) = \operatorname{span}(u)\)
\(\eta = 0.50\)	\(\eta < \eta_c\) (处于亚临界区)	唯一单点解 \(\nu^\star = u\)	\(1.0000\)	孤立极小点 (0 维)	成功恢复 (理论保证区间)
\(\eta = 1.00\)	\(\eta < \eta_c\) (临界区前沿)	唯一单点解 \(\nu^\star = u\)	\(1.0000\)	孤立极小点 (0 维)	成功恢复 (逆 KL 轮廓单峰对齐)
\(\eta = \eta_c \approx 1.1632\)	\(\eta = \eta_c\) (相变分支分岔点)	临界单点解 \(\nu^\star = u\)	\(1.0000\)	临界极值退化点	成功恢复 (理论极值边界点)
\(\eta = 1.50\)	\(\eta > \eta_c\) (进入超临界区)	非唯一样条圆环	\(c^\star \approx 0.7755\)	纬度圆环 \(S^1\) (1 维流形)	恢复失败 (所有极小解均偏离主轴)
\(\eta = 2.00\)	\(\eta > \eta_c\) (深度多模态区)	非唯一样条圆环	\(c^\star \approx 0.5816\)	纬度圆环 \(S^1\) (1 维流形)	恢复失败 (数值优化停于纬度环随机点)
\(\eta = 3.00\)	\(\eta \gg \eta_c\) (极度多峰/赤道塌缩)	非唯一样条圆环	\(c^\star \approx 0.3877\)	纬度圆环 \(S^1\) (1 维流形)	恢复失败 (对称性破缺导致主轴信息遗失)