The Bayesian Learning Rule Beyond KL Geometry¶

会议: NeurIPS 2026
arXiv: 2610.31308
OpenReview: https://openreview.net/forum?id=lQY2mQuDx9
领域: 其他
关键词: 贝叶斯学习法则, Fenchel-Young 差异, 信息几何, Tsallis 熵, q-高斯分布

一句话总结¶

本文通过引入混合空间 Bregman / Fenchel-Young 差异突破了传统贝叶斯学习法则（BLR）对 KL 几何与固定支撑集指数族的依赖，建立了包含参数依赖有界支撑和重尾分布的广义规范梯度加法更新框架，并推导出可扩展至现代神经网络的类牛顿优化器 q-VON。

研究背景与动机¶

从优化视角理解贝叶斯推断是近年来变分推断领域的核心研究方向之一：变分后验本质上是在观测损失与先验正则项之间寻求平衡。Khan 与 Rue 提出的贝叶斯学习法则（Bayesian Learning Rule, BLR）通过香农负熵、KL 散度几何以及指数族后验的内在对偶结构，导出了一套优美且计算高效的规范坐标加法更新范式，成功统一了大量经典优化与变分学习算法。然而，这种基于 KL 几何的构造具有本质局限性：KL 散度严格要求绝对连续性，一旦变分后验的支撑集依赖于参数或者超出先验支撑集，KL 散度便发散至无穷大，导致变分目标未定义；这使得自适应截断支撑或重尾形状的后验族无法被纳入传统 BLR 体系。

现有试图推广变分目标的研究通常采用 $f$-散度作为正则项。但信息几何与序列一致性理论表明，除了 KL 散度之外，$f$-散度无法将先验与后验之比分离为期望项与独立熵函数的线性差值，因而无法保持 BLR 特有的对偶空间自然加法累积性质，陷入了几何推广与计算可操作性不可兼得的核心矛盾。要使后验均值能够紧密贴合极大后验（MAP）解而不被外围高损失区域过度牵引，同时在更宽泛的分布族中维持简单的规范坐标迭代，亟须寻找一种超越 KL 散度却依然保持加法更新结构的几何基础。

本文的切入角度是跳出概率密度空间的单空间散度定义，转而在参考分数与概率密度的对偶配对空间中审视凸分析结构。核心 idea：利用混合空间 Bregman 散度（即 Fenchel-Young 差异）重新定义广义最大熵变分目标与对偶坐标系，不仅严格保全了 BLR 的规范梯度加法更新与对偶空间序列一致性，还成功将后验推断拓展至具备有界支撑和重尾特性的广义 q-高斯分布族。

方法详解¶

整体框架¶

本文的方法通过构建对偶得分与概率密度之间的 Fenchel-Young 差异（FYD）作为广义正则化项，将经典 Donsker-Varadhan 变分公式推广到任意真凸函数 $\Omega$。整体流程首先由参考分数族与凸势函数诱导有限维广义最大熵分布族及其对偶坐标对 $(\boldsymbol{\lambda}, \boldsymbol{\mu})$；接着在广义 Fisher 矩阵诱导的黎曼度量下推导正则化经验风险目标的规范梯度更新；最后在二次统计量与 Tsallis 负熵的实例化下，导出可直接替代 IVON 的类牛顿优化算法（q-VON / Student-t-VON）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["凸生成泛函与参考分数<br/>凸函数 Ω(π) + 线性分数 η_λ(θ)"] --> B["Fenchel-Young 差异与对偶势能<br/>建立共轭势能 Ψ*(λ) 与对偶坐标 (λ, μ)"]
    B --> C["广义最大熵族诱导<br/>极值解 π_λ 构成广义指数族/q-指数族"]
    C --> D["规范梯度步与广义 BLR<br/>求逆 Fisher 矩阵 F(λ)^-1 保持规范坐标加法更新"]
    D --> E["二次统计量与 Tsallis 实例化<br/>q<1 导出有界截断 q-VON，q>1 导出重尾 t-VON"]
    E --> F["输出：自适应后验均值 m 与尺度方差 σ^2"]

关键设计¶

1. Fenchel-Young 差异与对偶势能映射：打通非 KL 散度的加法分解瓶颈 针对 $f$-散度无法分离先验与后验期望的问题，本文引入作用于测度分数 $\eta$ 与概率密度 $\pi$ 之间的混合空间 Bregman 散度，即 Fenchel-Young 差异 $\mathbb{D}_{\Omega}(\eta, \pi) = \Omega^{*}(\eta) + \Omega(\pi) - \mathbb{E}_{\pi}[\eta(\boldsymbol{\theta})]$。当参考分数取自有限维线性统计量 $\eta_{\boldsymbol{\lambda}}(\boldsymbol{\theta}) = \langle\boldsymbol{\lambda}, \mathbf{T}(\boldsymbol{\theta})\rangle$ 时，约束极小化问题 $\Psi(\boldsymbol{\mu}) = \inf_{\pi} \Omega(\pi) \text{ s.t. } \mathbb{E}_{\pi}[\mathbf{T}(\boldsymbol{\theta})] = \boldsymbol{\mu}$ 定义了有限维凸势能 $\Psi(\boldsymbol{\mu})$，且其 Fenchel 共轭严格满足： $$\Psi^{*}(\boldsymbol{\lambda}) = \Omega^{*}(\eta_{\boldsymbol{\lambda}})$$ 这一构造将无限维测度空间的凸共轭投射到有限维规范参数 $\boldsymbol{\lambda}$ 与期望参数 $\boldsymbol{\mu} = \nabla_{\boldsymbol{\lambda}}\Psi^{*}(\boldsymbol{\lambda})$ 的 Legendre 对偶坐标系中，使得损失函数 $\ell(\boldsymbol{\theta})$ 对参考分数的倾斜（tilting）在对偶空间中天然满足加法结合律，恢复了对偶空间中的序列一致性。

2. 广义 BLR 规范梯度更新：从几何本质导出免求逆自然梯度迭代 为了在一般凸泛函 $\Omega$ 下实现与经典 BLR 相同的极简规范更新，本文定义广义 Fisher 信息矩阵为共轭势能的海森矩阵 $\mathbf{F}(\boldsymbol{\lambda}) := \nabla_{\boldsymbol{\lambda}}^{2}\Psi^{*}(\boldsymbol{\lambda})$。根据链式法则与 Legendre 对偶关系 $\nabla_{\boldsymbol{\mu}}\Psi(\boldsymbol{\mu}(\boldsymbol{\lambda})) = \boldsymbol{\lambda}$，广义规范梯度在对偶度量下出现精确抵消： $$\mathbf{F}(\boldsymbol{\lambda})^{-1}\nabla_{\boldsymbol{\lambda}}\left[\mathbb{E}_{\pi_{\boldsymbol{\lambda}}}[\ell(\boldsymbol{\theta})] + \mathbb{D}_{\Omega}(\eta_{\boldsymbol{\lambda}_{0}}, \pi_{\boldsymbol{\lambda}})\right] = \nabla_{\boldsymbol{\mu}}\mathbb{E}_{\pi_{\boldsymbol{\lambda}(\boldsymbol{\mu})}}[\bar{\ell}(\boldsymbol{\theta})]\Big|_{\boldsymbol{\mu}=\boldsymbol{\mu}(\boldsymbol{\lambda})} + \boldsymbol{\lambda}$$ 其中 $\bar{\ell}(\boldsymbol{\theta}) = \ell(\boldsymbol{\theta}) - \eta_{\boldsymbol{\lambda}_{0}}(\boldsymbol{\theta})$。由此得到的梯度下降步 $\boldsymbol{\lambda}_{t+1} \leftarrow \boldsymbol{\lambda}_{t} - \rho_{t}\mathbf{F}(\boldsymbol{\lambda}_{t})^{-1}\nabla_{\boldsymbol{\lambda}}(\cdots)$ 直接收敛为优雅的仿射加权更新：$\boldsymbol{\lambda}_{t+1} = (1-\rho_{t})\boldsymbol{\lambda}_{t} - \rho_{t}\nabla_{\boldsymbol{\mu}}\mathbb{E}_{\pi_{\boldsymbol{\lambda}(\boldsymbol{\mu})}}[\bar{\ell}(\boldsymbol{\theta})]\big|_{\boldsymbol{\mu}_{t}}$，在保留 BLR 结构的同时彻底解除了对 Shannon 负熵和固定全支撑域的依赖。

3. Tsallis 负熵与二次统计量实例化：导出可调支撑与尾部形状的类牛顿优化器 为了将理论转化为深度网络可实用的优化算法，本文选取 Tsallis 负熵 $\Omega_{2-q}$ 并配置二次充分统计量 $\mathbf{T}(\boldsymbol{\theta})^{\top} = (\boldsymbol{\theta}, \boldsymbol{\theta}\boldsymbol{\theta}^{\top})$，对应的规范参数化为 $\boldsymbol{\lambda}^{\top} = (\mathbf{S}\mathbf{m}, -\frac{1}{2}\mathbf{S})$。通过形变指数函数 $\exp_{q}(u) = [1+(1-q)u]_{+}^{1/(1-q)}$，推导出高维 q-高斯分布： - 当 $q < 1$ 时，诱导出 Pearson Type II 型的有界椭球支撑分布，其最大支撑半径 $R(q, D)$ 具有闭式形式，有效杜绝了高斯分布向高损失荒漠过度探索的问题； - 当 $q > 1$ 时，自由度 $\nu = \frac{2}{q-1} - D$ 诱导出重尾 Student-t 分布（Pearson Type VII），增强了对病态地形的跳出能力。结合 Bonnet-Price 恒等式的 $(2-q)$-伴随密度（escort distribution）重加权形式，海森矩阵更新转变为使用伴随分布采样的 Stein 估计量，进而形成了可在线运行的对角化梯度算法 q-VON。

损失函数 / 训练策略¶

变分优化求解的目标函数为正则化经验损失： $$\min_{\boldsymbol{\lambda} \in \Lambda} \mathbb{E}_{\boldsymbol{\theta} \sim \pi_{\boldsymbol{\lambda}}}[\ell(\boldsymbol{\theta})] + \mathbb{D}_{\Omega}(\eta_{\boldsymbol{\lambda}_{0}}, \pi_{\boldsymbol{\lambda}})$$ 在实用神经网络训练实现中（如 q-VON 与 Student-t-VON），采用类似 IVON 的对角经验 Fisher 预条件和动量更新策略： 1. 参数摄动采样：在每个迭代步 $t$，从当前后验中采样权重 $\boldsymbol{\theta} \sim \mathcal{N}_{q}(\mathbf{m}, \mathrm{diag}(\boldsymbol{\sigma}^{2}))$（对于 $q<1$）或 $\boldsymbol{\theta} \sim \mathcal{T}_{\nu}(\mathbf{m}, \mathrm{diag}(\boldsymbol{\sigma}^{2}))$（对于 $q>1$）。 2. 海森对角在线估计：利用摄动方向与随机梯度的乘积构造无偏 Stein 梯度估计：$\hat{\mathbf{h}} \leftarrow \kappa^{-1}\hat{\mathbf{g}} \cdot (\boldsymbol{\theta} - \mathbf{m}) / \boldsymbol{\sigma}^{2}$。 3. 动量平滑与阻尼步长：通过一阶动量 $\mathbf{g}$ 与二阶动量 $\mathbf{h}$ 平滑梯度和曲率，位置参数按照类牛顿步长进行更新：$\mathbf{m} \leftarrow \mathbf{m} - \rho_{t}(\mathbf{g} + \delta \mathbf{m}) / (\mathbf{h} + \delta)$，尺度向量 $\boldsymbol{\sigma}^{2}$ 随后根据对角精确映射公式闭式刷新。对于高维网络，还提出了逐参数一维独立处理的均值场变体（q-VON-MF），规避了高维协方差下 $q$ 必须极度贴近 1 的维数诅咒。

实验关键数据¶

主实验¶

论文在 CIFAR-10（ResNet-20，270k 参数）和 CIFAR-100（PreResNet-110，4M 参数）上系统评测了 q-VON 系列优化器与 SGD、变分 SGD（VSGD）以及精调的 IVON 基线。所有 q-VON 变体均直接复用 IVON 的官方超参数配置，未经额外调优。

数据集 / 模型	优化方法	准确率 Acc (%) (↑)	负对数似然 NLL (↓)	期望校准误差 ECE (%) (↓)	Brier 分数 (↓)	AUROC (%) (↑)
CIFAR-10 (ResNet-20)	SGD (MAP)	91.2 ± 0.1	0.292 ± 0.001	3.7 ± 0.1	0.133 ± 0.001	91.9 ± 0.1
CIFAR-10 (ResNet-20)	VSGD	91.9 ± 0.0	0.310 ± 0.005	4.5 ± 0.1	0.127 ± 0.001	92.1 ± 0.1
CIFAR-10 (ResNet-20)	IVON (Gaussian BLR)	92.4 ± 0.1	0.259 ± 0.006	3.5 ± 0.2	0.117 ± 0.002	92.4 ± 0.0
CIFAR-10 (ResNet-20)	IVON (+ sampling)	92.6 ± 0.1	0.221 ± 0.003	0.8 ± 0.1	0.109 ± 0.002	92.6 ± 0.1
CIFAR-10 (ResNet-20)	q-VON ($q<1$)	92.3 ± 0.2	0.271 ± 0.008	3.9 ± 0.2	0.119 ± 0.003	92.6 ± 0.2
CIFAR-10 (ResNet-20)	q-VON ($q<1$, + sampling)	92.4 ± 0.2	0.243 ± 0.006	2.6 ± 0.2	0.113 ± 0.003	92.7 ± 0.2
CIFAR-10 (ResNet-20)	q-VON-MF ($q>1$)	92.4 ± 0.0	0.270 ± 0.003	3.8 ± 0.1	0.118 ± 0.001	92.5 ± 0.2
CIFAR-10 (ResNet-20)	q-VON-MF ($q>1$, + sampling)	92.5 ± 0.0	0.229 ± 0.002	1.5 ± 0.1	0.110 ± 0.001	92.7 ± 0.1
CIFAR-100 (PreResNet-110)	SGD (MAP)	73.0 ± 0.2	1.270 ± 0.009	14.1 ± 0.1	0.410 ± 0.002	86.1 ± 0.1
CIFAR-100 (PreResNet-110)	VSGD	73.8 ± 0.2	1.319 ± 0.009	15.5 ± 0.2	0.410 ± 0.003	86.1 ± 0.1
CIFAR-100 (PreResNet-110)	IVON	75.1 ± 0.3	1.150 ± 0.012	13.8 ± 0.3	0.382 ± 0.004	86.8 ± 0.2
CIFAR-100 (PreResNet-110)	IVON (+ sampling)	75.7 ± 0.2	0.880 ± 0.006	2.9 ± 0.2	0.336 ± 0.003	87.0 ± 0.2
CIFAR-100 (PreResNet-110)	q-VON ($q<1$)	74.6 ± 0.2	1.216 ± 0.008	14.0 ± 0.1	0.391 ± 0.002	86.3 ± 0.1
CIFAR-100 (PreResNet-110)	q-VON-MF ($q>1$)	74.9 ± 0.1	1.204 ± 0.008	14.4 ± 0.1	0.389 ± 0.002	86.7 ± 0.1
CIFAR-100 (PreResNet-110)	q-VON-MF ($q>1$, + sampling)	75.4 ± 0.1	0.930 ± 0.005	5.6 ± 0.1	0.344 ± 0.001	87.1 ± 0.1

消融实验¶

在 MNIST（MLP，550k 参数）上对比不同后验支撑和尾部特性（有界支撑 $q<1$ vs 重尾 $q>1$、全协方差 vs 均值场 MF）对模型泛化与校准表现的影响：

配置	准确率 Acc (%) (↑)	测试损失 Test Loss (↓)	期望校准误差 ECE (%) (↓)	Brier 分数 (↓)	AUROC (%) (↑)	说明
SGD (MAP)	98.69 ± 0.01	0.043 ± 0.000	0.37 ± 0.02	0.020 ± 0.000	97.87 ± 0.07	确定性点估计基线
IVON (Gaussian)	98.74 ± 0.02	0.048 ± 0.001	0.60 ± 0.02	0.020 ± 0.000	97.52 ± 0.10	经典高斯后验优化器
q-VSGD ($q<1$)	98.62 ± 0.02	0.045 ± 0.001	0.46 ± 0.01	0.021 ± 0.000	97.94 ± 0.06	仅噪声注入（无后验尺度学习）
q-VON ($q<1$)	98.69 ± 0.02	0.042 ± 0.000	0.40 ± 0.03	0.020 ± 0.000	98.04 ± 0.05	有界支撑后验，校准与分布外检测优秀
q-VON ($q>1$)	98.81 ± 0.03	0.043 ± 0.000	0.60 ± 0.01	0.019 ± 0.000	97.84 ± 0.11	重尾后验，泛化准确率最高
q-VON ($q>1$, + sampling)	98.76 ± 0.02	0.042 ± 0.000	0.85 ± 0.01	0.020 ± 0.000	98.05 ± 0.09	采样预测集成后综合表现最优
q-VON-MF ($q<1$)	98.66 ± 0.03	0.052 ± 0.001	0.60 ± 0.02	0.021 ± 0.000	97.19 ± 0.16	均值场截断，防维度崩溃
q-VON-MF ($q>1$)	98.76 ± 0.02	0.049 ± 0.001	0.59 ± 0.02	0.020 ± 0.000	97.14 ± 0.07	均值场重尾，保持较好准确率

关键发现¶

后验尾部与支撑特性的功能解耦：重尾分布（$q>1$ 的 Student-t）能够更好地逃离局部极小值，获得最高的分类准确率（MNIST 98.81%）；而截断有界支撑分布（$q<1$）有效避免了在复杂边界外采样高损失区域，使均值更紧密地贴近真实 MAP 解，带来了显著更好的不确定性校准指标（较低的 ECE）与更强的分布外检测 AUROC。
均值场 MF 在高维网络下的关键作用：在全维度下，有限协方差要求重尾分布的参数 $q$ 随着维度增加而强制趋向于 1；而通过构造解耦的 1D Tsallis 负熵总和（q-VON-MF），成功消除了高维维数对 $q$ 取值的束缚，使得在 CIFAR 规模的深层卷积网络上依然能够自由注入重尾或有界非高斯先验。
与 IVON 的即插即用竞争性：q-VON 在代码层面上仅需对 IVON 修改扰动采样分布与常数修正，在未进行任何超参数专门微调的前提下，在 CIFAR-10/100 上全面匹敌甚至在分布外检测指标（AUROC 92.7% / 87.1%）上略微胜出经过精细打磨的 IVON。

亮点与洞察¶

打破“只有 KL 散度能产生加法更新”的固有认知：以往基于 $f$-散度的文献普遍认为只有 KL 能与贝叶斯共轭更新完全契合；本文敏锐地指出这一局限源于对散度空间定义的限制，证明混合空间 Bregman 散度（Fenchel-Young 差异）同样能在非 KL 体系下完美保持加法规范坐标更新。
极度轻量的高性能工程落地：将艰深的测度论与广义信息几何理论，无缝具象化为对现存 SOTA 变分优化器 IVON 的几行代码级替换（只需替换扰动随机数生成器与伴随尺度换算常数），展现了从坚实纯理论直达深度学习实践的优雅跨越。
为量化感知训练与层级自适应噪声开辟新路径：由于 $q<1$ 可以严格控制扰动半径的绝对上界，这为大模型参数扰动训练、量化感知微调（QAT）以及要求严格有限方差的训练场景提供了天然的理论武器。

局限与展望¶

收敛性理论尚属开放性问题：作者坦承，虽然在实证上验证了稳定收敛，但广义 BLR 在非凸神经网络优化下的非渐近收敛率理论分析仍处于空白阶段，不同于传统高斯假定下的凸或对数凹分析。
缺乏超大规模 Transformer 与语言模型实证：当前实验规模止步于 CIFAR-100 与 4M 参数的卷积网络，尚未验证其在十亿级参数大语言模型预训练、长上下文推理及层自适应 $q$ 值调节下的实际扩展能力。
超参数空间探索有限：实验均直接继承 IVON 的超参设定，未针对 $q$ 值的退火调度、各层异构 $q$ 值的联合学习展开探索，未完全释放有界与重尾后验的全部潜力。

评分¶

新颖性: ⭐⭐⭐⭐⭐ (突破传统 BLR 的 KL 限制，首创基于 Fenchel-Young 差异的广义自然梯度更新框架)
实验充分度: ⭐⭐⭐⭐☆ (涵盖逻辑回归、MNIST、CIFAR-10、CIFAR-100，详实评估不确定性与校准，但缺超大模型规模)
写作质量: ⭐⭐⭐⭐⭐ (数学结构严整精炼，从密度空间对偶到算法落地的逻辑链条极其清晰连贯)
价值: ⭐⭐⭐⭐⭐ (架起了现代变分信息几何理论与大规模深度网络实用优化器之间的坚固桥梁)