跳转至

Maxitive Donsker-Varadhan Formulation for Possibilistic Variational Inference

会议: NeurIPS 2026
arXiv: 2511.21223
代码: https://anonymous.4open.science/r/cbopt-80D1
领域: 最优化
关键词: 可能性理论, 变分推断, Donsker-Varadhan 变分公式, 认知不确定性, CBOpt 优化器

一句话总结

本文建立了经典 Donsker-Varadhan 变分对偶公式在可能性理论中的极大化（maxitive）对应形式，提出了基于极大相对熵的对偶一致性界（CBO），并在可能性指数族下推导出无需测试期采样的实用神经网络优化器家族 CBOpt。

研究背景与动机

变分推断（Variational Inference, VI）作为现代贝叶斯机器学习的基石，通过将高维难解后验分布的积分推断问题转化为证据下界（ELBO）的优化问题，极大地推进了复杂概率模型与贝叶斯神经网络的实用化进程。然而，传统的变分推断从根本上依赖于可加测度论（Additive Measure Theory）体系，其目标函数紧密绑定于香农熵、高维期望积分以及 Kullback-Leibler（KL）散度。在面对信息稀疏、认知不确定性（Epistemic Uncertainty）占主导或极端分布外（OOD）检测场景时，主观概率体系往往难以严格区分“缺乏知识”与“随机噪声”，并且概率框架中常难以定义真正意义上的完全无信息先验（非紧支撑上的常数密度往往无法积分导致先验不适定）。

可能性理论（Possibility Theory）作为一种非精确概率框架，为认知不确定性的形式化刻画提供了全新的数学视角。在该理论中，事件的可信度由取值于 \([0, 1]\) 的可能性函数表示，其核心代数运算从求和与积分变为上确界与最大化操作（\(\sup/\max\)），使得全无信息先验（恒为 1 的函数）得以自然定义。然而，如何将变分推断的哲学迁移到可能性理论中，长期存在深层的理论屏障：由于可能性测度具备极大性而非可加性，经典信息论中的香农熵和 KL 散度失去了原本的数学基础，导致现有的 ELBO 最大化框架无法开箱即用。已有探索（如针对推断模型的蒙特卡洛近似）多依赖启发式搜索，缺乏严格的信息论对偶性与现代深度学习自动微分接口的无缝对接。

本文的核心切入点是回归统计物理与信息论的源头——Donsker-Varadhan（DV）变分对偶公式。既然经典概率变分推断的理论本质是 DV 对偶在自由能上的变分表达，那么在可能性理论中必然存在一个对偶的极大化极值原理。核心 idea：通过建立极大化 Donsker-Varadhan 变分对偶定理，本文提出了衡量先验与似然一致性的对偶一致性界（CBO）及极大相对熵伪散度，并在可能性指数族下推导出具象化的符号牛顿型自然梯度学习律，构建了兼具高精度与可靠认知不确定性估计的 CBOpt 优化器家族。

方法详解

整体框架

本文构建了从可能性理论基础、信息论变分对偶，到参数化指数族推断，再到深度神经网络优化实现的完整理论与算法链路。整体方法分为三层推进：第一层是建立极大化 Donsker-Varadhan 变分定理，证明极大化边际似然（一致性）对偶地等价于对下一致性界（\(\underline{\text{CBO}}\)）取极大与对上一致性界（\(\overline{\text{CBO}}\)）取极小，且两者的最优解集分别构成真实后验可能性函数的下界与上界包络，其唯一交集精确恢复出规范后验；第二层是在可能性指数族与共轭先验框架下，借助 Legendre 变换和 Bregman 散度阐明后验的几何结构；第三层是将这一极值结构特化为二次逼近下的符号化自然梯度下降，并针对深度神经网络引入对角经验 Fisher 统计量与自适应包络追踪，推导出实用优化器家族 CBOpt。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：目标损失 ℓ(θ) 与先验 π(θ)"] --> B["极大化 Donsker-Varadhan 变分对偶<br/>建立 CBO 界与极大相对熵 D_max"]
    B --> C["可能性指数族与共轭解析结构<br/>利用 Legendre 变换与 Bregman 散度"]
    C --> D["符号化牛顿型自然梯度更新律<br/>Danskin 定理 + 二阶 Taylor 逼近"]
    D --> E["神经网络对角经验 Fisher 实用实现<br/>固定曲率 uCBOpt 与自适应包络变体"]
    E --> F["输出：最优参数 η 与认知不确定性曲率"]

关键设计

1. 极大化 Donsker-Varadhan 变分对偶与一致性界 (CBO)：将可加测度推断拓展至极大性代数
针对概率变分推断中 ELBO 无法直接应用于极大性非可加测度的问题，本文证明了经典 Donsker-Varadhan 变分公式的极大化类比（定理 2）。对于任意正值可能性先验 \(\pi: \Theta \to [0, 1]\) 与损失函数 \(\ell: \Theta \to \mathbb{R}\)，对数极大边际似然（对数一致性）\(\log Z_{\max} = \log \sup_{\theta \in \Theta} e^{-\ell(\theta)} \pi(\theta)\) 具备完全对偶的双重极值刻画： $$ \log \sup_{\theta \in \Theta} e^{-\ell(\theta)} \pi(\theta) = \sup_{g \in \mathcal{F}(\Theta)} \inf_{\theta \in \Theta} \left{ -\ell(\theta) - \log \frac{g(\theta)}{\pi(\theta)} \right} = \inf_{g \in \mathcal{F}(\Theta)} \sup_{\theta \in \Theta} \left{ -\ell(\theta) - \log \frac{g(\theta)}{\pi(\theta)} \right} $$ 由此定义了下一致性界 \(\underline{\text{CBO}}(g) \doteq \inf_{\theta} \{ -\ell(\theta) - \log \frac{g(\theta)}{\pi(\theta)} \}\) 与上一致性界 \(\overline{\text{CBO}}(g) \doteq \sup_{\theta} \{ -\ell(\theta) - \log \frac{g(\theta)}{\pi(\theta)} \}\)。进一步引入极大相对熵（Max-relative Entropy）作为伪散度：\(D_{\max}(g \| f) \doteq \sup_{\theta \in \Theta} \log \frac{g(\theta)}{f(\theta)} \geq 0\)。该散度自然导出了误差分解：\(\log Z_{\max} = \underline{\text{CBO}}(g) + D_{\max}(g \| g^\star_{\max}) = \overline{\text{CBO}}(g) - D_{\max}(g^\star_{\max} \| g)\)。这表明，最大化 \(\underline{\text{CBO}}\) 等价于寻找 pointwise 下界于后验的候选函数族 \(\{g: g \preceq g^\star_{\max}\}\)，表现为保守的模式寻求（mode-seeking）行为；而最小化 \(\overline{\text{CBO}}\) 等价于寻找 pointwise 上界于后验的候选函数族 \(\{g: g^\star_{\max} \preceq g\}\)，表现为悲观的质量覆盖（mass-covering）行为。标准后验 \(g^\star_{\max}\) 是这两个对偶极值解集的唯一公共元素。

2. 可能性指数族与共轭解析结构：基于 Legendre 对偶与 Bregman 散度的几何推断
为了建立可计算的参数化变分族，本文将经典概率指数族推广至可能性设定。定义可能性指数族候选为 \(g_\lambda(\theta) = \exp(\lambda^\top T(\theta) - A(\lambda) - B(\theta))\)，其中对数配分函数 \(A(\lambda) \doteq \sup_{\theta} (\lambda^\top T(\theta) - B(\theta))\) 由于上确界与对数可交换而极为简洁。在无信息先验 \(\pi \equiv \mathbf{1}\) 下，该族的后验形式可完全通过最大似然估计 \(\theta^\star(\lambda)\) 与 Bregman 散度 \(D_A\) 解析表示：\(g_\lambda(\theta) = \exp(-D_A(\theta \| \theta^\star(\lambda)))\)。进一步，该族展现出对称的对偶性质：其对偶函数 \(f_\theta: \lambda \mapsto g_\lambda(\theta)\) 属于由对偶配分函数 \(A^\dagger\) 诱导的对偶可能性族 \(\mathcal{G}_{A^\dagger}(\Lambda)\)。引入折扣参数 \(\nu \geq 0\) 时，分布 \(g_{\lambda,\nu}(\theta) \propto g_\lambda^\nu(\theta)\) 构成了自然的共轭先验，在 \(n\) 个独立同分布样本观测下的更新律表现为充分统计量的运行均值 \(\lambda' = (\nu \lambda + \sum T(x_i))/(\nu + n)\) 与有效样本数更新 \(\nu' = \nu + n\)。当 \(\nu = 0\) 时自然退化为完全无信息先验，弥补了概率贝叶斯共轭先验中无法取 \(\nu=0\) 的缺陷。

3. 符号化牛顿型自然梯度更新律：从双重极值到实用的曲率调整
为了将极值变分目标转化为可执行的参数更新，本文采用符号变量 \(s \in \{+1, -1\}\) 统合双重 CBO：\(s = +1\) 对应最小化上一致性界 \(\overline{\text{CBO}}\)，而 \(s = -1\) 对应最大化下一致性界 \(\underline{\text{CBO}}\)，统一目标为 \(\min_g s \, \text{CBO}_s(g)\)。设候选可能性函数由众数参数化 \(g_\eta(\theta) = \exp(-D_A(\theta\|\eta))\)，定义符号曲率差 \(H_s(\eta) \doteq s(\nabla^2 \hat{\ell}(\eta) - \nabla^2 A(\eta))\)。在满足局部凸凹性条件 \(H_s(\eta) \succ 0\) 的假设下，利用 Danskin 定理计算梯度 \(\nabla \text{CBO}_s(\eta) = \nabla^2 A(\eta)(\eta - \theta_s)\)。将内部极值目标在当前点 \(\eta\) 处进行二阶泰勒展开，并通过对偶坐标 \(\lambda = \nabla_\eta A(\eta)\) 空间中的自然梯度下降进行极小化，推导出了统一的牛顿型更新方程： $$ \eta_{t+1} = \eta_t - \rho_t H_s(\eta_t)^{-1} \nabla \hat{\ell}(\eta_t) $$ 该更新律表明，变分参数的更新步长由损失函数的曲率与候选分布曲率之间的相对差值严格主导，在形式上建立了极大性变分推断与二阶优化之间的理论纽带。

4. 深度神经网络的可行对角逼近与自适应包络：CBOpt 优化器家族
在深度神经网络的实际训练中，显式计算全 Hessian 矩阵极其昂贵。本文将其特化为高斯型候选 \(g_\eta(\theta) = \overline{\text{N}}(\theta; \eta, \vartheta^{-1} I)\)（即 \(\nabla^2 A(\eta) = \vartheta I\)）以及权重衰减先验（精度 \(\delta\)）。符号曲率差退化为 \(H_s(\eta) = s(\nabla^2 \ell(\eta) + (\delta - \vartheta)I)\)。利用经验梯度外积对角近似 \(\nabla^2 \ell(\eta) \approx \operatorname{diag}(\hat{g} \odot \hat{g})\)，并结合一阶动量 \(g_t\) 与二阶动量 \(h_t\) 的指数移动平均（EMA），得到了实用的对角更新格式： $$ \eta_{t+1} = \eta_t - \rho_t s \frac{\bar{g}_t + \delta \eta_t}{h_t + \delta - \vartheta} $$ 基于此，本文构建了三个优化器变体：(1) uCBOpt：针对 \(s=+1\) 固定候选曲率标量 \(\vartheta \in (0, \delta]\)，要求 \(\vartheta \leq \delta\) 保证分母正定；(2) uCBOpt-adapt：自适应追踪曲率下包络 \(c_t = \min\{\beta_3 c_{t-1}, \tilde{h}_t\}\)（\(\beta_3 > 1\)），分母修正为 \(\tilde{h}_t - \gamma c_t\)（\(\gamma \in [0, 1)\)）；(3) lCBOpt-adapt：针对 \(s=-1\) 追踪曲率上包络 \(c_t = \max\{\beta_3 c_{t-1}, \tilde{h}_t\}\)（\(\beta_3 \in [0, 1)\)），分母修正为 \(\gamma c_t - \tilde{h}_t\)（\(\gamma > 1\)）。自适应变体通过动态包络追踪保证了曲率正定约束在整个训练轨迹中平稳满足。

一个完整示例

为具象化展示极大化变分推断的几何行为，考虑一维贝叶斯逻辑斯蒂回归玩具问题。设可观测伯努利变量满足 \(y \sim \text{Bern}(\sigma(f))\)，对潜在变量 \(f\) 施加高斯可能性先验 \(f \sim \overline{\text{N}}(0, 1)\)，即 \(\pi(f) = \exp(-f^2/2)\)。当观测到样本 \(y = -1\) 时，真实极大化后验为： $$ g^\star_{\max}(f) = \frac{\sigma(-f) \exp(-\frac{1}{2} f^2)}{\sup_{f'} \sigma(-f') \exp(-\frac{1}{2} f'^2)} $$ 由于分母无法解析积分/优化，选取高斯变分族 \(\mathcal{G} = \{ \overline{\text{N}}(\mu, \sigma^2): \mu \in \mathbb{R}, \sigma \in \mathbb{R}^+ \}\)。在此问题中，拉普拉斯逼近通过在极大值处匹配一阶与二阶导数得到固定的均值与方差。然而在本文的变分体系中： - 最小化上一致性界 \(\overline{\text{CBO}}\) 的解集包含了一系列高斯候选分布，它们均精确锁定了后验众数均值 \(\mu \approx -0.44\)，但在方差上可以允许任意大的尺度，这些候选分布在点态上严格上界包裹真实后验 \(g^\star_{\max}\)； - 反之，最大化下一致性界 \(\underline{\text{CBO}}\) 的最优解集同样匹配众数均值，但其候选分布在点态上严格下界于真实后验 \(g^\star_{\max}\)，允许任意紧致的精度（更小的 \(\sigma\)）。 这一示例清晰展现了双重一致性界对真实后验的三明治式夹逼特性：标准后验恰好是极小覆盖与极大紧致两者在拉普拉斯曲率处的交汇点。

损失函数 / 训练策略

CBOpt 优化器的完整训练策略融合了 Adam 式的一阶偏差校正动量与独特的可能性曲率正则化。超参数配置方面，一阶动量设为 \(\beta_1 = 0.9\)，曲率估计动量设为极慢衰减的 \(\beta_2 = 0.99999\) 以保证曲率统计量的极高稳定性；初始 Hessian 缩放 \(h_0 \in \{0.05, 0.1\}\)，权重衰减 \(\delta\) 承担先验精度角色。在学习率调度上，采用线性热身（前 5 个 epoch）接余弦退火至 0。对于自适应变体，分母引入数值稳定常数 \(\epsilon = 10^{-8}\)。值得注意的是，CBOpt 在测试阶段直接使用单次前向传递的确定性众数权重 \(\eta\)，完全省去了 MC Dropout、Laplace 或 SWAG 所必需的数十次随机采样开销，显著降低了部署延迟。

实验关键数据

主实验

实验在三个经典计算机视觉图像分类基准（Fashion-MNIST、CIFAR-10、CIFAR-100）及其对应的分布外（OOD）检测数据集（EMNIST、SVHN、TinyImageNet）上进行了全面评估，基线模型包括确定性优化器（SGD、AdamW）与不确定性感知方法（IVON、MC-Dropout、Laplace、SWAG）。所有方法均进行 3 次独立随机实验并报告均值与标准差。

下表展示了验证集最佳模型的主对比结果（摘自原文 Table 1）：

数据集 (In / Out) 优化器 领域内准确率 (Acc. ↑) 领域内 NLL ↓ 领域内 ECE ↓ OOD FPR@95% ↓ OOD AUROC ↑ OOD AUPR-Out ↑
Fashion-MNIST
(Out: EMNIST)		 AdamW 0.900 ± 0.005 0.294 ± 0.007 0.026 ± 0.004 0.321 ± 0.008 0.745 ± 0.009 0.627 ± 0.022
SGD 0.896 ± 0.005 0.293 ± 0.005 0.022 ± 0.004 0.297 ± 0.020 0.767 ± 0.022 0.845 ± 0.012
IVON@mean 0.907 ± 0.001 0.267 ± 0.005 0.018 ± 0.008 0.266 ± 0.024 0.787 ± 0.029 0.861 ± 0.019
IVON (64 samples) 0.911 ± 0.003 0.258 ± 0.001 0.013 ± 0.004 0.249 ± 0.024 0.804 ± 0.030 0.873 ± 0.020
MC-D (64 samples) 0.897 ± 0.003 0.281 ± 0.007 0.013 ± 0.003 0.244 ± 0.011 0.821 ± 0.008 0.885 ± 0.007
Laplace 0.895 ± 0.004 0.295 ± 0.009 0.024 ± 0.003 0.296 ± 0.047 0.770 ± 0.039 0.848 ± 0.031
SWAG 0.900 ± 0.003 0.342 ± 0.009 0.043 ± 0.003 0.378 ± 0.005 0.731 ± 0.005 0.820 ± 0.002
uCBOpt 0.907 ± 0.002 0.270 ± 0.002 0.023 ± 0.000 0.245 ± 0.010 0.810 ± 0.012 0.879 ± 0.010
uCBOpt-adapt 0.910 ± 0.001 0.256 ± 0.003 0.016 ± 0.001 0.272 ± 0.011 0.773 ± 0.015 0.857 ± 0.009
lCBOpt-adapt 0.913 ± 0.002 0.252 ± 0.004 0.020 ± 0.000 0.269 ± 0.015 0.784 ± 0.019 0.859 ± 0.011
CIFAR-10
(Out: SVHN)		 AdamW 0.872 ± 0.001 0.406 ± 0.002 0.042 ± 0.003 0.271 ± 0.033 0.820 ± 0.031 0.881 ± 0.021
SGD 0.909 ± 0.003 0.308 ± 0.011 0.039 ± 0.008 0.207 ± 0.019 0.864 ± 0.013 0.918 ± 0.011
IVON (64 samples) 0.899 ± 0.004 0.317 ± 0.004 0.028 ± 0.005 0.252 ± 0.020 0.836 ± 0.014 0.894 ± 0.012
MC-D (64 samples) 0.923 ± 0.002 0.230 ± 0.006 0.010 ± 0.002 0.230 ± 0.030 0.847 ± 0.024 0.902 ± 0.017
SWAG 0.918 ± 0.001 0.251 ± 0.004 0.009 ± 0.000 0.197 ± 0.012 0.879 ± 0.007 0.924 ± 0.007
uCBOpt 0.910 ± 0.004 0.296 ± 0.009 0.038 ± 0.001 0.208 ± 0.016 0.869 ± 0.012 0.918 ± 0.010
uCBOpt-adapt 0.909 ± 0.005 0.300 ± 0.016 0.038 ± 0.004 0.210 ± 0.016 0.866 ± 0.010 0.915 ± 0.007
lCBOpt-adapt 0.909 ± 0.005 0.299 ± 0.002 0.037 ± 0.002 0.213 ± 0.012 0.861 ± 0.006 0.913 ± 0.003
CIFAR-100
(Out: TinyImageNet)		 SGD 0.649 ± 0.004 1.334 ± 0.006 0.096 ± 0.006 0.357 ± 0.005 0.720 ± 0.008 0.684 ± 0.006
IVON (64 samples) 0.607 ± 0.002 1.458 ± 0.012 0.071 ± 0.004 0.368 ± 0.006 0.702 ± 0.008 0.663 ± 0.007
MC-D (64 samples) 0.649 ± 0.016 1.298 ± 0.016 0.074 ± 0.020 0.353 ± 0.008 0.718 ± 0.008 0.681 ± 0.009
uCBOpt 0.671 ± 0.014 1.231 ± 0.005 0.095 ± 0.014 0.344 ± 0.004 0.727 ± 0.003 0.693 ± 0.003
uCBOpt-adapt 0.655 ± 0.011 1.298 ± 0.011 0.096 ± 0.021 0.343 ± 0.004 0.729 ± 0.002 0.696 ± 0.001
lCBOpt-adapt 0.674 ± 0.007 1.268 ± 0.018 0.110 ± 0.002 0.346 ± 0.004 0.729 ± 0.005 0.692 ± 0.006

消融实验

在固定候选曲率的 uCBOpt 中，标量参数 \(\vartheta\) 控制着候选分布精度对更新步长预条件子的平移影响。下表记录了在 Fashion-MNIST/LeNet 上调节 \(\vartheta\) 的消融结果（摘自原文 Table 8）：

候选曲率 \(\vartheta\) 领域内 Acc. ↑ 领域内 NLL ↓ 领域内 ECE ↓ OOD FPR@95% ↓ OOD AUROC ↑ OOD AUPR-Out ↑
\(0^+\) (基线) 0.905 ± 0.002 0.269 ± 0.004 0.020 ± 0.006 0.262 ± 0.012 0.796 ± 0.014 0.867 ± 0.010
\(1 \times 10^{-7}\) 0.905 ± 0.002 0.267 ± 0.001 0.019 ± 0.006 0.265 ± 0.008 0.786 ± 0.011 0.278 ± 0.007
\(5 \times 10^{-7}\) 0.906 ± 0.005 0.272 ± 0.006 0.021 ± 0.004 0.265 ± 0.023 0.786 ± 0.027 0.863 ± 0.020
\(1 \times 10^{-6}\) 0.907 ± 0.002 0.270 ± 0.002 0.023 ± 0.000 0.262 ± 0.012 0.796 ± 0.015 0.868 ± 0.010
\(5 \times 10^{-6}\) 0.908 ± 0.004 0.267 ± 0.002 0.020 ± 0.006 0.259 ± 0.010 0.795 ± 0.012 0.867 ± 0.009
\(8 \times 10^{-6}\) (最优) 0.906 ± 0.003 0.263 ± 0.006 0.018 ± 0.006 0.245 ± 0.010 0.810 ± 0.012 0.879 ± 0.010
\(1 \times 10^{-5}\) 0.907 ± 0.003 0.269 ± 0.002 0.020 ± 0.005 0.275 ± 0.006 0.777 ± 0.009 0.284 ± 0.010

关键发现

  • 大模型大数据的扩展性优势显著：在参数量超过 100 万的 DenseNet-121 / CIFAR-100 上，CBOpt 变体展现出极强的优势。uCBOpt（0.671）与 lCBOpt-adapt（0.674）的准确率大幅领先 SGD（0.649）和 IVON（0.607），且 NLL 明显更优（1.231 vs 1.334/1.458）。这证明基于可能性极大化原理的二阶调整不仅没有牺牲容量，反而改善了深层网络的泛化平坦度。
  • 无需测试期采样的轻量级推断：虽然在小数据集上 MC-Dropout 和 IVON 借助 64 次蒙特卡洛随机前向传播能够刷高 ECE 指标，但 CBOpt 仅凭确定性前向传播便在 OOD FPR@95% 和 AUROC 上匹敌甚至超越这些重型采样基线。
  • 候选曲率的分离调控机制：消融实验揭示，\(\vartheta\) 的存在将“优化步长调节”与纯粹的“先验权重衰减 \(\delta\)”进行了解耦。设定适当大小的候选曲率下限（如 \(8 \times 10^{-6}\)）对领域内准确率几乎无损，但能够显著压低 OOD 检测误报率（FPR@95% 从 0.262 降至 0.245）。

亮点与洞察

  • 将 DV 变分原理拓展至极大性代数：首次在可能性理论中建立了完整的 Donsker-Varadhan 变分对偶理论，用优雅的极大相对熵 \(D_{\max}\) 代替 KL 散度，证明了上/下一致性界对标准后验的单侧包络收敛性。
  • 解耦先验正规化与更新曲率基底：在参数更新分母中，不仅有数据曲率 \(h_t\) 和权重衰减 \(\delta\)，还显式分离出变分候选精度 \(\vartheta\)，为二阶自适应学习率提供了严谨的可能性变分阐释。
  • 与蒙特卡洛采样的正交互补性：补充实验表明，CBOpt 可以直接作为 MC-Dropout 骨干网络的底层优化器，两者结合不仅保留了 MC-D 优异的校准度，还进一步将 CIFAR-10/SVHN 的 AUROC 提升至 0.867、FPR@95% 压至 0.192。

局限与展望

  • 二阶泰勒展开与正定性假设的局限：命题 3 的推导强依赖于内层极值问题的二阶泰勒逼近以及局部曲率条件 \(H_s \succ 0\)，在高度非凸的深度网络中局部鞍点或负曲率区域可能导致假设失效，这也是需要自适应包络启发式修正的原因。
  • 各向同性高斯变分族的限制：尽管可能性指数族的理论框架完全支持多元广义分布，但文中的算法实现退化为了各向同性对角高斯分布，未能测试全协方差矩阵或非高斯可能性族在复杂网络中的表现。
  • 未来方向：探索高维块对角（K-FAC）可能性候选分布，以及将该理论拓展到强化学习中的悲观价值估计与不确定性感知控制。

相关工作与启发

  • vs IVON (Shen et al., 2024)：IVON 基于贝叶斯变分学习律推导高斯近似，依赖采样与复杂的学习率重缩放技巧；本文 CBOpt 从极大性可能性理论出发，无需显式权重扰动，测试期纯确定性推断且天然兼顾认知不确定性。
  • vs Cella & Martin (2025)：以往可能性推断模型依赖蒙特卡洛采样来逼近置信集截集，计算开销巨大；本文建立了对偶 DV 目标并导出解析自然梯度，可直接利用现代 PyTorch 自动微分引擎大规模端到端训练。
  • vs Evidential Deep Learning (Sensoy et al., 2018)：EDL 依赖主观逻辑和启发式损失函数，缺乏概率一致性保障；本文从数学严格的非精确概率论出发，为二阶不确定性估计提供了扎实的变分理论基石。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次建立可能性理论下的 Donsker-Varadhan 变分对偶，理论极具原创性与优美度。
  • 实验充分度: ⭐⭐⭐⭐ 覆盖多个图像分类与 OOD 检测基准，对比基线全面且包含详尽消融，但缺乏超大规模语言模型实验。
  • 写作质量: ⭐⭐⭐⭐⭐ 数学推导严谨自洽，从抽象测度论平滑过渡到深度优化算法，逻辑极其清晰。
  • 价值: ⭐⭐⭐⭐ 为非精确概率与深度学习的融合架设了关键桥梁，衍生出的 CBOpt 优化器具备直接实用价值。

相关论文