Deep Ensembles for Epistemic Uncertainty: A Frequentist Perspective¶

会议: NeurIPS 2026
arXiv: 2510.22063
领域: others
关键词: 认知不确定性、深度集成、Bootstrap、互信息、费舍尔信息矩阵

一句话总结¶

本文从频率学派视角解析深度集成（Deep Ensembles），证明了基于 Dirichlet/多项式加权的 Bootstrap 互信息估计量具备渐近正确性，并揭示深度集成主要通过捕捉占主导地位的「训练随机性」逼近贝叶斯认知不确定性。

研究背景与动机¶

在可靠机器学习系统的部署中，不确定性量化（Uncertainty Quantification, UQ）起着基石般的作用。机器学习预测的不确定性通常被清晰地划分为两部分：偶发不确定性（Aleatoric Uncertainty，数据生成内在噪声所致、不可约减）与认知不确定性（Epistemic Uncertainty，训练数据有限引发的模型认知不足、可通过采集更多数据约减）。在主动学习、分布外（OOD）检测以及高风险决策场景中，认知不确定性是核心衡量指标。理论上，基于模型参数与测试标签之间互信息（Mutual Information, MI）的度量被公认为最具原则性的贝叶斯认知不确定性指标；然而，计算该指标必须完整获取神经网络参数的后验分布 $p(\theta|\mathcal{D}_n)$，高维非凸损失曲面使精确贝叶斯推断或马尔可夫链蒙特卡洛（MCMC）采样在工程上难以扩展。

实践中，研究者与工程师普遍采用深度集成（Deep Ensembles）——即在相同数据集和模型架构下，仅改变随机初始化和 SGD 数据洗牌种子训练多个模型并取平均。大量实证研究表明深度集成的不确定性校准与泛化表现远优于 MC-Dropout 等经典近似贝叶斯方法。尽管后续工作尝试从损失曲面多模态探索等贝叶斯视角解释其合理性，但在严格的频率学派（Frequentist）统计框架下，深度集成究竟估计了什么、为何有效，始终缺乏坚实的理论依据与统计分解。更为本质的矛盾在于：贝叶斯互信息本质上刻画的是有限样本下参数空间后验离散度，而深度集成在数据完全固定时仅仅利用了训练优化算法本身的随机性。

本文旨在弥合这一理论与实践的断层。研究切入点是借助经验过程与大样本渐近理论，建立互信息与频率学派 Fisher 信息矩阵之间的直接渐近等价关系，并以此构造可证明渐近一致的 Bootstrap 估计量。进而将该估计量正交分解为数据重采样变异与训练随机性两部分，最终证明深度集成正是通过精准捕捉后者来逼近贝叶斯认知不确定性。核心 idea：利用 Bernstein-von Mises 定理证明 Bootstrap 互信息估计量的渐近精确性，并建立认知不确定性在「数据变异」与「训练随机性」之间的方差分解，从实证与理论双重维度揭示训练随机性占据主导地位，赋予深度集成坚实的频率学派解释。

方法详解¶

整体框架¶

本文构建了从贝叶斯理论目标到频率学派实用算法的严密理论桥梁。针对 $K$ 分类问题与测试样本 $(X_{\text{test}}, Y_{\text{test}})$，贝叶斯认知不确定性定义为测试标签 $Y_{\text{test}}$ 与模型参数 $\theta$ 的条件互信息 $\mathrm{I}(Y_{\text{test}}; \theta | X_{\text{test}}, \mathcal{D}_n)$。本文首先基于 Bernstein-von Mises 定理和函数 Delta 方法，导出互信息的一阶大样本渐近展开式，建立其与 Fisher 逆信息矩阵和真实类概率的精确依赖；随后提出基于对称 Dirichlet 加权的最大似然 Bootstrap 估计量 $\mathrm{I}_b(X_{\text{test}}, \mathcal{D}_n)$ 并证明其比值收敛于 1；最后将 Bootstrap 估计量按方差全期望公式分解为「数据重采样项」$\mathrm{I}_b^{\text{resampling}}$ 与「训练随机种子项」$\mathrm{I}_b^{\text{seeds}}$，从而在理论上将深度集成与 $\mathrm{I}_b^{\text{seeds}}$ 紧密挂钩。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：训练集 𝒟ₙ 与测试样本 X_test"] --> B["互信息渐近展开与 Fisher 信息链接<br/>I(Y; θ|X) = (1/2n) ∑ (σₖ² / pₖ) + o_p(1/n)"]
    B --> C["渐近正确的 Bootstrap 互信息估计量<br/>Dirichlet 重加权训练 B 个模型求解 θ̂_b"]
    C --> D["不确定性正交分解机制<br/>I_b = I_b^resampling (数据变异) + I_b^seeds (训练随机性)"]
    D --> E["深度集成频率学派对应<br/>I^deep_ensemble ≈ I_b^seeds (主导项占比 65%~83%)"]

关键设计¶

1. 互信息渐近展开与 Fisher 信息链接：揭示贝叶斯互信息的频率学派本质 贝叶斯认知不确定性通过熵的期望差计算：$\mathrm{I}(Y_{\text{test}}; \theta | X_{\text{test}}, \mathcal{D}_n) = \mathrm{H}(\mathbb{E}_{\theta|\mathcal{D}_n}[\hat{p}(X_{\text{test}};\theta)]) - \mathbb{E}_{\theta|\mathcal{D}_n}[\mathrm{H}(\hat{p}(X_{\text{test}};\theta))]$。本文克服了对后验直接采样的困难，在后验均值处对分类熵函数展开至三阶 Taylor 多项式。结合 Bernstein-von Mises 极限法则 $\sqrt{n}(\theta - \theta_0)|\mathcal{D}_n \stackrel{d}{\to} \mathcal{N}(0, \mathcal{I}^{-1}(\theta_0))$ 以及函数 Delta 方法，证明了一阶确定性渐近展开式： $$\mathrm{I}(Y_{\text{test}};\theta|X_{\text{test}},\mathcal{D}_n) = \frac{1}{2n}\sum_{k=1}^{K}\frac{\sigma_{k}^{2}}{\hat{p}_{k}(X_{\text{test}};\theta_{0})} + o_{p}(n^{-1}),$$ 其中渐近方差核 $\sigma_k^2 = [\nabla_\theta \hat{p}(X_{\text{test}}; \theta_0)^T \mathcal{I}^{-1}(\theta_0) \nabla_\theta \hat{p}(X_{\text{test}}; \theta_0)]_{k,k}$。在二分类场景下，该式直观退化为： $$\frac{(\nabla_\theta \hat{p}_1)^T (n^{-1}\mathcal{I}^{-1}(\theta_0)) (\nabla_\theta \hat{p}_1)}{2 \hat{p}_1(X_{\text{test}};\theta_0)(1 - \hat{p}_1(X_{\text{test}};\theta_0))}.$$ 该形式极为关键：分子代表最大似然估计的预测方差，分母则与真实标签确定性成反比（在边界预测 $p \approx 0$ 或 $1$ 时迅速放大）。这在频率学派层面上阐明了认知不确定性的核心直觉——只有当模型预测存在波动且真实数据生成过程高度确定时，认知不确定性才会显著上升。

2. 渐近正确的 Bootstrap 互信息估计量：替代昂贵 MCMC 采样的频率学派估计器 基于上述展开中对 Fisher 信息的渐近依赖，论文提出利用重加权 Bootstrap 模拟参数分布。相比于经典多项式采样（无放回随机剔除部分样本导致深度网络训练欠拟合），本文采用参数为 1 的对称狄利克雷分布采样样本权重 $\xi \sim \mathrm{Dir}(1,\dots,1)$。在每个 Bootstrap 重采样集上求解加权最大似然估计 $\hat{\theta}_b = \arg\max_\theta \sum_{i=1}^n \xi_i \log \hat{p}_{Y_i}(X_i; \theta)$。利用经验过程理论中的 Bootstrap 渐近正态极限法则，证明了 Bootstrap 预测方差与真实后验预测方差具有完全相同的极限分布。定理 3.2 在大样本极限下确立了比值收敛性： $$\frac{\mathrm{I}(Y_{\text{test}};\theta|X_{\text{test}},\mathcal{D}_n)}{\mathrm{I}_{b}(X_{\text{test}},\mathcal{D}_{n})} \xrightarrow{P_{\theta_{0}}^{n}} 1 \quad \forall X_{\text{test}}.$$ 这证明了无需强加先验或运行计算开销巨大的 MCMC，仅通过加权 Bootstrap 重拟合得到的经验熵差，即可渐近一致地逼近贝叶斯互信息。

3. 不确定性正交分解机制：区分算法训练随机性与数据采样随机性 在深度神经网络的实际训练中，参数 $\hat{\theta}_b$ 不仅受重采样数据 $\mathcal{D}_n^b$ 驱动，还强依赖于优化随机种子 $s$（包括参数随机初始化、数据随机 shuffle 和 SGD 噪声）。令模型预测表示为确定性函数 $\hat{p}(\mathcal{D}_n^b, s)$。由于种子选择独立于数据采样，作者通过全方差/期望条件分解法则，将 Bootstrap 估计量 $\mathrm{I}_b$ 严格拆解为两项正交贡献： $$\mathrm{I}_{b}(X_{\text{test}},\mathcal{D}_{n}) = \mathrm{I}_b^{\text{resampling}} + \mathrm{I}_b^{\text{seeds}},$$ 其中第一项数据重采样变异定义为： $$\mathrm{I}_b^{\text{resampling}} := \mathrm{H}\left(\mathbb{E}_{\mathcal{D}_n^b|\mathcal{D}_n}[\mathbb{E}_s[\hat{p}(\mathcal{D}_n^b, s)]]\right) - \mathbb{E}_{\mathcal{D}_n^b|\mathcal{D}_n}\left[\mathrm{H}(\mathbb{E}_s[\hat{p}(\mathcal{D}_n^b, s)])\right],$$ 度量了由有限数据采样波动所带来的模型漂移；第二项训练随机性定义为： $$\mathrm{I}_b^{\text{seeds}} := \mathbb{E}_{\mathcal{D}_n^b|\mathcal{D}_n}\left[\mathrm{H}(\mathbb{E}_s[\hat{p}(\mathcal{D}_n^b, s)]) - \mathbb{E}_s[\mathrm{H}(\hat{p}(\mathcal{D}_n^b, s))]\right],$$ 反映了固定数据下优化算法自身引入的预测发散。对比传统深度集成的不确定性估计： $$\mathrm{I}^{\text{deep ensemble}} := \mathrm{H}(\mathbb{E}_s[\hat{p}(\mathcal{D}_n, s)]) - \mathbb{E}_s[\mathrm{H}(\hat{p}(\mathcal{D}_n, s))],$$ 可以看出深度集成恰好构成了 $\mathrm{I}_b^{\text{seeds}}$ 在未重采样原始数据集上的无偏实现。

损失函数 / 训练策略¶

在 Bootstrap 模型估计中，每个基模型 $b$ 最小化狄利克雷加权交叉熵损失： $$\mathcal{L}_{\text{boot}}(\theta; \xi) = -\sum_{i=1}^n \xi_i \log \hat{p}_{Y_i}(X_i; \theta), \quad \xi \sim \mathrm{Dir}(1, \dots, 1).$$ 在各实验任务中具体训练配置如下： - CIFAR-10：采用调整初始卷积核（$3\times 3$，stride 1，padding 1）的 ResNet-18，优化器为 Adam（学习率 $0.001$，$\beta=(0.9, 0.999)$），batch size 128，训练 15 个 epoch，集成规模 $B=10$。 - ImageNet（32×32 下采样）：ResNet-18，SGD 优化器（学习率 $0.1$，动量 $0.9$，权重衰减 $0.0001$），搭配 OneCycle 学习率调度策略训练 40 个 epoch，由于大算力开销集成规模设为 $B=4$。 - ISIC 皮肤病变（小样本迁移）：冻结 ResNet-50 提取 2048 维特征，顶层构建 2 层 MLP（512 隐藏单元，ReLU，Dropout 0.5），采用类别加权交叉熵与 Adam 优化器训练 15 个 epoch，$B=10$。 - AG News（NLP 微调）：在 TinyBERT（14.5M 参数）顶部添加线性分类头，使用 Adam 优化器（学习率 $2\times 10^{-5}$）配合线性 Warmup 训练 3 个 epoch，序列长度截断为 128，$B=10$。

实验关键数据¶

主实验¶

为了验证「训练随机性是否在认知不确定性中占主导」以及「深度集成是否精准捕捉训练随机性」，作者在四个跨模态、不同规模的任务上，通过拟合最优直线斜率（$y=mx$ 形式）与计算 Spearman 秩相关系数 $\rho$ 进行定量评估。其中 $m_{\text{seeds}}^{\text{resampling}}$ 代表 $\mathrm{I}_b^{\text{resampling}}$ 对 $\mathrm{I}_b^{\text{seeds}}$ 的线性回归斜率（越小说明重采样影响越弱），$m_{\text{seeds}}^{\text{deep ensemble}}$ 与 $\rho$ 代表 $\mathrm{I}^{\text{deep ensemble}}$ 对 $\mathrm{I}_b^{\text{seeds}}$ 的回归斜率与排序一致性。

数据集	任务类型 / 规模	$m_{\text{seeds}}^{\text{resampling}}$ (数据变异/训练随机性斜率)	$m_{\text{seeds}}^{\text{deep ensemble}}$ (深度集成/训练随机性斜率)	Spearman 秩相关 $\rho$	核心结论
CIFAR-10	自然图像 / 50k 样本 / 10 类	0.21	0.94	0.90	训练随机性占主导（数据变异仅约 21%），深度集成与 $\mathrm{I}_b^{\text{seeds}}$ 保持 94% 幅值与高排序相关
ImageNet	大规模图像 / 1.28M 样本 / 1000 类	0.50	0.91	0.87	即使数据量扩展至百万级，训练随机性仍是数据变异的 2 倍
ISIC 2016	医疗影像 / 900 样本 / 2 类	0.55	0.83	0.91	在极小样本及特征提取场景下，训练随机性依然显著大于数据采样变异
AG News	文本分类 / 120k 样本 / 4 类	0.42	0.88	0.96	预训练模型微调体系下，深度集成与 $\mathrm{I}_b^{\text{seeds}}$ 呈现极高秩相关（0.96）

辅助分析：模型准确率与影响函数/数据模型近似对比¶

实验进一步记录了单模型、集成模型在完整数据集与 Bootstrap 数据集下的性能表现，同时在附录中探讨了基于影响函数（Influence Functions）和数据模型（Datamodels）免重新训练快速近似数据变异项的可行性。

实验评估维度	CIFAR-10	ImageNet (32×32)	ISIC (AUC-ROC)	AG News	说明
单模型平均精度 (完整数据)	0.83	0.55 (Top-1) / 0.79 (Top-5)	0.81	0.94	深度集成中各基成员的平均准确度
Bootstrap 单模型平均精度	0.80	0.51 (Top-1) / 0.75 (Top-5)	0.79	0.93	Dirichlet 加权下重拟合单模型的平均性能
深度集成整网精度 (完整数据)	0.89	0.59 (Top-1) / 0.81 (Top-5)	0.81	0.94	预测平均后显著提升或保持 SOTA 泛化水平
Bootstrap 深度集成平均精度	0.88	0.55 (Top-1) / 0.78 (Top-5)	0.80	0.93	每个 Bootstrap 重采样集内做集成平均的性能

关键发现¶

训练随机性始终大幅压倒数据重采样变异：所有基准测试中 $m_{\text{seeds}}^{\text{resampling}}$ 均介于 0.21 到 0.55 之间。这意味着认知不确定性中由 SGD 优化及参数初始化带来的非凸波动占据了总量的 65% 至 83% 以上。
深度集成近乎等价于提取训练随机性：$m_{\text{seeds}}^{\text{deep ensemble}}$ 稳定落在 0.83 至 0.94 范围内，且 Spearman 秩相关系数 $\rho$ 高达 0.87 至 0.96。对于 OOD 筛选等依赖相对排序的下游任务，深度集成给出的排序几乎完美契合严谨分解中的训练随机性项。
指导模型迭代的核心启示：在现代深度学习中，若目标是降低模型认知不确定性，在现有算力下训练规模更大的深度集成，往往比昂贵采集更多训练数据能够更快地消除不确定性的主力成分。
影响函数近似的局限性：基于影响函数（Influence Function）的一阶外推虽然能捕捉部分数据波动，但其不确定性幅值比 MC-Dropout 小一个数量级，本质原因在于其基于单一固定权重收敛点展开，完全遗失了多盆地（multi-basin）多初始化的训练随机性。

亮点与洞察¶

经典统计工具破解现代黑盒难题：巧妙借助 Bernstein-von Mises 定理与经验过程 Bootstrap 极限分布，第一次在形式上统一了贝叶斯后验参数互信息与频率学派 Bootstrap 经验熵差。
从统计方差分解重塑对深度集成的认知：颠覆了「深度集成只是廉价启发式工程技巧」的刻板印象，从频率学派正交分解论证了它在结构上精准对应了认知不确定性的最大分量。
不确定性归因（Uncertainty Attribution）的新视角：提出了通过影响函数关联训练样本与模型预测方差的概念验证，为未来定位「哪条训练样本直接推高了测试集的不确定性」开辟了道路。

局限与展望¶

渐近性定理依赖理想化假设：定理 3.1 和 3.2 依赖模型完全良态设定（Well-specified）和参数可辨识性（Identifiability），而在超参数化过拟合深度网络中，参数往往不可辨识且模型存在设定偏差（Misspecification）。
极端小样本区间的渐近逼近误差：在极低数据量下，大样本展开的高阶小项 $o_p(n^{-1})$ 可能不可忽略，导致 Bootstrap 与贝叶斯后验出现偏离。
两层 Bootstrap 计算代价极其高昂：估计正交分解项需要对 $B$ 个重采样数据集各自训练 $B$ 个随机种子模型（共需训练 $B^2$ 个深度模型），限制了全量 ImageNet 高分辨率实验的推行。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次为深度集成的认知不确定性估计提供了扎实的频率学派渐近理论与方差分解解释]
实验充分度: ⭐⭐⭐⭐☆ [跨 4 大模态覆盖从头训练与微调，但受限于 $B^2$ 算力在 ImageNet 上采用了下采样尺寸]
写作质量: ⭐⭐⭐⭐⭐ [理论推导脉络清晰、符号规范严密，从直觉示例到核心定理过渡自然]
价值: ⭐⭐⭐⭐⭐ [为不确定性量化领域的理论基础与工程实践选型提供了极具说服力的指引]