Evaluating Epistemic Uncertainty: Beyond OOD Detection and Active Learning¶

会议: NeurIPS 2026
arXiv: 2607.14817
OpenReview: https://openreview.net/forum?id=PscPjahZWf
领域: 安全
关键词: 认识不确定性、偶发不确定性、选择性分类、遗憾最小化、Pareto最优前沿

一句话总结¶

本文指出了传统使用分布外检测（OOD Detection）和主动学习评估认识不确定性的理论脱节，提出了基于遗憾（可消除误差）最小化的拒绝选项统一凸优化框架，证明了最优选择器为真实偶发与认识不确定性的凸组合阈值化，并提出了 Pareto-gap 这一操作效用诊断指标。

研究背景与动机¶

不确定性量化（Uncertainty Quantification, UQ）与解耦的核心目标是将模型自身的无知（认识不确定性，Epistemic Uncertainty）与数据固有的噪声（偶发不确定性，Aleatoric Uncertainty）分离开来。在安全关键型系统中，准确剥离认识不确定性能够引导系统做出明智的后验动作，例如触发拒绝机制以规避高风险预测，或发起新标签的主动采集。然而，长期以来学术界往往将认识不确定性停留于一种模糊的“模型无知”概念，缺乏一个面向具体下游决策的操作性定义。在单标签经验评估环境下，真实的认知遗憾（Regret）是不可直接计算的，这导致现有文献普遍依赖分布外样本检测（OOD Detection）和主动学习（Active Learning）作为经验替代评测任务。

这种依赖代理任务的做法潜藏着严重的理论脱节。分布外检测在贝叶斯最优下的决策准则是输入似然比 $p_{\text{ood}}(x)/p_{\text{id}}(x)$，它仅仅取决于边缘数据密度，完全独立于下游具体预测任务的损失函数和真实条件标签分布；而主动学习（如预期误差降低 EER 或 BALD）的优化目标是量化新样本全局上如何降低重训后新模型的泛化误差，属于全局信息增益考量。相比之下，认知遗憾所刻画的认识不确定性，本质上是针对单个具体观测样本可消除的局部误差（Excess Risk）。在多峰且异方差的场景中，这三者的最优选择器在输入空间中所选择拒绝的区域存在根本性冲突，使得代理任务上的排名完全不能反映模型在实际部署场景中规避自身错误的能力。

针对这一理论脱节与解耦质量难以评测的痛点，本文给出了严格的决策论视角统一。既然实际部署中最关心的指标是覆盖率（Coverage）、总风险（Risk）和模型失误造成的遗憾（Regret），那么不确定性评估必须直接锚定在降低可消除误差这一决策目标上。核心 idea：将选择性分类与认知拒绝选项统一表述为覆盖率、期望风险与遗憾的受约束凸优化框架，证明理论最优选择器必为真实偶发不确定性与认识不确定性的凸组合阈值截断，并借助密集人类软标签真实分布，提出 Pareto-gap 作为综合检验不确定性解耦与操作效用的基准诊断指标。

方法详解¶

整体框架¶

本文构建了在给定部署损失函数 $\ell$ 与固定训练集 $\mathcal{D}$ 下的不确定性决策论框架。预测模型 $H(x, \mathcal{D})$ 面对测试输入 $x$ 时，总不确定性 $T_\ell^*(x, \mathcal{D})$ 可分解为数据固有的偶发不确定性 $A_\ell^*(x)$（即便贝叶斯最优预测器 $h(x, \theta)$ 也会承受的不可消除损失）与认识不确定性 $E_\ell^*(x, \mathcal{D})$（由于参数后验不确定所带来的超额风险或遗憾）。系统通过选择器 $C(x) \in [0, 1]$ 决定是否接受并输出该预测。方法的整体评估与决策分析管线如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入样本 x 与预测分布<br/>输入特征与真实软标签分布"] --> B["损失驱动的不确定性分解<br/>总风险 T* = 偶发 A* + 认知遗憾 E*"]
    B --> C["统一受约束优化框架<br/>在覆盖率/风险/遗憾约束下求解"]
    C --> D["最优选择器定理决策<br/>(1-λ)A* + λE* ≤ τ (λ∈[1/2, 1])"]
    D --> E["Pareto-optimal 前沿面映射<br/>覆盖率 ρ - 风险 Ri - 遗憾 Re 空间"]
    E --> F["Pareto-gap 效用诊断评估<br/>计算评估模型曲面与真实曲面 IGD+ 距离"]

关键设计¶

1. 风险-遗憾-覆盖率的统一受约束优化公式

传统选择性分类侧重于在控制经验错误率的前提下最大化覆盖率，评估的是总预测不确定性；而认知拒绝预测则致力于在给定覆盖率下仅规避模型自身的预测偏差（遗憾）。本文将两者纳入一个统一的三维指标体系中：覆盖率 $\rho(C) = \mathbb{E}[C(x)]$、风险 $Ri(C) = \mathbb{E}[C(x) T_\ell^*(x, \mathcal{D})]$ 以及认知遗憾 $Re(C) = \mathbb{E}[C(x) E_\ell^*(x, \mathcal{D})]$。基于此，建立三个相互对偶的受约束优化问题： - $(\mathrm{P}_\rho)$：在风险界限 $Ri(C) \leq \rho$ 与遗憾界限 $Re(C) \leq \gamma$ 下最大化覆盖率 $\rho(C)$； - $(\mathrm{P}_{Ri})$：在覆盖率下限 $\rho(C) \geq \kappa$ 与遗憾界限 $Re(C) \leq \gamma$ 下最小化风险 $Ri(C)$； - $(\mathrm{P}_{Re})$：在覆盖率下限 $\rho(C) \geq \kappa$ 与风险界限 $Ri(C) \leq \rho$ 下最小化遗憾 $Re(C)$。

这三个公式严格刻画了模型在部署时不可调和的现实权衡，将抽象的“不确定性度量”具体化为可操作的决策动作。

2. 最优选择器的凸组合结构定理

对于上述三个问题中的任意可行实例，基于 KKT 条件推导其拉格朗日乘子，本文严格证明了最优选择器必具有统一的形式。具体地，存在权重标量 $\lambda \in [1/2, 1]$ 及截断阈值 $\tau \in \mathbb{R}$，使得最优判定规则为： $$C^*(x) = \mathbf{1}\left\{(1 - \lambda) A_\ell^*(x) + \lambda E_\ell^*(x, \mathcal{D}) \leq \tau\right\}$$ 该结论揭示了深刻的理论内涵：两个极值端点恰好退化恢复为现有文献中的独立特例。当 $\lambda = 1/2$ 时，判定准则退化为对总不确定性 $T_\ell^* = A_\ell^* + E_\ell^*$ 的阈值截断，即经典的选择性预测（Selective Prediction）；当 $\lambda = 1$ 时，判定准则完全只依赖认知遗憾 $E_\ell^*$，对应纯粹的认知拒绝选项（Epistemic Reject-Option）。而所有处于平衡约束下的最优策略，均落在 $[1/2, 1]$ 的凸组合之中。此外，该结论在将风险与遗憾归一化为选择性风险（$Ri/\rho$）和选择性遗憾（$Re/\rho$）的非线性分数规划下，借助 Dinkelbach 定理证明依然完全成立，仅平移操作阈值 $\tau$。

3. 操作效用曲面与 Pareto-gap 诊断指标

现有文献（如 Mucsányi 等人）普遍计算估计所得的偶发不确定性 $\hat{A}_\ell$ 与认识不确定性 $\hat{E}_\ell$ 之间的 Spearman 秩相关系数 $r_s(\hat{A}_\ell, \hat{E}_\ell)$，认为两者高相关就证明了“解耦失败”。本文打破这一迷思，指出由于真实任务中易混淆边界往往同时伴随较高的模型逼近难度，真实的 $r_s(A_\ell^*, E_\ell^*)$ 本身就可能非常高（在 CIFAR-10H 上高达 0.882）。高相关并非缺陷，而是底层数据流形的自然属性。

为了真正衡量模型不确定性估计的实用价值，本文定义了由估计量构建的可达决策前沿面 $\mathcal{S}(\hat{A}_\ell, \hat{E}_\ell) = \{(\rho(C), Ri(C), Re(C)) \mid C = \mathbf{1}\{w_1 \hat{A}_\ell + w_2 \hat{E}_\ell \leq \tau\}\}$ 与理论最优 Pareto 曲面 $\mathcal{S}^*$。通过在多目标优化中利用修正的反向世代距离（Inverted Generational Distance, IGD+）计算两者曲面间距，提出 Pareto-gap： $$\text{Pareto-gap} = \mathrm{IGD}^+(\mathcal{S}(\hat{A}_\ell, \hat{E}_\ell), \mathcal{S}^*)$$ 只要 $\hat{A}_\ell$ 与 $\hat{E}_\ell$ 之间的非线性关系能够通过线性组合生成紧致的决策边界，即使其排序高度一致，Pareto-gap 依然能达到极小值，从而证实其在三维受约束空间中的真实决策效用。

损失函数 / 训练策略¶

评估真实期望遗憾必须获知数据生成分布 $p^*(y \mid x)$ 的无偏近似。本文选取带密集人工软标签的图像数据集（CIFAR-10H、DCIC 8 数据集全集）和年龄连续估计数据集（APPA-REAL，离散化为 101 个整数类并用软标签训练）。由于不确定性强依赖于任务损失，对分类问题分别在交叉熵（CE）与 0/1 损失下导出相符的 $A_\ell^*$ 与 $E_\ell^*$；对年龄估计则在平方损失（sqr）与绝对值损失（abs）下导出。基线模型涵盖 MC-Dropout（$p=0.1$, 推理采样 $S=20$）、Deep Ensembles（$M=5$ 个独立成员）、Evidential Networks（Softplus+1 激活输出狄利克雷浓度 $\alpha$，采用软标签 CE 训练且 $\lambda_{KL}=0$）以及 DDU（谱归一化 Lipschitz=3.0，隐空间拟合 GMM）。

实验关键数据¶

主实验¶

在 CIFAR-10H 和 APPA-REAL 上，通过真实人标分布计算真实贝叶斯最优基准，评测纯认识不确定性拒绝能力（AuReC、ex-AuReC）以及联合解耦效用（Pareto-gap，简称 P-gap）。

数据集	损失	方法	AuReC ↓	ex-AuReC ↓	P-gap ↓	$r_s(\hat{A}_\ell, \hat{E}_\ell)$	$r_s(A_\ell^, E_\ell^)$
CIFAR-10H	CE	MC-Dropout	0.1023	0.0738	0.1074	0.912	0.882
CIFAR-10H	CE	Deep Ensemble	0.0752	0.0491	0.0753	0.880	0.865
CIFAR-10H	CE	DDU	0.0958	0.0665	0.0979	0.674	0.875
CIFAR-10H	CE	Evidential	0.0673	0.0183	0.0379	0.999	0.293
CIFAR-10H	0/1	MC-Dropout	0.0162	0.0154	0.0117	0.205	0.216
CIFAR-10H	0/1	Deep Ensemble	0.0058	0.0053	0.0097	0.456	0.208
CIFAR-10H	0/1	DDU	0.0034	0.0027	0.0108	0.678	0.212
CIFAR-10H	0/1	Evidential	0.0030	0.0023	0.0103	0.999	0.213
APPA-REAL	sqr	MC-Dropout	11.6382	6.6169	0.2005	0.823	0.316
APPA-REAL	sqr	Deep Ensemble	11.3519	6.6908	0.1806	0.674	0.273
APPA-REAL	sqr	Evidential	16.9411	8.4294	0.1998	0.976	-0.128
APPA-REAL	sqr	DDU	20.0456	15.4126	0.1843	-0.201	0.273
APPA-REAL	abs	MC-Dropout	0.8184	0.4499	0.1722	0.718	0.133
APPA-REAL	abs	Deep Ensemble	0.7948	0.4640	0.1531	0.580	0.107
APPA-REAL	abs	Evidential	0.9707	0.5689	0.1678	0.418	0.049
APPA-REAL	abs	DDU	1.0422	0.7116	0.1595	-0.235	0.104

代理任务与遗憾指标的排名反转对比¶

对比在传统代理任务（OpenOOD 的 Far-OOD 检测 AuROC、OpenML-6 主动学习的规范化预算曲线下面积 NAUC）与本文提出的真实遗憾度量（CIFAR-10H 上的 AuReC）之间的模型表现，暴露出剧烈的方法排名倒挂现象：

评估方法	近OOD (Near) AuROC ↑	远OOD (Far) AuROC ↑	主动学习 (AL NAUC) ↑	CIFAR-10H (CE) AuReC ↓	决策论综合表现
Deep Ensemble	0.907	0.931	0.960	0.0752	各项任务相对平稳均衡
DDU	0.899	0.935	0.943	0.0958	OOD 最佳，但真实认知遗憾最差
MC-Dropout	0.839	0.895	0.962	0.1023	主动学习优秀，遗憾捕获能力平庸
Evidential Net	0.711	0.726	0.177	0.0673	OOD/AL 垫底，但真实认知遗憾与 P-gap 最优

关键发现¶

代理任务引发严重的决策误判：DDU 在 Far-OOD 检测上达到最高分（AuROC=0.935），在主动学习中也极强，但其隔离真实预测可消除误差的能力垫底（AuReC=0.0958，在 DCIC 8 个数据集上没有一个达到最佳）；相反，Evidential 架构在 OOD 和主动学习中几乎彻底失效（AL NAUC 仅 0.177），却在 CIFAR-10H 的认知遗憾最小化中大幅领先（AuReC=0.0673，ex-AuReC=0.0183），展示了惊人的反差。
秩相关系数无法反映解耦好坏：Evidential 网络在 CIFAR-10H 上的预测偶发与认识不确定性达到了 $r_s=0.999$ 的极高相关性，若按现有文献判定为“完全纠缠失败”；但其 Pareto-gap 达到全场最低的 0.0379。这证实两者的非线性关系能够极其有效地组合拟合出最优决策面，高秩相关不损害操作效用。
任务目标对损失函数的极端敏感性：当评测从 CE 损失切换为 0/1 损失时，真实的秩相关系数 $r_s(A^*, E^*)$ 从 0.88 骤降至 0.21。不确定性的解耦程度不能脱离具体的部署损失函数凭空讨论。

亮点与洞察¶

终结代理任务的理论盲信：清晰揭示了 OOD 检测（依赖输入似然比）与主动学习（依赖全局重训收益）在数学优化目标上与局部可消除误差（认识遗憾）的不一致性，用 1D 闭式沙盒与真实数据证明了评估准则的不匹配。
优雅的理论闭环：通过 KKT 条件证明无论如何调整风险与遗憾的权衡预算，最优决策器永远收敛于 $(1-\lambda) A^* + \lambda E^* \leq \tau$ 这一凸组合阈值形式，且 $\lambda$ 严格约束在 $[1/2, 1]$ 之间，完美连结了选择性分类与认知拒绝选项。
实用诊断工具 Pareto-gap：引入多目标优化的 IGD+ 度量，为社区提供了一个摆脱单纯统计学相关性偏见、直接检验不确定性估计对下游拒绝决策联合效用的黄金标准。

局限与展望¶

基准依赖密集人工标注分布：评估真实频繁项遗憾的前提是获得真实条件概率 $p^*(y \mid x)$ 的精确估计，这限制了该评测准则只能在具备密集人标软标签的特定数据集（如 CIFAR-10H、DCIC、APPA-REAL）上作为 Benchmark 运行，无法直接零成本推广到无软标签的大规模单标注真实场景。
未解耦估计误差与近似误差：以经验软标签分布作为 oracle，其计算出的遗憾同时包含了模型类容积不足带来的逼近误差与参数估计有限带来的估计误差，未对其在更细粒度上进行隔离。

评分¶

新颖性: ⭐⭐⭐⭐⭐ (从决策论与受约束优化角度彻底厘清了认识不确定性评估脱节的根源，并给出了凸组合闭式定理)
实验充分度: ⭐⭐⭐⭐⭐ (覆盖合成 1D 沙盒、CIFAR-10H、8 个 DCIC 数据集、APPA-REAL，以及 OOD 和主动学习代理任务的全面对比)
写作质量: ⭐⭐⭐⭐⭐ (数学推导严密精炼，论点鲜明犀利，直击领域长期存在的概念混淆)
价值: ⭐⭐⭐⭐⭐ (对不确定性量化领域的评测范式具有极其重要的纠偏与指导意义)