Extending ROC Analysis to Uncertainty-Aware Risk Prediction with an Interval-Based AUC (iAUC)¶

会议: NeurIPS 2026
arXiv: 2602.04775
论文: https://arxiv.org/abs/2602.04775
代码: https://github.com/yuqili-stat/iAUC
领域: 医疗NLP / 风险预测评估 / 不确定性量化
关键词: 区间ROC分析, 区间AUC (iAUC), 认知不确定性, 风险预测评估, 阈值弃权决策

一句话总结¶

针对高风险临床场景中点估计无法反映认知不确定性的问题，本文提出了将ROC分析扩展至区间值预测的iAUC框架，构建上下两条ROC曲线并实现确定正确、模糊重叠与确定错误的严格三分分解，同时给出了贝叶斯最优AUC的理论覆盖界。

研究背景与动机¶

在临床医学与重疾风险预警等高风险决策场景中，仅输出一个单一标量概率作为风险预测结果往往是不充分的。例如在心血管疾病的十年他汀类药物预防干预中，临床指南通常以特定风险阈值（如10%与20%）作为用药与否的刚性分界点；当患者特征处于训练分布稀疏的低密度区域或分布外区域时，模型存在极高的认知不确定性（Epistemic Uncertainty）。若模型仅给出孤立的点估计，临床医生无法知晓该预测究竟是置信地落在决策阈值单侧，还是由于不确定性导致该点估计极不可靠。现代不确定性量化方法（如Bootstrap重抽样、贝叶斯后验推断、深度集成Deep Ensembles）能够为每个输入输出置信区间或可信区间，从而直观表达风险估计的波动范围。

然而，现有分类与排序评估体系在面对区间值预测时存在严重的评估真空。经典的受试者工作特征曲线（ROC）与曲线下面积（AUC）仅为标量预测分数而设计；在实际应用中，评估往往被迫将区间预测粗暴地折叠均值为单一点估计后再计算AUC，或者脱离判别能力单独去检验区间的覆盖度与锐度（Sharpness）。这种割裂的做法在二元风险预测中尤其致命：因为患者真实的潜在后验风险概率通常不可直接观测，使得覆盖率难以在非模拟环境下直接核验；更为关键的是，点估计AUC完全抹杀了区间的宽度与重叠信息，无法区分模型的判别力究竟源于确定性的正确排序、不确定性导致的重叠模糊、还是置信度极高的严重排序错误。

本文的切入角度是直接从正负样本区间对的偏序关系出发，构建严格的区间级排序准则与ROC对应曲面。核心 idea：将经典AUC“正样本得分高于负样本”的概率解释严格推广至区间偏序，通过构建由极值端点诱导的下界曲线 $\text{AUC}_L$ 与上界曲线 $\text{AUC}_U$，诱导确定正确、重叠模糊与确定错误的三分空间分解，并在类条件覆盖假设下给出贝叶斯最优AUC的理论约束界。

方法详解¶

整体框架¶

本文提出的iAUC框架旨在无需对区间内部数据分布做额外参数化假设的前提下，直接评估模型输出的区间值风险预测 $I(X) = [L(X), U(X)]$（满足 $0 \le L(X) \le U(X) \le 1$）。对于来自正负类别的独立样本区间 $I_1 = [L_1, U_1]$ 和 $I_0 = [L_0, U_0]$，框架定义了非重叠条件下的严格偏序关系。通过在不同判别严格度下定义真阳性率（TPR）与假阳性率（FPR），框架构造出下界曲线 $\text{ROC}_L$ 与上界曲线 $\text{ROC}_U$，其对应的积分面积 $\text{AUC}_L$ 与 $\text{AUC}_U$ 精确量化了全局排序结果。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["区间值风险预测<br/>正类 I1=[L1,U1], 负类 I0=[L0,U0]"] --> B["区间严格偏序对比"]
    B --> C["端点阈值率函数构建<br/>TPRL/U 与 FPRL/U"]
    C --> D["双区间ROC曲线与iAUC度量<br/>AUCL 与 AUCU"]
    D --> E["三区域排序分解<br/>确定正确 / 模糊重叠 / 确定错误"]
    E --> F["下游应用决策<br/>风险感知模型选择 & 阈值弃权机制"]

关键设计¶

1. 区间严格偏序与双ROC曲线构建：量化极端边界下的严格与宽松判别力 针对标量ROC无法接纳区间输入的根本限制，本文基于区间端点定义了两两比较关系：当且仅当正类下界高于负类上界（$L_1 > U_0$）时判定为确定正确（$I_1 > I_0$）；当且仅当正类上界低于负类下界（$U_1 < L_0$）时判定为确定错误（$I_1 < I_0$）；其余存在区间重叠的情况全部归为模糊排序。基于此，在任意连续决策阈值 $t \in \mathbb{R}$ 下定义四类极端率函数：正类下界超阈值率为 $\text{TPR}_L(t) = \mathbb{P}(L_1 > t)$，正类上界超阈值率为 $\text{TPR}_U(t) = \mathbb{P}(U_1 > t)$；负类对应为 $\text{FPR}_L(t) = \mathbb{P}(L_0 > t)$ 与 $\text{FPR}_U(t) = \mathbb{P}(U_0 > t)$。通过将最严格的正类判据与最宽容的假阳性判据组合，绘制 $\text{TPR}_L(t)$ 对 $\text{FPR}_U(t)$ 的下界曲线，其积分面积即为 $\text{AUC}_L$；反之，将最宽容的正类判据与最严格的负类判据组合，绘制 $\text{TPR}_U(t)$ 对 $\text{FPR}_L(t)$ 的上界曲线，积分面积为 $\text{AUC}_U$： $$\text{AUC}_L = \int \text{TPR}_L(t) \, d[\text{FPR}_U(t)], \qquad \text{AUC}_U = \int \text{TPR}_U(t) \, d[\text{FPR}_L(t)]$$ 下界曲线要求正类区间必须整体严格超越阈值，同时负类区间只要有任意部分探过阈值即算误报，刻画了最严苛置信下的判别力；上界曲线则代表最宽泛容忍下的判别上限。

2. 概率等价性与三区域三分分解定理：建立几何曲面与正负样本排序概率的严格对应 针对传统点估计AUC具有二元成对排序概率解释（$\mathbb{P}(f(X_1) > f(X_0))$）的性质，本文通过Stieltjes积分理论证明了 $\text{AUC}_L$ 与 $\text{AUC}_U$ 的精确概率对应：下界面积完全等于正类区间严格高于负类区间的先验概率，即 $\text{AUC}_L = \mathbb{P}(L_1 > U_0) = \mathbb{P}(I_1 > I_0)$；而上界面积则对应确定错误的补集，即 $\text{AUC}_U = 1 - \mathbb{P}(U_1 < L_0) = 1 - \mathbb{P}(I_1 < I_0)$。这直接诱导了样本对排序空间的三区域互斥完全分解： $$\mathbb{P}(I_1 > I_0) + \mathbb{P}(\text{overlap}) + \mathbb{P}(I_1 < I_0) = 1$$ 其中区间重叠发生概率精确等于上下界曲线面积差 $\mathbb{P}(\text{overlap}) = \text{AUC}_U - \text{AUC}_L$。在几何上，ROC平面被两曲线划分为三部分：下曲线下方对应确定正确区域，上曲线上方对应确定错误区域，两曲线夹持的带状面积精确等于模糊重叠概率。当预测区间收缩为点估计（$L=U$）时，重叠概率降为零，$\text{AUC}_L = \text{AUC}_U$ 完全退化恢复为经典AUC，实现了理论自洽。

3. 贝叶斯最优AUC的类条件覆盖理论界：架起不确定性覆盖率与理论极限判别力的桥梁 为了探明在不可观测真实后验风险概率 $\eta(x) = \mathbb{P}(Y=1 \mid X=x)$ 的二元分类场景下，区间评估如何反映真实潜在的最优判别能力，本文推导了基于覆盖率的理论界。设正负类条件下的真实风险非覆盖率分别为 $\alpha_1 = \mathbb{P}(\eta(X) \notin I(X) \mid Y=1)$ 和 $\alpha_0 = \mathbb{P}(\eta(X) \notin I(X) \mid Y=0)$，则正负样本对联合非覆盖概率为 $p_{\text{pair}} = 1 - (1-\alpha_1)(1-\alpha_0) = \alpha_1 + \alpha_0 - \alpha_1 \alpha_0$。在双样本均被成功覆盖的事件下，严格区间偏序必定蕴含真实后验偏序。由此证明了贝叶斯最优排序指标 $\text{AUC}^* = \mathbb{P}(\eta(X_1) > \eta(X_0))$ 严格受控于区间AUC指标与失效率： $$\text{AUC}_L - p_{\text{pair}} \le \text{AUC}^* \le \text{AUC}_U + p_{\text{pair}}$$ 该不等式无需强参数假设，直接将区间量化方法的不确定性失效率 $p_{\text{pair}}$ 以及区间重叠宽度 $\text{AUC}_U - \text{AUC}_L$ 转化为贝叶斯最优上限的围栏区间，揭示了即便在复杂分布下，只要区间具备合法的统计覆盖性质，观测到的 $\text{AUC}_L$ 与 $\text{AUC}_U$ 就能为理论极限性能划定有效范围。

4. 风险感知模型选择与基于区间的阈值弃权机制：打通成对排序与单样本临床干预决策 针对临床实际需求，本文构建了两套衍生决策规则。其一是成对层面的“风险感知模型选择准则”：在预设容忍度 $\epsilon$ 下，在满足确定错误率 $\mathbb{P}(I_1 < I_0) \le \epsilon$ 的候选模型-生成器中，挑选具有最大确定正确率 $\text{AUC}_L = \mathbb{P}(I_1 > I_0)$ 的系统；此规则天然惩罚了区间过宽导致的过度重叠模型。其二是单样本层面的“阈值弃权规则”：面对临床固定决策阈值 $t$，当 $L(x) > t$ 时明确预测为阳性，当 $U(x) < t$ 时明确预测为阴性，而当区间横跨阈值 $L(x) \le t \le U(x)$ 时模型主动触发弃权（Abstain），转交人工专家二审，从而在保留高置信子集的同时显著降低干预误诊率。

实验关键数据¶

主实验¶

论文在 Pima Indians Diabetes 临床基准数据集以及大型重症监护真实数据集 MIMIC-IV（54,473例成年ICU住院患者的院内死亡率预测，包含47个前24小时生命体征与生化指标）上系统评估了该框架。表1展示了 MIMIC-IV 在90%置信水平下的成对排序分解与模型对比，揭示了点估计AUC与不确定性感知排序之间的巨大反差。

模型	点估计AUC	$\text{AUC}_L$ / $\mathbb{P}(I_1 > I_0)$	$\text{AUC}_U$	重叠概率 $\mathbb{P}(\text{overlap})$	确定错误率 $\mathbb{P}(I_1 < I_0)$
逻辑回归 (LR)	0.772	0.678	0.848	0.170	0.152
随机森林 (RF)	0.814	0.637	0.925	0.288	0.075
梯度提升树 (HistGB)	0.835	0.567	0.962	0.395	0.038
多层感知机 (MLP)	0.827	0.405	0.985	0.581	0.015

消融实验¶

表2展示了在 Pima Indians Diabetes 基准上，固定底模或固定区间生成算法时，不同不确定性量化方式在90%名义区间水平下的三分分解行为。这证明了基模与区间生成器必须作为联合系统加以评估。

| 基模 | 区间生成机制 | 点估计AUC | $\mathbb{P}(I_1 > I_0)$ | $\mathbb{P}(\text{overlap})$ | $\mathbb{P}(I_1 < I_0)$ | 说明 | |---|---|---|---|---|---| | EBM | Deep Ensemble | 0.831 | 0.675 | 0.249 | 0.076 | 保持高确定正确率且错误率受控 | | EBM | Bootstrap | 0.830 | 0.265 | 0.728 | 0.007 | 点AUC极高但72.8%排序陷入模糊 | | HistGBM | Deep Ensemble | 0.824 | 0.566 | 0.385 | 0.049 | 重叠适中，低置信错误仅4.9% | | HistGBM | Bootstrap | 0.826 | 0.305 | 0.685 | 0.009 | Bootstrap导致区间过宽模糊化 | | RF | Deep Ensemble | 0.810 | 0.728 | 0.147 | 0.125 | 确定正确率高但置信错误达12.5% | | LR | Bootstrap | 0.821 | 0.591 | 0.352 | 0.057 | 经典基线，各指标表现平衡 |

关键发现¶

点估计AUC极具误导性：在 MIMIC-IV 上，HistGB 取得了最高的标量点估计AUC（0.835），但在考虑区间不确定性后，其确定正确率 $\text{AUC}_L$ 仅为 0.567；相反，RF 的点估计AUC仅为 0.814，其确定正确率却高达 0.637 且置信错误率受控在 7.5%。若设定临床容忍错误阈值 $\epsilon = 0.10$，基于iAUC的选择机制会果断选择 RF 而非被点估计AUC误导的 HistGB。
不同UQ机制具有本质不同的排序行为：在 Pima 数据集上，EBM 无论搭配 Bootstrap 还是 Deep Ensemble，其点估计AUC几乎毫无差异（0.830 vs 0.831）。然而，Bootstrap 机制产出的区间过于宽泛，导致 72.8% 的样本对陷入重叠未决状态，确定正确率暴跌至 0.265；而 Deep Ensemble 仅有 24.9% 的重叠，确定正确率维持在 0.675。这表明区间生成机制对判别可靠性起决定性作用。
阈值弃权显著改善留存样本质量：在 MIMIC-IV 的单样本弃权实验中，在训练死亡率基线阈值（$t=0.1058$）下，MLP 主动弃权 47.6% 的不确定患者，使保留决策群体的假阳性率从整体点估计的 0.274 剧降至 0.093，真阳性率由 0.757 提升至 0.824，证明了基于区间边界的弃权策略在临床安全性上的实用价值。

亮点与洞察¶

严格自洽的理论延展：文章通过精确的Stieltjes积分推导，在几何面积与概率偏序间建立了无缝连接，证明了经典AUC只是区间长度收缩为零时的特例，数学体系完备优雅。
三区域分解直击临床信任痛点：将模糊未决（重叠）与灾难性错误（置信反转）剥离开来，使得算法在医疗场景下“坦诚承认不知道”不会像以往那样被硬性打分掩盖，极大促进了高风险AI的安全落地。
即插即用的通用兼容性：理论推导完全独立于底层区间的生成机制，无论是统计学常用的Bootstrap、分位数回归，还是深度学习的蒙特卡洛Dropout、贝叶斯神经网络、深度集成均能无缝接入。

局限与展望¶

作者承认的局限：当前的iAUC理论严格基于二元分类排序设定，尚未扩展至生存分析、竞争风险模型或多分类风险预测任务；同时理论依赖于底层区间方法自身具备合法的类条件覆盖率，iAUC本身并不校准区间生成过程。
潜在改进方向：两两样本比较中，目前对于所有存在重叠的区间对采取“一刀切”的未加权模糊判定，未根据重叠相对宽度分配连续权重；未来可探索加权软重叠度量。此外，在医学NLP场景下，当临床大模型生成带有不确定性置信度区间的诊断风险报告时，可将该度量引入文本驱动的风险判别评测中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从统计理论层面将经典ROC/AUC严格拓展为双曲线区间偏序与三区域分解框架。
实验充分度: ⭐⭐⭐⭐ 涵盖经典医学统计基准与大型真实电子病历MIMIC-IV，覆盖五类机器学习底模与四类UQ机制。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严谨精炼，概念陈述清晰，几何与概率物理意义阐释极其透彻。
价值: ⭐⭐⭐⭐⭐ 为高风险医疗与安全关键型AI的风险预测和不确定性评估提供了统一的标准度量工具。