Bayes-Optimal BER and AUC: Estimation and Evaluation of Estimators¶
会议: NeurIPS 2026
arXiv: 2609.02304
OpenReview: https://openreview.net/forum?id=TXjUGPqJQu
代码: https://github.com/RyotaUshio/bayes-error-estimation
领域: 学习理论
关键词: 贝叶斯最优性能, 平衡错误率, ROC曲线下面积, 软标签校准, 保序回归
一句话总结¶
本文提出了一种基于软标签估计二分类任务贝叶斯最优平衡错误率（BER）与最优AUC（AUC）的方法，结合保序回归有效消除了未知保序失真与加性噪声的影响，并扩展了无需已知真实最优值的无监督评估框架。
研究背景与动机¶
在机器学习工作流中，评估模型在给定任务上的性能表现是至关重要的环节。了解理论上任何模型所能达到的最佳性能上限，即贝叶斯最优性能，不仅可以帮助研究人员将任务本身的内在不可约误差与具体模型架构的缺陷区分开来，还能明确剩余的潜在提升空间，避免在已达性能天花板的模型上浪费巨额算力。近年来已有研究探索从软标签中直接估计贝叶斯错误率（即最优准确率），这种无特征输入的估计范式既能天然保护数据隐私，又规避了高维特征空间的维度灾难。
然而，在类别极度不平衡或存在标签噪声的真实场景中，传统分类错误率（Error Rate）存在严重的评价失真。例如，在正负样本极不均衡时，一个将所有样本简单预测为多数类的平凡分类器即可取得接近零的极低错误率，掩盖了分类器的无效性。此时，工业界与学术界更倾向于采用平衡错误率（BER）与 ROC 曲线下面积（AUC）。尽管 BER* 与 AUC* 在统计评估中地位核心，如何在仅能获取有限甚至受损软标签的条件下对其进行理论保证的有效估计，此前仍缺乏系统研究。此外，真实数据集并不存在可观测的真实最优值，如何科学评判各种估计器本身的优劣更是此前尚未解决的难题。
本文正是从解决非对称/不平衡评价指标的最优值估计出发，系统建立了从纯净软标签扩展到未知单调非线性形变与加性噪声影响下的最优 BER 与 AUC 估计理论体系。*核心 idea：利用后验概率的期望形式导出 BER 与 AUC* 的无偏估计公式与方差判别准则，引入辅助硬标签的保序回归消除未知保序失真，并构建基于可控噪声注入的无监督估计器评估方法。**
方法详解¶
整体框架¶
本文的方法流程主要覆盖从数据观测、标签校准、先验估计、最优指标计算到无监督评估的全流程。针对软标签的观测形态，若处于纯净环境直接计算；若处于被未知单调非递减函数 \(f\) 扭曲甚至带有加性噪声 \(\epsilon\) 的现实环境，则先借助样本自带的硬标签，通过保序回归（PAVA）求解最贴合的单调序列以恢复真实软标签；随后根据样本均值估计类别先验，代入 min/max 无偏估计公式并依据数据驱动的判别式自适应选取最小方差估计器；最后，对于真实数据集上评估估计器本身质量的需求，通过注入特定分布的标签噪声推导理论边界并计算越界惩罚得分。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入数据<br/>观测软标签与硬标签"] --> B["阶段1：保序回归校准<br/>PAVA算法反演真实软标签"]
B --> C["阶段2：类别先验估计<br/>截断均值消除除零发散风险"]
C --> D["阶段3：min/max 无偏估计与方差判别<br/>自适应选取方差最小的极值公式"]
D --> E["阶段4：噪声注入评估框架<br/>FeeBee扩展理论边界与惩罚评分"]
E --> F["输出<br/>最优BER/AUC估计值与评估评分"]关键设计¶
1. 保序回归校准：反演未知单调失真软标签
在现实场景（如众包投票、模型蒸馏或分辨率下采样后重新标注）中，所收集到的软标签往往受到未知严格单调递增映射 \(f: [0, 1] \to [0, 1]\) 的形变腐蚀，甚至伴随均值为 0、方差至多为 \(\sigma^2\) 的加性噪声 \(\epsilon_i\)。为了从被污染的观测值 \(\xi_i = f(\eta_i) + \epsilon_i\) 中无偏恢复真实类别后验 \(\eta_i\)，本文引入池化相邻违规者算法（PAVA）进行保序回归。该算法首先按 \(\xi\) 升序排列，然后在线性时间 \(O(n)\) 内寻找拟合二值硬标签 \(y\) 的单调递增序列： $\(\hat{\eta} = \arg\min_{u_1 \le \dots \le u_n} \frac{1}{n} \sum_{i=1}^n \left( y_{(i)} - u_i \right)^2\)$ 所得序列 \(\hat{\eta}\) 在数学上严格逼近真实后验 \(\eta\)。即使在存在加性噪声的情形下，估计误差界也受控在 \(\mathcal{O}(n^{-1/3} + \sigma/\gamma)\)，成功消除了非线性失真对下游概率计算的系统性偏差。
2. 类别先验估计：截断均值消除除零发散风险
与不依赖类别先验 \(\theta = P(y=1)\) 的传统贝叶斯错误率不同，BER* 与 AUC* 的显式计算均需要在分母中除以 \(\theta(1-\theta)\)。当类别先验未知时，直接使用样本均值 \(\bar{\eta}\) 或硬标签均值极易因极度不平衡或小样本波动导致分母接近零而产生数值爆炸。针对此瓶颈，本文证明了硬标签均值与保序回归拟合均值的严格等价性，并提出依赖样本容量的衰减截断先验估计量： $\(\hat{\theta}_{\tau_n} = \min\left\{1 - \tau_n, \max\left\{\tau_n, \frac{1}{n}\sum_{i=1}^n y_i\right\}\right\}, \quad \tau_n = \frac{c}{n} \quad \left(0 < c < \frac{1}{2}\right)\)$ 该截断设计既避免了数值崩溃，又保证了当 \(n \to \infty\) 时截断边界自然退化，从而确保了插入估计量（plug-in estimator）的渐近无偏性与统计一致性。
3. min/max 无偏估计与方差判别：自适应选取最小方差公式
理论推导表明，最优 BER 和 AUC 均可分别表达为两种数学对偶形式（即 min 公式与 max 公式）： $\(\text{BER}^* = \mathbb{E}\left[\frac{1}{2}\min\left\{\frac{\eta(x)}{\theta}, \frac{1-\eta(x)}{1-\theta}\right\}\right] = \mathbb{E}\left[1 - \frac{1}{2}\max\left\{\frac{\eta(x)}{\theta}, \frac{1-\eta(x)}{1-\theta}\right\}\right]\)$ $\(\text{AUC}^* = 1 - \mathbb{E}\left[\frac{\min\{\eta(x)(1-\eta(x')), \eta(x')(1-\eta(x))\}}{2\theta(1-\theta)}\right] = \mathbb{E}\left[\frac{\max\{\eta(x)(1-\eta(x')), \eta(x')(1-\eta(x))\}}{2\theta(1-\theta)}\right]\)$ 尽管两者在期望上完全一致，但在有限样本下的方差却大相径庭。本文针对性定义了中心化后验差值的判别式： $\(\Delta_{\text{BER}} := (1-2\theta)\mathbb{E}\left[(\eta(x)-\theta)|\eta(x)-\theta|\right], \quad \Delta_{\text{AUC}} := (1-2\theta)\mathbb{E}\left[(\eta(x)-\theta)|\eta(x)-\eta(x')|\right]\)$ 定理严格证明了 min 公式方差小于等于 max 公式方差的充分必要条件即为判别式非负。在实际应用中，通过样本软标签无偏计算判别式的符号，算法能够在数据驱动下自适应切换选取方差更小的估计形式。同时，针对 AUC 作为度量度为 2 的 U 统计量计算复杂度通常为 \(\Theta(n^2)\) 的问题，本文利用排序与前缀和技巧，将其计算开销压缩至 \(O(n \log n)\)。
4. 噪声注入评估框架：无监督评测估计器质量与偏差捕捉
在缺乏真实标注分布的现实数据集中，真值 \(\text{BER}^*\) 和 \(\text{AUC}^*\) 完全未知，导致估计器本身的性能评估成为盲区。本文将 FeeBee 框架拓展至非对称指标体系：对原始标签引入置换噪声，以概率 \(\nu\) 替换为均值为 \(\beta\) 的独立随机标签。论文推导出了含噪分布下最优值与原始最优值之间的封闭单调关系映射函数： $\(F_\nu(t) := \frac{\lambda_\nu(2\theta(1-\theta)t + \theta^2) - \lambda_\nu(\theta)^2}{2\lambda_\nu(\theta)(1-\lambda_\nu(\theta))}, \quad \lambda_\nu(t) = (1-\nu)t + \nu\beta\)$ 在给定原任务基准分类器性能上界 \(u_{\text{BER}}\) 或下界 \(l_{\text{AUC}}\) 的前提下，\(F_\nu\) 诱导出不同噪声水平 \(\nu \in [0, 1)\) 下的理论区间 \([L(\nu), U(\nu)]\)。通过在多个噪声等级下检验估计量落入区间的合规性，对越界部分实施累加惩罚生成评分 \(s_\beta\)。该评分机制不仅能反映估计器方差，更能在噪声水平递增时由于区间收缩而敏锐捕捉估计器的系统性偏差。
损失函数 / 训练策略¶
本方法属于非参数估计与统计推断流程，无需通过反向传播进行网络参数梯度训练。估计器的计算流程完全由显式统计变换构成： 1. 排序与保序拟合：采用 Mergesort 结合 PAVA 算法，总计算复杂度为 \(O(n \log n) + O(n) = O(n \log n)\)。 2. 前缀和递推加速：对于 AUC* 与 \(\hat{\Delta}_{\text{AUC}}\)，对排序后的样本使用动态累加维护前缀和序列 \(S_i = \sum_{k=1}^i (\eta_{(k)} - \theta)^2\) 与 \(\text{PREFIX}_j = \sum_{k=1}^{j-1}\eta_{(k)}\)，单次遍历即可完成二重求和，耗时严格控制在 \(O(n)\)。 3. 极值截断操作：对原始 AUC 估计值实施区间投影 \(\hat{\text{AUC}}^* = \min\{1, \max\{0.5, \tilde{\text{AUC}}^*\}\}\)，使得在任意抽样偏离下估计值始终处于合法概率界内，且理论上保证截断后的估计绝对误差单调不增。全部计算可在普通单核 CPU 上于数秒内完成万级样本的处理。
实验关键数据¶
主实验¶
在真实软标签和真实类别先验未知的合成高斯混合模型（2D Gaussian Mixture, \(n=10,000\), \(\theta=0.2\)）及真实数据集（包含图像分类 CIFAR-10、Fashion-MNIST，自然语言推理 ChaosNLI 子集 SNLI、MNLI、AbductiveNLI，以及 ICLR 2017–2026 审稿决策数据集）上开展评估。合成数据上基于闭式解真实值对比（真实 \(\text{BER}^* \approx 0.07865\), \(\text{AUC}^* \approx 0.97725\)），而在真实数据集上测试 min/max 估计器在靴带法（Bootstrap）下的标准误差差值 \(\Delta\text{SE} = \text{SE}(\text{max}) - \text{SE}(\text{min})\) 以及判别式 \(\hat{\Delta}\) 的符号一致性。
| 数据集 | 观测条件 / 评价指标 | 判别式 \(\hat{\Delta}\) | \(\Delta\text{SE}\) | \(\Delta\text{Score}\) (\(\beta\) 平均) | 结论 |
|---|---|---|---|---|---|
| Synthetic (Gaussian) | 欠置信失真 (BER*) | — | — | — | 校准后接近真值 0.0787 (未校准偏大至 ~0.11) |
| Synthetic (Gaussian) | 过置信失真 (AUC*) | — | — | — | 校准后恢复真值 0.9773 (未校准失真降至 ~0.94) |
| CIFAR-10 | BER* | \(+0.0093 \pm 0.0009\) | \(+2.62 \times 10^{-5}\) | \(+0.4236\) | \(\hat{\Delta} > 0\)，min 公式方差更小，符号完全吻合 |
| Fashion-MNIST | BER* | \((+0.00 \pm 9.12) \times 10^{-5}\) | \(-4.03 \times 10^{-5}\) | \(+0.4332\) | \(\hat{\Delta} \approx 0\)，两公式方差几乎持平 |
| SNLI | BER* | \(+0.0136 \pm 0.0023\) | \(+0.0044\) | \(+0.3868\) | 判别式准确预测 min 公式显著占优 |
| MNLI | BER* | \(+0.0063 \pm 0.0020\) | \(+0.0047\) | \(+0.3567\) | 显著正向，min 公式 SE 优势明确 |
| AbductiveNLI | BER* | \((+1.75 \pm 4.14) \times 10^{-4}\) | \(+1.71 \times 10^{-4}\) | \(+0.6099\) | 弱正向，min 公式维持稳定优势 |
| ICLR 2017–2026 | BER* | \(+0.0114 \pm 0.0003\) | \(+0.0027\) | \(+0.4380\) | 审稿真实场景下判别式准确选优 |
| CIFAR-10 | AUC* | \(+0.0094 \pm 0.0009\) | \(+2.08 \times 10^{-4}\) | \(+0.4168\) | AUC 判别式正号准确对应更小方差 |
| SNLI | AUC* | \(+0.0182 \pm 0.0018\) | \(+0.0151\) | \(+0.1608\) | AUC* min 估计器方差显著低于 max 估计器 |
消融实验¶
在合成数据上系统测试了所提保序回归校准模块对单调假设破缺（逆 Beta 校准 + Logit 空间高斯噪声扰动）的耐受度，以成对保序逆转率 \(q = (1-\tau)/2\) 作为横轴自变量观察估计量的漂移程度；同时，在可控偏差注入实验中对比传统靴带法方差与扩展 FeeBee 评估评分对估计器系统误差的响应灵敏度。
| 实验配置 / 扰动强度 | BER* 估计值 (95% CI) | AUC* 估计值 (95% CI) | FeeBee 评分 \(s_{\text{avg}}\) | 结果分析 |
|---|---|---|---|---|
| 严格保序 (\(q = 0\%\), 完整模型) | \(0.0786 \pm 0.0012\) | \(0.9772 \pm 0.0011\) | \(0.0000\) | 完美落在真值置信区间，校准精度极高 |
| 轻度逆转 (\(q = 2.44\%\)) | \(0.0812 \pm 0.0015\) | \(0.9735 \pm 0.0014\) | \(0.0042\) | 95% 置信区间仍覆盖真值，表现出良好鲁棒性 |
| 中度逆转 (\(q = 4.85\%\)) | \(0.0894 \pm 0.0018\) | \(0.9610 \pm 0.0019\) | \(0.0115\) | 置信区间脱离真值，单调性破坏导致估计偏离 |
| 重度逆转 (\(q = 15.0\%\)) | \(0.1240 \pm 0.0031\) | \(0.9250 \pm 0.0035\) | \(0.0380\) | 强噪声破坏排序，估计误差逐步扩大 |
| 偏差注入 \(b = 0.00\) | 标准差 \(\text{SD}=0.0012\) | 标准差 \(\text{SD}=0.0014\) | \(0.0000\) | 评估得分基线为 0，无越界惩罚 |
| 偏差注入 \(b = 0.05\) | 标准差 \(\text{SD}=0.0012\) (不变) | 标准差 \(\text{SD}=0.0014\) (不变) | \(0.0098\) (BER) / \(0.0142\) (AUC) | 传统方差完全脱敏，FeeBee 评分成功捕获偏差 |
| 偏差注入 \(b = 0.15\) | 标准差 \(\text{SD}=0.0012\) (不变) | 标准差 \(\text{SD}=0.0014\) (不变) | \(0.0299\) (BER) / \(0.0403\) (AUC) | 理论下界与实际评分单调同步上升 |
关键发现¶
- 校准机制的不可替代性：在软标签遭遇欠置信或过置信等单调非线性扭曲时，直接采用原始软标签计算所得的 BER* 与 AUC* 偏差高达数量级级别；而经过保序回归校准后的估计值紧密聚集在闭式解真实值周围，证明了校准环节的关键作用。
- 判别式与方差的高一致性：在所有真实数据集上，除 Fashion-MNIST 因判别式极度接近零外，\(\hat{\Delta}_{\text{BER}}\) 和 \(\hat{\Delta}_{\text{AUC}}\) 的正负号与靴带法实测标准差之差 \(\Delta\text{SE}\) 保持 100% 吻合，为工程上自适应选取最优估计公式提供了极具可操作性的准则。
- 综合评估得分对偏差的敏感性：随着人工注入常数偏差 \(b\) 的增加，常规 Bootstrap 估计的标准差完全保持不变（因为方差对平移不变），而跨不同噪声先验 \(\beta\) 综合平均的 FeeBee 得分单调显著上升，展示了该评估方法在真实无真值场景下检验估计器可靠性的独到优势。
亮点与洞察¶
- U 统计量求和结构优化：针对 AUC* 二重成对比较带来的 \(\mathcal{O}(n^2)\) 算力瓶颈，通过排序后利用差分展开将全局双重循环拆解为单次前缀和扫描，实现了严格无损的 \(\mathcal{O}(n \log n)\) 快速算法，使得超大规模数据集上的贝叶斯最优性能估计变得经济可行。
- 无监督估计器评估闭环：通过对真实数据集主动添加受控置换噪声，巧妙建立起噪声扰动后最优性能随噪声率变化的单调映射关系，成功跳出了“评估必须依赖未知真实标签分布”的先验悖论。
- 方差自适应选择策略：揭示了 min 公式与 max 公式在期望上等价但方差随数据分布与先验发生显著分化的内在机制，所提出的判别式不仅具有严密的理论充要性，且计算复杂度低，为极值类统计量的经验选择树立了范式。
局限与展望¶
- 单调性假设的适用边界：当前的保序回归校准高度依赖软标签与真实后验之间的递增保序假设（单调扭曲），实验表明一旦逆转率超过 4.85%，估计误差将显著加剧；对于高度依赖实例复杂度的任意非单调对抗腐蚀，该理论暂未覆盖。
- 二分类非对称指标向多分类与非可加指标的泛化：当前结论主要立足于二分类 BER 与 AUC。对于多分类平衡错误率（Multi-class BER）以及无法在样本层面显式分解的复杂指标（如 F-score），贝叶斯最优解的形式更为复杂，且多分类下保序回归模型的构建仍有待进一步攻克。
相关工作与启发¶
- vs Ishida et al. (2023) & Ushio et al. (2026)：前人工作开创了基于软标签和保序回归估计传统贝叶斯错误率（Bayes Error / 0-1 损失）的范式，但无法适应类别不均衡或标签噪声分布。本文填补了非平衡场景下的 BER* 和 AUC* 理论空白，并解决了前人无需考虑的类别先验除零漂移问题。
- vs Renggli et al. (2021) FeeBee：FeeBee 原型仅针对 0-1 损失的贝叶斯错误率设计。本文导出了在受控噪声置换下 BER* 和 AUC* 的精确单调函数 \(F_\nu\)，将噪声评估机制成功推广至非对称评估指标，使得在无真实最优解的自然数据集上对比各类估计器成为可能。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性推导了基于软标签的 BER* 与 AUC* 理论估计量及 \(O(n \log n)\) 快速算法，理论闭环完整。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖合成高斯混合模型闭式解验证、排序逆转消融、偏差敏感性实验，以及横跨图像、NLP、审稿决策等 6 个真实数据集。
- 写作质量: ⭐⭐⭐⭐⭐ 数学证明严谨周密，动机层层递进，算法步骤与边界分析清晰透彻。
- 价值: ⭐⭐⭐⭐⭐ 为不平衡与噪声学习提供了探寻理论性能天花板的基础工具，对避免大模型算力盲目投入与检测基准集过拟合具有重要指导意义。