Testable and Actionable Calibration for Full Swap Regret¶

会议: NeurIPS 2026
arXiv: 2605.17749
OpenReview: https://openreview.net/forum?id=yls0nG3VKg
领域: 其他
关键词: 校准度量, 交换遗憾, 可操作性, 可检验性, 学习理论

一句话总结¶

本文提出了首个兼具完全可操作性（绑定全量交换遗憾）与近最优可检验性（收敛速度达到 $\tilde{O}(T^{-1/2})$）的软分箱校准决策损失 $\mathsf{SCDL}$，打破了以往度量在二者间的权衡困境。

研究背景与动机¶

在医疗诊断、金融风控与自动驾驶等高风险决策场景中，决策者高度依赖人工智能模型输出的预测概率来选择最优行动。传统统计学习通常要求模型满足完美校准（Perfect Calibration），即当模型给出 $p$ 的预测时，真实标签为正例的边际概率恰好等于 $p$。然而现实中经验分布与有限数据不可避免地引入校准误差，这促使学界探索合理的校准误差度量标准。在决策理论视角下，一个真正有用的校准度量必须具备“可操作性”（Actionable），即该度量能够为下游任意决策任务中因轻信模型预测而承受的效用损失提供严格上界，这一效用损失在博弈论与决策论中被称为交换遗憾（Swap Regret）。

然而，现存的可操作性度量直接面临统计估计层面的根本矛盾。例如经典校准决策损失（Calibration Decision Loss, $\mathsf{CDL}$）虽能界定任意有界效用任务的全量交换遗憾，却在有限样本下完全不可检验（Not Testable）——即便是底层完美校准的真实分布，在经验样本上的 $\mathsf{CDL}$ 仍恒有 $\Omega(1)$ 的非零间隙，导致决策者无法从有限观测中可靠辨识模型是否校准。为了规避此下界，近期方法（如 Cutoff 校准误差）通常退而求其次，大幅弱化可操作性定义，仅对单调交换函数类提供保证，忽略了欠置信或过置信等复杂非单调偏差；而平滑校准误差（$\mathsf{smCE}$）则需取平方根后才具备全量可操作性，导致样本估计误差劣化至极慢的 $O(T^{-1/4})$。

以往研究普遍假设“完美最佳响应”是可操作性的唯一定义，从而落入了可操作性与可检验性互斥的理论僵局。本文的切入视角是：若允许决策者在应用模型预测前执行一层鲁棒且完全脱敏于底层未明分布的微小扰动，则完全能在保留全量交换遗憾保证的同时绕开不可检验性下界。核心 idea：通过将连续预测离散化至自平衡网格并施行期望保持的软分箱随机舍入，构造软分箱校准决策损失（$\mathsf{SCDL}$），使决策者仅凭高阶有效位最佳响应即可控制全量交换遗憾，并在有限样本上达成 $\tilde{O}(T^{-1/2})$ 的近最优估计收敛率。

方法详解¶

整体框架¶

$\mathsf{SCDL}$ 的设计出发点是在预测空间引入动态软分箱结构，以阻断经验样本中每个样本点预测值互异所导致的离散过拟合陷阱。整体流程包含预测随机离散化、分箱决策损失计算、自平衡网格粒度选择以及决策端的轻量响应映射。给定输入预测概率 $p \in [0,1]$，算法并不直接假设下游决策者执行不可控的微观连续最佳响应，而是利用分位数网格将连续概率转化为粗粒度软分箱，从而在理论上保证全量交换遗憾可控，且在有限样本下具备极佳的集中收敛性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["连续预测概率输入 p 与二元标签 y"] --> B["期望保持的软分箱随机舍入<br/>投影至网格 Gm 保持无偏"]
    B --> C["分箱决策损失与舍入误差计算<br/>截断消除固有离散偏置"]
    C --> D["自平衡网格尺度搜索<br/>极小化平衡两类误差上界"]
    D --> E["软分箱校准决策损失 SCDL 输出<br/>诱导鲁棒决策响应映射"]

关键设计¶

1. 期望保持的软分箱随机舍入：在离散化控制方差的同时维持条件无偏性 为了解决经验样本上预测值离散互异导致的 $\mathsf{CDL}$ 虚高问题，必须对概率区间 $[0,1]$ 进行网格粗化。设正整数 $m \ge 1$，构建均匀网格 $G_m := \{0, 1/m, 2/m, \dots, 1\}$。对于任意连续预测 $p \in [0,1]$，定义随机舍入函数 $\tau_m(p)$：将 $p$ 随机舍入到其相邻的网格点 $\lfloor mp \rfloor / m$ 或 $\lceil mp \rceil / m$，并精确设定二者的转移概率，满足条件期望无偏性 $\mathbb{E}[p' \mid p, y] = p$。形式上，各个网格点 $i/m$ 处的激活权重由三角核函数显式给出： $$w_i(p) := (1 - |mp - i|)_+ = \max\{0, 1 - |mp - i|\}$$ 在离散化分布 $\mathcal{D}_m$ 下，第 $i$ 个 bin 的边际发生率与后验条件概率分别为 $\pi_i := \mathbb{E}[w_i(p)]$ 以及 $q_i := \frac{1}{\pi_i}\mathbb{E}[w_i(p) y]$。相较于阶跃硬分箱造成的边界不连续，软分箱利用线性插值保证了权重随预测扰动的 Lipschitz 连续性，从而为度量本身的连续性奠定了分析基础。

2. 截断分箱决策损失计算：剥除固有分箱误差以确保可靠度量完备性 若直接将原版 $\mathsf{CDL}$ 作用于离散化分布 $\mathcal{D}_m$，即便是真实底层完美校准的分布，由于舍入带来的量化网格误差，其经验度量值依然会存在最高达 $1/m$ 的固有非零偏置。为了保证完备性与单调性，本文提出了带有区间截断的软分箱固定决策损失（$\mathsf{SCFDL}$）： $$\mathsf{SCFDL}_{m,i}(\mathcal{D}) := \sum_{j=0}^{i} \pi_j \left(q_j - \frac{i+1}{m}\right)_+ + \sum_{j=i+1}^{m} \pi_j \left(\frac{i}{m} - q_j\right)_+$$ 进而定义 $m$ 阶软分箱决策损失为所有阈值切割下的最大值：$\mathsf{SCDL}_m(\mathcal{D}) := \max_{i=0,\dots,m} \mathsf{SCFDL}_{m,i}(\mathcal{D})$。通过显式减去跨区间的网格漂移宽度 $1/m$，消除了由于纯几何量化导致的虚假非校准度量。更关键的是，这一截断形式赋予了 $\mathsf{SCDL}_m(\mathcal{D})$ 优异的代数性质：当网格尺度按 2 的幂次 $m=2^k$ 翻倍时，函数序列满足单调不减性 $\mathsf{SCDL}_{2m}(\mathcal{D}) \ge \mathsf{SCDL}_m(\mathcal{D})$。

3. 自平衡网格尺度搜索：消除对先验样本规模的依赖并达成近最优收敛 在经验样本上估计时，网格数 $m$ 面临经典偏差-方差权衡：$m$ 越小则样本均值估计方差越小，但量化误差 $1/m$ 越大；$m$ 越大则量化损失越低，但条件经验均值的集中方差激增。以往方法往往需要将 $m$ 显式耦合到未知的样本容量 $T$（例如令 $m \approx T^{1/3}$），这破坏了度量作为固有分布性质的定义独立性。本文设计了自平衡参数选择机制，将最终度量定义为： $$\mathsf{SCDL}(\mathcal{D}) := \inf_{m \in \{2^1, 2^2, \dots\}} \max\left\{\mathsf{SCDL}_m(\mathcal{D}),\, \frac{1}{m}\right\}$$ 由于 $\mathsf{SCDL}_{2^k}(\mathcal{D})$ 关于 $k$ 单调非减，而 $1/m = 2^{-k}$ 单调递减，两者最大值的下确界必在两曲线交汇点取得。最优网格数 $m^*(\mathcal{D})$ 为满足 $\mathsf{SCDL}_{2m}(\mathcal{D}) \ge 1/m$ 的最小二进整数，此时必然满足 $\mathsf{SCDL}(\mathcal{D}) \in [1/m^*, 2/m^*)$。该自平衡机制确保了在分布高度偏离校准时自适应收缩网格数、在高度校准时放宽网格数，使乘积项 $m \cdot \mathsf{SCDL}_m(\mathcal{D}) = O(1)$ 恒定成立，最终在任意分布上均解锁了极佳的 $\tilde{O}(T^{-1/2})$ 估计收敛界。

4. 诱导鲁棒决策响应映射：无须分布先验的全量交换遗憾控制 在下游决策任务 $Z=(A, U)$ 中，当模型标称校准误差满足 $\mathsf{SCDL}(\mathcal{D}) \le \alpha$ 时，决策者无需知晓底层数据分布 $\mathcal{D}$，仅需选取满足 $\alpha \in [1/m, 2/m)$ 的 dyadic 网格粒度 $m$，对任意到来的预测值 $p$ 先执行软随机舍入 $p' \sim \tau_m(p)$，再对离散化预测执行标称最佳响应 $r_Z^*(p') := \arg\max_{a \in A} \mathbb{E}_{y \sim \mathsf{Ber}(p')}[U(a, y)]$。理论证明，该随机响应策略在全量交换函数族 $\sigma: A \to A$ 下承受的交换遗憾严格满足： $$\mathsf{SR}_Z(r_Z^* \circ \tau_m, \mathcal{D}) \le 2\,\mathsf{SCDL}_m(\mathcal{D}) + \frac{2}{m} \le 2\,\mathsf{SCDL}(\mathcal{D}) + \frac{2}{m} \le 4\alpha$$ 这一结论向决策界证明：只要放弃对绝对无噪精细浮点数的偏执，仅信任预测的有效高阶位，决策者就能在不依赖任何单调性假设的前提下，完全免疫全量交换遗憾。

损失函数 / 训练策略¶

作为纯理论与评估层面的非参数统计度量，$\mathsf{SCDL}$ 本身无需参数反向传播训练。在样本经验估计时，直接将经验均匀分布 $S = \frac{1}{T}\sum_{t=1}^T \delta_{(p_t, y_t)}$ 代入定义计算。其经验估计量定义为： $$\hat{\pi}_j = \frac{1}{T}\sum_{t=1}^T w_j(p_t), \quad \hat{q}_j = \frac{\sum_{t=1}^T w_j(p_t) y_t}{\sum_{t=1}^T w_j(p_t)}$$ 计算单批经验 $\mathsf{SCDL}(S)$ 时，只需遍历有限个候选网格 $m \in \{2^1, \dots, 2^{k_{\max}}\}$（其中 $m_{\max} \log m_{\max} \le \sqrt{T}$），整体计算复杂度仅为 $O(T \cdot m_{\max} + m_{\max}^2)$，在常规验证集上可在数毫秒内高效完成。

实验关键数据¶

主实验¶

实验遵循 Rossellini 等人（RSB+ 2025）的基准评估协议。合成数据特征 $X \sim \text{Uniform}[0,1]$，二元标签 $Y \sim \text{Ber}(\alpha(1-2X)^2 + (1-\alpha)X)$，控制参数 $\alpha \in [0,1]$ 调节条件概率的非单调扭曲程度。在训练集（$n=500$）上拟合逻辑回归模型 $f$（单调预测器），并通过标签翻转构造 $1-f$（非单调预测器）。在测试集（$N=1000$ 独立采样重复计算）上测试各类校准度量在不同 $\alpha$ 偏置下的估计均值与标准差，检验其有限样本可检验性（Testability）。

度量指标	$\alpha=0.0$ (接近校准)	$\alpha=0.5$ (中度失准)	$\alpha=0.8$ (显著失准)	$\alpha=1.0$ (极度失准)	综合方差表现
$\mathsf{smCE}$ (平滑校准误差)	$0.021 \pm 0.014$	$0.028 \pm 0.013$	$0.027 \pm 0.016$	$0.025 \pm 0.016$	偏大
$\mathsf{Cutoff}$ (截断校准误差)	$0.030 \pm 0.012$	$0.068 \pm 0.016$	$0.110 \pm 0.016$	$0.136 \pm 0.015$	中等
$\mathsf{bECE}$ (11等宽分箱ECE)	$0.043 \pm 0.011$	$0.117 \pm 0.015$	$0.140 \pm 0.054$	$0.064 \pm 0.065$	波动极大
$\mathsf{SCDL}$ (本文方法)	$0.016 \pm 0.003$	$0.036 \pm 0.006$	$0.080 \pm 0.014$	$0.076 \pm 0.034$	绝大多数设置下方差最低

消融实验¶

为系统解构不同理论性质与度量在决策场景下的实际表现，本文在表 1 与第 8-9 节全面给出了理论收敛速率对比与针对非单调预测器 $1-f$ 下交换遗憾的相关性分析（200 次随机 $\alpha$ 采样的 Spearman 秩相关系数）。

度量方案	交换遗憾保证范围 (Actionability)	样本估计误差率 (Testability)	理论最优指数差距	非单调预测器 $1-f$ 下与遗憾相关性
$\mathsf{CDL}$ (Hu & Wu 2024)	全量 (Full)	$\Theta(1)$ (完全不可检验)	无法收敛	理论不可估
$\mathsf{smCE}^{1/2}$ (Blasiok et al.)	全量 (Full)	$\Theta(T^{-1/4})$	劣于最优率 $T^{-1/4}$	弱相关性
$\mathsf{Cutoff}$ (Rossellini et al.)	仅单调变换 (Monotone Only)	$\Theta(T^{-1/2})$	达到最优但损失能力	严重失效（退化为松弛上界）
$\mathsf{bECE}$ / Smooth ECE	全量 (Full)	$\Theta(T^{-1/3})$	劣于最优率 $T^{-1/6}$	强相关但方差波动大
$\mathsf{SCDL}$ (本文方法)	全量 (Full)	$O(T^{-1/2}\log^{3/2} T)$	达到理论下界 (仅差对数因子)	保持稳健相关追踪

关键发现¶

有限样本估计稳定性最佳：在绝大多数失准参数设置下，$\mathsf{SCDL}$ 的经验估计标准差显著低于 $\mathsf{bECE}$ 与 $\mathsf{smCE}$，尤其在接近校准的分布（$\alpha=0$）下，标准差仅为 0.003，验证了自平衡动态分箱有效抑制了固定分箱在边界样本上的扰动敏感性。
非单调交换遗憾下 $\mathsf{Cutoff}$ 彻底失效：在预测器产生系统性非单调偏差（反向预测 $1-f$）时，$\mathsf{Cutoff}$ 与下游真实交换遗憾的 Spearman 相关性急剧恶化，出现大量相似交换遗憾对应迥异 $\mathsf{Cutoff}$ 值的发散现象；而 $\mathsf{SCDL}$ 由于不限制交换策略类，依然能稳健追踪下游决策效用损失。

亮点与洞察¶

重构可操作性范式：以往工作将不可检验性视为不可逾越的鸿沟，本文发现症结在于决策者执着于连续精细最佳响应；通过引入期望保持的随机离散化响应函数，巧妙规避了不可能性定理，具有深刻的决策论洞察。
自平衡网格精妙设计：利用 $\mathsf{SCDL}_{2^k}$ 的单调递增性与 $1/m$ 的单调递减性求交，实现了完全无需感知样本量 $T$ 的内生自适应参数选择，保证了度量作为分布本质特性的纯粹性。
严格匹配统计估计理论下界：证明了求解全量交换遗憾可操作度量在有限样本下的估计误差必有 $\Omega(T^{-1/2})$ 下界，而 $\mathsf{SCDL}$ 达成了 $\tilde{O}(T^{-1/2})$，在理论上彻底闭合了这一基础开放性问题。

局限与展望¶

二元分类局限：当前全套理论分析与度量定义严格建立在二元输出结果 $y \in \{0,1\}$ 上，尚未拓展至多分类或连续回归决策任务，多维概率单纯形上的软分箱会面临维度灾难。
随机响应机制引入的额外方差：下游决策者需引入辅助随机变量执行随机舍入，尽管高概率界表明当 $T$ 充足时随机性影响受控，但在超小样本决策场景下可能增加个体行动的决策抖动。
未来方向：探索高维多分类校准决策损失的稀疏软分箱计算，以及结合多校准（Multicalibration）与全能预测（Omniprediction）构建群组感知的可检验可操作度量。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙重构决策响应函数打破学术界长久的不可能性僵局，理论概念极具突破性。
实验充分度: ⭐⭐⭐⭐ 包含严格严谨的合成数据与反向预测实验，但缺乏超大规模真实工业决策数据集检验。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严密流畅，从直觉示例到集中不等式证明环环相扣，问题背景阐述极佳。
价值: ⭐⭐⭐⭐⭐ 奠定了信任可靠 AI 与下游博弈决策连通的坚实理论基石，对预测校准评测具有里程碑意义。

度量指标	\(\alpha=0.0\) (接近校准)	\(\alpha=0.5\) (中度失准)	\(\alpha=0.8\) (显著失准)	\(\alpha=1.0\) (极度失准)	综合方差表现
\(\mathsf{smCE}\) (平滑校准误差)	\(0.021 \pm 0.014\)	\(0.028 \pm 0.013\)	\(0.027 \pm 0.016\)	\(0.025 \pm 0.016\)	偏大
\(\mathsf{Cutoff}\) (截断校准误差)	\(0.030 \pm 0.012\)	\(0.068 \pm 0.016\)	\(0.110 \pm 0.016\)	\(0.136 \pm 0.015\)	中等
\(\mathsf{bECE}\) (11等宽分箱ECE)	\(0.043 \pm 0.011\)	\(0.117 \pm 0.015\)	\(0.140 \pm 0.054\)	\(0.064 \pm 0.065\)	波动极大
\(\mathsf{SCDL}\) (本文方法)	\(0.016 \pm 0.003\)	\(0.036 \pm 0.006\)	\(0.080 \pm 0.014\)	\(0.076 \pm 0.034\)	绝大多数设置下方差最低

度量方案	交换遗憾保证范围 (Actionability)	样本估计误差率 (Testability)	理论最优指数差距	非单调预测器 \(1-f\) 下与遗憾相关性
\(\mathsf{CDL}\) (Hu & Wu 2024)	全量 (Full)	\(\Theta(1)\) (完全不可检验)	无法收敛	理论不可估
\(\mathsf{smCE}^{1/2}\) (Blasiok et al.)	全量 (Full)	\(\Theta(T^{-1/4})\)	劣于最优率 \(T^{-1/4}\)	弱相关性
\(\mathsf{Cutoff}\) (Rossellini et al.)	仅单调变换 (Monotone Only)	\(\Theta(T^{-1/2})\)	达到最优但损失能力	严重失效（退化为松弛上界）
\(\mathsf{bECE}\) / Smooth ECE	全量 (Full)	\(\Theta(T^{-1/3})\)	劣于最优率 \(T^{-1/6}\)	强相关但方差波动大
\(\mathsf{SCDL}\) (本文方法)	全量 (Full)	\(O(T^{-1/2}\log^{3/2} T)\)	达到理论下界 (仅差对数因子)	保持稳健相关追踪