Occupancy-based Quantile Risk Control¶
会议: NeurIPS 2026
arXiv: 2609.03104
论文: https://arxiv.org/abs/2609.03104
领域: 其他
关键词: 分位数风险控制、共形风险控制、占有率理论、有限样本保证、紧致上界
一句话总结¶
本文提出基于占有率的分位数风险控制（OQRC），将分位数风险控制重构为校准损失划分下的有限占有率问题，首次在保证有限样本严格覆盖有效性的同时实现了紧致的风险控制上界，风险差距最大缩减 78.64%。
研究背景与动机¶
在医学影像分割、自动驾驶与多标签分类等高风险敏感领域，机器学习模型的黑盒特性及其无法预估的预测风险构成了安全部署的主要障碍。为了提供严谨的统计安全边界，共形风险控制（Conformal Risk Control, CRC）通过无需强数据分布假设的校准流程，实现了对预测期望损失的上界控制。然而，现实中的安全攸关场景往往不仅关注平均表现，更对尾部极端风险极度敏感（如金融资产清算、放射医学误诊及极端事件预测），亟需针对分位数风险度量（Quantile-based Risk Measures, QBRMs，如 VaR、CVaR 及分位数区间风险 VaR-Interval）建立严格的分布无关控制机制。
现存的分位数风险控制（QRC）范式主要面临两难困境。一方面，以 Snell 等人提出的基于经验分布下置信界（LCB）方法为代表，往往严重高估测试集风险，导致校准选出的模型参数过于保守——为了压低尾部风险而输出极大甚至全选的预测集合，丧失了实际决策信息量；另一方面，近期基于 L-统计量中心极限定理的方法（如 CDRC-L）虽然能通过渐近正态修正收紧风险上界，但其理论仅在校准样本量趋于无穷的大样本极限下成立，在小样本或有限样本时极易打破覆盖保证，发生严重的失控欠覆盖。
本文针对「有限样本严格有效性」与「非保守紧致风险控制」之间的内在矛盾展开研究。作者发现，如果利用校准样本的有序统计量将损失取值空间划分为离散区间，测试集损失落在各区间的计数值（占有率计数，occupancy count）天然构成一个无参数依赖的离散均匀分布。核心 idea：将分位数风险控制重构为校准损失切分下的有限占有率问题，基于离散均匀占有律与区间最坏损失构造上置信界（UCB），不仅在有限样本下严格满足置信覆盖率，而且以 \(\mathcal{O}_p(n^{-1/2})\) 速率收敛至理论最优界。
方法详解¶
整体框架¶
OQRC 的整体流程旨在为黑盒模型在给定风险容忍阈值 \(\alpha\) 与置信度 \(1-\delta\) 下校准一个单调控制参数 \(\lambda^*\)，保证测试集分位数风险以至少 \(1-\delta\) 的概率不超标。算法首先将校准集损失排序，把损失空间 \([L, U]\) 切分为 \(n+1\) 个占有桶；测试样本落入这些区间的频数向量构成有限占有统计量。随后，OQRC 将各桶内的测试损失放大到该桶的上确界（即相邻校准损失的较大值），进而导出上界泛函；借助蒙特卡洛 Stars-and-Bars 均匀采样快速逼近该上界泛函的经验累积分布，逆解出参数 \(\lambda\) 对应的风险上置信界 \(R^+(\lambda)\)；最后通过网格搜索选取使得 \(R^+(\lambda) \le \alpha\) 的最紧有效参数 \(\lambda^*\)。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入：校准集损失 X₁:ₙ 与控制参数 λ<br/>单调损失空间 [L, U] 满足交换性"] --> B["有序统计量损失空间划分<br/>构筑 n+1 个占有桶 I₀, ..., Iₙ"]
B --> C["离散均匀占有分布建构<br/>测试集计数向量 N 遵循经典占有律"]
C --> D["区间最坏损失放大与上界泛函<br/>Φ⁺(x; λ, X₁:ₙ) 积分上界构造"]
D --> E["高效 Stars-and-Bars 蒙特卡洛采样<br/>B 次快速模拟生成经验分布 F̂⁺_B"]
E --> F["分位数逆解与最优参数校准<br/>λ* = inf {λ : R⁺(λ) ≤ α}"]
F --> G["输出：紧致且具备有限样本保证的参数 λ*"]关键设计¶
1. 有序统计量损失空间划分与离散均匀占有律：解耦真实分布的无分布占有基石
针对校准集损失 \(X_{1:n}\)，计算其递增有序统计量 \(L = X_{(0)} \le X_{(1)} \le \dots \le X_{(n)} \le X_{(n+1)} = U\)，将损失取值范围划分成 \(n+1\) 个互不重叠的半开半闭区间（占有桶）：\(I_0 = [X_{(0)}, X_{(1)}]\)，\(I_j = (X_{(j)}, X_{(j+1)}]\)（\(j=1,\dots,n\)）。测试样本集包含 \(m\) 个未知损失，各桶中落入的测试样本个数记为 \(N_j = \sum_{t=1}^m \mathbf{1}\{X_t^{\text{test}} \in I_j\}\)。本文证明的核心定理指出：在校准与测试样本独立同分布假设下，占有向量 \(\mathbf{N} = (N_0, \dots, N_n)\) 在单纯形集合 \(\mathcal{C}_{m,n} = \{\mathbf{x} \in \mathbb{N}_0^{n+1} : \sum_{i=0}^n x_i = m\}\) 上完全服从离散均匀分布：
$\(\mathbb{P}(N_0=x_0, N_1=x_1, \dots, N_n=x_n) = \frac{m!\,n!}{(m+n)!} = \frac{1}{\binom{m+n}{n}}.\)$
这一性质的精妙之处在于，测试损失在各个区间的联合占有概率完全独立于 underlying 数据生成分布及损失本身的具体数值，为无分布有限样本推断奠定了坚实基础；同时，通过字典序全序关系拓展，该结论天然放宽并兼容了损失存在平局（Ties）的离散退化情形。
2. 区间最坏损失放大与上界风险泛函：构建有限样本严格上置信界
对于落在第 \(i\) 个区间 \(I_i\) 内的任意测试样本，其损失必然不超过该区间的右端点 \(X_{(i+1)}\)。定义累积占有计数的经验分位数范围，针对给定的分位数权重函数 \(\psi(t)\)（满足非负且在 \([0,1]\) 上积分为 1），定义上界风险泛函 \(\Phi^+(\mathbf{x}; \lambda, X_{1:n})\)：
$\(\Phi^+(\mathbf{x}; \lambda, X_{1:n}) = \sum_{i=0}^{n} \int_{\frac{S_{i-1}(\mathbf{x})}{m}}^{\frac{S_{i}(\mathbf{x})}{m}} \psi(t) X_{(i+1)}\,dt,\)$
其中 \(S_i(\mathbf{x}) = \sum_{k=0}^i x_k\)（定义 \(S_{-1}=0\)）。由于该泛函将每个桶内的所有可能经验分位数统一放大至区间最大可能损失，对于任意真实的测试集分位数风险 \(R_{\text{test}}(\lambda)\) 恒有 \(R_{\text{test}}(\lambda) \le \Phi^+(\mathbf{N}; \lambda, X_{1:n})\)。以此诱导出上界风险分布函数 \(F^+(r; \lambda, X_{1:n}) = \frac{1}{|\mathcal{C}_{m,n}|}\sum_{\mathbf{x} \in \mathcal{C}_{m,n}}\mathbf{1}\{\Phi^+(\mathbf{x}; \lambda, X_{1:n}) \le r\}\)，取其 \(1-\delta\) 分位数 \(R^+(\lambda) = (F^+)^{-1}(1-\delta)\) 即可构成严格满足 \(\mathbb{P}(R_{\text{test}}(\lambda) \le R^+(\lambda)) \ge 1-\delta\) 的有效上置信界。
3. Stars-and-Bars 蒙特卡洛采样与逼近：兼顾计算效率与一致收敛
当测试样本量 \(m\) 与校准样本量 \(n\) 较大时，状态空间组合数 \(|\mathcal{C}_{m,n}| = \binom{m+n}{n}\) 会急剧膨胀，无法遍历枚举。本文引入基于「隔板法」（Stars-and-Bars）的快速无放回采样生成均匀占有向量：在集合 \(\{1, \dots, m+n\}\) 中均匀抽取大小为 \(n\) 的无重复子集并排序得 \(0 = T_0 < T_1 < \dots < T_n < T_{n+1} = m+n+1\)，令各分量为 \(x_i = T_{i+1} - T_i - 1\)。通过生成 \(B\) 个独立重复的占有样本构造经验累积分布 \(\widehat{F}^+_B\)。根据 DKW（Dvoretzky-Kiefer-Wolfowitz）不等式，蒙特卡洛经验分布以指数级界限一致收敛至真实分布：
$\(\mathbb{P}_{\mathrm{MC}}\left(\sup_{r \in \mathbb{R}}\left|\widehat{F}^+_B(r) - F^+(r)\right| > \varepsilon\right) \le 2e^{-2B\varepsilon^2},\)$
从而确保了在实际计算中既无组合爆炸之忧，又具备确切可控的数值精度保证。
4. 理论紧致性与无条件风险控制拓展：收敛率与无置信参数界
本文在理论上证明了 OQRC 的渐近紧致性（Tightness）：假设潜在损失密度函数有界且远离零，当校准样本量 \(n\) 增长时，OQRC 构造的上置信界 \(R^+(\lambda)\) 与理论最优 \(1-\delta\) 风险控制边界 \(M^*(\lambda)\) 之差满足 \(|R^+(\lambda) - M^*(\lambda)| = \mathcal{O}_p(n^{-1/2})\)，这是首个具备紧致性保证的分位数风险控制算法。此外，针对无需设定置信度 \(\delta\) 的无条件风险控制（期望分位数风险），本文证明了 \(\mathbb{E}[R_{\text{test}}(\lambda)] \le \mathbb{E}[\Phi^+(\mathbf{x}; \lambda, X_{1:n})]\)，选择满足期望上界不超过 \(\alpha\) 的参数即可实现 \(\mathbb{E}[R_{\text{test}}(\lambda^*)] \le \alpha\)，并且在 \(m=1\) 且取期望损失的退化情形下精确退化为经典共形风险控制（CRC），展示出优雅的理论统一性。
损失函数 / 训练策略¶
在具体下游预测任务中，由于模型需动态调节置信阈值来生成候选集合或区域，本文采用假阴性率比例（False Negative Proportion, FNP）作为核心单调损失函数： $\(\ell_\lambda^{\text{FNP}}(Z) = 1 - \frac{|Y \cap \mathcal{C}_\lambda(Z)|}{|Y|},\)$ 其中预测集合 \(\mathcal{C}_\lambda(Z) = \{y : h(Z)_y \ge 1-\lambda\}\) 随参数 \(\lambda\) 的增大而逐步扩大，保证了损失函数关于 \(\lambda\) 的单调递减与左连续性。优化校准过程中无需重新训练底层深度网络，只需在预设离散网格 \(\Lambda = \{\lambda_1, \dots, \lambda_K\}\) 上递增检索，寻找使得上置信界 \(R^+(\lambda_k) \le \alpha\) 成立的最小参数 \(\lambda^*\) 即可。
实验关键数据¶
主实验¶
实验在息肉分割（Polyp，涵盖 Kvasir 等 5 个医学数据集）、MS COCO 目标多标签分类（2,000 样本）、Go Emotions 细粒度多标签情感分类（5,427 样本）三大基准上展开，统一设定校准集大小 \(n=200\)、测试集大小 \(m=500\)、目标风险上限 \(\alpha=0.4\)、置信水平 \(1-\delta=0.9\)。测试两种代表性分位数风险度量：\(0.8\)-CVaR 与 \([0.85, 0.95]\)-VaR-Interval。重复 1,000 次实验统计覆盖率（Cov）、风险差距（RiskGap，越小越不保守）与平均预测集尺寸（AvgSize，越小代表集合越紧凑、信息量越强）。
| 数据集 | 风险度量 | 方法 | 覆盖率 Cov (≥0.9) | 风险差距 RiskGap (↓) | 平均预测集尺寸 AvgSize (↓) |
|---|---|---|---|---|---|
| Polyp (息肉分割) | CVaR | OrderStats | 1.000 | 0.366 ± 0.018 | 47.021 ± 2.637 |
| One-sided BJ | 1.000 | 0.324 ± 0.034 | 41.907 ± 3.775 | ||
| CDRC-L | 0.844 ❌ (失效) | - | - | ||
| OQRC (本文) | 0.935 | 0.120 ± 0.062 | 20.061 ± 3.441 | ||
| VaR-Interval | OrderStats | 1.000 | 0.362 ± 0.022 | 41.299 ± 4.188 | |
| One-sided BJ | 1.000 | 0.332 ± 0.027 | 34.926 ± 4.162 | ||
| Two-sided BJ | 1.000 | 0.331 ± 0.026 | 34.729 ± 4.364 | ||
| OQRC (本文) | 0.928 | 0.168 ± 0.074 | 17.216 ± 3.410 | ||
| MS COCO (多标签) | CVaR | OrderStats | 1.000 | 0.339 ± 0.012 | 7.612 ± 0.234 |
| One-sided BJ | 1.000 | 0.325 ± 0.024 | 6.845 ± 0.866 | ||
| CDRC-L | 0.841 ❌ (失效) | - | - | ||
| OQRC (本文) | 0.959 | 0.082 ± 0.050 | 3.345 ± 0.255 | ||
| VaR-Interval | OrderStats | 1.000 | 0.390 ± 0.020 | 7.024 ± 0.851 | |
| One-sided BJ | 1.000 | 0.310 ± 0.074 | 5.127 ± 0.982 | ||
| Two-sided BJ | 1.000 | 0.309 ± 0.075 | 5.090 ± 0.935 | ||
| OQRC (本文) | 0.904 | 0.066 ± 0.041 | 3.115 ± 0.237 | ||
| Go Emotions (情感) | CVaR | OrderStats | 1.000 | 0.372 ± 0.030 | 15.712 ± 4.184 |
| One-sided BJ | 1.000 | 0.336 ± 0.042 | 11.092 ± 2.586 | ||
| CDRC-L | 0.844 ❌ (失效) | - | - | ||
| OQRC (本文) | 0.925 | 0.139 ± 0.074 | 5.439 ± 0.838 | ||
| VaR-Interval | OrderStats | 1.000 | 0.399 ± 0.001 | 12.035 ± 2.975 | |
| One-sided BJ | 1.000 | 0.398 ± 0.002 | 9.397 ± 2.028 | ||
| Two-sided BJ | 1.000 | 0.398 ± 0.012 | 9.316 ± 2.001 | ||
| OQRC (本文) | 0.937 | 0.254 ± 0.107 | 5.018 ± 0.743 |
无条件分位数风险控制验证¶
在无需设定置信度 \(\delta\) 的无条件风险控制设定下，检验经验平均风险与设定上限 \(\alpha\) 的差值（括号内为正向安全裕度 \(\alpha - \mathbb{E}[R_{\text{test}}]\)，正值代表成功控制风险）：
| 数据集 | 目标风险阈值 \(\alpha\) | CVaR 经验风险 (裕度) | VaR-Interval 经验风险 (裕度) |
|---|---|---|---|
| Polyp | \(\alpha = 0.4\) | 0.379 (+0.021) | 0.382 (+0.018) |
| \(\alpha = 0.2\) | 0.181 (+0.019) | 0.185 (+0.015) | |
| \(\alpha = 0.1\) | 0.077 (+0.023) | 0.091 (+0.009) | |
| MS COCO | \(\alpha = 0.4\) | 0.385 (+0.015) | 0.393 (+0.007) |
| \(\alpha = 0.2\) | 0.178 (+0.022) | 0.189 (+0.011) | |
| \(\alpha = 0.1\) | 0.081 (+0.019) | 0.091 (+0.009) | |
| Go Emotions | \(\alpha = 0.4\) | 0.387 (+0.013) | 0.369 (+0.031) |
| \(\alpha = 0.2\) | 0.186 (+0.014) | 0.179 (+0.021) | |
| \(\alpha = 0.1\) | 0.088 (+0.012) | 0.078 (+0.022) |
关键发现¶
- 显著解除过度保守，大幅收窄预测集尺寸：基线方法（OrderStats、Berk-Jones）虽然覆盖率达到 1.000，但其以过度牺牲信息量为代价，RiskGap 普遍高达 0.3~0.4，预测集合过大；而 OQRC 严格满足 \(\ge 0.90\) 覆盖率的同时，将 MS COCO 上的 RiskGap 从 0.309 缩减至 0.066（降幅达 78.64%），预测集合尺寸从 5.09 压缩至 3.12（减少 38.80%），在息肉分割任务中像素集合尺寸更是缩减了超过 50%。
- 有限样本失效的实证暴露：基于 L-统计量中心极限定理的 CDRC-L 方法在小样本校准集（\(n=200\)）下彻底失效，在所有任务上的覆盖率仅在 0.841~0.844 左右，显著低于名义目标 0.900，凸显了有限样本非渐近理论保证的重要性。
- 跨骨干网络与超参的极端鲁棒性：在 ResNet50、EfficientNet-B3、TResNet-M 与 ConvNeXt-Base 四种不同卷积与现代网络架构上，OQRC 均稳定降低平均 RiskGap（从 0.347 降至 0.075）并缩减预测集（从 15.23 降至 6.85）；在校准样本量从 100 到 500、不同 \(\alpha\) 与 \(\delta\) 网格下，均维持了领先性能。
亮点与洞察¶
- 将连续分位数控制巧妙映射为离散占有率问题：传统共形推断大多依赖一维分位数逆变换，直接推广到 CVaR 或任意积分权重泛函时极难推导严格边界；本文引入有序统计量切分空间，把未知损失的分布概率直接转变为经典的离散均匀占有律，数学构思极其精巧。
- 无须参数调优的无分布通用后处理：无需对深度模型进行繁重的敏感性重训练或对抗优化，在训练完成后仅凭极小校准集即可即插即用，兼顾了理论严谨性与工业部署实用性。
- 统一无条件与有条件控制的理论闭环：不仅解决了单次试验中高概率 \(1-\delta\) 的风险控制问题，还首创性地提供了针对 QBRMs 的无条件期望风险控制解法，并在单样本极限下退化为经典 CRC，形成了闭环理论体系。
局限与展望¶
- 依赖独立同分布（i.i.d.）假设：当前理论严格依赖校准数据与测试数据的独立同分布特性，现实落地中模型常面临协变量偏移（Covariate Shift）、标签偏移或时间序列漂移，如何在分布漂移下保持占有率边界仍待拓展。
- 离散损失函数导致经验覆盖率微偏理论极限：FNP 属于非连续阶跃损失，不满足连续损失概率密度严格大于零的理论平滑条件，导致实证覆盖率（如 0.935）略高于名义下界 0.900，未来需要建立适配非连续离散损失的专用紧致性理论。
相关工作与启发¶
- vs Conformal Risk Control (Angelopoulos et al., 2024)：CRC 仅能控制简单的期望损失，无法处理关注尾部极端损失的分位数风险；OQRC 将其扩展至通用的分位数度量（QBRMs），且在 \(m=1\) 及期望损失下严格将 CRC 作为特例涵盖。
- vs Quantile Risk Control (Snell et al., 2023)：Snell 等人采用基于单侧检验统计量的经验分布下置信界（LCB），其界限极其松弛，导致预测集急剧膨胀；OQRC 证明了其上界能以 \(\mathcal{O}_p(n^{-1/2})\) 逼近最优界，极大削减了过度保守性。
- vs CDRC-L (Chen et al., 2025)：CDRC-L 依赖大样本 L-统计量的渐近正态性，小样本时覆盖率发生崩溃；OQRC 提供了严格的有限样本保真度，无需大样本极限即可成立。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 巧妙借助有限占有率理论与离散均匀分布解决分位数风险控制，视角独到且理论严密。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖图像分割、多标签识别、文本情感分析三类跨模态任务与 4 种主干架构，消融与超参分析全面。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑严谨清晰，数学推导完备，理论上界与实证指标高度契合。
- 价值: ⭐⭐⭐⭐⭐ 为安全攸关的深度学习部署提供了兼具紧致性与有限样本保证的实用理论工具。