Stochastic Grouping Conformal Prediction for Effective Subgroup Reliability¶
会议: NeurIPS 2026
arXiv: 2610.11957
OpenReview: https://openreview.net/forum?id=nFBHPHZ66f
领域: 优化/理论
关键词: 保形预测、子群体可靠性、随机分组、局部得分律、算法公平性
一句话总结¶
针对标准保形预测仅能保障全群体平均覆盖而掩盖敏感子群体失误、现有子群校准又易引发预测集膨胀与小样本不稳定的困境，本文提出随机分组保形预测（SGCP），通过学习样本自适应的隐式局部得分律混合模型与后验均值映射，在无需预定义敏感属性的前提下显著降低子群覆盖偏差并维持极高预测集效率。
研究背景与动机¶
保形预测（Conformal Prediction, CP）作为一种免分布假设的不确定性量化框架，能够在有限样本和极弱假设（样本可交换性）下输出具有确定置信水平 \(1-\alpha\) 的预测集，近年来在临床医学、高风险决策等场景中备受青睐。然而，传统分裂保形预测所提供的有效性保证仅停留在全群体边际平均层面：\(\mathbb{P}\{Y_{n+1} \in \widehat{C}_n(X_{n+1})\} \ge 1-\alpha\)。在人口异质性显著、疾病亚型多样或数据采集存在偏差的实际医疗场景中，边际有效性极易将优势群体的过度覆盖与边缘弱势群体的严重欠覆盖相互抵消。对于那些诊断失误代价最为高昂的临床边缘子群体而言，名义上的 90% 覆盖率往往沦为虚幻的数字安全感，进而诱发严重的算法公平性危机。
消除这种子群体覆盖失衡的理论理想是实现条件覆盖，但有限样本下无分布假设的严格点条件覆盖已被证明在数学上不可行。学术界转而探索两种折中路线：一是基于预定义或自适应敏感属性的群组校准（Group-wise Calibration，如 AFCP、FaReG），通过在各个子群内分别计算分位数阈值来消除偏差；二是基于样本特征邻域的局部校准（Localized Calibration，如 RLCP），通过对测试点邻域内的分位数取上确界来覆盖最坏局部情况。然而，这两种思路都陷入了严峻的实用瓶颈：群组校准不仅严重依赖已知、离散且往往不可观的敏感标签，而且在小样本边缘子群上容易因数据切分过碎而导致经验分位数估计方差剧烈波动；更致命的是，为了保全最困难的子群，现有公平感知方法倾向于普遍放大所有样本的预测集合，导致预测集包含过多冗余候选类别（甚至超过总类别数的一半），为临床医生带来极其繁重的认知负担与决策干扰。
面对全群体校准“抹平异质性”与细粒度校准“样本匮乏且集合膨胀”的核心矛盾，本文的切入视角是跳出刚性属性划分与局部邻域极值的桎梏，将对样本个体的点覆盖松弛为对具有相似校准行为样本的局部得分律建模。核心 idea：将难以直接估计的样本特异性非一致性得分分布松弛为一组紧凑潜在校准分量的凸组合，通过基于骨干特征后验采样的随机分组映射为每个样本生成自适应局部得分律，借助概率积分变换将非一致性得分统一归一化至分位数尺度，从而在保留标准边际覆盖保证的同时兼顾子群可靠性与紧凑预测集。
方法详解¶
整体框架¶
SGCP 的核心目标是估计每个测试样本 \(x\) 的理想非一致性得分分布 \(F_x^\star(s) := \mathbb{P}(S \le s \mid X=x)\)，并用它把测试点在候选标签下的得分变换为分位数。为解决单个样本局部数据不足无法拟合无约束分布的问题，SGCP 引入了一个由 \(K\) 个单调可微的潜在校准分量 \(\{F_k\}_{k=1}^K\) 构成的混合族，并通过学习一个概率单纯形上的随机分组映射 \(w(x) \in \Delta^{K-1}\)，将各样本的局部得分律表示为分量的加权组合：\(\widehat{F}(s \mid x) = \sum_{k=1}^K w_k(x) F_k(s)\)。
整个算法由两阶段训练、单阶段校准和推理预测组成。首先将训练集切分为 \(\mathcal{D}_0\) 和 \(\mathcal{D}_1\)：在 \(\mathcal{D}_0\) 上训练分类器骨干网络并学习隐式校准状态的高斯后验分布 \(q_\phi(z \mid x)\) 及其至单纯形权重的映射；在 \(\mathcal{D}_1\) 上基于固定的分组映射拟合各潜在分量 \(F_k\) 的单调形状；随后在独立校准集 \(\mathcal{D}_{\mathrm{cal}}\) 上将真实标签得分通过局部得分律变换为统一分位数标度值 \(V_i\)，并求得全集统一分位数阈值 \(\widehat{q}_{1-\alpha}\)；最终在测试阶段将候选类别的得分变换值与该阈值比较，生成预测集。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入样本 x 与骨干网络特征 h(x)"] --> B["阶段 1：隐式校准状态建模与后验采样<br/>高斯变分分布 q(z|x) 采样 M 次"]
B --> C["阶段 2：后验均值随机分组映射<br/>单纯形权重向量 w(x) 聚合潜在分量"]
C --> D["阶段 3：混合局部得分律与概率积分变换<br/>单调分量组合 F(s|x) 输出归一化分位数 V"]
D -->|独立校准集计算标度阈值 q| E["阶段 4：保形分位数判定与候选集输出<br/>保留 V(x, y) 小于等于 q 的有效类别标签"]关键设计¶
1. 隐式校准状态建模与后验均值随机分组：在特征不确定性下稳定传递校准证据
传统群组保形预测必须在输入端显式提供离散敏感属性（如种族、性别、年龄段），但在临床诊断中，真正主导校准难度异质性的因素往往是隐式的（如复合生理亚型、图像采集噪声或多病共存），且即便输入特征相同，样本的校准行为仍可能具有不确定性。为此，SGCP 将样本 \(x\) 与一个隐式校准状态向量 \(z\) 关联，并通过重参数化变分后验 \(q_\phi(z \mid x) = \mathcal{N}(\mu_\phi(h_\theta(x)), \operatorname{diag}(\sigma_\phi^2(h_\theta(x))))\) 建模该不确定性。单次潜在状态抽取 \(z\) 仅代表局部校准行为的一种可能实现，直接使用会导致预测结果抖动。SGCP 采用蒙特卡洛后验均值来计算样本在 \(K\) 个潜在分量上的确定性隶属度：
其中 \(\tilde{w}(x, z)\) 是从潜在状态到概率单纯形 \(\Delta^{K-1}\) 的可微投影。这种设计允许特征相似但潜在误差模式不同的样本平滑地混合多个校准基元，在不依赖敏感属性标注的前提下，利用后验积分平抑了小样本下的估计方差。
2. 混合局部得分律与概率积分变换：消除子群边际分布错配
为使不同子群在校准阶段具有可比性，SGCP 将非一致性得分 \(s(x, y) = 1 - f_\theta^y(x)\) 映射到相对分位数刻度。每个潜在校准分量 \(F_k: [0, 1] \to [0, 1]\) 均为参数化的递增单调函数，捕捉得分空间中某一类典型的误差积累模式。整个样本自适应局部累积分布函数定义为：
对应的转换得分为 \(V(x, y) := \widehat{F}(s(x, y) \mid x)\)。根据概率积分变换（PIT）性质（Proposition 1），当估计的局部得分律逼近真实条件分布 \(F_x^\star\) 时，真实标签变换后的变量在任意非空可测子群 \(G \subseteq \mathcal{X}\) 上均服从均匀分布：\(V(X, Y) \mid \{X \in G\} \sim \mathrm{Unif}(0, 1)\)。这一机制打破了传统方法为了对齐各子群而针对每个子群单独切分求分位数的范式，转而将所有样本拉齐到相同的均匀标度上，使得后续只需在全集校准集上计算单个标量阈值 \(\widehat{q}_{1-\alpha}\)。理论证明（Proposition 3），任意子群 \(G\) 的覆盖率满足下界 \(\mathbb{P}\{Y_{n+1} \in \widehat{C}_\alpha(X_{n+1}) \mid X_{n+1} \in G\} \ge 1 - \alpha - \Delta_G\)，其中 \(\Delta_G\) 为子群变换得分分布与边际分布之间的柯尔莫哥洛夫距离（Kolmogorov Distance），证明了局部得分律拟合越准，子群间覆盖偏差越小。
3. 多目标联合优化：平衡排序均匀性、似然表达力与分组信息量
为使学习到的潜在分量具备真实的物理分布意义并促使分组映射区分不同难度样本，SGCP 在训练划分 \(\mathcal{D}_1\) 上设计了三项协同损失函数：
第一项秩均匀化损失 \(\mathcal{L}_{\mathrm{rank}}\) 约束各分量内部加权变换得分逼近 \(\mathrm{Unif}(0, 1)\)；第二项负对数似然损失 \(\mathcal{L}_{\mathrm{nll}} = -\frac{1}{|\mathcal{D}_1|}\sum_{i} \log \sum_{k=1}^K w_{ik} f_k(s_i)\) 确保混合密度能充分解释观测到的真实非一致性得分；第三项归一化互信息最大化项 \(\widehat{I}^{\,\mathrm{norm}}(X; Z)\) 鼓励样本与潜在组件之间的关联具有特异性与多样性，避免所有样本均坍缩至相同的平凡均匀权重，确保不同难度模式的样本能够充分利用不同的潜在校准基元。
损失函数 / 训练策略¶
训练过程采用两阶段数据分割策略以防止过拟合。在子集 \(\mathcal{D}_0\) 上联合训练主分类网络 \(f_\theta\) 以及编码变分参数的 MLP 网络 \(\mu_\phi, \sigma_\phi\)，使用标准的交叉熵分类损失与变分正则项；在子集 \(\mathcal{D}_1\) 上固定分类器与变分编码器，使用Adam优化器优化潜在单调网络 \(\{F_k\}\) 的参数，最小化式 (9) 的 \(\mathcal{L}_{\mathrm{SGCP}}\)。超参数 \(\lambda\) 调节局部密度拟合强度，\(\beta\) 调节分组多样性激励，蒙特卡洛采样数设为 \(M=10\)。完成优化后，模型在未参与任何梯度更新的独立校准集 \(\mathcal{D}_{\mathrm{cal}}\) 上执行无偏保形校准。
实验关键数据¶
主实验¶
论文在四项具有显著群体异质性的基准上进行了系统评测：合成心肺疾病多分类数据集（SYN，6分类，模拟性别与风险表型的异交偏见）、Nursery（4分类，模拟家长背景下采样10%并加噪算法偏差）、MIMIC-IV（实际临床表格，住院死亡率与ICU延迟分类，敏感属性为种族/性别/医保）、BACH（乳腺癌4类组织病理病理图像，以类别为代理子群）。名义置信水平设为 \(1-\alpha = 0.90\)。
表1呈现了各方法在最大样本量下运行 20 次的均值与标准差：
| 方法 | SYN Cov. ↑ (%) | SYN AvgSize ↓ | SYN CovGap ↓ (%) | Nursery Cov. ↑ (%) | Nursery AvgSize ↓ | Nursery CovGap ↓ (%) | MIMIC-IV Cov. ↑ (%) | MIMIC-IV AvgSize ↓ | MIMIC-IV CovGap ↓ (%) | BACH Cov. ↑ (%) | BACH AvgSize ↓ | BACH CovGap ↓ (%) |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Marginal | 89.52±1.52 | 2.309±0.078 | 14.5±1.6 | 84.15±5.20 | 2.170±0.260 | 20.4±5.2 | 90.79±10.62 | 1.226±0.087 | 27.1±7.1 | 89.20±9.64 | 2.894±0.267 | 15.7±1.7 |
| Partial | 94.50±1.12 | 2.419±0.048 | 6.2±0.7 | 88.97±3.80 | 1.850±0.200 | 12.1±2.5 | 94.50±4.54 | 1.258±0.140 | 8.0±3.0 | 96.57±8.08 | 3.385±0.299 | 7.6±1.6 |
| Exhaustive | 95.85±0.91 | 3.342±0.053 | 6.0±0.6 | 96.80±3.10 | 2.850±0.220 | 15.5±3.2 | 96.45±4.22 | 2.800±0.142 | 19.7±3.2 | 97.41±6.89 | 3.867±0.118 | 11.6±1.5 |
| RLCP | 93.10±2.45 | 2.540±0.305 | 4.5±1.8 | 88.67±6.20 | 1.220±0.410 | 13.5±3.8 | 92.50±2.80 | 1.350±0.100 | 1.7±0.8 | 91.88±10.56 | 2.311±0.319 | 8.1±2.5 |
| CluCP | 89.80±1.78 | 2.426±0.050 | 4.9±0.8 | 85.08±1.60 | 1.121±0.064 | 12.8±1.3 | 92.22±1.28 | 1.302±0.059 | 3.5±0.8 | 95.91±3.59 | 3.257±0.220 | 10.7±2.6 |
| AFCP | 91.77±1.23 | 2.432±0.043 | 4.6±0.5 | 92.85±0.84 | 1.085±0.024 | 14.1±0.6 | — | — | — | 95.00±2.60 | 2.830±0.237 | 6.3±1.7 |
| FaReG | 92.61±0.98 | 2.579±0.029 | 4.7±0.5 | 93.21±0.62 | 1.230±0.012 | 13.3±0.6 | 90.23±0.09 | 1.174±0.001 | 0.5±0.0 | 93.60±3.40 | 2.959±0.239 | 7.4±1.5 |
| SGCP (本文) | 90.13±0.39 | 2.225±0.035 | 4.2±0.7 | 91.65±0.70 | 1.089±0.035 | 11.8±0.7 | 90.13±0.07 | 1.107±0.001 | 0.8±0.0 | 91.90±2.70 | 2.224±0.215 | 6.2±1.1 |
注：MIMIC-IV 上 AFCP 因留一法在 20 次重复试验下计算量爆炸而无法完成。在 BACH（4分类）上，Exhaustive 预测集大小达到 3.867，近乎退化为输出全集；而 SGCP 仅为 2.224。
消融实验¶
为分析不同样本稀疏度（校准样本量）与随机分组机制在子群体稳定性上的影响，论文在不同样本规模下对比了各方法的覆盖率偏差分布与预测集大小动态（对应文中 Figure 4 与 Figure 5 核心实验数据）：
| 评估维度 / 配置 | SYN CovGap (%) | Nursery CovGap (%) | BACH CovGap (%) | 关键特性表现 |
|---|---|---|---|---|
| 极限稀疏校准样本（20% 样本量） | 6.8±1.2 | 15.2±1.4 | 9.4±1.8 | 相比 RLCP 剧烈波动，SGCP 保持极低方差与中位数偏差 |
| 中等规模校准样本（50% 样本量） | 5.1±0.9 | 13.0±1.0 | 7.6±1.3 | 各分量后验均值稳定，子群覆盖率稳步向 90% 收敛 |
| 充足校准样本（100% 完整规模） | 4.2±0.7 | 11.8±0.7 | 6.2±1.1 | 维持全场最低 CovGap，且预测集合尺寸单调收缩 |
| 移除随机后验采样（退化为确定映射） | 5.7±1.1 | 14.1±1.2 | 8.3±1.5 | 确定性映射在边界样本上过拟合，子群间方差明显增大 |
| 退化为单全局分量（标准 CP 变换） | 14.5±1.6 | 20.4±5.2 | 15.7±1.7 | 丧失子群异质性建模能力，子群覆盖偏差急剧反弹 |
关键发现¶
- 最严密的边际标称覆盖保持者：在所有 4 个数据集上，SGCP 的总体覆盖率均在 90.1%~91.9% 之间，极度紧贴标称值 90%，完全杜绝了基线方法通过保守过度覆盖（如 Exhaustive 在多数据集上冲高至 96%~97%）来虚假达成“公平”的缺陷。
- 破解预测集膨胀瓶颈：在实现更优子群可靠性的同时，SGCP 在 4 个数据集上的预测集尺寸全场最小或并列最小（SYN: 2.225 vs. FaReG 2.579；MIMIC-IV: 1.107 vs. RLCP 1.350；BACH: 2.224 vs. Partial 3.385）。
- 稀疏校准数据下的超强鲁棒性：Figure 5 揭示，当可用于校准的数据极少时，基于邻域极大值的 RLCP 和基于类别硬切分的 CluCP 均出现极大的 CovGap 抖动与失效；而 SGCP 依靠共享的潜在分量和后验平滑，中位数偏差与四分位差均为最低。
亮点与洞察¶
- 将离散群组识别转化为连续谱系上的凸组合：传统方法执着于将样本硬切分进互斥的子群或聚类桶，导致稀有子群样本荒；SGCP 发现校准异质性的本质是误差分布形状的不同，通过 \(K\) 个单调分量的软组合，实现了不同人口学群组之间在“校准行为”上的平滑信息迁移。
- PIT 归一化彻底解耦分位数选择：通过将非一致性得分经由局部得分律转换为近似均匀分布的分位数标度，全流程只需在全局校准集上做一次最简单的一维分位数截断，既严格保留了保形预测的有限样本无条件覆盖证明，又巧妙抹平了各子群的覆盖落差。
- 可复用的高风险领域 UQ 范式：该设计可直接迁移至其他需要可信不确定性量化的高风险场景（如自主系统控制、多标签疾病诊断），无需事先枚举敏感特征即可抵御未知的亚群预测偏差。
局限与展望¶
- 作者承认的局限：局部得分律的理论完全对齐依赖于所学单调分量族与真实条件得分分布的一致性；若真实数据中存在极其极端且不可观测的奇异模式，有限的 \(K\) 个潜在分量可能不足以完全消除微观子群的偏差。
- 实验与机制局限：目前验证主要集中于分类任务上的标准非一致性得分（\(1-f_\theta^y(x)\)），对于回归、目标检测或长文本生成等连续/结构化保形预测场景，单调变换与均匀化损失的设计需要进一步重构。
- 改进方向：探索将随机分组机制引入时序漂移与协变量偏移环境，并在个性化医疗诊断中结合动态贝叶斯更新实现测试时校准自适应。
相关工作与启发¶
- vs Group-wise CP (Romano et al., 2020a; Ding et al., 2023)：传统群组方法按预设类别或特征硬聚类切分，导致边缘群组样本稀缺、分位数方差暴增且必须拉大预测集；SGCP 通过共享的 \(K\) 个潜在校准分量联合训练，小样本群组可借用相似校准行为样本的统计强度。
- vs AFCP (Zhou & Sesia, 2024)：AFCP 依赖预定义离散敏感属性，采用开销巨大的留一法搜索关键属性，且在大规模临床表格（如 MIMIC-IV）上计算不可行；SGCP 是完全端到端可微的隐式分组，无需任何敏感属性标注，单次前向即可完成校准变换。
- vs RLCP (Hore & Barber, 2024)：RLCP 通过对候选特征邻域取分位数上确界追求局部保形，但 worst-case 机制不可避免导致预测集合急剧增大且对随机切分敏感；SGCP 采用后验均值与软混合，提供更平滑、方差更低且集合更小的高效预测。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 巧妙跳出敏感属性枚举与局部邻域上确界的死局，提出基于潜在校准分量混合的随机分组局部得分律。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖合成、行政、真实医疗表格与组织病理图像四大基准，统计重复次数达20次，度量指标涵盖覆盖率、离散度与集合大小。
- 写作质量: ⭐⭐⭐⭐⭐ 理论证明完整（Proposition 1-3），动机层层推进，实验分析深入透彻。
- 价值: ⭐⭐⭐⭐⭐ 解决了临床与医疗 AI 落地中最核心的子群体可信度与医生认知负荷（集合大小）的矛盾，实用价值极高。