Self-Organized Conformal Prediction: Reducing Regional Coverage Gaps with Unsupervised Group Discovery¶
会议: NeurIPS 2026
arXiv: 2606.29403
OpenReview: https://openreview.net/forum?id=bl6vZeiL9I
代码: https://github.com/LouisTier/SOCP
领域: 优化/理论
关键词: 保形预测, 自组织映射, 局部校准, 区域覆盖缺口, 无监督分组发现
一句话总结¶
本文提出基于自组织映射（SOM）的保形预测校准框架 SOCP，在无需监督分组与重训预测器的情况下发现特征空间局部几何，通过三类校准缓冲区检索机制消除区域覆盖缺口，在十项基准上使加权覆盖缺口平均降低 14.8%。
研究背景与动机¶
保形预测（Conformal Prediction, CP）作为现代不确定性量化的核心工具，在数据可交换性假设下能够为任意黑盒预测器构建具备无分布假定、有限样本保证的边际有效预测集。然而，标准划分保形预测（Split Conformal Prediction, SCP）依赖单一全局校准分位数，将特征空间中各类复杂度的区域混为一谈。这种平均化的边际覆盖保证极易掩盖局部的系统性欠覆盖问题：模型可能整体上达成了期望的置信水平，但在特征空间边缘、稀疏操作区域或高误差子群体中却发生严重失效。
消除区域覆盖失衡的最理想目标是获得点态条件覆盖保证，但在连续空间上实现严格且非平凡的免分布条件覆盖已被理论证明是不可能的。因此，研究界转向在完全边际覆盖与点态条件覆盖之间寻求折中，主要路径包括设计自适应非一致性得分、基于核函数计算加权局部校准分布，以及预定义组别的 Mondrian 保形预测。然而，连续特征往往缺乏先验监督群组标签，而核局部化方法在测试时面临高达样本量量级的计算开销，容易退化出无穷大无效区间；网格或聚类分组若划分过细，又会因校准样本不足而导致校准分位数发散。
为了在无监督几何先验下自适应刻画局部校准缓冲区并提供严格的有限样本统计保证，本文提出将无监督流形学习与保形校准深度结合。核心 idea：利用在训练集上预先无监督拟合的自组织映射（SOM）将特征空间划分为拓扑保真的离散原型单元，并基于原型网格检索局部校准缓冲区（单单元、固定拓扑邻域与原型距离扩增三种机制），在完全不改变基础模型和非一致性得分的前提下，以极低推理开销有效平衡局部有效性与校准方差。
方法详解¶
整体框架¶
SOCP 的核心思想是将特征空间的拓扑结构离散化为低维规则网格，使每个测试查询点能快速匹配到最具统计代表性的局部校准分位数计算集合。整个流程分为无监督几何发现、校准样本路由与测试集推断三个阶段：首先在训练集 \(\mathcal{D}_{\mathrm{tr}}\) 上拟合包含 \(K\) 个原型的 SOM 网格；随后将无标签校准样本 \(\mathcal{D}_{\mathrm{cal}}\) 分配至各自的最佳匹配单元（BMU）形成单元索引集合；推断阶段，查询样本 \(x_q\) 映射至其 BMU 原型后，根据所选策略动态检索局部校准分数缓冲区并提取相应分位数构建预测集合。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入查询样本 $x_q$ 与训练集几何空间"] --> B["阶段 1：自组织映射原型匹配<br/>计算 $k^* = \mathrm{BMU}(x_q)$"]
B --> C["阶段 2：校准缓冲区检索机制<br/>Regime 1 / 2 / 3 选择"]
C --> D["阶段 3：局部保形阈值计算<br/>从检索分数提取校准分位数 $\hat{q}$"]
D --> E["输出局部自适应预测集 $C_\alpha(x_q; \hat{q})$"]关键设计¶
1. 自组织映射与最佳匹配单元映射：构建固定拓扑的离散特征划分
传统核局部化方法在推断每个测试点时需要计算与全部 \(n\) 个校准样本的核权重，复杂度高达 \(\mathcal{O}(n)\)。SOCP 利用输入特征空间 \(\mathcal{X} \subseteq \mathbb{R}^p\) 上预训练的 Kohonen 自组织映射（SOM）将连续表征空间离散化为 \(K\) 个原型向量 \(\{w_k\}_{k=1}^K\)。对于任意输入 \(x\)，最佳匹配单元（BMU）映射定义为： $$ \mathrm{BMU}(x) \coloneqq \arg\min_{k \in \mathcal{K}} |x - w_k|_2 $$ 在规则矩形网格 \(\gamma: \mathcal{K} \to \mathbb{Z}^2\) 上，原型之间的切比雪夫距离定义了网格拓扑度量 \(d_{\mathrm{grid}}(k, j) \coloneqq \|\gamma(k) - \gamma(j)\|_\infty\)。测试时定位 BMU 仅需 \(\mathcal{O}(K)\) 开销（在实验中 \(K \le 400\) 且远小于 \(n\)），使得推断极度轻量化，同时天然保留了特征空间的高维非线性拓扑邻近关系。
2. 多层次校准检索范式：权衡局部偏差与样本方差
针对局部化程度与统计有效性之间的固有张力，SOCP 形式化提出了三类逐级拓展的校准缓冲区检索机制（Regimes 1-3）： - Regime 1（单 BMU 单元检索）：仅使用与测试查询落入同一单元 \(k^* = \mathrm{BMU}(X_{n+1})\) 的校准样本集合 \(\mathcal{I}_{k^*}\)。此时校准样本与测试样本完全同分布，具有严格的有限样本单元条件有效性 \(\mathbb{P}(Y_{n+1} \in C_\alpha \mid \mathrm{BMU}(X_{n+1})=k) \ge 1-\alpha\)；但当该单元样本量极小时（\(|\mathcal{I}_{k^*}| < \lceil 1/\alpha \rceil - 1\)），分位数被迫退化为 \(+\infty\)。 - Regime 2（固定拓扑邻域检索）：借用网格半径 \(r\) 内的所有相邻单元 \(N(k^*, r) = \{j \in \mathcal{K}: d_{\mathrm{grid}}(k^*, j) \le r\}\) 聚合校准样本 \(\mathcal{I}_{N(k^*, r)}\)。该机制保证在检索并集上的严格有限样本有效性，同时大幅充实了校准样本池。 - Regime 3（训练路由原型距离扩增）：当数据集规模极小导致固定邻域仍然稀疏时，算法根据原型欧氏距离向外动态扩增 \(L\) 个单元形成集合 \(R_L(k)\)。扩增预算 \(L^\star\) 在观察任何真实校准标签之前，完全基于训练集单元样本占据计数 \(T_j\) 和规划校准规模 \(n\) 离线优化确定，确保推断时绝对不会出现无穷大区间。
3. 柯尔莫哥洛夫-斯米尔诺夫（KS）偏差桥接与理论保证：量化邻域混叠代价
当 Regime 2 将固定拓扑邻域 \(N(k, r)\) 内所有单元的校准分数混合以计算中心单元 \(k\) 的预测阈值时，分布差异必然引入偏差。SOCP 严格刻画了中心单元条件覆盖率与检索集之间的柯尔莫哥洛夫-斯米尔诺夫（KS）偏差。两单元间条件分数累积分布函数 \(F^{(k)}\) 与 \(F^{(j)}\) 的差异度量为： $$ d_{\mathrm{KS}}(k, j) \coloneqq \sup_{t \in \mathbb{R}} |F^{(k)}(t) - F^{(j)}(t)| $$ 定义中心单元 \(k\) 在集合 \(A\) 上的加权 KS 偏差为 \(\varepsilon_k(A) \coloneqq \sum_{j \in A \cap \mathcal{K}_+} \tilde{\pi}_j^A d_{\mathrm{KS}}(k, j)\)，其中 \(\tilde{\pi}_j^A\) 为条件概率质量。论文严格证明了中心单元条件有效性下界满足： $$ \mathbb{P}\left(Y_{n+1} \in C_\alpha(X_{n+1}; \hat{q}^{(2)}) \mid \mathrm{BMU}(X_{n+1}) = k\right) \ge 1 - \alpha - \varepsilon_k $$ 若 SOM 保持了优良的拓扑保真性，相邻单元间的特征分布和非一致性得分高度平滑，则偏差项 \(\varepsilon_k\) 极小，从而兼顾了局部统计强度与严格的覆盖可靠性。
损失函数 / 训练策略¶
SOCP 遵循划分保形预测的解耦准则，基础预测器（如神经网络或梯度提升树）和非一致性得分计算完全保持不变。SOM 网络采用基于高斯邻域核的标准批量竞争学习更新原型向量，使用学习率及邻域尺度的反比衰减方案；在 Regime 3 中，全局扩增预算 \(L^\star\) 依式 (1) 求解： $$ L^\star \coloneqq \min \left{ L \in {0, \dots, K}: \min_{k \in \mathcal{K}} \frac{n}{n_{\mathrm{tr}}} \sum_{j \in R_L(k)} T_j \ge b \right} $$ 其中目标缓冲区下限设定为 \(b = \lceil 1/\alpha \rceil + 9\)（在 \(\alpha = 0.1\) 时 \(b = 19\) 为保证分位数不退化至样本极值的理论下限），全程无需任何可微反向传播训练或超参数联合调优。
实验关键数据¶
主实验¶
实验涵盖 5 项回归基准（Bike Sharing, Bio, California Housing, Concrete, Auto MPG）和 5 项分类基准（CIFAR-10, MNIST, Covertype, CIFAR-100, ImageNet-1k），在预定误覆盖率 \(\alpha = 0.1\) 下跨 10 个随机种子进行评测。外部审计基准统一采用特征空间上独立拟合的外部 \(K=25\) 个 \(k\)-means 簇，核心指标为加权覆盖缺口（Weighted Coverage Gap, WCovGap，单位为百分点）。
| 任务类型 | 数据集 | 边际覆盖率 (SCP / SO-SCP) | 输出尺度 (SCP / SO-SCP) | 外部 WCovGap: SCP | 外部 WCovGap: SO-SCP | 相对降幅 (Gain) |
|---|---|---|---|---|---|---|
| 回归 (残差得分) | Bike Sharing | 0.902 / 0.902 | 115.36 / 117.44 (+1.8%) | 5.46 | 4.75 | −13.0% |
| 回归 (残差得分) | Bio (CASP) | 0.902 / 0.906 | 12.74 / 12.79 (+0.4%) | 3.14 | 2.33 | −25.8% |
| 回归 (残差得分) | California Housing | 0.898 / 0.899 | 1.39 / 1.36 (−2.2%) | 3.50 | 3.15 | −10.0% |
| 回归 (Regime 3) | Concrete | 0.908 / 0.914 | 16.57 / 18.68 (+12.7%) | 10.40 | 10.12 | −2.7% |
| 回归 (Regime 3) | Auto MPG | 0.928 / 0.922 | 10.25 / 10.39 (+1.4%) | 12.87 | 12.73 | −1.1% |
| 分类 (LAC 得分) | CIFAR-10 | 0.898 / 0.901 | 1.42 / 1.46 (+2.8%) | 4.93 | 4.54 | −7.9% |
| 分类 (LAC 得分) | MNIST | 0.901 / 0.908 | 0.90 / 0.91 (+1.1%) | 8.28 | 6.84 | −17.4% |
| 分类 (LAC 得分) | Covertype | 0.898 / 0.899 | 1.20 / 1.22 (+1.7%) | 2.79 | 1.95 | −30.1% |
| 分类 (LAC 得分) | CIFAR-100 | 0.901 / 0.904 | 14.25 / 14.67 (+2.9%) | 3.22 | 2.58 | −19.9% |
| 分类 (LAC 得分) | ImageNet-1k | 0.899 / 0.898 | 1.48 / 1.59 (+7.4%) | 5.70 | 4.56 | −20.0% |
消融实验与局部校准器对比¶
为评估校准器的实用边界与预测集有效性，在相同代表性数据集上横向对比了多种先进局部保形校准策略，考察其在覆盖缺口减小量（Gain）与输出无效/发散情况之间的权衡：
| 数据集 | 校准方法 | WCovGap 降低量 (Gain) | 平均输出尺度 [变化率] | 无穷大/无效预测比例 | 说明 |
|---|---|---|---|---|---|
| Bio (回归, \(n=68600\)) | SCP (全局基线) | 0.00 | 12.74 [0.0%] | 0.00% | 全局单一分位数 |
| Bio (回归, \(n=68600\)) | LCP (核局部化) | +0.38 | \(\infty\) | 0.77% | 局部带宽产生无效区间 |
| Bio (回归, \(n=68600\)) | RLCP (随机锚点) | +1.08 | \(\infty\) | 5.50% | 缺口减小但 5.5% 输出发散 |
| Bio (回归, \(n=68600\)) | Mondrian \(k\)-means | +0.31 | \(\infty\) | 0.05% | 聚类边缘稀疏单元发散 |
| Bio (回归, \(n=68600\)) | SO-SCP (Regime 2) | +0.81 | 12.79 [+0.4%] | 0.00% (0/68600) | 保持有限区间且降缺口 25.8% |
| ImageNet-1k (分类) | SCP (全局基线) | 0.00 | 1.48 标签 [0.0%] | 0.00% | 全局基准集合大小 |
| ImageNet-1k (分类) | Classwise (类别条件) | +2.41 | 11.82 标签 [+699%] | 0.00% | 尾部类别集合极度膨胀 |
| ImageNet-1k (分类) | Clustered (分组条件) | +0.90 | 1.81 标签 [+22.3%] | 0.00% | 辅助校准集分组 |
| ImageNet-1k (分类) | RLCP (随机锚点) | +2.66 | 139.33 标签 [+9314%] | 0.00% | 集合覆盖 14% 类别失去实用性 |
| ImageNet-1k (分类) | Mondrian \(k\)-means | +1.29 | 1.77 标签 [+19.6%] | 0.00% | 集合尺度明显增大 |
| ImageNet-1k (分类) | SO-SCP (Regime 2) | +1.13 | 1.59 标签 [+7.4%] | 0.00% | 仅增 0.11 个标签，缺口显著改善 |
关键发现¶
- 显著削减区域偏差而不牺牲集合紧致性：在所有 10 项基准上，SO-SCP 相比标准 SCP 平均实现了 14.8% 的 WCovGap 降幅，而整体平均预测集尺度仅温和增加 3.0%；在充分支持的 8 个数据集上平均降低缺口 18.0%，尺度仅增加 2.0%。
- 避免核化与硬聚类方案的退化失效：在回归任务（如 Bike, Bio, California Housing）中，RLCP 与 LCP 出现 0.77% 至 5.50% 的无穷大区间；而在分类任务（ImageNet-1k）中，RLCP 平均集合大小暴涨至 139.33 个标签（膨胀 93 倍），Classwise 膨胀 7 倍，唯有 SOCP 将集合大小严格限制在 1.59 个标签内。
- 优异的多得分函数组合通用性：跨 CQR, CHR, NFCP, RCP 等多种回归得分及 APS, RAPS, SAPS, Rank 等分类得分，SO 校准在 50 组对比中于 43 组取得 WCovGap 下降（平均下降 13.7%），证明其具备与任意下游非一致性得分的即插即用性。
亮点与洞察¶
- 无监督流形引导与保形校准的优雅解耦：利用训练集特征无监督拟合 SOM 确定拓扑单元，将繁重的空间几何学习完全前置到离线阶段。测试阶段仅通过 \(\mathcal{O}(K)\) 距离计算分配 BMU，既避免了复杂的监督群体定义，又彻底杜绝了测试期高昂的核密度估计。
- 理论偏差显式可控的 KS 桥接技术：创新性地利用单元间分数分布的 Kolmogorov-Smirnov 距离刻画拓扑邻域样本复用所带来的条件覆盖偏差，建立了中心单元覆盖下界 \(1 - \alpha - \varepsilon_k\)，为非局部纯净样本池的统计借用提供了坚实的理论护栏。
- 无须校准标签的自适应扩增预算优化：Regime 3 巧妙地在观察真实校准样本之前，基于训练集单元占用量与设计校准样本量静态求解扩增距离 \(L^\star\)，从根本上消除了极端少样本场景下的发散风险。
局限与展望¶
- 依赖预训练表征的几何分布质量：SOM 依赖于输入特征 \(\mathcal{X}\) 的度量几何（如欧氏距离）。若特征空间维度极高且未经良好表征学习，拓扑网格可能出现空胞或距离度量失效，削弱局部相似性假设。
- 网格超参数的人工先验选择：网格分辨率 \(K\) 和拓扑邻域半径 \(r\) 仍依赖经验指定；未来工作可探索结合数据驱动的分层多分辨率 SOM 或软分配隶属度，以自适应消除网格离散化边界效应。
- 分布偏移适应性需进一步拓展：当前理论建立在校准集与测试集同分布的可交换性假设下，未来可进一步探索在协变量偏移（Covariate Shift）下结合局部密度比加权的 SOCP 演进版本。
相关工作与启发¶
- vs 标准划分保形预测 (Split Conformal Prediction)：标准 SCP 采用单一全局阈值，虽有边际覆盖保证，但在复杂子区域上存在系统性欠覆盖；SOCP 在保持免重训与模型无关特性的同时，以局部拓扑缓冲区实现了区域覆盖的精细化均衡。
- vs 局部核保形预测 (LCP / RLCP)：LCP/RLCP 在推断时需要对测试点计算针对所有校准样本的核平滑，计算复杂度为 \(\mathcal{O}(n)\) 且极易产生无穷大发散区间；SOCP 计算复杂度仅为 \(\mathcal{O}(K)\)，并借助固定拓扑并集严格锁死区间有界性。
- vs 基于类别的 Mondrian 保形预测：Mondrian 依赖人工先验群组（如类别标签），在长尾类别或高基数任务（如 ImageNet）上导致集合极度膨胀；SOCP 依赖无监督几何自动发现连续特征群组，在保持紧致集合尺度的前提下实现了更稳健的区域条件可靠性。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 首次将自组织映射与保形预测理论严格结合，推导了清晰的 KS 偏差理论界。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 10 个分类/回归基准、多种得分机制与 6 种主流局部校准基准对比。
- 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完备，实验设计严谨，问题动机层层递进。
- 价值: ⭐⭐⭐⭐☆ 为高可靠性风险敏感场景下的局部不确定性量化提供了即插即用、开销极低的高效工具。