When Does Trimming Help Conformal Prediction? A Retained-Law Diagnostic under Calibration Contamination¶

会议: NeurIPS 2026
arXiv: 2605.06204
OpenReview: https://openreview.net/forum?id=wJGWapZaZl
领域: 优化/理论
关键词: 共形预测, 数据污染, 修剪诊断, 保留分布, 协方差失真

一句话总结¶

将校准集异常修剪重新表述为向诱导「保留分布」的条件化过程，建立精确有限样本覆盖恒等式与保留法则诊断，定量分离干净侧协方差失真与脏点留存比率代价。

研究背景与动机¶

在共形预测（Conformal Prediction, CP）的标准化工作流中，无分布假设的严格覆盖保证依赖于校准样本与测试样本之间的可交换性（Exchangeability）。然而在实际部署中，校准集极易受到数据污染（Calibration Contamination），即观测样本来自混合分布 \(P^\star = (1-\varepsilon)P + \varepsilon Q\)，其中 \(Q\) 为未知污染分布。当测试样本仍来自干净分布 \(P\) 时，校准与测试样本间的联合可交换性发生断裂。工程实践中最直观且广泛采用的应对策略是「修剪」（Trimming）：通过拟合异常检测评分函数并剔除离群点，再在筛选后的保留子集上运行标准分裂共形预测。

这种启发式操作隐含了一个未经验证的假设，即修剪等同于「提纯」（Purification），能够自动恢复纯净目标上的覆盖率。但实际上，修剪本质上是将校准分布在留存事件上做条件化，由此产生的是一个全新的「保留分布」（Retained Law）\(R\)，而非原始的干净分布 \(P\)。如果异常分数在干净样本上与不一致性得分相关，修剪操作不仅无法滤净污染，反而会诱发有害的内生分布畸变，导致严重的欠覆盖（Under-coverage）或过度膨胀。

因此，理论界的核心矛盾在于：修剪究竟何时能有效改善共形预测的覆盖质量，其收益由哪些物理量决定？ 现有稳健共形方法大多倾向于对任意最坏情况分布 \(Q\) 做出粗暴的分位数膨胀修正，牺牲了预测效率，却无法对已经采用的修剪规则给出可解释的诊断。本文的核心 idea 是：将固定阈值修剪重构为从诱导保留分布 \(R\) 到干净目标 \(P\) 的一维得分累积分布函数（Score-CDF）迁移问题，推导有限样本精确覆盖恒等式，并将迁移差距显式分解为「干净侧协方差失真」与「留存污染代价」的对偶诊断，证明修剪仅在异常分数具备留存概率分离度且对干净得分中立时才能起效。

方法详解¶

整体框架¶

设样本空间为 \(\mathcal{Z} = \mathcal{X} \times \mathcal{Y}\)，不一致性得分函数为 \(A: \mathcal{Z} \to \mathbb{R}\)，过滤所用的异常评分函数为 \(S: \mathcal{Z} \to \mathbb{R}\)，预设修剪阈值为 \(t^\star\)。整个系统的输入为独立于校准集拟合好的预测器与评分函数、受污染的校准样本集 \(\{Z_i\}_{i=1}^m \sim_{\mathrm{i.i.d.}} P^\star = (1-\varepsilon)P + \varepsilon Q\)；输出为对干净测试点 \(X_{\mathrm{new}} \sim P_X\) 给出的预测集合 \(C_\alpha(X_{\mathrm{new}})\)。

方法流水线遵循「条件修剪 \(\to\) 保留分布导出 \(\to\) 分位数迁移 \(\to\) 误差成分诊断」的严密闭环：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["受污染校准集<br/>P* = (1-ε)P + εQ"] --> B["保留分布条件化与构建<br/>筛选满足 S(Z) ≤ t* 的样本"]
    B --> C["有限样本标量迁移恒等式<br/>Beta 积分与保形分位数映射"]
    C --> D["双重成分分离诊断<br/>干净侧协方差 + 脏点保留比率"]
    D --> E["有限样本审计凭证<br/>独立审计样本或成分置信下界"]

关键设计¶

1. 保留分布条件化与构建：将修剪定性为测度变换而非样本清洗

针对「修剪即可提纯数据」的错误直觉，论文将固定阈值修剪严格形式化为在保留事件 \(\{S(Z) \le t^\star\}\) 下的测度条件化。记干净样本与污染样本的保留概率分别为 \(p_c = P(S \le t^\star)\) 和 \(p_d = Q(S \le t^\star)\)，总保留期望率为 \(\mu_{\mathrm{keep}} = (1-\varepsilon)p_c + \varepsilon p_d > 0\)。根据贝叶斯法则，修剪诱导的保留测度 \(R = P^\star(\,\cdot \mid S \le t^\star)\) 依然呈现混合测度形式：

\[R = (1 - \tilde{\varepsilon}_\star) P_{\mathrm{keep}} + \tilde{\varepsilon}_\star Q_{\mathrm{keep}}, \qquad \tilde{\varepsilon}_\star = \frac{\varepsilon p_d}{(1-\varepsilon)p_c + \varepsilon p_d}\]

条件化后，保留样本集合中各元素独立同分布于 \(R\)。因此，保留样本上的经验分位数天然具备针对源分布 \(R\) 测试点的精确秩可交换性。向干净目标 \(P\) 的覆盖保障因而被准确转化为一维单侧累积分布函数差距 \(d_{R \to P, +}^A := \sup_{t} (F_R^A(t) - F_P^A(t))_+\) 的控制问题。

2. 有限样本标量迁移恒等式：极限定理外的严格覆盖展开与极值锐度

为了避免大样本渐近近似带来的乐观偏差，论文推导出了在任意有限样本规模 \(m\) 下干净目标覆盖率的精确期望恒等式。设保留点数为 \(N_{\mathrm{keep}} \sim \mathrm{Binomial}(m, \mu_{\mathrm{keep}})\)，秩目标为 \(r_n = \lceil(n+1)(1-\alpha)\rceil\)。给定 \(r_n \le n\)，分位数次序统计量的边际分布由 Beta 变量 \(B_{r_n, n+1-r_n} \sim \mathrm{Beta}(r_n, n+1-r_n)\) 刻画，覆盖率精确表达为混合 Beta 期望加权和：

\[\mathbb{P}\{Y_{\mathrm{new}} \in C_\alpha(X_{\mathrm{new}}) \mid \mathcal{G}\} = \sum_{n=0}^{m} \binom{m}{n}\mu_{\mathrm{keep}}^n (1-\mu_{\mathrm{keep}})^{m-n} \Psi_n(P, R)\]

其中当 \(r_n \le n\) 时，转移泛函定义为 \(\Psi_n(P,R) = \mathbb{E}[F_P^A(Q_R^A(B_{r_n, n+1-r_n}))]\)。将该一维函数映射下界化，可得显式标量下界 \(L_{\mathrm{fs}}(d_{R \to P, +}^A)\)。论文进一步证明了极值锐度定理（Theorem 2）：在所有仅已知单侧差距上界 \(d_{R \to P, +}^A \le d\) 的分布对集合中，该标量下界达到了极小化极大（Minimax）最优，不存在更紧致的统一标量下界。

3. 双重成分分离诊断：干净侧协方差失真与留存系数分离二歧性

为了指导异常分数的选取并透析性能劣化的本质来源，论文将总转移差距三角不等式展开为直观的双重惩罚诊断项：

\[d_{R \to P, +}^A \le (1-\tilde{\varepsilon}_\star) \Delta_{\mathrm{trim}, +}^A + \tilde{\varepsilon}_\star D_{Q, +}\]

第一项为干净侧修剪失真 \(\Delta_{\mathrm{trim}, +}^A = \sup_t (F_{P_{\mathrm{keep}}}^A(t) - F_P^A(t))_+\)。论文给出了核心理论恒等式，证明其本质上是保留指示变量 \(K = \mathbf{1}\{S(Z) \le t^\star\}\) 与不一致性得分示性函数之间的单侧协方差：

\[F_{P_{\mathrm{keep}}}^A(t) - F_P^A(t) = \frac{\mathrm{Cov}_P(\mathbf{1}\{A(Z) \le t\}, K)}{p_c}\]

这意味着，若异常评分 \(S\) 在纯净分布 \(P\) 下与预测误差 \(A\) 产生统计依赖（如直接采用依赖标签残差的异常分），修剪即使在没有任何污染时也会强行扭曲校准分布，导致覆盖率雪崩；优秀的异常检测必须满足「纯净群体内部得分中立性」（Score-neutrality）。第二项为留存污染代价 \(\tilde{\varepsilon}_\star D_{Q, +}\)，直接由脏净留存比率 \(p_d / p_c\) 主导：若 \(p_d \le \lambda p_c\)，则 \(\tilde{\varepsilon}_\star \le \varepsilon \lambda / (1-\varepsilon + \varepsilon \lambda)\)，当且仅当异常分能有效拉开两者的接受概率时，混合污染系数才能被实质压缩；若 \(p_d = p_c\)，则修剪后的留存污染率完全等于初始值 \(\varepsilon\)，修剪在代数上完全无法通过混合系数减少污染。

4. 有限样本审计凭证：双重可计算安全界模板

针对现实中 \(P\) 和 \(Q\) 未知而无法直接评估总体诊断量的困境，论文提出了两条提供严密数值保证的审计路线。第一条为混合成分审计，当用户拥有干净保留概率下界 \(L_c \le p_c\)、污染保留概率上界 \(p_d \le U_d\) 以及失真边界时，通过插入代数不等式给出保守下界（Cons. LB）；第二条为独立干净审计样本直推，无需对修剪过程和未知分布作结构假设，在完全独立的干净测试集上基于 Clopper-Pearson 单侧二项逆检验（Binomial Inversion）直接对最终预测区间给出非渐近有限样本置信凭证。

实验关键数据¶

主实验¶

在受控异方差回归任务中（干净分布 \(X \sim N(0,1), Y = X + 0.6(1+0.6|X|)\xi\)；污染分布 \(X_{\mathrm{dirty}} \sim N(6,1), Y_{\mathrm{dirty}} = X_{\mathrm{dirty}} + 0.05\xi\)；污染率 \(\varepsilon=0.2\)，名义错覆盖率 \(\alpha=0.1\)，即标称覆盖目标为 \(0.90\)），校准集大小 \(m=320\)，重复 100 次。通过 Stein 得分范数过滤检验可识别特征空间离群点：

| 方法 | 干净覆盖率 (Clean coverage) | 区间宽度 (Width) | 干净留存率 \(p_c\) | 污染留存率 \(p_d\) | 留存污染率 \(\tilde{\varepsilon}_\star\) | 干净失真 \(\Delta_{\mathrm{trim},+}^A\) | 诊断下界 \(L_{\mathrm{mix},+}\) | 保守审计凭证 (Cons. LB) | |---|---|---|---|---|---|---|---| | 普通分裂共形 (Ordinary split) | 0.8709 [0.8667, 0.8750] | 2.7308 | 1.0000 | 1.0000 | 0.2000 | 0.0000 | \(\ge 0.7000\) | 0.5499 | | Stein 修剪 \(q=0.950\) | 0.8857 [0.8819, 0.8896] | 2.8584 | 0.9494 | \(2.8 \times 10^{-5}\) | \(7.0 \times 10^{-6}\) | 0.0137 | \(\ge 0.8863\) | 0.7140 | | Stein 修剪 \(q=0.975\) | 0.8914 [0.8877, 0.8951] | 2.9107 | 0.9752 | \(6.1 \times 10^{-5}\) | \(1.6 \times 10^{-5}\) | 0.0075 | \(\ge 0.8925\) | 0.7225 | | Stein 修剪 \(q=0.990\) | 0.8950 [0.8913, 0.8986] | 2.9448 | 0.9897 | \(2.6 \times 10^{-4}\) | \(6.4 \times 10^{-5}\) | 0.0036 | 0.8964 | 0.7276 | | 纯净校准真值 (Clean oracle) | 0.8984 [0.8948, 0.9021] | 2.9791 | 1.0000 | 0.0000 | 0.0000 | 0.0000 | 0.9000 | 0.7322 |

消融实验¶

为了检验理论提出的「二歧性失效机制」，论文在四种极限机制与大规模真实半合成 ACS 数据集上进行了对抗性机制压力测试（表 2 与表 3 数据汇总）：

机制配置	核心方法与场景	干净覆盖率	留存率对比 (\(p_c\) vs \(p_d\))	\(\tilde{\varepsilon}_\star\)	干净失真 \(\Delta_+\)	诊断下界 \(L_{\mathrm{mix},+}\)	机制说明
理想分离机制	Stein clean-ref (\(q=0.950\))	0.9015	0.9444 vs 0.0000	0.0000	0.0040	0.8960	脏点完全排斥，残余误差仅为纯净协方差失真
无分离机制 (\(m=800\))	Stein clean-ref (\(q=0.950\))	0.8754	0.9420 vs 0.9429	0.2002	0.0037	0.7081	\(p_c \approx p_d\) 导致留存污染率不降，修剪完全无效
纯标签污染 (\(\varepsilon=0.2\))	普通分裂共形预测	0.9998	1.0000 vs 1.0000	0.2000	0.0000	0.9000	协变量几何无异常感知力，区间盲目过度膨胀
超大样本 (\(m=10{,}000\))	Stein 修剪 (\(q=0.950\))	0.8888	0.9495 vs 0.0057	0.0015	0.0134	0.8853	样本量增加消除估计方差，但无法消除保留分布固有偏差
半合成真实 ACS 分类	Isolation Forest / Mahalanobis	0.9003–0.9006	0.9490 vs 0.9502	0.1997–0.2006	接近 0	约 0.90	真实域重叠导致 \(p_c \approx p_d\)，修剪对覆盖率改变量 \(\le 0.0005\)

关键发现¶

修剪并非在所有阶段等效生效：在主实验中，当分位数阈值从 \(q=0.950\) 放宽至 \(q=0.990\) 时，覆盖率持续从 0.8857 提升至 0.8950（接近纯净基准 0.8984）。这并非由于排除了更多脏点（因为在 \(q=0.950\) 时脏点排除率 \(p_d\) 已达饱和），而是因为放宽阈值急剧降低了纯净样本上的协方差失真（\(\Delta_{\mathrm{trim},+}^A\) 从 0.0137 暴跌至 0.0036）。
无分离即无收益的严格验证：当异常打分无法有效区隔分布（\(p_c \approx p_d\)）时，留存污染率 \(\tilde{\varepsilon}_\star\) 恒等于 \(\varepsilon\)，无论怎么修剪都无法降低污染比例；在 ACS 就业普查真实数据中，常规异常检测器（如孤立森林、马氏距离）在跨州污染下两类留存率高度一致，实测覆盖率变化不超过 0.0005，彻底证伪了「盲目修剪有益」的工程经验。

亮点与洞察¶

将数据清洗重构为测度诱导条件化：突破了传统稳健统计中将修剪视作点估计影响函数截断的狭隘认知，把共形校准集修剪升华为一个严格的概率测度转移问题（从 \(P^\star\) 到条件测度 \(R\)），数学抽象深刻且切中本质。
协方差恒等式揭示「干净侧副作用」：首次通过严密的代数协方差公式 \(\mathrm{Cov}_P(\mathbf{1}\{A \le t\}, K)/p_c\) 刻画了修剪对干净预测区间的附带损伤，为异常打分函数的设计树立了「既要域间分离、又要域内中立」的双重准则。
有限样本 Beta 混合表征与极值锐度：给出了无需大样本渐近假设的有限样本精确积分公式，并在标量信息类下证明了 Minimax 极值锐度，理论闭环坚实完整。

局限与展望¶

依赖异常评分的先验几何假设：协变量几何异常分数（如 Stein 核化分数）在纯标签噪声（\(Q_X = P_X\)）场景下完全失灵；此时若贸然引入依赖预测误差 \(Y - \hat{f}(X)\) 的响应异常分，又会引发巨大的干净侧协方差失真 \(\Delta_{\mathrm{trim},+}^A\)。
缺乏自适应联合阈值优化的闭式界：当阈值 \(t^\star\) 与校准样本数据强耦合（Same-sample selection）时，原有的精确 Beta 恒等式断裂，只能退化为具有 \(\sqrt{\log K / N_t}\) 罚项的经验过程均匀界。
未来方向：探索如何在不引入响应端依赖的前提下构建对混合标签-协变量偏移自适应的双重平衡异常评分系统，以及将诊断泛化到局部加权与条件共形保证架构。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [视角独特，将修剪重新刻画为测度条件化与得分-CDF转移问题，推导协方差失真恒等式]
实验充分度: ⭐⭐⭐⭐⭐ [涵盖可控异方差仿真、极限制压力测试与 ACS 真实半合成普查数据，严密证实理论二歧性]
写作质量: ⭐⭐⭐⭐⭐ [概念界定极其严谨清晰，数学论证前后贯通，图表与诊断量层次分明]
价值: ⭐⭐⭐⭐⭐ [为受污染场景下的共形预测算法选择提供了决定性的理论诊断工具与审计指南]