Co-Optimization for Adaptive Conformal Prediction¶
会议: NeurIPS 2026
arXiv: 2603.01719
领域: 优化/理论
关键词: 共形预测, 自适应区间, 最高密度区间, 分位数回归, 软覆盖目标
一句话总结¶
提出自适应共形预测协同优化框架 CoCP，通过折叠残差分位数回归更新半径与边界局部平滑覆盖目标优化中心交替迭代，从几何上动态逼近最短最高密度区间（HDI），在严格保证有限样本边际覆盖的同时大幅收窄区间宽度并改善条件覆盖可靠性。
研究背景与动机¶
共形预测（Conformal Prediction, CP）作为一种灵活且免分布假设的不确定性量化方法，能够在数据可交换性前提下为任意黑盒预测器提供有限样本的有效边际覆盖保证。然而，高质量的预测区间绝不能仅仅机械地满足名义覆盖率，还必须在不同协变量条件下尽可能收缩宽度，并对异方差性及分布形态变化具备敏锐的自适应能力。当前应用广泛的代表性方法（如基于分位数回归的 CQR）通常先拟合条件分位数再进行共形校准，其实质上默认了固定的中心位置，并强制施加对称的双侧等尾误差约束（两端各分配 \(\alpha/2\) 的未覆盖概率）。
这种等尾约束在面对偏态（Skewed）或不对称条件分布时会产生系统性的效率瓶颈。根据 Neyman-Pearson 引理，在单峰连续分布下覆盖 \(1-\alpha\) 概率质量的最短区间必然是最高密度区间（Highest Density Interval, HDI），其内部端点处天然满足等密度边界平衡条件。然而，等尾分位数构建硬性切分两端尾部，往往导致预测区间被迫偏离高概率密度区域，即使维持了理想的条件覆盖率，也会输出过度冗余且宽泛的区间。已有试图逼近高密度区域的非参数直方图或条件分布估计算法（如 CHR、CIR、C-HDR），又不可避免地面临网格离散化分辨率瓶颈、多重分位数交叉或繁重且不稳定的条件密度/生成模型估计难题。
从几何视角剖析，任意对称中心–半径区间与理想 HDI 之间的根本差距，实质上源于区间中心在局部概率密度峰值上的错位。只要预测区间两端的条件密度不平衡，将中心向高密度一侧平移，便能以“推入更多密集质量、拉出稀疏质量”的推挽效应，促使维持 \(1-\alpha\) 质量所需的最小半径收缩。本文的核心 idea 是：将区间构建解耦为中心平移与半径缩放的协同优化过程，利用折叠残差的分位数回归直接追踪边界半径，并借助边界局部平滑覆盖损失的非对称梯度自发驱动中心向高密度区域校准，无需显式估计完整条件概率密度即可渐进恢复最短最高密度区间。
方法详解¶
整体框架¶
CoCP 将预测区间参数化为中心函数 \(m(x)\) 与半径函数 \(h(x)\)（其中硬约束 \(h(x) > 0\)），形式为 \(C_{m,h}(x) = [m(x) - h(x), m(x) + h(x)]\)。整个算法流程包含交替协同优化、跨折叠集成与拆分共形校准三个阶段：首先在训练集上通过 MSE 预热中心网络，随后交替进行以固定中心为基准的折叠残差分位数更新和以固定半径为尺度的边界局部软覆盖中心平移；接着利用 \(K\) 折交叉拟合（Cross-fitting）聚合模型降低估计方差；最后在独立的校准集上计算归一化非共形得分，通过分位数缩放因子 \(q\) 给出最终具备严格有限样本边际覆盖保证的自适应区间。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入样本 (X, Y) 与训练集划分"] --> B["MSE 预热中心网络<br/>初始化中心 m(x)"]
B --> C["折叠残差分位数回归<br/>更新半径网络 h(x)"]
C --> D["边界局部软覆盖优化<br/>更新中心网络 m(x)"]
D -->|交替迭代 T 轮并微调半径| E["K 折交叉拟合与集成聚合<br/>获得平滑预测器 m^(x) 与 h^(x)"]
E --> F["独立校准集计算归一化得分<br/>S_i = |Y_i - m^(X_i)| / h^(X_i)"]
F --> G["共形校准输出最终区间<br/>C^(x) = [m^(x) - q*h^(x), m^(x) + q*h^(x)]"]关键设计¶
1. 折叠残差分位数回归：单侧阈值化追踪自适应尺度
为了摆脱全条件概率分布估计的沉重计算负担，CoCP 引入了折叠几何变换。将响应变量以当前中心 \(m(x)\) 为轴进行折叠，两端区间的覆盖问题便等价于折叠绝对残差 \(|Y - m(x)|\) 的单侧阈值化。在固定候选中心 \(m\) 下，覆盖 \(1-\alpha\) 概率质量的最小对称半径 \(\psi_x(m(x))\) 正好是折叠绝对残差变量在该条件下的 \(1-\alpha\) 分位数。该设计避开了学习繁复的双侧不对称分位数，直接通过经典 Pinball 损失优化半径网络 \(h(x)\)：
$\(\mathcal{L}_H(h; m) = \mathbb{E}\left[ \rho_{1-\alpha}\left( |Y - m(X)| - h(X) \right) \right]\)$
其中 \(\rho_\tau(u) = u(\tau - \mathbb{I}\{u < 0\})\)。该损失函数的极小值点严格解析对应于理论最小可行半径 \(h(x) = Q_{1-\alpha}(|Y - m(X)| \mid X=x)\)，使得半径能够在异方差环境下精确自适应局部离散度。
2. 边界局部软覆盖优化：梯度推挽驱动中心向高密度区域平衡
当中心 \(m(x)\) 偏离理想位置时，区间两端端点 \(m(x) \pm h(x)\) 的概率密度并不相等。由隐函数微分可得理论半径对中心的导数关系：
$\(\psi_x'(c) = -\frac{f_x(c + \psi_x(c)) - f_x(c - \psi_x(c))}{f_x(c + \psi_x(c)) + f_x(c - \psi_x(c))}\)$
若右边界密度高于左边界，则向右平移中心即可直接减小所需半径。然而，硬指示函数 \(\mathbb{I}\{|Y - m(X)| \le h(X)\}\) 处处梯度为零，无法直接用作反向传播目标。CoCP 采用温度参数为 \(\beta > 0\) 的平滑 Sigmoid 替代函数构造软覆盖损失：
$\(\mathcal{L}_M(m; h, \beta) = -\mathbb{E}\left[ \sigma\left( \frac{h(X) - |Y - m(X)|}{\beta} \right) \right]\)$
对中心 \(c\) 求导时，导数核形成带符号的采样窗：在左边界产生负权重，在右边界产生正权重。当 \(\beta \to 0^+\) 时，梯度信号完全集中在边界点 \(|Y - m(X)| \approx h(X)\) 的极小邻域内。这种设计巧妙地让数据点自身的密度分布充当反向传播加权，高密度边界产生主导拉力，自动将中心推向概率聚集区直至两端密度平衡，全程完全免除了对条件密度函数 \(f_x\) 的显式建模。
3. 归一化得分共形校准：在保效保障下闭合有限样本可靠性
尽管交替优化能够学习到接近最优几何形态的中心与半径，但有限样本下的神经网络估计误差仍可能导致欠覆盖。为了保证严格的统计有效性，CoCP 在独立校准集 \(\mathcal{D}_{\text{cal}}\) 上构造尺度自适应的归一化非共形得分 \(S_i = \frac{|Y_i - \widehat{m}(X_i)|}{\widehat{h}(X_i)}\)。选取经验分位数 \(\widehat{q} = \text{Quantile}\left( \frac{\lceil (n_{\text{cal}}+1)(1-\alpha) \rceil}{n_{\text{cal}}}; \{S_i\} \right)\)，得到最终的区间 \(\widehat{C}(x) = [\widehat{m}(x) - \widehat{q}\,\widehat{h}(x),\, \widehat{m}(x) + \widehat{q}\,\widehat{h}(x)]\)。理论证明，随着样本量增长及 \(\beta_n \to 0^+\)，校准因子满足 \(|\widehat{q} - 1| = O_{\mathbb{P}}\left(\sqrt{\eta_{h,n}} + \sqrt{\frac{\log n_{\text{cal}}}{n_{\text{cal}}}}\right) \xrightarrow{\mathbb{P}} 0\)，区间宽度渐进收敛至真实 HDI 的理论最优长度，并在紧致子集上实现精确的渐进条件覆盖。
损失函数 / 训练策略¶
训练采用 \(K\) 折交叉拟合框架（实验中采用两层 64 隐单元 MLP）。每一折内，将训练集划分为中心训练集 \(\mathcal{D}_m^{(k)}\) 与半径训练集 \(\mathcal{D}_h^{(k)}\)。优化流程先使用 MSE 损失预训练 \(m^{(k)}\) 获得平滑初值，随后在 \(T\) 轮外循环中交替冻结一方、优化另一方：使用 Adam 优化器在 \(\mathcal{D}_h\) 上最小化 Pinball 损失拟合 \(h^{(k)}\)，接着在 \(\mathcal{D}_m\) 上最小化软覆盖损失微调 \(m^{(k)}\)，并在循环结束后对 \(h^{(k)}\) 进行一次收尾微调。最后通过对所有折模型的预测结果进行简单均值集成，显著平滑了神经网络边界估计的不稳定性。
实验关键数据¶
主实验¶
论文在已知真实条件分布的合成数据集（样本量 \(n=20,000\)，标称覆盖率 \(1-\alpha=0.9\)）及多个不同领域、不同维度的真实世界回归数据集上展开了全面对比。主对比指标包括边际覆盖率（Coverage）、平均区间长度（Length）以及衡量条件覆盖偏差的绝对误差均值（ConMAE，合成数据）和多项诊断指标（MSCE、WSC、\(\ell_1\)-ERT、\(\ell_2\)-ERT，真实数据）。
在合成数据集上，针对不同偏态程度的噪声分布，CoCP 展现了极强的区间收缩能力与条件可靠性：
| 数据集 | 指标 | 本文 (CoCP) | 基线 (CQR) | 之前代表性方法 (CHR / C-HDR) | 理论最优 (Oracle HDI) |
|---|---|---|---|---|---|
| Normal (对称异方差) | Length (↓) ConMAE (↓) |
1.5962 ± 0.0180 0.0066 ± 0.0015 |
1.5989 ± 0.0165 0.0095 ± 0.0026 |
1.6228 ± 0.0150 (CHR) 0.0084 ± 0.0014 (C-HDR) |
1.5922 ± 0.0101 0.0000 ± 0.0000 |
| LogNormal (中度偏态) | Length (↓) ConMAE (↓) |
0.9621 ± 0.0138 0.0064 ± 0.0012 |
1.1110 ± 0.0352 0.0122 ± 0.0050 |
0.9983 ± 0.0213 (CHR) 0.0103 ± 0.0036 (C-HDR) |
0.9591 ± 0.0061 0.0000 ± 0.0000 |
| Exponential (高度偏态) | Length (↓) ConMAE (↓) |
1.1351 ± 0.0142 0.0069 ± 0.0015 |
1.4222 ± 0.0171 0.0172 ± 0.0042 |
1.1662 ± 0.0157 (CHR) 0.0074 ± 0.0022 (C-HDR) |
1.1145 ± 0.0070 0.0000 ± 0.0000 |
在 7 个跨维度、跨规模真实回归数据集上（bike, bio, blog, facebook-1, facebook-2, homes, supercon.），CoCP 在严格维持标称边际覆盖率（约 0.90）的同时，显著降低了区间长度并提升了条件覆盖诊断得分：
| 数据集 (样本数 \(n\) / 维度 \(d\)) | 指标 | 本文 (CoCP) | CQR | CHR | RCP |
|---|---|---|---|---|---|
| bike (\(n=10,886, d=18\)) | Length (↓) \(\ell_1\)-ERT (↓) |
0.6606 ± 0.0201 0.0181 ± 0.0080 |
0.7856 ± 0.1255 0.0350 ± 0.0127 |
0.7018 ± 0.0349 0.0279 ± 0.0095 |
0.7497 ± 0.0474 0.0250 ± 0.0125 |
| bio (\(n=45,730, d=9\)) | Length (↓) MSCE (↓) |
1.4140 ± 0.0133 0.0002 ± 0.0001 |
1.5251 ± 0.0164 0.0003 ± 0.0001 |
1.5145 ± 0.0350 0.0003 ± 0.0001 |
1.6355 ± 0.0265 0.0003 ± 0.0003 |
| facebook-1 (\(n=40,948, d=53\)) | Length (↓) WSC (↑) |
1.6269 ± 0.0284 0.8472 ± 0.0065 |
1.7500 ± 0.0462 0.8144 ± 0.0099 |
1.6920 ± 0.0344 0.8297 ± 0.0074 |
1.9151 ± 0.0394 0.8395 ± 0.0117 |
| supercon. (\(n=21,263, d=81\)) | Length (↓) \(\ell_1\)-ERT (↓) |
0.7848 ± 0.0136 0.0142 ± 0.0050 |
0.9059 ± 0.0345 0.0211 ± 0.0069 |
0.9875 ± 0.0396 0.0287 ± 0.0053 |
0.9695 ± 0.0393 0.0236 ± 0.0113 |
消融实验¶
为了剖析协同优化各组件及超参数的作用机制，论文针对中心学习机制、温度系数 \(\beta\) 及交替优化迭代步数进行了深入分析：
| 变体 / 配置 | Length (LogNormal) | ConMAE (LogNormal) | 核心表现说明 |
|---|---|---|---|
| 完整 CoCP (\(\beta=0.1\), \(T=3\)) | 0.9621 | 0.0064 | 中心平移与半径缩放动态协同，高度逼近 Oracle (0.9591) |
| 无中心自适应 (固定 MSE 中心，仅学半径) | 1.1085 | 0.0120 | 退化为中心不变模型，偏态下区间显著偏宽（拉长约 15%） |
| 单次迭代 (\(T=1\), 无交替循环) | 0.9914 | 0.0089 | 中心未能充分平移至密度平衡点，仍残留不对称偏置 |
| 较大平滑度 (\(\beta=1.0\)) | 0.9856 | 0.0081 | 导数采样窗过宽，引入较大平滑偏置，降低边界平衡精度 |
| 极小平滑度 (\(\beta=0.01\)) | 0.9645 | 0.0072 | 梯度信号过于稀疏导致训练方差变大，需更多轮次收敛 |
关键发现¶
- 在偏态分布场景中，调整区间中心相比单纯调整两端宽度具有压倒性优势。在指数分布合成实验中，CoCP 比强制等尾的 CQR 区间宽度缩减达 20.2%，条件误差 ConMAE 减少约 60%。
- 在真实数据集评测中，CoCP 在 7 个数据集中的 5 个取得了最短区间长度；即使在其余两个（blog 和 facebook-2）被离散直方图法 CHR 以微弱优势在平均宽度上超出，CoCP 在 MSCE、WSC 和 ERT 等条件覆盖稳健性指标上仍展现出大幅领先优势，表明其避免了以恶化局部区域覆盖为代价换取全域平均宽度缩窄的弊端。
- 理论渐进误差分解分析证实：整体区间长度偏差严格受控于半径拟合误差、共形校准因子偏差、中心拟合误差以及固有平滑度偏差 \(\mathcal{O}(\beta^2)\)，阐明了温度退火与大样本下的收敛保障。
亮点与洞察¶
- 将预测区间的两端非对称约束巧妙化简为残差折叠几何，把复杂的双边界搜索转化为单一折叠变量的分位数追踪与无密度估计的中心滑动问题。
- 平滑软覆盖目标的梯度直接充当了自适应的边界局部采样器，以数据点为天然密度权重驱动中心移动，避免了生成模型或核密度估计在多维协变量下的维数灾难与数值震荡。
- 在优化目标设计上兼顾了可微连续性与渐进最优性，既能利用现代神经网络工具链端到端高效训练，又保留了标准拆分共形预测无条件且严格的有限样本覆盖底线。
局限与展望¶
- 当前推导与收敛性分析建立在单峰条件密度假设之上。当条件分布呈现复杂的显著多峰形态时，连续连通的单区间结构难以完整反映概率质量的不连通分布，此时基于多区间的集合估计方法可能在体积上更具弹性。
- 框架主要面向一维标量响应回归问题。若要扩展至高维输出空间（如多目标回归或空间坐标），几何中心与边界缩放的几何定义在流形扭曲或解码变换下将失去平移不变性，如何在高维椭球或生成流空间中保持协同优化仍待深入探索。
相关工作与启发¶
- vs CQR (Conformalized Quantile Regression): CQR 通过估计 \(\alpha/2\) 和 \(1-\alpha/2\) 条件分位数后校准，属于固定的等尾对称截断；CoCP 允许区间中心自发迁移至局部高密度核心，在偏态分布下以显著更紧凑的区间捕获相同概率质量。
- vs CHR / CIR (Distributional CP): CHR 依赖于离散化条件直方图，CIR 依赖于密集的多重分位数切片；CoCP 无需对响应空间做粗粒度网格离散或训练数十个分位数头，计算更轻量，且天然输出单连通连续区间。
- vs C-HDR (Conformalized Highest Density Regions): C-HDR 依赖显式估计的条件生成密度模型并基于蒙特卡洛抽样确定密度阈值；CoCP 完全规避了非凸的条件密度逼近，直接借助隐式边界差分梯度完成密度平衡。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 提出的折叠残差几何与软覆盖边界差分梯度设计视角独到且数学优美。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖合成偏态噪声验证与 7 个多维真实数据集，诊断指标覆盖边际、切片及条件分类风险。
- 写作质量: ⭐⭐⭐⭐⭐ 几何图示（折叠推挽示意图）生动直观，理论推导层层递进，定理与引理陈述严密。
- 价值: ⭐⭐⭐⭐⭐ 解决了共形回归中因偏态分布导致的等尾冗余难题，兼具理论最优保证与实用轻量属性。