Class Adaptive Conformal Training¶

会议: NeurIPS 2026
arXiv: 2601.09522
OpenReview: https://openreview.net/forum?id=U4gGjBCf7z
领域: 学习理论
关键词: 符合预测、不确定性量化、增广拉格朗日法、长尾学习、类别自适应

一句话总结¶

针对端到端符合预测训练在类别不均衡与海量类别场景下因全局固定惩罚导致少数类预测集虚大与覆盖偏倚的问题，本文提出类别自适应符合预测训练（CaCT），通过将类别条件尺寸约束转化为增广拉格朗日优化，交替自适应更新类别乘子与惩罚参数，在保持边际覆盖保证的同时显著压缩预测集尺寸并降低类别覆盖差距。

研究背景与动机¶

深度神经网络在图像分类与自然语言处理中展现出卓越的预测能力，但在高风险决策任务（如自动驾驶与医疗诊断）中，模型输出的 softmax 概率往往存在严重过度自信与校准失准。符合预测（Conformal Prediction, CP）作为一种严格无分布假设（distribution-free）的不确定性量化理论，在可交换性假设下能够为测试样本构造具有理论保证的预测集合，确保真实标签以不低于 $1-\alpha$ 的置信水平落入预测集中。然而，传统后处理（post-hoc）拆分符合预测（Split CP）完全独立于模型训练过程，若骨干分类器本身未面向预测集构造目标进行对齐优化，其输出集合往往过于保守庞大，极大削弱了实用效率。

为了克服后处理的分离脱节，以 ConfTr 为代表的端到端符合训练（Conformal Training）方法引入可微非符合度分位数与集合尺寸惩罚项，联合优化交叉熵损失与全局平均集合尺寸。然而这类方法的致命瓶颈在于：其集合尺寸正则项依赖一个全局单一的超参数 $\lambda$，并在所有类别之间均匀施加无差别惩罚。在现实中的长尾分布（long-tailed distributions）或大规模类别（如 ImageNet 的千分类）任务中，各类别固有的分类难度与样本丰度极不均衡——高频多数类天然主导梯度更新并促使模型产生过度自信，而低频尾部类别样本极度匮乏、预测不确定性极高。单一标量权重迫使模型在多数类与少数类之间做出妥协，导致尾部类别面临严重的不相称惩罚与欠校准，进而输出无信息的大尺寸预测集或产生严重的类别条件覆盖偏倚（class-conditional coverage gap）。

解决该瓶颈的核心在于摒弃全局单一标量调节，为每个类别引入自适应的约束控制机制。若采用网格搜索穷举各类别权重，在成百上千类别下会遭遇维度灾难；若直接在训练集上反传类别乘子，则极易引发过拟合与对偶震荡。核心 idea：将类别级尺寸控制形式化为多约束优化问题，利用增广拉格朗日乘子法（ALM）在独立验证集上动态交替更新类别对偶乘子与自适应惩罚参数，免去先验分布假设与启发式调参，实现精确的类别级预测集形状自适应调整。

方法详解¶

整体框架¶

CaCT（Class Adaptive Conformal Training）将符合训练的优化目标重构为具有 $K$ 个类别级不等式约束的极小化问题，输入为训练样本及其类别标签，输出为经由符合化对齐优化的分类器参数 $\theta$。整个框架分为两步交替循环：在内层步（Inner Step），在训练批次上利用平滑松弛的非符合度指示函数与可微排序分位数计算端到端损失，更新模型原始参数；在外层步（Outer Step），在独立验证集上统计每个类别的平均预测集尺寸并检验约束违背程度，基于增广拉格朗日（ALM）乘子更新规则与惩罚参数缩放策略，自适应调整各类别乘子 $\lambda_k$ 与惩罚参数 $\rho_k$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["训练集输入 (X, Y)"] --> B["类别条件尺寸约束<br/>每个类别单独设定预测集目标尺寸上界"]
    B --> C["可微松弛与内层优化<br/>Sigmoid平滑指示函数与可微排序分位数计算损失"]
    C --> D["验证集经验评估<br/>在独立验证集上统计各类别平均集合尺寸"]
    D --> E["增广拉格朗日对偶更新<br/>基于PHR罚函数梯度更新类别乘子与自适应扩展惩罚参数"]
    E -->|对偶乘子更新至下一轮训练| C
    E --> F["测试阶段：严格非平滑 Split CP 集合推理"]

关键设计¶

1. 类别条件尺寸约束：从边际均值惩罚转向细粒度类别不等式约束

针对传统符合训练方法（如 ConfTr）仅对所有样本的平均预测集尺寸施加全局边际上界约束导致难样本类与尾部类别被多数类主导淹没的问题，本文显式引入类别条件概率测度 $\mathcal{P}_{X \mid Y=k}$ 下的尺寸不等式约束。对于拥有 $K$ 个类别的分类任务，形式化为如下带有 $K$ 个独立约束的优化问题： $$ \min_{\theta} \mathcal{L}{\mathrm{cls}}(\theta) \quad \text{s.t.} \quad |\mathcal{C}, \quad \forall k \in {1,\dots,K} $$ 其中 }(X)| \leq \eta, \quad \text{a.s. } X \sim \mathcal{P}_{X \mid Y=k$\eta$ 为预设的目标集合尺寸（标准实验中设为 $\eta=1.0$）。在经验估计中，该式避免了单一全局正则化系数对各类别的无差别缩放，允许不同类别根据自身的分类难度与经验违背程度匹配独立的惩罚权重 $\lambda_k$。这样既保护了少数类不被强行压缩至欠覆盖，又防止了容易类别占用过多集合余量。

2. 增广拉格朗日乘子与自适应惩罚动态更新机制

为避免对 $K$ 维类别权重进行无法落地的网格搜索，同时防止直接在训练集上优化对偶变量导致过拟合，本文引入改进的增广拉格朗日方法（ALM）。在验证集 $\mathcal{D}_{\mathrm{val}}$ 上统计各类别 $k$ 的平均经验集合尺寸 $\widehat{d}_k = \frac{1}{n_k} \sum_{i \in \mathcal{I}_k} |\mathcal{C}_\theta(X_i)|$。为了保证数值计算的尺度稳定性，算法将约束标准化为 $z_k = \frac{\widehat{d}_k}{\eta} - 1 \leq 0$。模型采用经典的 Powell-Hestenes-Rockafellar (PHR) 增广拉格朗日惩罚函数： $$ \mathrm{PHR}(z, \lambda, \rho) = \begin{cases} \lambda z + \frac{1}{2} \rho z^2, & \text{if } \lambda + \rho z \geq 0 \ -\frac{\lambda^2}{2\rho}, & \text{otherwise} \end{cases} $$ 在完成当前 epoch 的主网络参数优化后，外层更新规则根据 PHR 对第一变量的导数调整各类别乘子 $\lambda_k^{(j+1)} = P'(z_k^{(j)}, \lambda_k^{(j)}, \rho_k^{(j)})$。当某类别集合尺寸显著超出阈值时，$\lambda_k$ 快速放大；若持续满足约束，$\lambda_k$ 则自动衰减。与此同时，算法监控验证集上的约束改善情况：若某类别集合尺寸不仅大于阈值且相比上一轮未能改善（即 $\widehat{d}_k^{(j)} - \eta > \max(0, \widehat{d}_k^{(j-1)} - \eta)$），则将其惩罚系数按比例扩增 $\rho_k^{(j+1)} \leftarrow \beta \rho_k^{(j)}$（其中 $\beta = 1.2$），从而提供强烈的对偶上升驱动力，倒逼网络参数在后续 epoch 中修正该类别的过拟合或模糊性。

3. 连续平滑可微松弛与严格测试期分离

由于非符合度分位数选取和指示计数函数天然不可微，本文在内层训练阶段对预测集尺寸与排序算子进行平滑近似。具体而言，对于指示条件 $\mathbb{I}[a \leq b]$，采用带温度超参数 $T$ 的 Sigmoid 函数松弛为 $\widehat{\mathbb{I}}[a \leq b] = 1 / (1 + \exp(-(b - a) / T))$，并通过单调可微排序网络（differentiable sorting networks）逼近批次非符合度分位数 $\widehat{q}_\theta$。在训练目标中，网络输出直接采用对数概率以确保数值稳定性。值得强调的是，该平滑松弛仅在训练时激活以允许梯度反向传播；在测试评估阶段，完全切回标准的非平滑 Split CP 排序与经验分位数阈值切分，从而严格保留理论边际覆盖率 $1-\alpha$ 的有限样本有限分布保证。

损失函数 / 训练策略¶

每个训练批次 $\mathcal{B}$ 随机划分为校准子批次 $\mathcal{B}_{\mathrm{cal}}$ 与预测子批次 $\mathcal{B}_{\mathrm{pred}}$。在 $\mathcal{B}_{\mathrm{cal}}$ 上以可微松弛计算分位数 $\widehat{q}_\theta$，并在 $\mathcal{B}_{\mathrm{pred}}$ 上计算分类交叉熵损失与增广拉格朗日惩罚项之和： $$ \mathcal{L}{\mathrm{CaCT}}(\theta, \boldsymbol{\lambda}, \boldsymbol{\rho}) = \widehat{\mathcal{L}} - 1, \lambda_k, \rho_k\right) $$ 优化器采用带 Nesterov 动量的 SGD（动量系数 0.9），学习率采用步阶衰减策略（在 2/5、3/5 与 4/5 轮时乘以 0.1）。超参数初值设为 }}(\theta) + \sum_{k=1}^K \mathrm{PHR}\left(\frac{\widehat{d}_{k}}{\eta$\boldsymbol{\lambda}^{(0)} = 10^{-6}$，$\boldsymbol{\rho}^{(0)} = 1$，$\beta = 1.2$，惩罚参数 $\boldsymbol{\rho}$ 每 10 个 epoch 评估更新一次。

实验关键数据¶

主实验¶

论文在标准平衡数据集（MNIST, CIFAR10, CIFAR100, ImageNet, 20 Newsgroups）以及极端长尾不均衡数据集（MNIST-LT, CIFAR10-LT, CIFAR100-LT, ImageNet-LT）上全面评估了 CaCT。评测指标包含测试集平均集合尺寸（Size, S，越小越好）、经验边际覆盖率（Coverage, C，目标 $\geq 1-\alpha=0.90$）以及类别条件覆盖差距（Coverage Gap, CG, 越小越好）。

下表汇报了在长尾数据集上，非符合度得分为 THR 与 APS、失效率 $\alpha=0.1$、不平衡比例 $\gamma=0.1$（除 ImageNet-LT）下的核心结果：

分数类型	方法	CIFAR10-LT (S / CG)	CIFAR100-LT (S / CG)	ImageNet-LT (S / CG)	20 Newsgroups (S / CG)
THR	CE	6.65 / 6.65	8.30 / 6.90	9.25 / 5.32	5.27 / 7.75
THR	Focal Loss	6.30 / 6.30	9.23 / 6.50	8.85 / 5.70	4.91 / 7.35
THR	ConfTr (ICLR'22)	5.05 / 6.29	7.84 / 6.31	6.60 / 5.64	4.34 / 7.27
THR	CUT (NeurIPS'22)	4.33 / 6.17	4.84 / 5.07	5.38 / 5.42	4.29 / 6.52
THR	InfoCTr Fano (NeurIPS'24)	4.51 / 5.69	4.78 / 4.96	7.14 / 5.08	4.36 / 6.19
THR	DPSM (ICML'25)	3.65 / 5.06	4.21 / 4.91	5.78 / 4.71	3.61 / 5.92
THR	CaCT + ALM (本文)	3.29 / 4.42	3.03 / 4.53	4.99 / 4.40	3.59 / 5.74
APS	CE	6.80 / 5.80	9.20 / 6.80	9.40 / 5.15	5.35 / 6.90
APS	ConfTr (ICLR'22)	5.19 / 4.67	8.17 / 5.31	7.99 / 5.01	4.39 / 5.94
APS	CUT (NeurIPS'22)	3.94 / 4.56	6.97 / 4.55	6.08 / 4.74	4.54 / 6.12
APS	DPSM (ICML'25)	3.55 / 4.28	6.60 / 4.76	7.02 / 4.51	4.74 / 5.40
APS	CaCT + ALM (本文)	2.99 / 4.52	4.49 / 4.10	5.89 / 3.90	4.00 / 4.67

注：所有方法的经验覆盖率 $C$ 均严格维持在 $0.90$。

消融实验¶

1. CIFAR100-LT 上不同不平衡因子 $\gamma$ 的鲁棒性消融（THR 分数，$\alpha=0.1$）

方法	$\gamma=0.5$ (S / CG)	$\gamma=0.8$ (S / CG)	$\gamma=1.0$ (S / CG)	说明
CE	7.54 / 6.80	4.25 / 6.02	3.41 / 5.56	无尺寸约束，长尾下急剧膨胀
ConfTr	6.43 / 6.01	4.94 / 5.69	4.76 / 5.65	全局单一 $\lambda$，无法均衡尾部
CUT	4.02 / 4.89	3.80 / 4.62	3.00 / 4.29	CDF 均匀性约束
DPSM	3.72 / 4.77	3.15 / 4.35	2.81 / 3.69	双层优化学习分位数
CaCT + HR	4.30 / 4.49	3.61 / 4.40	2.69 / 4.34	启发式乘子缩放规则对照
CaCT + ALM (完整)	2.88 / 4.37	2.73 / 4.29	2.56 / 4.21	跨所有不均衡阶梯全面最优

2. 惩罚函数形式与目标集合尺寸 $\eta$ 对 ALM 收敛的影响（CIFAR100-LT, ResNet, THR） 实验对比了 $P_2$、$P_3$ 与 $\mathrm{PHR}$ 三种经典惩罚函数在不同 $\eta \in \{0.5, 1.0, 1.5, 2.0\}$ 下的表现。结果表明，$\mathrm{PHR}$ 罚函数展现出最优的对偶数值稳定性，且在 $\eta=1.0$ 时取得了预测集尺寸与类别覆盖差距的最佳折中；$P_2$ 与 $P_3$ 容易在后期因高阶项引发梯度发散。

关键发现¶

长尾适应性断层领先：在极不平衡的 ImageNet-LT（1000类长尾）与 CIFAR100-LT 上，CaCT 将集合尺寸压缩达 20%~30%，同时将类别覆盖差距 CG 显著缩减 0.5~1.5 个百分点，彻底逆转了传统方法在少数类上“覆盖率虚低但集合尺寸虚高”的病态表现。
判别能力无损反而增强：通过兼顾预测不确定性校准，CaCT 在标准 Top-1 和 Top-3 准确率上普遍优于仅优化交叉熵的 CE 或现有符合训练模型，在语义细粒度高的 20 Newsgroups 文本任务与 ImageNet 上优势尤为突出。
免除全局敏感调参：传统 ConfTr 和 CUT 对标量权重 $\lambda$ 极其敏感（稍有不当便破坏特征收敛），而 CaCT 通过增广拉格朗日双重自适应更新，使模型完全摆脱了全局权重的繁琐调试。

亮点与洞察¶

多约束优化重塑符合训练范式：首次将经典约束优化中的增广拉格朗日（ALM）方法与符合预测训练深度结合，将“一个不可控的全局正则惩罚”解构为“K 个基于对偶反馈驱动的自适应局部平衡器”，为安全关键型学习提供了严密的优化理论底座。
验证集无偏对偶更新规避统计泄露：巧妙利用验证集 $\mathcal{D}_{\mathrm{val}}$ 计算对偶乘子更新，而在内层反向传播中解耦训练样本，既杜绝了拉格朗日乘子过拟合，又保留了独立校准集 $\mathcal{D}_{\mathrm{cal}}$ 与测试集之间的严格可交换性。
跨非符合度分数的无缝泛化性：尽管在训练时仅基于对数概率构建代理损失，但训练后的模型无论在测试时搭配 THR、APS 还是 RAPS，均一致性大幅超越基线，证实了该框架优化出的表征具有根本性的不确定性感知优势。

局限与展望¶

类别规模极大时的内存与梯度开销：对于极端超大类别任务（如数十万级别的商品分类或人脸识别），维护与频繁在验证集上聚合统计 $K$ 个类别的集合尺寸会带来额外的计算同步开销与显存开销。
静态固定目标尺寸 $\eta$ 的灵活性约束：当前框架为所有类别统一设定固定目标 $\eta=1.0$。但在某些天然存在语义歧义或模糊性的细粒度类别中，强行要求相同目标尺寸可能会对特征空间产生过度形变，未来可探索根据类别内部固有熵自适应确定类别特异性 $\eta_k$。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次将增广拉格朗日多约束理论精准迁移至端到端类别自适应符合预测，理论完备且优雅。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖视觉、长尾分布（多档 $\gamma$）、自然语言文本分类，覆盖 THR/APS/RAPS 三大主流分数及 LabelCP/ClusterCP 变体，对比详实透彻。
写作质量: ⭐⭐⭐⭐⭐ 概念陈述层次分明，公式推导严谨自洽，动机与图表展现高度呼应。
价值: ⭐⭐⭐⭐⭐ 为长尾不确定性量化与可信深度学习提供了即插即用的端到端优化工具，工程实用与学术价值俱佳。