Scaling Full Conformal Image Classifiers

会议: NeurIPS 2026
arXiv: 2609.37298
OpenReview: https://openreview.net/forum?id=pwt7abXpU8
代码: https://github.com/ExplainableML/T-FCP
领域: 其他
关键词: 共形预测, 图像分类, 视觉语言模型, 线性判别分析, 统计有效性

一句话总结

针对全共形预测（FCP）在千类规模图像分类中逐类别重拟合导致计算爆炸的瓶颈，提出结合零样本 VLM 剪枝的靶向全共形预测（T-FCP）与在线秩一逆协方差更新求解器（SO-LDA），在严格保持统计覆盖率的前提下将 ImageNet 单图推理耗时从 500 秒压缩至 30 毫秒。

研究背景与动机

共形预测（Conformal Prediction, CP）作为能够为黑盒机器学习模型提供免分布边际覆盖率（\(1-\alpha\)）统计保证的重要框架，在医疗影像诊断和自动驾驶等高风险图像分类任务中具有不可替代的可靠性价值。然而，当前计算机视觉领域普遍采用的划分共形预测（Split Conformal Prediction, SCP）在本质上存在严重的数据利用效率缺陷：它要求将本就宝贵的标注样本人为割裂为模型拟合集与分位数校准集，不仅导致校准样本量 \(N\) 受限，更在有限样本下引入显著的经验覆盖率波动（服从 Beta-Binomial 分布），使预设 \(90\%\) 目标覆盖率在实际部署中经常跌落至 \(85\%\) 左右。

理论上具有更高数据利用效率的全共形预测（Full Conformal Prediction, FCP）允许复用全部校准数据同时完成模型拟合与分位数计算，但它在测试阶段面临双重计算瓶颈：对于每个待测测试样本，必须针对候选类别逐一构建增广数据集并重新拟合分类器（计算瓶颈 B1 与 B2）。当类别空间扩展到诸如 ImageNet（\(C=1000\)）的标准图像分类基准时，单张测试图像执行迭代梯度下降的拟合耗时高达约 500 秒，导致 FCP 在视觉大分类任务中几乎被彻底搁置。

面对这一计算困境，本文观察到开放词表的预训练视觉语言模型（VLM）所具有的零样本分类能力能够提供高度契合的先验结构：在成百上千个类别中，大量低相关类别（如“雪橇犬”与“烤面包机”）在嵌入空间中与测试样本距离极远，完全没有必要逐一执行高代价的 FCP 假设检验。核心 idea：利用轻量级归纳共形预测基于零样本 VLM 原型剔除绝大多数不相关候选类别，将高代价全共形检验严格约束在靶向候选集内（T-FCP），并结合秩一 Sherman-Morrison 逆协方差更新与文本原型锚定（SO-LDA）消除模型重拟合开销，实现兼具严格统计覆盖与毫秒级延迟的大规模全共形图像分类。

方法详解

整体框架

本文提出的方法包含两大协同机制：在算法层面，通过靶向全共形预测（Targeted Full Conformal Prediction, T-FCP）组合零样本轻量级归纳共形预测与高精度全共形预测，依据并集界误差预算将全候选空间裁剪为小规模靶向候选集；在模型层面，提出稳定在线线性判别分析求解器（Stabilized Online LDA, SO-LDA），利用预计算的文本原型消除特征中心漂移，并通过秩一逆协方差更新在测试期实现闭式极速重拟合。

输入图像经过预训练 VLM（如 CLIP）提取图像嵌入后，首先由零样本分类器与轻量级 ICP 进行初筛打分并截断概率空间；幸存的候选类别与当前测试图像嵌入共同构成候选增广集，送入 SO-LDA 执行闭式参数微调，最终通过严格的 FCP 拒绝阈值生成有效预测集。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入待测图像"] --> B["预训练 VLM 特征提取<br/>提取视觉嵌入 v"]
    B --> C["靶向初筛阶段<br/>零样本权重与 ICP 检验剪枝"]
    C -->|保留幸存候选集| D["增广样本构建<br/>拼接 (v, y) 形成候选增广集"]
    D --> E["稳定在线更新<br/>SO-LDA 秩一逆协方差更新"]
    E --> F["双重分位数判定<br/>全共形拒绝检验"]
    F --> G["输出最终预测集合"]

关键设计

1. 靶向全共形预测（T-FCP）：基于组合检验的候选标签剪枝 针对全类别遍历（瓶颈 B1）导致的线性算力膨胀，T-FCP 借助两个独立共形预测器的交集构建预测集，且保持严格统计有效性。给定目标错误率 \(\alpha\)，将其分配给轻量级归纳共形预测器 \(\mathcal{C}_{\text{ICP}}\)（误差水平 \(\alpha_{\text{ICP}}\)）与高精度全共形预测器 \(\mathcal{C}_{\text{FCP}}\)（误差水平 \(\alpha_{\text{FCP}}=\alpha-\alpha_{\text{ICP}}\)）。由于交集运算下未被 \(\mathcal{C}_{\text{ICP}}\) 接纳的标签绝对不可能出现在最终预测集中：

\[\mathcal{C}_{\text{T-FCP}}(\mathbf{x}) = \mathcal{C}_{\text{ICP}}(\mathbf{x}) \cap \mathcal{C}_{\text{FCP}}(\mathbf{x})\]

根据 De Morgan 定律与联合界（Union Bound），其边际覆盖率满足：

\[\mathbb{P}\big(Y \in \mathcal{C}_{\text{T-FCP}}(\mathbf{x})\big) \geq 1 - (\alpha_{\text{ICP}} + \alpha_{\text{FCP}}) = 1 - \alpha\]

在工程实践中，只需将 \(\alpha_{\text{ICP}}\) 设为极小的预算（如 \(0.5\%\)），即可在 ImageNet 上剪除 \(95\%\) 以上无关类别，而 FCP 阶段仅需对幸存的极少数类别执行验证，大幅缩减了 FCP 的检验次数。

2. 在线判别分析求解器：基于 Sherman-Morrison 的闭式秩一更新 针对传统分类器重拟合（瓶颈 B2）中梯度下降法复杂度高达 \(\mathcal{O}(TNFC)\) 的痛点，本文在 VLM 嵌入特征上采用共享协方差的高斯判别模型（LDA）。在校准集 \(\mathcal{D}_N\) 上预先计算类别均值 \(\boldsymbol{\mu}_y^{(N)}\) 与经验协方差矩阵逆 \(\mathbf{\Sigma}_{(N)}^{-1} = \mathbf{S}_{(N)}^{-1}\)。当测试样本 \((\mathbf{v}_{N+1}, y)\) 加入构成增广数据集时，无需以 \(\mathcal{O}(NF^2 + F^3)\) 重新计算全矩阵，而是利用 Sherman-Morrison 公式进行秩一逆矩阵递推：

\[\mathbf{\Sigma}_{(N+1)}^{-1} = \frac{N+1}{N} \left( \mathbf{\Sigma}_{(N)}^{-1} - \frac{\mathbf{\Sigma}_{(N)}^{-1} \mathbf{z}_{N+1} \mathbf{z}_{N+1}^\top \mathbf{\Sigma}_{(N)}^{-1}}{N + \mathbf{z}_{N+1}^\top \mathbf{\Sigma}_{(N)}^{-1} \mathbf{z}_{N+1}} \right)\]

配合样本均值的闭式均值步长更新，单候选标签的分类器更新计算开销直接降至矩阵向量乘法阶的 \(\mathcal{O}(F^2)\)，彻底规避了矩阵重新求逆与迭代反向传播。

3. 文本先验稳定机制（SO-LDA）：消除在线更新不对称性 在全共形场景下直接套用标准在线 LDA 会遇到理论统计不对称性难题：历史校准样本的去中心化残差向量 \(\mathbf{z}_i\) 是基于未观察到测试样本时的类均值统计量计算的，而测试样本自身则处于更新后的均值体系下，这种统计量分布漂移会削弱特征可交换性假设。为此，SO-LDA 引入零样本固定锚点与文本先验正则化：

\[\mathbf{z}_i = \mathbf{v}_i - \mathbf{W}_{y_i}^{(0)}\]

\[\boldsymbol{\mu}_y^{\text{SO-LDA}} = \boldsymbol{\mu}_y^{(N+1)} + \lambda_{\text{TEXT}} \mathbf{W}_y^{(0)}\]

强制使用 VLM 文本编码器生成的零样本固定权重 \(\mathbf{W}^{(0)}\) 作为全量样本的统一去中心化基准，消除增广测试样本对均值重估带来的残差漂移；同时，在更新后的均值中混入文本原型先验（系数 \(\lambda_{\text{TEXT}}=1\)），配合协方差对角截断正则化 \(\lambda_{\text{REG}}=10\)，在小样本校准场景下显著压制了低频类别的估计方差，使判别精度逼近微调全模型。

损失函数 / 训练策略

SO-LDA 属于闭式轻量级适配算法，无需传统反向传播或梯度更新。模型参数通过统计矩的闭式计算获得，在校准阶段首先计算文本去中心化的协方差矩阵并添加对角线收缩正则项 \(\mathbf{S}_{(N)}^{\text{reg}} = \mathbf{S}_{(N)} + \lambda_{\text{REG}} \operatorname{Diag}(\mathbf{S}_{(N)})\)，随后计算其逆矩阵 \(\mathbf{\Sigma}_{(N)}^{-1}\) 固化为推理算子。非一致性得分采用低延迟的置信度互补量（Least Ambiguous Classifier, LAC）：\(\mathcal{S}(\mathbf{x}, y) = 1 - \pi_{\mathbf{W}}( \mathbf{x})_y\)。在多标签并发处理中，设置测试并发度批次（如每轮测试 100 个候选类别），兼顾 GPU 内存上限与显存带宽吞吐。

实验关键数据

主实验

在 11 个跨领域基准数据集（含 ImageNet、SUN397、Aircraft、Pets、Cars 等）上，使用 CLIP ViT-B/16 主干网络、校准集样本规模 \(N=C\times 16\) 评估各类共形预测范式（平均指标如下表）。

预测范式	适配求解器	准确率 (%)	经验覆盖率 (α=0.10)	覆盖离散度 (2σ)	达标率 (%Valid)	平均集大小	中位数集大小	单标签率 (%Sing.)
ICP	零样本 (ZS)	65.7	90.1	2.0	77.8	4.8	4.5	37.3
ICP-T	传导式 TIM	71.5	90.6	2.0	80.5	3.6	3.5	45.2
SCP	梯度下降 (GD)	79.9	90.7	2.7	77.1	2.2	2.1	64.0
FCP	SO-LDA	80.3	90.1	2.2	77.6	2.2	1.8	69.3
T-FCP (本文)	SO-LDA	80.3	90.7	2.1	81.8	2.3	1.9	68.1

注：%Valid 指在 50 次不同随机种子下达到 \(1-\alpha-0.005\) 有效覆盖的运行占比。

消融实验

基于 ImageNet（\(C=1000\)）在单个 A100 GPU 上对各核心组件进行效率与设置消融：

实验配置	求解方案 / 机制	单图测试推理耗时	覆盖达标率 (%Valid, α=0.05)	显存占用峰值	相对提速比
全空间基线	迭代梯度下降 (GD)	~500 s	79.5% (SCP基准)	~2.5 GB	1.0×
仅替换求解器	原生 LDA 重计算全矩阵	~3.8 s	79.1%	~4.2 GB	~130×
引入秩一递推	在线更新 LDA (O-LDA)	~0.33 s	80.0%	~4.2 GB	~1500×
完整模型	T-FCP + SO-LDA (α_ICP=0.5%)	~30 ms	88.7%	16.2 GB (批次100)	~16,600×
调整初筛预算	T-FCP (α_ICP=1.0%)	~18 ms	89.4%	16.2 GB	~27,700×
调整初筛预算	T-FCP (α_ICP=2.5%)	~10 ms	91.2%	16.2 GB	~50,000×

关键发现

• 覆盖分布稳定性显著压制 SCP：SCP 因强行二分校准数据，其经验覆盖率的二阶方差离散度相比全量数据的 ICP/FCP 高出 \(20\% \sim 30\%\)；而 T-FCP 在充分利用全集统计量的同时，借助联合界的微小保底余量，在 \(\alpha=0.05\) 时取得了 \(88.7\%\) 的有效覆盖率达标比例，远超 SCP 的 \(79.5\%\)。
• 预测集合的高效与单标签判别力：虽然 FCP/T-FCP 在长尾模糊样本处为了严谨覆盖会输出稍大的集合，但其中位数集大小（1.8~1.9）显著低于 SCP（2.1），单标签预测率高达 \(68.1\%\)，展现出更出色的日常决策确定性。
• 初筛性能与分类规模呈正相关：在细粒度或语义差异明显的超大标签空间（如 ImageNet 与 SUN397）中，T-FCP 的初筛率极高，仅分配 \(0.5\%\) 的错误预算便能滤掉绝大多数类别，使加速比随着标签类别数 \(C\) 的扩大而急剧攀升。

亮点与洞察

• 组合共形预测解耦算力分配：巧妙利用联合界误差分配（\(\alpha = \alpha_{\text{ICP}} + \alpha_{\text{FCP}}\)），将廉价但弱判别的归纳先验作为“过滤器”，将高成本高精度的全共形验证作为“校验器”，为传统统计理论在现代深度学习算力之间的落差搭建了无损桥梁。
• 统计无偏性与在线逆更新的深度融合：针对在线 LDA 残差均值漂移破坏可交换性的理论盲点，借力 VLM 预训练文本原型作常数中心锚定，既实现了 \(\mathcal{O}(F^2)\) 的 Sherman-Morrison 逆矩阵闭式极速递推，又维系了严格的测试-校准对称性。
• 向开集与长文本多模态判决迁移的广阔潜力：这种“弱先验粗筛 + 精确闭式假设检验”的设计模式不仅限于常规闭集图像分类，更可无缝迁移至医学长尾罕见病诊断、开放域目标检索以及大语言模型 token 级别的共形校准。

局限与展望

• 理论联合界的保守性累加：T-FCP 依赖联合界的次可加性保证，当两个预测器的错误事件发生重叠时，实际覆盖率往往略微高于 \(1-\alpha\)，在极端追求预测集极度紧凑（Set Size 极小化）的场景下，可能会引入些许冗余标签。
• 依赖对角对齐近似：SO-LDA 为了实现严格的秩一闭式更新，固化了校准期估计的对角收缩正则项，严格来说对完全重拟合的 LDA 构成了代数近似，在大规模跨领域极端迁移时的理论完备性仍有深入探讨空间。
• 未来方向：探索与自适应得分函数（如 APS / RAPS）的轻量化集成，以及将此类秩一在线验证推演至非高斯几何空间的核方法拓展。

相关工作与启发

• vs Split Conformal Prediction (SCP, Papadopoulos et al., 2002): SCP 采用人为数据划分，虽计算开销小，但校准样本腰斩导致经验覆盖率方差急剧发散；本文 T-FCP 无需数据切分，全量复用标注数据，覆盖稳定性提高 \(20\%\) 以上。
• vs Homotopy & Discretization FCP (Lei et al., 2018; Guha et al., 2023): 以往高效 FCP 方案主要针对回归问题中连续响应变量的同伦路径追踪或离散化逼近，无法处理高维无序离散分类空间；本文开辟了利用 VLM 语义原型引导离散空间剪枝的新范式。
• vs Transductive ICP (Silva-Rodríguez et al., 2025b): 现有 VLM 传导式共形方法仅利用未标记测试集进行无监督均值漂移，泛化精度受限且无法获得闭式更新红利；本文 SO-LDA 在监督增广集上执行严格模型递推，性能逼近端到端梯度微调。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次打通了大规模千类视觉全共形预测的工程与理论壁垒，组合剪枝机制构思极为巧妙。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 11 个标准基准、多种 VLM 主干网络、50 次重复采样的统计方差以及端到端硬件延迟测算，论据扎实详尽。
• 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰严密，统计符号规范，实验对比图表与动机逻辑自洽闭环。
• 价值: ⭐⭐⭐⭐⭐ 为高可靠性工业视觉系统与可信 AI 决策提供了真正可落地的免分布不确定性量化工具。

相关论文

• [ICML 2025] On Temperature Scaling and Conformal Prediction of Deep Classifiers
• [NeurIPS 2026] Online Localized Conformal Prediction
• [NeurIPS 2026] Co-Optimization for Adaptive Conformal Prediction
• [NeurIPS 2026] Learning Polyhedral Conformal Sets for Robust Optimization
• [NeurIPS 2026] Conformal Prediction with Paraphrase-Aware Scoring for LLM Uncertainty Quantification