Quantile‑Adaptive Temperature Scaling for Confidence Calibration

会议: ECCV2026
论文: ECCV 原文
领域: 其他 / 置信度校准
关键词: 后处理校准、经验分位数、温度缩放、分布偏移、长尾学习

一句话总结

QaTS 用校准集中的置信度分位数决定每个样本的温度，仅拟合两个正参数便能在保留类别预测的同时改善校准，例如 CIFAR-100、RN-50 的 ECE 从标准 TS 的 5.32 降至 2.56。

研究背景与动机

分类正确并不等于置信度可靠：一个经常输出高概率的网络，实际正确率可能明显低于其自报把握。 校准关注的是一组相近置信度预测的平均正确率能否匹配这些概率，而不是单纯提高 Top-1 准确率。 这一区别对医疗决策和风险估计尤其重要，因为后续系统可能根据概率决定是否转交人工或继续执行。 训练时的 Focal Loss、Label Smoothing 等策略能够抑制过度自信，但需要介入分类器训练。 后处理校准则可以冻结已有模型，仅使用带标签的校准集修正输出，因而更适合已部署的网络。 其中温度缩放（Temperature Scaling，TS）把所有 logits 除以同一个正标量，是简单且保留类别预测的基线。

TS 的限制在于，同一个温度必须同时照顾置信度分布中性质不同的样本。 论文图 1 发现，标准分类中较大的正确率与置信度差距常集中在低分位区域，而长尾分类中的主要差距会移向中间分位区域。 这里的“低置信度”只是相对于同一模型其他预测而言，并不意味着这一组预测没有过度自信。 例如，一组预测即使不像最高置信度样本那么确定，其真实正确率仍可能更低，因此仍需要软化概率。 直接用绝对置信度构造温度，还可能对模型架构、类别数和分布变化引起的分数尺度变化较敏感。 作者由此把注意力转向样本在校准集置信度分布中的相对位置，而不是继续增加一个读取特征的温度网络。

QaTS 的改动并不是把数据划成许多组后分别拟合一个温度，而是用经验累积分布函数生成一个连续意义上的分位坐标，再学习一条简单温度曲线。 这样既能让低分位和高分位样本受到不同强度的修正，又只增加两个可学习参数。 但简单曲线也带来明确约束：它只允许温度随分位数单调下降，不能任意定位并修正一个中间区域的误差峰。 核心 idea：把温度的输入从绝对分数改为校准分布中的经验分位数，用低容量的单调线性函数进行样本级校准，并保持原始类别决策不变。

方法详解

整体框架

输入是冻结分类器输出的完整 logits 向量，以及单独带标签的校准数据。 准备阶段先计算校准样本未经修正的最大 softmax 概率，保存其经验 CDF；拟合阶段只更新温度函数的两个参数。 测试时从原始 logits 得到置信度，通过同一校准 CDF 查出分位数，再用对应温度缩放该样本的全部 logits。 输出仍是完整类别概率分布，而不只是一个替换后的最大置信度数字。 整个方法由经验分位数映射、单调线性温度和保序校准三个部分组成，分类器本身不参与重新训练。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        A["冻结模型 logits"] --> B["经验分位数映射"]
        F["校准置信度<br/>保存经验 CDF"] --> B
        B --> C["单调线性温度"]
        G["校准标签"] -.->|NLL 仅拟合 a,b| C
        C --> D["保序校准"]
        A -->|原始 logits| D
        D --> E["校准概率<br/>类别预测不变"]

图中的标签监督仅用于校准阶段，测试样本不需要真实标签。 测试也不需要先收集每个新目标域的带标签样本再拟合温度。 这种部署方式不同于使用目标域数据重新校准，也不同于测试时生成多个增强视图再平均预测。

关键设计

1. 经验分位数映射：以校准分布中的位置描述置信度

对每个校准样本，先取原始 softmax 输出的最大概率作为置信度，再把这些数值排序。 经验 CDF 统计校准集中置信度不大于当前值的样本比例，因此同一个绝对概率在不同模型上可以对应不同分位位置。 论文第 6 页式 (5)–(6) 的机制可以用以下记号表达，其中 \(N\) 是校准样本数：

\[ q(x)=F_{\mathrm{conf}}(\operatorname{conf}(x)),\qquad F_{\mathrm{conf}}(u)=\frac{1}{N}\sum_{i=1}^{N}\mathbf{1}\{\operatorname{conf}(x_i)\leq u\}. \]

例如 \(q(x)=0.2\) 表示校准集中约有 20% 的样本置信度不高于当前样本，而不是说当前预测有 20% 的正确率。 这种坐标把绝对概率区间变成相对分布位置，让不同密度区域的校准误差更容易沿分位轴观察。 论文进一步把总体 ECE 改写到分位坐标上，在适当正则条件下只是等价换元，不改变 ECE 的值。 因此，“分位轴均匀”不意味着稀有样本在原指标中的总权重被自动放大，更不意味着方法改用了宏平均类别误差。

实际经验 CDF 是阶梯函数，重复置信度会得到相同分位值，有限样本下也不保证严格均匀。 温度函数虽在分位坐标上是线性的，复合到原始置信度后仍是由校准分布决定的样本相关映射。 测试应使用已保存的校准参考分布；按本文定义，并不是对每个测试批次重新排序后赋予分位数。 若只改变测试分数而固定参考 CDF，即使测试样本内部排序保持不变，其分位值也可能变化。 所以作者关于秩稳定性的解释应理解为经验鲁棒性的动机，而不是任意域偏移下的严格不变性定理。

2. 单调线性温度：用两个正参数约束修正强度

拿到分位数后，QaTS 不为每个分位区间保存独立温度，而是共享一条单调下降的线性函数。 论文第 7 页式 (8) 定义：

\[ T(x)=a\bigl(1-q(x)\bigr)+b,\qquad a>0,\quad b>0. \]

其中 \(b\) 决定最高分位附近的基础温度，\(a\) 决定从高分位走向低分位时额外增加多少温度。 因此温度始终落在 \([b,a+b]\)，低分位样本的温度不小于高分位样本。 较大的温度会把类别概率拉向均匀分布，从而降低最大置信度；这种修正适合原文观察到的低分位过度自信。 与高容量辅助网络相比，两个参数限制了校准器对有限验证数据的拟合自由度。

需要区分“高分位的温度较小”和“高分位一定被锐化”。 只有温度小于 1 时才会相对原概率锐化；如果 \(b>1\)，最高分位同样被软化，只是强度更小。 原文表 6 中展示的所有 \(b\) 都大于 1，因此不能把摘要中的高置信度锐化描述当作这些设置的实际操作。 当 \(a\) 趋近于零时，QaTS 接近使用统一温度 \(b\) 的 TS，但严格正约束下不应说它必然取到 \(a=0\)。 此外，这条直线无法独立提高中分位温度而同时降低两端温度，这是其低容量设计的表达边界。

3. 保序校准：用标签拟合概率，但不改变类别赢家

每个样本的全部类别 logits 都除以同一个正温度，然后重新进行 softmax，而不是只修改预测类别的概率。 论文第 7 页式 (9) 给出的概率变换为：

\[ \widetilde p_k(x)=\frac{\exp(\ell_k(x)/T(x))}{\sum_{j=1}^{K}\exp(\ell_j(x)/T(x))}. \]

正数缩放不会改变同一个样本内部 logits 的大小顺序，因此最大概率类别保持不变。 这解释了为何方法改善 ECE 不需要牺牲分类准确率，也解释了分割中逐预测应用相同原则时类别掩码可以保持不变。 但这种保证只针对样本内的类别排序，不等于不同样本之间的置信度排序也保持不变。 因此拒识曲线、跨样本风险排序等下游表现仍需要单独评估。

校准时冻结原始 logits 及其分位数，用真实标签监督缩放后的整个概率分布。 由于分箱 ECE 不便直接求导，作者优化可微的负对数似然（NLL），而不是直接最小化实验表中的 ECE。 用真实类别索引写出第 7 页式 (10) 的等价目标：

\[ \min_{a,b>0}\; -\frac{1}{N}\sum_{i=1}^{N}\log\widetilde p_{y_i}(x_i;a,b). \]

NLL 是严格适当评分规则，但在有限校准集和受限温度函数族内优化它，不保证测试集 ECE 必然下降。 实验支持的是这些任务上的实际改进，不是优化目标与 ECE 逐步单调下降之间的普遍等价关系。 当前正文明确了正约束和损失函数，却未给出优化器、学习率、正参数实现方式及校准集规模的完整细节。 因此这里不补造训练轮数、softplus 参数化或运行耗时。

一个完整示例

使用原文表 6 中 CIFAR-100-LT、R-100、RN-50 的拟合参数：\(a=1.6389\)、\(b=2.3315\)。 假设两个测试样本查询校准 CDF 后分别得到 \(q=0.2\) 与 \(q=0.8\)，这两个分位数仅用于解释机制，不是原文另报的实验样本。 代入温度公式得到约 \(3.6426\) 和 \(2.6593\)，前者的概率会被更强地软化。 这两个温度都大于 1，所以两个样本都不是在锐化，只是修正程度不同。 随后分别用各自温度除以完整 logits 向量，再计算 softmax；没有 logits 数值就不能继续给出具体校准概率。 整个过程中不需要知道这两个测试预测是否正确，也不改变它们原来的最大 logit 类别。

实验关键数据

主实验

原文报告覆盖 162 个设置，包括标准与长尾视觉分类、合成分布漂移、医疗分类、文本分类和语义分割。 所有架构和数据集统一使用 15 个分箱计算 ECE；下表按论文数值尺度报告 ECE，越低越好。 其定义是每个置信度箱的样本占比乘以该箱平均正确率与平均置信度之差的绝对值，再对各箱求和。 FeatClip 会修改类别预测，因此 ECE 对比必须与准确率变化一起理解。

表 1 摘录（原文第 10 页），均为标准分类 ECE：

数据集	骨干	未校准	TS	IR	FeatClip	QaTS
CIFAR-10	RN-50	1.71	1.23	0.64	0.55	0.31
CIFAR-10	ViT-S	1.80	1.01	0.45	0.62	0.51
CIFAR-100	RN-50	8.62	5.32	3.08	3.01	2.56
CIFAR-100	ViT-B	10.79	9.43	4.67	2.57	2.26
ImageNet	RN-50	3.71	2.26	2.72	1.67	1.58
ImageNet	ViT-B	5.77	3.28	2.80	2.93	2.49

标准分类并非所有设置都第一：CIFAR-10、ViT-S 上 IR 的 0.45 优于 QaTS 的 0.51。 CIFAR-100、RN-50 上 QaTS 相比 TS 降低 2.76 个 ECE 点，相比 FeatClip 降低 0.45 个点。 ImageNet、ViT-B 上表内最优竞争者是 IR 的 2.80，因此相对它的差距为 0.31；原表附加差值标为 0.44，与相对 FeatClip 的差值相同，不能直接沿用为“相对次优”。

表 3 摘录（原文第 12 页）：ViT-B/16 在干净 CIFAR-100 上校准，直接测试 CIFAR-100-C；每档严重程度跨 15 种扰动平均。 QaTS 不重新估计参数，HFE 对照则需要各目标域的 OOD 样本，信息条件并不相同。

扰动严重程度	未校准	TS	FeatClip	QaTS	HFE
1	15.66	13.85	3.69	3.35	5.44
2	19.00	16.79	4.69	4.24	7.34
3	22.55	19.92	5.78	5.42	9.42
4	26.69	23.64	7.70	7.20	12.12
5	32.96	29.27	10.65	9.89	15.62

消融实验

表 7（原文第 15 页）保持分位数机制，比较线性温度和不同段数的单调分段线性温度，骨干均为 ViT-B/16。 因此这是温度函数容量消融，不是去掉经验 CDF 的消融，也不能独立量化“用分位数而非原始概率”贡献了多少。 表 7 标头仅简写 C100-LT 和 C100-C；其未校准与线性行对应正文 R-100 和严重程度 5 的数值，以下保留原列名，不额外补造实验协议。

温度函数	C100 ECE	C100-LT ECE	C100-C ECE
未校准	10.79	52.51	32.96
线性 QaTS	2.26	8.37	9.89
分段线性，K=2	2.25	8.44	10.14
分段线性，K=4	2.24	8.68	10.28
分段线性，K=10	2.25	8.76	10.64

增加容量只在干净数据带来很小收益：K=4 从 2.26 到 2.24，但在另外两列分别退化到 8.68 和 10.28。 K=10 的扰动 ECE 比线性形式高 0.75，支持作者关于简单参数化更易泛化的解释，但不等于直接证明了过拟合机制。 原文表 6 还显示 RN-50 的 \(a\) 从平衡数据的 0.0438 增至 R-100 的 1.6389，\(b\) 从 1.5960 增至 2.3315，说明长尾条件下学习到更强的分位相关修正。

关键发现

• 长尾结果也有例外：原文表 2 的 R-100、RN-50 上 QaTS 为 5.06，FeatClip 为 4.78，不能声称 QaTS 在全部长尾设置都最优。
• 原文表 5 中，VOC-2012、DLV3-R50 的 ECE 为 2.94，对比 TS 的 3.69；NewsGroup-20、BERT-B 为 3.80，对比 TS 的 5.42，说明机制并不限于图像级分类。
• 第 14 页训练损失分析中，CIFAR-100、RN-50 的 CE 基线 ECE 为 8.62，Brier 训练后为 5.54，再接 QaTS 为 2.72，支持后处理与训练时校准互补。
• 图 2 的 161 个分类设置中，作者报告 QaTS 在 94% 的设置比 FeatClip 准确率更高；这主要说明 QaTS 保留原分类决策，并不表示它提升了未校准模型的准确率。

亮点与洞察

• 分位数是校准器的输入表征，而不是额外分类器。方法把适应分布的工作交给经验 CDF，把可学习部分限制为两个参数。
• 强度和形状分开解释：\(b\) 表示基础软化，\(a\) 表示分位间的额外差异。参数分析因此比一个黑盒温度网络更容易理解。
• 分段线性消融提醒读者，干净验证集上更低的校准误差不一定意味着长尾或扰动数据上更稳健。校准器的选择同样需要关注泛化。

局限与展望

• 固定参考 CDF 不保证在仅测试分数发生单调变换时保持分位值不变，任意 logit 变换也不必保留跨样本置信度排序；分布漂移实验应视为有限场景证据。
• 单调下降的温度先验适合作者观察到的趋势，但对低分位欠自信或非单调误差模式未必合适。研究更灵活形式时需要同时控制校准样本量和泛化风险。
• 原文主要报告分箱 ECE，当前正文未呈现多随机种子误差条或置信区间；很小的数值差距不能直接解释为统计显著改进。
• 当前缓存包含正文和参考文献，没有所引用的附录，无法核对分段函数约束、扩展实验及更细的实现协议；这不影响读取正文方法和表 1–7，但限制复现完整性。
• 医疗实验表 4 标题称平均 10 个数据集，正文同段称 11 个，前文又分别列出 HAM10000 与 10 个 MedMNIST2D 来源。这里保留这一口径冲突，不自行确定最终汇总数量。

相关工作与启发

• 对比 TS：TS 只学习全局温度，QaTS 增加置信度分布参考和分位斜率；它仍保留正温度缩放的决策不变性质。
• 对比 AdaTS 与 GC：AdaTS 使用测试时增强，GC 使用语义分组信息；QaTS 直接从预测置信度构造条件变量，不要求额外视图或语义分组模块。
• 对比 FeatClip：特征裁剪可以改变预测，QaTS 则明确区分概率校准和分类决策，提醒评估时不要只追求一个更低的 ECE。
• 研究启发：可在受控的分数单调变换、真实域偏移和不同校准集规模下，比较固定 CDF 与更新参考分布的版本；这是读者建议，并非本文已验证的实验。

评分

• 新颖性: 4/5。经验分位数与两参数温度结合简洁明确，但仍属于后处理温度缩放的结构化扩展。
• 实验充分度: 4/5。跨任务、长尾和扰动覆盖较广，参数化消融有价值；显著性和若干实现细节仍欠明确。
• 写作质量: 3/5。核心机制容易复述，但秩稳定性叙述、医疗统计口径及部分表内差值需要谨慎解读。
• 价值: 4/5。适合作为冻结分类器的低容量校准基线，尤其值得在不允许改变类别预测的场景中评估。

相关论文

• [ECCV 2026] General Self-Calibration with Varying Intrinsics
• [CVPR 2026] Adaptive Data Augmentation with Multi-armed Bandit: Sample-Efficient Embedding Calibration for Implicit Pattern Recognition
• [ACL 2025] Inner Thinking Transformer: Leveraging Dynamic Depth Scaling to Foster Adaptive Internal Thinking
• [ECCV 2026] TSEmbed: Unlocking Task Scaling in Universal Multimodal Embeddings
• [ICLR 2026] Measuring Uncertainty Calibration