Calibration Without Ground Truth¶

会议: NeurIPS 2026
arXiv: 2601.19862
OpenReview: https://openreview.net/forum?id=STxXui2w7z
领域: 学习理论
关键词: 无标签校准, 布雷格曼投影, 相互校准, 大语言模型, 严格真评分规则

一句话总结¶

本文提出一种无需真实标签的后处理框架，利用校准良好但能力较弱的参考模型（如预训练 Base 模型），通过向相互校准集合做函数空间布雷格曼投影，在理论上严格保证降低强模型（如对齐 Instruct 模型）在任意严格真损失下的期望误差。

研究背景与动机¶

随着大语言模型（LLM）的快速扩展，公开可用的人类高质量文本数据正面临耗尽的瓶颈，促使机器学习范式从依赖大量人工标注标签向无监督或弱监督自我演进转变。在此背景下，后对齐阶段（如 SFT、RLHF）显著增强了模型遵循复杂指令与推理回答的能力，却普遍导致模型置信度严重失真，产生严重的过度自信（overconfidence）。失真的概率输出直接威胁到高风险下游决策的可靠性，而依赖标注验证集做传统后验校准（如温度缩放 Temperature Scaling、保序回归 Isotonic Regression）在无真实标签或少标注场景下无法实施。

与经过对齐的强模型相反，未经强化微调的弱参考模型（如预训练阶段的 Base 模型）尽管在特定任务上的决策准确率较低，但其输出的 token 概率分布更贴合预训练语料的真实统计规律，具备极佳的概率校准性质。这就构成了一个关键矛盾：我们拥有一个高准确率但概率极度失真的强模型，以及一个低准确率但概率分布客观校准的弱模型，且测试环境下完全缺失真实标签。现有的模型蒸馏方法倾向于强制强模型模仿弱模型的具体输出，极易限制甚至损害强模型原有的高超判别能力；而现有的无标签校准研究多受限于特定的协变量偏移或标签偏移假设。

本文的切入角度是：将“校准性”视为一种可在模型间传递的统计性质，将弱参考模型作为校准锚点，仅对强模型的预测输出实施保留充分统计信息的后处理变换，从而在完全不依赖真实标签的前提下修复强模型的概率一致性。核心 idea：证明了强弱模型无法互相校准等价于存在可严格改进的后处理变换，并将该无标签校准问题形式化为在函数空间中向相互校准参考兼容集（Reference-Compatible Set）的布雷格曼投影（Bregman Projection），在任意严格真损失下提供最坏情况下的理论下降界保证。

方法详解¶

整体框架¶

本文方法的输入为强主模型（Primary Predictor）$\bm{Q}_1$ 与弱参考模型（Reference Predictor）$\bm{Q}_0$ 在无标签样本集上联合预测输出的经验联合分布 $\mathcal{D}_{\bm{Q}_0, \bm{Q}_1}$；输出为变换映射 $h^*: \mathcal{Q}_1 \to \Delta(\mathcal{Y})$。整体流程由三个紧密耦合的阶段组成：首先通过对齐判定构建满足相互校准（Mutual Calibration）约束的凸可行域，即参考兼容集（Reference-Compatible Set）；接着基于目标严格真损失所诱导的函数空间布雷格曼散度（Bregman Divergence），将强模型的恒等映射正交投影到该集合中；最后将该映射推广至离散回答与置信度对的诱导属性设置，输出既校准又保留强模型判别信息的重估概率。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["无标签样本输入<br/>提取强弱模型联合经验分布"] --> B["构建相互校准参考兼容集<br/>确定弱参考校准线性凸约束"]
    B --> C["函数空间布雷格曼投影<br/>最小化相对强模型的期望散度"]
    C --> D["推广至可诱导属性与离散置信度<br/>离散网格化与极小化极大优化"]
    D --> E["输出校准概率分布与置信度<br/>保留强模型判别力并严格降损"]

关键设计¶

1. 相互校准条件与无套利经济学对应：刻画无标签严格提升的充要条件

传统无监督校准缺乏判断模型何时能被改进的理论判据。本文在统计决策与信息经济学的交叉点上引入“相互校准”（Mutual Calibration）概念：对于主模型 $\bm{Q}_1$ 与参考模型 $\bm{Q}_0$，若存在一个联合基准分布 $\mathcal{D}_{\bm{Q}_0, \bm{Q}_1, Y}$，使得两个模型在该分布下关于真实目标 $Y$ 同时满足校准条件 $\Pr(Y=y \mid \bm{Q}_i = \bm{q}) = \bm{q}(y)$，则称两者相互校准。本文证明，强模型存在严格改进后处理映射 $h$ 的充要条件，正是两者的联合输出违背了相互校准性。

这一统计性质与经济学中的“无交易定理”（No-Trade Theorem）及共同先验假说（Common Prior Assumption）深度同构。当两个具有不同私有信息的理性主体持有共同先验时，市场中不存在可实现无风险套利的合约；一旦相互校准被破坏，意味着两个模型对底层世界状态的隐含先验存在逻辑矛盾，套利者（Arbitrageur）即可设计一组交易合约从矛盾信念中提取无风险收益。本文将套利收益最大值与模型的最小期望校准误差建立双向控制： $$ \frac{1}{2} \text{MinECE}(\mathcal{D}_{\bm{Q}_0, \bm{Q}1}) \leq \text{Arb}(\mathcal{D}}_0, \bm{Q1}) \leq 2 \text{MinECE}(\mathcal{D}) $$ 这揭示出无标签校准的本质：从强弱模型概率分布的不一致性中无损抽取内在的“统计套利空间”。}_0, \bm{Q}_1

2. 参考兼容凸集上的函数空间布雷格曼投影：最坏情况损失单调下降保证

在确定两模型非相互校准后，算法第一步是将所有与弱参考模型保持相互校准的变换函数汇聚为参考兼容集 $\mathcal{H}_{\mathrm{comp}} = \{ h \in \mathcal{H} \mid h(\bm{Q}_1) \text{ 与 } \bm{Q}_0 \text{ 相互校准} \}$。由于该集合由条件期望线性等式 $\mathbf{E}[Y \mid h(\bm{Q}_1) = \bm{q}] = \bm{q}$ 和 $\mathbf{E}[Y \mid \bm{Q}_0 = \bm{q}] = \bm{q}$ 共同界定，$\mathcal{H}_{\mathrm{comp}}$ 天然构成函数空间中的一个闭凸集。为了在修正概率失真的同时最大程度保留强模型内部蕴含的精细排序与判别特征，算法并不直接拉平预测，而是基于目标真损失函数 $\ell$ 对应的凸生成元 $G$ 所诱导的布雷格曼散度 $D_\ell$，在函数变换空间上执行投影： $$ h^* = \arg\min_{h \in \mathcal{H}{\mathrm{comp}}} \mathbf{E}}_{\bm{Q1}}\left[ D\ell(h(\bm{Q}_1), \bm{Q}1) \right] $$ 借助函数空间上的广义毕达哥拉斯定理（Generalized Pythagorean Theorem），本文建立了严格的单调下降理论保证：对于任意使参考模型校准的真实标签分布，实施 $h^*$ 所带来的期望损失减少量，严格有下界保护： $$ \mathbf{E}[\ell(\bm{Q}1, Y)] - \mathbf{E}[\ell(h^*(\bm{Q}1), Y)] \geq \min\left[ D}}} \mathbf{E\ell(h(\bm{Q}_1), \bm{Q}_1) \right] > 0 $$ 即使在弱参考模型自身存在微小校准误差 $\mathcal{E}(\bm{Q}_0) = \mathbf{E}[Y \mid \bm{Q}_0] - \bm{Q}_0$ 的非理想场景下，总体提升依然分解为几何距离增益减去受控的参考失真风险项 $|\text{Risk}| \leq \|\nabla G(h^*(\bm{Q}_1)) - \nabla G(\bm{Q}_1)\|_2 \cdot \|\mathcal{E}(\bm{Q}_0)\|_2$，展现出极强的鲁棒性。

3. 可诱导属性拓展与置信度损失实例化：从全概率分布到问答输出

在现代大语言模型的实际问答任务中，模型往往并不输出整个输出空间的稠密分布，而是输出一个离散预测回答 $\widehat{y}$ 及其置信度分数 $\widehat{c}$。本文将该框架推广至一般可诱导属性（Elicitable Properties）$\Gamma(\bm{q})$。针对离散回答与连续置信度元组 $(\widehat{y}, \widehat{c})$，引入置信度损失（Confidence Loss, CL）： $$ \ell((\widehat{y}, \widehat{c}), y) = -\mathbb{I}(y = \widehat{y}) + (\widehat{c} - \mathbb{I}(y = \widehat{y}))^2 $$ 该损失函数对分类正确性与置信度校准施加双重约束，且属于严格真得分规则。在实现中，算法利用无标签测试数据构建强模型与弱模型预测结果的经验联合分布，对连续置信度区间采用步长 $s = 0.01$ 的网格离散化处理，使大规模凸二次规划能够高效求解。由于该变换输出的是完整重构的概率分布向量，它不仅能校准极端置信度，还在强模型因过度自信而判错、弱模型概率更平衡时，具备翻转最高概率类别、直接提升模型分类准确率的潜在能力。

实验关键数据¶

主实验¶

实验选取三组主流开源大模型家族（Qwen3-8B、LLaMA-3.1-8B、Ministral-3-8B），统一采用对齐后的 Instruct 版本作为待改进的强主模型 $\bm{Q}_1$，对应的预训练 Base 版本作为校准参考模型 $\bm{Q}_0$。评测基准选用多项选择基准 MMLU-Redux（4选1，5,700样本）和 CommonsenseQA（5选1，1,221样本）。对比基线包括未经校准的模型输出，以及需要带标注验证集的经典监督后验校准方法温度缩放（Temperature Scaling, TS）。主要评价指标涵盖准确率（ACC）、布里尔分数（Brier Score, BS）、期望校准误差（ECE，划分为10个bin）以及置信度损失（Confidence Loss, CL）。

模型与方法	数据集: MMLU-Redux ACC (↑)	MMLU-Redux BS (↓)	MMLU-Redux ECE (↓)	MMLU-Redux CL (↓)	CommonsenseQA ACC (↑)	CommonsenseQA BS (↓)	CommonsenseQA ECE (↓)	CommonsenseQA CL (↓)
Qwen3-8B
Base 参考模型 ($\bm{Q}_0$)	77.35%	0.1229	0.0326	-0.6506	82.88%	0.1166	0.0601	-0.7122
Instruct 主模型 ($\bm{Q}_1$)	83.28%	0.1337	0.1250	-0.6991	82.88%	0.1430	0.1385	-0.6859
TS (有监督基线)	–	0.1116	0.0584	-0.7212	–	0.1166	0.0524	-0.7122
本文方法 (无标签)	83.28%	0.1232	0.0659	-0.7096	83.29%	0.1291	0.0389	-0.7038
LLaMA-3.1-8B
Base 参考模型 ($\bm{Q}_0$)	65.42%	0.1580	0.0176	-0.4962	70.93%	0.1698	0.0342	-0.5395
Instruct 主模型 ($\bm{Q}_1$)	71.74%	0.2450	0.2417	-0.4724	78.62%	0.2030	0.1999	-0.5832
TS (有监督基线)	–	0.1874	0.0352	-0.5299	–	0.1749	0.0935	-0.6114
本文方法 (无标签)	71.74%	0.2153	0.1679	-0.5022	78.71%	0.1657	0.0290	-0.6214
Ministral-3-8B
Base 参考模型 ($\bm{Q}_0$)	75.63%	0.1278	0.0534	-0.6285	70.27%	0.1960	0.1388	-0.5067
Instruct 主模型 ($\bm{Q}_1$)	79.21%	0.1720	0.1628	-0.6201	74.04%	0.2041	0.1682	-0.5363
TS (有监督基线)	–	0.1571	0.0546	-0.6350	–	0.1899	0.0740	-0.5505
本文方法 (无标签)	80.52%	0.1519	0.0664	-0.6534	74.30%	0.1777	0.0295	-0.5653

消融与扩展基线对比实验¶

针对传统有监督多类别校准方法直方图分箱（Histogram Binning, HB）与保序回归（Isotonic Regression, IR），论文在相同数据集上对比了各方法的校准表现。特别地，有监督后验校准方法仅重标定置信度大小，无法更改最大概率预测项（即无法改变 Accuracy），而本文提出的全概率分布重塑框架在保持甚至提升准确率的同时，大幅逼近甚至超越了依赖真值标签的监督基线。

模型设置 (MMLU-Redux / CSQA)	方法类型	MMLU BS / ECE	MMLU ACC	CSQA BS / ECE	CSQA ACC	说明
Ministral-3-8B (Instruct 原生)	未校准	0.1720 / 0.1628	79.21%	0.2041 / 0.1682	74.04%	原始对齐模型显著过度自信
Ministral-3-8B + TS	有监督基线	0.1571 / 0.0546	79.21% (–)	0.1899 / 0.0740	74.04% (–)	需要验证集标签，不改变分类
Ministral-3-8B + HB	有监督基线	0.1494 / 0.0528	79.21% (–)	0.1771 / 0.0354	74.04% (–)	经验分箱，极度依赖分箱超参数
Ministral-3-8B + IR	有监督基线	0.1509 / 0.0465	79.21% (–)	0.1773 / 0.0345	74.04% (–)	保序回归优化单调性
Ministral-3-8B + 本文方法	完全无标签	0.1519 / 0.0664	80.52% (+1.31%)	0.1777 / 0.0295	74.30% (+0.26%)	无标签达成甚至超越全监督 ECE，准确率双提升

关键发现¶

显著抹平校准误差：在完全不访问任何真值标签的前提下，本文方法使 Instruct 模型的 ECE 普遍降低 30% 到 85% 以上。例如在 CommonsenseQA 任务上，Ministral-3-8B 的 ECE 从 0.1682 暴跌至 0.0295，LLaMA-3.1-8B 的 ECE 从 0.1999 降至 0.0290，校准精度全面超越甚至达到两倍于有监督的温度缩放（TS）。
准确率突破固定限制：传统校准算法由于仅拟合置信度的单调映射，其分类预测结果保持恒定（ACC 无法提升）。而本文方法通过在概率单形上重估完整向量，纠正了部分 Instruct 模型盲目自信的错误选择，在 Ministral-3-8B 的 MMLU-Redux 上使准确率从 79.21% 逆势上升至 80.52%（提升 1.31 个百分点）。
模型尺度具有通用鲁棒性：在附录扩展实验中，跨越 Qwen3（0.6B 到 14B）、LLaMA-3 及 Ministral 多种参数量级，只要 Base 模型相对于 Instruct 模型保持更低的 ECE，布雷格曼投影均能稳定收敛并提供一致的真损失下降。

亮点与洞察¶

跨学科理论架桥：首次将现代深度学习大模型的置信度校准与经典微观经济学中的无交易定理及信息套利形式化关联。将两个异构模型间的置信度分歧视为一种可被提取的“统计无风险套利”，赋予无标签后处理坚实的理论基础。
数学保证完备严密：通过在函数变换空间上推广布雷格曼散度与广义毕达哥拉斯投影几何，证明了在相互校准不成立时损失函数严格单调减少的必然性，突破了经验校准依赖验证集启发式调参的传统局限。
即插即用且无后向推断负担：算法仅需在离线无标签集合上通过线性约束优化求解一次变换映射 $h^*$，在线推理部署时完全无需再加载或运行弱参考模型，极大节省了实际系统的计算与显存开销。

局限与展望¶

参考模型校准度先验依赖：理论下界的推导以弱参考模型良好校准为基准，若 Base 模型本身在特定长尾领域存在严重偏差或未充分预训练，理论分析中的偏差风险项可能导致校准增益收缩。
联合分布统计充分性挑战：变换映射的求解依赖在无标签数据上对离散化置信度网格的经验计数。在罕见极端事件或高维自由文本生成任务中，联合分布估计容易遭遇数据稀疏性问题。
未来改进方向：当前方案基于离线批处理数据构建经验联合分布，未来可进一步拓展至流式在线自适应投影（Online Bregman Projection），并将该框架从分类多项选择任务适配至开放式自回归 Token 生成校准中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将无交易定理与函数空间布雷格曼投影引入大模型无标签校准，理论视角极为新颖。
实验充分度: ⭐⭐⭐⭐☆ 覆盖三大家族多尺度 LLM 及两大通用基准，对比基线全面，若能进一步拓展至长文本生成则更臻完美。
写作质量: ⭐⭐⭐⭐⭐ 数学推导层层递进，经济学洞察与几何直觉诠释生动透彻。
价值: ⭐⭐⭐⭐⭐ 随着未来高质量真实标注数据枯竭，利用轻量弱参考模型无标签修复对齐大模型置信度具有极高的学术与落地价值。

模型与方法	数据集: MMLU-Redux ACC (↑)	MMLU-Redux BS (↓)	MMLU-Redux ECE (↓)	MMLU-Redux CL (↓)	CommonsenseQA ACC (↑)	CommonsenseQA BS (↓)	CommonsenseQA ECE (↓)	CommonsenseQA CL (↓)
Qwen3-8B
Base 参考模型 (\(\bm{Q}_0\))	77.35%	0.1229	0.0326	-0.6506	82.88%	0.1166	0.0601	-0.7122
Instruct 主模型 (\(\bm{Q}_1\))	83.28%	0.1337	0.1250	-0.6991	82.88%	0.1430	0.1385	-0.6859
TS (有监督基线)	–	0.1116	0.0584	-0.7212	–	0.1166	0.0524	-0.7122
本文方法 (无标签)	83.28%	0.1232	0.0659	-0.7096	83.29%	0.1291	0.0389	-0.7038
LLaMA-3.1-8B
Base 参考模型 (\(\bm{Q}_0\))	65.42%	0.1580	0.0176	-0.4962	70.93%	0.1698	0.0342	-0.5395
Instruct 主模型 (\(\bm{Q}_1\))	71.74%	0.2450	0.2417	-0.4724	78.62%	0.2030	0.1999	-0.5832
TS (有监督基线)	–	0.1874	0.0352	-0.5299	–	0.1749	0.0935	-0.6114
本文方法 (无标签)	71.74%	0.2153	0.1679	-0.5022	78.71%	0.1657	0.0290	-0.6214
Ministral-3-8B
Base 参考模型 (\(\bm{Q}_0\))	75.63%	0.1278	0.0534	-0.6285	70.27%	0.1960	0.1388	-0.5067
Instruct 主模型 (\(\bm{Q}_1\))	79.21%	0.1720	0.1628	-0.6201	74.04%	0.2041	0.1682	-0.5363
TS (有监督基线)	–	0.1571	0.0546	-0.6350	–	0.1899	0.0740	-0.5505
本文方法 (无标签)	80.52%	0.1519	0.0664	-0.6534	74.30%	0.1777	0.0295	-0.5653