跳转至

When Calibration Rankings Reverse: Accuracy-Controlled Evaluation for Fair Comparison of LLMs

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/chaochaoxx/ACE
领域: LLM 其他
关键词: 大语言模型校准, 精度混杂, 准确率控制评估, 排序倒转, 不确定性估计

一句话总结

揭示了传统全局校准指标(如 ECE 和 Brier Score)受模型任务准确率严重混杂的本质缺陷,提出兼顾实例、分布与候选对齐的三重视角准确率控制评估框架 ACE,发现所谓的大模型或思考模型校准优势在控准后大幅削弱并频发排位倒转。

研究背景与动机

随着大语言模型在医疗问诊、法律判决、高风险代码生成等关键领域的深入应用,衡量模型对其输出正确性的把握程度(即置信度校准)已成为可信 AI 评测的核心课题。学术界广泛采用期望校准误差(ECE)与布里尔分数(Brier Score, BS)来标定模型置信度与实际准确率之间的吻合度,并在跨模型评测中普遍遵循一个未经充分审视的默认假设:全局校准分数具有直接可比性,分数越低即代表不确定性估计能力越优。

然而,这种朴素的横向对比潜藏着严重的统计混杂。全局校准指标并非仅衡量置信度分布形态,其底层数学结构强烈耦合了正确与错误预测的比例构成。当对比双方的任务能力存在显著差距时,高精度模型即便盲目对所有输出赋予 1.0 的极度自负置信度,其机械计算得到的 ECE 或 Brier 分数也会天然优于低精度模型。实证分析表明,跨主流模型族与五大基准任务,原始 ECE 差距与模型准确率差距呈现高达 \(\rho = -0.670\) 的显著负相关,表明过往文献汇报的大模型或推理模型的“校准优越性”,很大程度上仅仅是对其更高任务准确率的机械投影,而非真正具备更精准的元认知能力。

更致命的是,这种精度混杂会引发“排序倒转(Ranking Reversal)”病态现象——在原始全局指标下看似更优的模型,在排除准确率差异干扰后反而展现出更差的校准能力。这种排位颠覆直接证伪了传统横向校准评估的可靠性。为打破能力与校准的纠缠,本文的核心 idea 是提出准确率控制评估框架 ACE(Accuracy-Controlled Evaluation),通过实例对齐(IA)、分布对齐(DA)与候选对齐(CA)三重视角显式对齐模型间的预测结果分布,从而在同等能力基准上剥离混杂、公正度量大语言模型的本真置信度质量。

方法详解

整体框架

ACE 框架旨在消除跨模型校准对比中的任务成功率混杂。给定评测集 \(\mathcal{D}=\{(x_i, y_i)\}_{i=1}^N\) 以及两个待评测模型 \(M_A\) 与 \(M_B\)(其经验准确率分别为 \(a_A\) 与 \(a_B\)),ACE 不直接比较全集上的原始 ECE/BS,而是构建两类生成式对齐视角与一类判别式对齐视角:实例对齐视角(IA)提取两模型共同答对与共同答错的交集子集,在逐题严格一致的前提下审计置信度分歧;分布对齐视角(DA)借鉴因果推断中的倾向性得分逆加权思想,通过重要性重加权将高精度模型的正确/错误类别比例无偏映射至低精度基线水平;候选对齐视角(CA)则打破各自评估自身生成的非对称性,构建两模型答案共享候选池,促使双方在完全相同的候选答项上进行置信度再评分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入评测集与双模型预测<br/>(x_i, y_i) -> 预测输出与置信度"] --> B{"选择 ACE 校准评测视角"}
    B --> C["1. 实例对齐校准 (IA)<br/>提取共同答对与共同答错交集"]
    B --> D["2. 分布对齐校准 (DA)<br/>因果推断重要性逆加权匹配整体准确率"]
    B --> E["3. 候选对齐校准 (CA)<br/>共享答项候选池并消除自偏好偏差"]
    C --> F["统一公平基准度量<br/>计算控准后 ECE / Brier Score 并检测排序倒转"]
    D --> F
    E --> F

关键设计

1. 实例对齐校准 (Instance-Aligned Calibration, IA):消除逐题能力异质性与盲区深度剖析

针对两模型在单个样本上胜负不同导致置信度对比非对称的问题,IA 视角将评估范围严格限制在两模型取得相同结果的样本子集 \(\mathcal{D}_{\text{IA}} = \mathcal{D}_{\text{both-right}} \cup \mathcal{D}_{\text{both-wrong}}\)。在该集合上,两模型的经验准确率在定义层面强制达到绝对相等:

\[\text{Acc}_{\mathcal{D}_{\text{IA}}}(M_A) = \text{Acc}_{\mathcal{D}_{\text{IA}}}(M_B) = \frac{|\mathcal{D}_{\text{both-right}}|}{|\mathcal{D}_{\text{IA}}|}\]

该设计的精妙之处在于提供了一种天然的正交分解诊断能力:\(\mathcal{D}_{\text{both-right}}\) 揭示两者共享的胜任力区域,而 \(\mathcal{D}_{\text{both-wrong}}\) 则暴露出双方的共同认知盲区。若某先进模型在原始全集上全局 ECE 领先,但在共同答错的 \(\mathcal{D}_{\text{both-wrong}}\) 上却赋予了比基线模型更高的过度自信,则说明其所谓的全局优势不过是答对题目更多所掩盖的假象,其在未掌握知识点上的过度自信反而更加凶险。实证表明,IA 在各数据集上的样本留存率中位数高达 78.0%(IQR [66.3%, 82.2%]),完全保证了统计推断的稳健性。

2. 分布对齐校准 (Distribution-Aligned Calibration, DA):因果推断逆概率加权实现全量样本无偏匹配

针对 IA 视角必然剔除模型单方做对样本(丢弃约 22% 数据)从而可能损伤全貌代表性的局限,DA 视角将两模型对比抽象为因果推断中的观测性混杂校正问题。设模型 \(M_A\) 准确率为 \(a_A\),\(M_B\) 为 \(a_B\) 且 \(a_A > a_B\),若直接做下采样剔除多余正确样本会带来采样方差。DA 视角引入调查抽样与因果推断中的 Horvitz-Thompson 逆倾向加权原理,定义实例重要性权重 \(w_i^{(A)}\):

\[w_i^{(A)} = \begin{cases} \frac{a_B}{a_A}, & \text{若 } z_i^{(A)} = 1 \\ \frac{1 - a_B}{1 - a_A}, & \text{若 } z_i^{(A)} = 0 \end{cases}\]

通过该密度比重重标定,高精度模型各样本被平滑赋权,其加权后的正确率精确收敛到参考模型水平:\(\frac{\sum_i w_i^{(A)} z_i^{(A)}}{\sum_i w_i^{(A)}} = a_B\)。基于赋权权重 \(w_i^{(A)}\),加权布里尔分数 \(\text{DA-BS}_{a_A \to a_B}\) 与加权 \(\text{DA-ECE}_{a_A \to a_B}\) 得以在保留全部 \(N\) 个观测样本的条件下计算,既消除了宏观结果分布的偏倚,又维持了极高的有效样本容量(Kish 有效样本量比值 \(\text{ESS}/N\) 中位数达 0.897,115/120 的实验配置 \(\text{ESS}/N \ge 0.5\))。

3. 候选对齐校准 (Candidate-Aligned Calibration, CA):构建共享答项池以剥离生成空间与自评估偏好偏差

前述 IA 与 DA 聚焦于自评估生成校准(模型仅为自己的输出打分),然而更强大的模型由于生成的文本质量更高、表述更连贯,其置信度估计往往受答案文本自身的可信度溢价影响。CA 视角将自生成问题扩展为统一评估模式:对每个输入 \(x_i\),汇总双方生成的答案形成共享候选池 \(\mathcal{U}_i = \{s_i^{(A)}, s_i^{(B)}\}\),并要求模型 \(M_A\) 与 \(M_B\) 分别对池中所有候选答案的真实性打分 \(e_i^{(m)}(s) \in [0, 1]\)。其候选级 Brier Score 形式化定义为:

\[\text{CA-BS}(M_m) = \frac{1}{\sum_i |\mathcal{U}_i|} \sum_{i=1}^N \sum_{s \in \mathcal{U}_i} \left( e_i^{(m)}(s) - y_i(s) \right)^2\]

该设计不仅在候选空间层面严格抹平了生成能力的落差,还将隐藏的“自偏好偏差(Self-preference Bias)”暴露无遗——即模型是否盲目迷信自己生成的答案,而在面对竞争模型给出的优质答案时产生不合理的信心贬低。

评估基准与实验设计

评测涵盖 4 大模型家族共 14 种本地部署模型:Qwen2.5 (7B/72B)、LLaMA 3.1 (8B/70B)、Qwen3 (8B/14B/32B,带 enable_thinking 开关) 以及开源复现的 GPT-OSS (20B/120B,带 reasoning_effort 强/弱控制)。测试基准覆盖两大认知维度共 5 个权威数据集:开放式知识问答类(FreshQA 600题、TriviaQA 1500题)与复杂多步推理类(GPQA Diamond 198题、LiveBench 200题、MMLU-Pro 2841题)。针对置信度提取,对比了三种代表性范式:口头化置信度表达(Verbalized Confidence,归一化至 \([0, 1]\))、\(P(\text{True})\) 探测(提取二元验证模板中 "True" 的 logit 概率)与自洽性投票(Self-Consistency,10 次独立采样一致性比例)。此外,论文还在附录 E.7 将框架进一步推导拓展至连续得分的部分学分(Graded Correctness)场景,在 IF-multi 与 APPS 基准上成功完成了有效性验证。

实验关键数据

主实验:多基准下代表性模型对的原始指标 vs 控准校准指标对比

下表提取论文中代表性模型对比(大模型 vs 小模型、思考模型 vs 非思考模型)在各任务上的经验准确率(Acc)、原始校准指标以及 ACE 控准后的核心指标(数值按百分比 \(\times 100\) 统计,Brier 与 ECE 均为越低越好 \(\downarrow\);\(\Delta = \text{Model}_1 - \text{Model}_2\)):

数据集 评测模型对 (Model 1 vs Model 2) 置信度方法 Acc (%) Raw Brier Raw ECE DA Brier DA ECE IA Brier IA ECE
TriviaQA Qwen2.5-7B vs Qwen2.5-72B Verbalize 41.4 vs 71.7 31.2 vs 20.5 32.8 vs 20.6 31.2 vs 38.7 32.8 vs 40.0 25.7 vs 26.7 27.0 vs 27.6
TriviaQA 差值 \(\Delta\) (倒转检出) Verbalize -30.3 +10.7 (72B优) +12.2 (72B优) -7.5 (7B优!) -7.2 (7B优!) -1.0 (7B优!) -0.6 (7B优!)
GPQA Qwen3-8B-nothink vs Qwen3-8B-think Verbalize 46.0 vs 61.6 41.9 vs 26.8 42.5 vs 25.9 45.5 vs 45.1 45.5 vs 46.4 38.0 vs 38.3 36.7 vs 37.8
GPQA 差值 \(\Delta\) (倒转检出) Verbalize -15.6 +15.2 (think优) +16.6 (think优) +0.4 (think优) -0.9 (nothink!) -0.3 (nothink!) -1.1 (nothink!)
LiveBench Qwen3-32B-nothink vs Qwen3-32B-think Verbalize 47.0 vs 85.5 43.7 vs 12.0 44.5 vs 11.7 43.7 vs 40.7 44.5 vs 43.1 18.9 vs 17.3 17.3 vs 18.1
LiveBench 差值 \(\Delta\) (倒转检出) Verbalize -38.5 +31.7 (think优) +32.8 (think优) +3.0 (think优) +1.4 (think优) +1.6 (think优) -0.7 (nothink!)
FreshQA LLaMA3.1-8B vs LLaMA3.1-70B Verbalize 32.1 vs 49.3 48.5 vs 32.1 50.7 vs 32.9 45.1 vs 50.5 47.2 vs 51.9 43.7 vs 49.0 46.6 vs 50.5
FreshQA 差值 \(\Delta\) (倒转检出) Verbalize -17.2 +16.3 (70B优) +17.9 (70B优) -5.4 (8B优!) -4.7 (8B优!) -5.3 (8B优!) -3.9 (8B优!)
MMLU-Pro GPT-OSS-20B-high vs GPT-OSS-120B-high P(True) 86.7 vs 88.2 16.1 vs 21.7 16.2 vs 21.8 25.3 vs 23.4 25.3 vs 23.5 15.6 vs 20.2 15.7 vs 20.2
MMLU-Pro 差值 \(\Delta\) (倒转检出) P(True) -1.5 -5.6 (20B优) -5.6 (20B优) +1.9 (120B优!) +1.8 (120B优!) -4.5 (20B优) -4.5 (20B优)

分析与消融实验:排序倒转率(Ranking Reversal Rate, RR)与视角特征剖析

在全集测试的 120 种对比组合中,原始评估下看似校准极佳的高精度胜出者,在控准后产生颠覆性排位翻转的统揽数据如下:

置信度提取范式 IA 独家倒转率 (%) DA 独家倒转率 (%) CA 独家倒转率 (%) 共同倒转 (DA+IA) (%) 整体无倒转率 NRR (%)
Verbalized 7.5 2.5 7.5 35.0 27.5
P(True) 2.5 22.5 20.0 15.0 30.0
Self-Consistency 10.0 2.5 35.0 12.5 27.5
全方法统揽分布 6.7 9.2 20.8 20.0 (DA与IA一致率79.2%) 28.3

在数据集维度,MMLU-Pro 的无倒转率最高(50.0%),排位相对最稳定;而开放式生成事实问答 FreshQA 与 TriviaQA 则表现出极高的 CA 独家倒转率(分别达 45.8% 与 33.3%),印证了候选池空间控制对生成式开放问答的重要意义。在 2000 次配对 Bootstrap 采样分析中,最初检出的 265 次排位倒转在重采样下保持符号反转的中位数概率高达 91.9%,严格检验表明该现象并非数据微扰所致的偶然事件。

关键发现

  • 大模型校准光环实质为准确率掩盖:在参数量对比轴(如 7B vs 72B、8B vs 70B)上,原始评估下大模型以数个至十数个百分点的压倒性 ECE 优势胜出,但在 DA 和 IA 消除结果构成偏置后,大模型优势普遍缩水 60% 以上,在 TriviaQA 和 FreshQA 等任务上甚至倒转为小模型显著占优。
  • 思考模式的元认知增益被严重高估:对 Qwen3 和 GPT-OSS 的思维链/思考模式分析显示,CoT 或 Long-thinking 带来的显著全局 ECE 改进,大部分源于其将错误题目转化为正确题目(从而机械抬升了整体匹配率)。一旦将其对齐到相同成功率水准,思考模式在答错题(\(\mathcal{D}_{\text{both-wrong}}\))上的极度自负倾向暴露无遗,甚至恶化了整体校准质量。
  • 倒转触发存在明显的准确率差距阈值效应:当两模型准确率差距小于 0.1 时,倒转发生率普遍低于 20%;一旦准确率差距突破 0.1 阈值,倒转率突跃并常态化稳定在 40%–60% 区间,且不再随准确率差距进一步拉大而单调上升。

亮点与洞察

  • 严密揭示理论机制并给出闭合解:论文在附录 A.1 从理论上证明了在给定条件置信度分布假定下,Brier Score 是准确率 \(a\) 的严格线性函数,而 ECE 在过自信区间内为 \(a\) 的单调递减函数,直接从数学上阐明了“高准确率机械等价于低校准误差”的混杂根源。
  • 三视角互补闭环的评估范式:不同于过往单一度量改造,ACE 设计了 IA(局部精准诊断)、DA(全局无偏映射)与 CA(判别自偏好检验)的三角互证体系,兼顾了样本留存率、整体分布与候选公平性。
  • 颠覆性实证结论指引评测实践:彻底推翻了“直接比 ECE/Brier 即可评判 LLM 不确定性好坏”的业界通用惯例,提出了“默认汇报 DA、以 IA 交叉验证、以 CA 诊断偏好”的标准化最佳工程实践建议。

局限与展望

  • 计算资源与候选开销:CA 视角要求双模型对合并候选池进行交叉互评,在长文本和复杂推理场景下评估成本随候选池规模二次增长,且自评估依赖打分模板敏感性。
  • 开源与闭源系统的验证覆盖:全量实验主要在主流开源体系(Qwen、LLaMA、GPT-OSS)上完成,由于商业闭源 API(如 GPT-4o、Claude 3.5 Sonnet)无法获取内部 logit 且缺乏 reasoning effort 的精确干预接口,尚需在更多专有架构上展开深入检验。
  • 下游决策闭环尚未连通:当前 ACE 仅作为事后评测与诊断工具,如何将控准后的排位信号直接反哺并赋能选择性预测(Selective Prediction)、安全拒答(Abstention)以及混合专家级联路由(Model Routing)仍有待进一步探索。

相关工作与启发

  • vs 传统 ECE / Brier Score 评估 (Guo et al., 2017; Nixon et al., 2019): 传统方法默认固定测试集上的全局标量可直接用于跨模型排行,忽略了边际正确率差异;本文明确证明了传统度量对高精度模型的系统性偏袒,并提出了基于重要性采样的修正版本。
  • vs 边际分布纠偏研究 (Si et al., 2022; Moskvichev & Sejdinovic, 2025): 既有工作(如 CKCE)意识到了预测边际不同对相对校准的扭曲,但停留在单模型重校准或抽象算子层面;ACE 直接将准确率作为显式因果混杂控制变量,构建了适用于生成式大模型横向比对的操作体系。
  • vs 思考模型置信度研究 (Zeng et al., 2025; Yoon et al., 2025): 既有文献在观察到 CoT 降低 ECE 后乐观宣称“思考赋予了模型更优秀的自我认知”;本文通过精确控准证明该结论存在因果混淆,思考模型实际存在严重的错误过度自信隐患。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次从因果混杂视角切中跨模型校准对比的核心漏洞,提出 ACE 三视角体系,问题定义深刻新颖。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大模型族、14 种配置、5 大任务、3 类置信度提取范式与 2000 次 Bootstrap 检验,论据详实确凿。
  • 写作质量: ⭐⭐⭐⭐⭐ 数学证明严密自洽,图表设计极其精湛,叙述逻辑一气呵成。
  • 价值: ⭐⭐⭐⭐⭐ 为大模型可靠性、置信度评测与安全对齐提供了关键的范式转向,具备极高的学术与评测指导价值。