跳转至

Self-Calibrating Language Models via Test-Time Discriminative Distillation

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/rissalhedna/SECL
领域: LLM 评测
关键词: 语言模型校准, 测试时训练, 生成-判别差距, 自监督蒸馏, 期望校准误差

一句话总结

本文提出首个针对大模型置信度校准的测试时训练框架 SECL,利用语言模型内生且校准度显著更优的标准化判别概率作为自监督信号,在无真实标签及自适应熵门控触发下通过保守方向 LoRA 更新口头置信度,在跨 4 个模型家族和 4 大领域上将期望校准误差相对降低 56%–78% 并保持原有任务精度。

研究背景与动机

当前大语言模型(LLMs)普遍表现出系统性的过自信倾向,即使在回答错误的题目上也会给出极高的置信度评级。尤其在经过人类反馈强化学习(RLHF)或偏好优化后,模型往往因迎合人类对自信语气的偏好而加剧了谄媚性与误校准;在医疗分诊、法律咨询与高可靠性问答等严苛场景下,过度自信的错误预测会直接危害决策安全。现有的置信度校准技术通常面临难以逾越的壁垒:基于采样的自洽性或语义熵评估计算开销巨大(需多轮前向采样),且在系统性幻觉中依然完全失效;基于内部表征的静态探针方法虽然参数开销小,但高度依赖离线监督拟合,在测试时遭遇分布偏移(Distribution Shift)时校准能力大幅退化;而基于奖励微调的训练方法大多需要真实标注,并已被证明在分布外(OOD)场景下反而会破坏模型的泛化校准。

然而,理论与经验研究表明,大模型内部其实蕴含着一个校准度远优于其口头输出的内生信号。当直接询问模型自身生成的答案是否正确时,其输出二分类 token 概率 \(P(\text{True})\) 的校准水平显著优于文本生成阶段表述的置信度。Kalai 等人的理论证明了生成误差在下界上约为对应判别误差的两倍,这意味着一个无法直接生成正确答案的模型,往往仍具备识别错误答案的判别能力。以往的工作仅在推理阶段离线探究这一代沟,而能否将该内生判别优势在无需任何人工标注的前提下、于测试阶段动态蒸馏回模型自身的生成输出中,构成了解决持续分布漂移的关键契机。

实现测试时校准面临两个核心技术挑战:一方面,测试时无标签自监督若在每一道题上都运行复杂判别计算,推理开销不可承受;另一方面,朴素的无监督在线梯度更新极易受到单样本判别噪声的误导,从而导致灾难性遗忘或置信度塌缩。核心 idea:利用大模型内生的生成-判别能力差距构建无标签自监督目标,仅在自适应熵门控检测到分布偏移时触发轻量级 LoRA 突发更新,通过有界方向损失将标准化判别置信度平滑蒸馏至口头置信度。

方法详解

整体框架

SECL(SElf-Calibrating Language Models)由三个紧密协同的阶段构成:输入流上的自适应熵变检测、无标注标准化判别信号构建,以及基于轻量 LoRA 的保守方向测试时训练更新。

在测试推理过程中,系统维护模型输出 token 分布的平滑熵值,并利用 Page-Hinkley 统计检验监测分布漂移。当输入仍处于当前领域内时,冻结的模型及其累积的 LoRA 权重直接提供已校准的置信度输出;一旦检测到显著的分布漂移,系统立即启动一个包含 \(B=50\) 道问题的“校准突发”(Calibration Burst)。在校准突发窗口内,未挂载当前适配器的基座模型生成答案及其干扰项并计算标准化判别信号;若口头置信度与判别信号存在明显分歧,则通过截断的有界方向均方误差损失更新中高层 Transformer 层的 LoRA 权重。经过少量题目的定向蒸馏后,模型迅速适配新领域,权重跨领域持续累积而不重置。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入测试问题流"] --> B["自适应熵门控<br/>EMA 熵追踪与 Page-Hinkley 检验"]
    B -->|无分布偏移| C["直接推理部署<br/>冻结 LoRA 输出校准置信度"]
    B -->|检测到偏移: 触发突发 B=50| D["标准化 P(True) 自监督计算<br/>冻结基座模型 + 干扰项 softmax"]
    D --> E["箱门控过滤<br/>筛选分歧大于 1 个分箱的样本"]
    E --> F["保守方向测试时微调<br/>有界步长裁剪与 LoRA 权重持续累积"]
    F --> C

关键设计

1. 自适应熵门控:基于 Page-Hinkley 检验的突发触发

针对持续测试时训练计算开销大、在平稳分布中重复更新徒增扰动的痛点,SECL 采用自适应熵门控(Adaptive Entropy Gating)策略,仅在输入分布发生漂移时启动校准。系统以指数移动平均(EMA,平滑系数 \(\alpha_{\text{ema}}=0.05\))追踪模型输出 token 的熵 \(H_t\),并维护 Page-Hinkley 累积和统计量: $\(m_t = \sum_{s=1}^t (H_s - \bar{H}_t - \epsilon)\)$ 其中 \(\bar{H}_t\) 为运行均值熵,\(\epsilon=0.05\) 为容忍阈值。当累积偏差 \(m_t - \min_{s\le t} m_s > \lambda\)(预设报警阈值 \(\lambda=3.0\))时,门控判定发生分布漂移,重置统计量并开启长度为 \(B=50\) 的校准突发窗口。该设计使模型将更新集中在领域切换后的关键窗口期,将实际需要参与反向传播的样本比例大幅压缩至 6%–26%,计算开销甚至低于单次运行判别基线。

2. 标准化 P(True) 自监督:消除肯定偏差的相对判别目标

原始的判别概率 \(P(\text{True}\mid q, a)\) 存在显著的“迎合/暗示偏差”(Suggestibility Bias),即模型倾向于对任何呈现给它的候选答案都给出偏高的肯定概率。SECL 引入基于干扰项集合的温度归一化判别信号 \(\text{NormPTrue}\)。对于多选题直接使用题目选项,对于开放式问答由模型预先生成 \(K=4\) 个合理替代选项 \(\{d_1, \dots, d_K\}\),并通过带温度参数 \(\tau\) 的 softmax 进行相对打分: $\(\text{NormPTrue}(a) = \frac{\exp(P_{\text{True}}(a)/\tau)}{\exp(P_{\text{True}}(a)/\tau) + \sum_{k=1}^K \exp(P_{\text{True}}(d_k)/\tau)}\)$ 该设计将绝对的二值肯定转变为候选空间中的相对置信度排序,彻底剔除模型系统性的肯定倾向。计算时严格在未挂载 LoRA 适配器的冻结原始基座模型上执行,防止正在进行的参数更新污染自监督信号源。

3. 保守方向测试时微调:信任方向、截断步长的持续权重累积

由于单样本判别信号存在局部高方差,直接将其作为回归标签会导致梯度震荡甚至过拟合噪声。SECL 设计了保守的有界方向更新目标。设当前模型口头软置信度为 \(c_i\)(通过 10 个数字分箱 \(0\sim9\) 的期望概率加权计算获得),\(\text{NormPTrue}\) 对应目标为 \(c_i^*\),构建的平滑更新目标为: $\(\hat{c}_i = c_i + \alpha_{\text{step}} \cdot \text{clip}(c_i^* - c_i, -\delta, \delta)\)$ 其中固定步长系数 \(\alpha_{\text{step}}=0.5\),单步最大截断边界 \(\delta=0.15\)。该公式核心在于“信任方向而非幅度”:在大样本统计下判别信号指引着正确的修正方向,而单步微调被严格限制在 \([-\alpha_{\text{step}}\delta, +\alpha_{\text{step}}\delta]\) 的微小邻域内,确保零均值噪声在突发窗口内相互抵消。同时引入分箱过滤机制(Bin-Gate Filter),仅在 \(|{\text{bin}}(c_i) - \text{bin}(c_i^*)| > 1\) 时计算均方误差损失 \(\mathcal{L}_i = (c_i - \hat{c}_i)^2\) 并通过 AdamW 优化中后层 LoRA 参数(rank \(r=8\),\(\alpha=16\)),且权重跨领域终身累积不重置。

损失函数 / 训练策略

训练损失采用口头软置信度与方向目标之间的均方误差: $\(\mathcal{L}_i = (c_i - \hat{c}_i)^2\)$ 反向传播仅更新 Transformer 架构最后 4 到 8 层的查询与数值投影矩阵(\(q\text{\_proj}, v\text{\_proj}\) 或综合的 \(qkv\text{\_proj}\)),受微调参数量仅占全模型 0.01%–0.02%。优化器使用 AdamW,学习率固定为 \(5\times 10^{-5}\),每道触发训练的问题迭代 3 个 epoch。整个测试时自适应过程无需任何真实正确性标签。

实验关键数据

主实验

实验在包含 2,000 道流式问题的序列协议上进行,领域依次跨越 GSM8K(数学推理)、MMLU(通识多任务)、ARC-Challenge(科学推理)与 TruthfulQA(抗诱导误解)。基线对比了未调整口头置信度(Verbalized)、全量前向判别基准 P(True) Norm 以及近期推理期采样基线 DINCO。

模型 方法 计算成本 (FWD-eq)↓ ECE↓ Brier 分数↓ AUROC↑ 任务准确率 (%)
Llama 3.2-3B Verbalized 1.0 0.170 0.292 0.510 57.6
P(True) Norm 6.0 0.065 0.223 0.694 57.6
DINCO ~10.0 0.101 0.207 0.762 46.6
SECL (本文) 1.8–4.6 (4.6) 0.050 0.241 0.587 57.7
Llama 3.1-8B Verbalized 1.0 0.225 0.258 0.684 64.4
P(True) Norm 6.0 0.120 0.211 0.718 64.6
DINCO ~10.0 0.117 0.210 0.756 52.2
SECL (本文) 2.8 0.083 0.222 0.643 64.6
Gemma 2-2B Verbalized 1.0 0.256 0.314 0.558 51.6
P(True) Norm 6.0 0.141 0.259 0.650 51.6
DINCO ~10.0 0.408 0.410 0.566 32.7
SECL (本文) 1.8 0.056 0.254 0.548 51.5
Phi 3.5-Mini Verbalized 1.0 0.251 0.275 0.600 66.7
P(True) Norm 6.0 0.154 0.227 0.675 66.7
DINCO ~10.0 0.110 0.212 0.749 56.0
SECL (本文) 2.1 0.110 0.251 0.521 66.5

消融实验

针对门控机制、损失函数设计、权重累积与自监督目标在 Llama 3.2-3B 上开展的系统消融:

配置 / 变体 ECE↓ Brier 分数↓ AUROC↑ 训练题目占比 (%) 说明
SECL 完整方案 (熵门控 B=50) 0.050 0.241 0.587 25.6% 基准配置,平衡性能与成本
全量训练 (Always-on) 0.047 0.240 0.593 100.0% 4× 计算成本,ECE 增益微乎其微
仅箱门控 (阈值 ≤ 1) 0.052 0.242 0.585 55.8% 无熵触发,更新次数翻倍
纯均方误差损失 (无方向截断) 0.085 - - 100.0% 缺少截断导致单步噪声放大
每题重置权重 (无持续累积) 0.237 0.327 0.484 100.0% 单样本孤立更新彻底破坏置信度
替换自监督目标为 Self-Consistency (\(N=10\)) 0.432 0.470 0.443 25.6% 采样的假性一致性导致极端过自信

关键发现

  • 内化蒸馏超越教师自身:在所有 4 种主评模型上,SECL 训练后的口头 ECE 均优于其蒸馏目标 P(True) Norm(如 Llama 3.2-3B 从 0.065 进一步压到 0.050),证明平滑持续的参数更新成功滤除了教师信号的单题方差,实现了泛化超越。
  • 权重跨领域累积至关重要:若在每道题目后重置 LoRA 权重,ECE 暴跌至 0.237,AUROC 跌至 0.484(劣于随机猜测);而权重累积机制允许校准知识跨问题、跨领域复利沉淀。
  • 自监督伪标签质量决定校准上限:用 Self-Consistency 替代 P(True) Norm 作为伪标签时,由于采样结果在低熵生成下高度集中,模型错误地将生成集中度当成高置信度,导致 ECE 飙升至 0.432(比未微调基线还要差 2.5 倍),确证了监督信号对齐理论上限的决定性作用。
  • 任务精度毫发无损:微调后全模型准确率变动均小于 1 个百分点(如 Llama 3.2-3B 准确率为 57.7% vs 原始 57.6%),验证了仅对极少量高层注意力参数调整置信度映射不会干扰基础推理能力。

亮点与洞察

  • 首创校准领域的测试时训练范式:首次将测试时训练(TTT)引入大模型置信度校准领域,颠覆了以往依赖静态探针或高开销多重采样的传统范式。
  • 巧借理论代沟实现无标签自监督:立足于“生成误差大约是判别误差两倍”的理论边界,巧妙抽取内生判别置信度完成自举微调,全程无需标注或外部验证模型。
  • 有界方向微调实现抗噪收敛:通过“信任梯度的期望方向、截断单步幅度”的设计,既吸收了大数定律下的校准漂移趋势,又完美规避了自蒸馏中的单样本高方差冲击。

局限与展望

  • 依赖前置判别代沟的存在:SECL 的有效性严格建立在模型具备“判别能力优于生成能力”的前提上。负对照实验显示,在 Qwen 2.5-3B 上该代沟消失(判别 ECE 反而差于生成),SECL 此时无法带来增益。
  • 校准与排序判别力(AUROC)存在权衡:微调目标针对分箱级别的绝对可靠度(ECE),在部分模型上(如 Phi 3.5-Mini)优化绝对置信度的同时可能轻微破坏样本对之间的相对排序精度(AUROC 发生回退)。
  • 对抗环境下的潜在脆弱性:基于熵的 Page-Hinkley 监测与无监督伪标签在对抗性数据流下容易受到扰动,恶意构造的输入可能诱导不必要的突发更新或造成累积参数漂移。

相关工作与启发

  • vs DINCO (Wang & Stengel-Eskin, 2025): DINCO 依靠推理期 NLI 重加权和多轮自洽性采样(单题开销约 10 个前向),在 Gemma 上出现严重退化;SECL 将判别信号内化为模型权重,推理阶段仅需单次前向(平稳期仅 1 FWD),并在各类架构上均取得更低 ECE。
  • vs 后验温度缩放 / Platt 缩放: 传统的后处理方法必须依赖带标签的留出验证集拟合,且往往通过极端的置信度压缩(如将所有预测压入 0.44–0.56 区间)来人为刷低 ECE,抹杀了有用区分度;SECL 完全无需标签,且输出置信度仍能饱满覆盖 0.05–0.95 宽区间。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ [首次将测试时训练应用于大模型置信度校准,基于生成-判别代沟构建无监督闭环]
  • 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 2B–12B 跨家族模型、4 个异构领域,包含极具说服力的 7 组独立消融实验与长序列验证]
  • 写作质量: ⭐⭐⭐⭐⭐ [概念定义严谨,理论动机与工程实现环环相扣,图表直观且对比公允]
  • 价值: ⭐⭐⭐⭐⭐ [为安全关键型 LLM 的低成本、免标注实时部署校准提供了开箱即用的落地范本]