Auditing Conformal Prediction for Language Models Under Inference-Time Model Shift¶

会议: NeurIPS 2026
arXiv: 2610.28937
论文: https://arxiv.org/abs/2610.28937
代码: https://github.com/achref-doula/inference-shift-cp
领域: 优化/理论
关键词: 保形预测, 推理时模型偏移, 交换性破坏, 大语言模型不确定性, 量化与温度配置

一句话总结¶

揭示大语言模型在部署阶段因量化或温度改变导致校准与部署配置不匹配时破坏保形预测交换性的“推理时模型偏移”失效机制，并提出显式对冲部署不确定性的校准审计准则与鲁棒基线。

研究背景与动机¶

保形预测（Conformal Prediction, CP）作为一种严格无分布假设（distribution-free）的不确定性量化方法，能够在有限样本下为任意黑盒预测器输出满足名义置信度 $1-\alpha$ 的预测集。传统 CP 理论在探讨置信度失效时，普遍将根源归咎于真实数据生成分布的变化，例如协变量偏移（covariate shift）、标签偏移（label shift）以及时序漂移（online drift）等。无论何种形式，其理论失效的前提均假定为底层输入-标签联合分布 $P_{XY}$ 发生了变动。

然而，在大语言模型（LLM）的真实工程服务体系中，即使任务输入与目标标签的联合分布 $P_{XY}$ 甚至模型底层训练权重完全保持不变，推理时的前向计算配置也极易发生调整。为了满足服务端动态的吞吐量要求、显存上限或用户定制策略，部署端常采用不同的后训练配置（如从 fp16 调整为 int8 或 nf4 量化，或因不同应用场景改变采样温度 $T$）。现有面向 LLM 的保形预测基准测试通常采用“匹配评估协议”（matched protocol），即假设校准阶段与实际部署阶段具有完全相同的推理配置，从而得出了过于乐观的可靠性结论。

这一现象暴露了现有评估协议的本质漏洞：当校准与测试所采用的推理配置不一致时，即便模型 checkpoint 与任务分布固定，保形非一致性分数的诱导分布也已发生系统性偏移。本文的核心切入点是将该现象形式化为推理时模型偏移（Inference-Time Model Shift）：它不同于传统数据集漂移，而是纯粹由推理配置诱导的分数分布变化，本质上破坏了划分保形预测（split conformal prediction）赖以立足的样本交换性（exchangeability）。核心 idea：将量化模式与采样温度构成的推理配置网格作为一阶评估维度，形式化证明其如何破坏保形分数交换性导致严重欠覆盖，并构建两阶段潜在鲁棒校准机制以实现非匹配环境下的理论与实证覆盖恢复。

方法详解¶

整体框架¶

本文构建了一套针对大语言模型在推理配置变动下的保形预测可靠性审计与校准理论框架。整个流程首先定义了由量化模式集合 $\mathcal{Q}$ 与温度集合 $\mathcal{T}$ 构成的笛卡尔积推理配置网格 $\mathcal{C} = \mathcal{Q} \times \mathcal{T}$。在此基础上，理论推导证明了校准与测试配置差异导致保形非一致性分数分布失配，从而使得匹配验证的覆盖保证无法直接迁移。为了在真实部署端无法精确获知当前底层推理配置的场景下重新恢复置信度保证，方法设计了两种对冲机制：全局最大阈值校准（MaxThr）以及基于两阶段集合大小签名的潜在鲁棒校准（Latent-Robust）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入样本与候选标签<br/>任务分布 P(X,Y) 固定"] --> B["推理配置诱导非一致性分数<br/>量化 Q 与温度 T 联合映射"]
    B --> C["推理时模型偏移形式化<br/>分布失配破坏交换性"]
    C --> D{"部署假设与校准策略选择"}
    D -->|已知固定部署配置| E["匹配校准<br/>标准划分保形预测"]
    D -->|全局最坏情况对冲| F["最大阈值校准<br/>取各配置阈值上确界"]
    D -->|潜在状态未观测自适应| G["潜在鲁棒校准<br/>两阶段签名路由与阈值选择"]
    E --> H["输出最终保形预测集"]
    F --> H
    G --> H

关键设计¶

1. 推理时模型偏移与交换性破坏形式化：从数据分布固定下推导分数生成机制畸变
传统保形预测将非一致性分数分布的变异归结为输入分布 $P_X$ 或条件分布 $P_{Y|X}$ 的改变。本文明确指出，语言模型的输出预测分布 $\pi^{(c)}(x)$ 直接受制于推理配置 $c=(q,t) \in \mathcal{C}$。给定任意非一致性评分函数 $A(\pi^{(c)}(x), y)$（例如基于最小包含累积概率的 LAC 准则），配置 $c$ 下诱导的分数随机变量为 $V^{(c)} = A(\pi^{(c)}(X), Y)$，其累积分布函数记作 $F_c$。当存在配置使得 $F_{c_{\mathrm{cal}}} \neq F_{c_{\mathrm{dep}}}$ 时，即使底层 $(X,Y)$ 同分布，校准分数序列 $V_1, \dots, V_n$ 与测试分数 $V_{n+1}$ 的联合分布也不再满足交换性。论文构造了反例并形式化证明：匹配协议下的覆盖保证在配置不匹配时无法平移（Proposition 3.2），且平均覆盖指标会掩盖极端配置下的灾难性低覆盖。

2. 最大阈值校准（MaxThr）：针对任意潜在部署状态的保守性全局上确界对冲
针对部署端推理配置完全未知且无法假设存在平稳混合分布的情形，MaxThr 提供了一种以预测集大小为代价换取绝对覆盖保证的无条件保守基准。在包含各配置样本的校准集上，针对每个独立配置 $c \in \mathcal{C}$ 分别计算满足名义误覆盖率 $\alpha$ 的标准划分保形分位数 $\hat{q}_c$。随后，算法提取所有配置阈值的全局最大值 $\hat{q}_{\max} = \max_{c \in \mathcal{C}} \hat{q}_c$。由于对于任意特定部署配置 $c \in \mathcal{C}$ 均满足 $\hat{q}_{\max} \geq \hat{q}_c$，基于集合单调性定理，预测集满足包含关系 $\hat{S}_c(x) \subseteq \hat{S}_{\max}(x)$。该方法严格证明了无论测试时底层落在何种配置 $c$，均能满足条件覆盖下界： $$\mathbb{P}(Y \in \hat{S}_{\max}(X) \mid C = c) \geq 1 - \alpha \quad \forall c \in \mathcal{C}$$ 该性质自然推导到任意测试混合分布上的边际有效性。

3. 潜在鲁棒校准（Latent-Robust）：利用两阶段预测集大小签名实现自适应子集对冲
MaxThr 的全局最大对冲往往导致预测集过度膨胀，为此本文设计了利用模型自身预测行为反推潜在配置的两阶段框架。校准集按比例拆分为两部分 $\mathcal{D}_{\mathrm{cal}} = \mathcal{D}_1 \cup \mathcal{D}_2$。阶段一在 $\mathcal{D}_1$ 上为每个配置 $c$ 校准出第一阶段阈值 $\hat{q}_c$（置信水平 $1-\alpha_{\mathrm{stage1}}$）。阶段二利用未标注样本在各假定配置阈值下诱导的预测集大小向量构建无标签状态特征签名： $$Z(x) = \left( |\hat{S}_c(x)| \right)_{c \in \mathcal{C}}$$ 在 $\mathcal{D}_2$ 上训练多项逻辑斯蒂回归路由模型并进行划分保形校准，输出包含真实底层配置的置信集合 $\hat{\Gamma}(Z(x)) \subseteq \mathcal{C}$（置信度 $1-\beta_{\mathrm{stage2}}$）。测试时只需在该置信候选子集内取最大阈值 $\hat{q}_{\Gamma}(x) = \max_{c \in \hat{\Gamma}(Z(x))} \hat{q}_c$。论文通过并集界严格证明了该自适应预测集的总覆盖概率满足： $$\mathbb{P}(Y \in \hat{S}_{\Gamma}(X)) \geq 1 - \alpha_{\mathrm{stage1}} - \beta_{\mathrm{stage2}}$$

损失函数 / 训练策略¶

本文评估基于固定的预训练语言模型底座，无需对模型权重执行任何二次梯度更新或微调。对于阶段二中的状态路由器，采用多项逻辑回归（Multinomial Logistic Regression），在划分出的 $\mathcal{D}_{2,\mathrm{train}}$ 上最小化交叉熵损失，拟合从预测集大小特征 $Z(x)$ 到真实配置标签 $C \in \mathcal{C}$ 的概率映射 $\hat{p}(c \mid Z(x))$。路由器固定后，在独立的 $\mathcal{D}_{2,\mathrm{cal}}$ 上使用非一致性分数 $B(Z(x), C) = 1 - \hat{p}(C \mid Z(x))$ 计算分位数 $\hat{r}_\beta$，确保完全符合分块保形校准的数据独立性假定。

实验关键数据¶

主实验¶

实验在 8 个轻量级大语言模型（Qwen2.5-1.5B/3B/7B、DeepSeek-R1-Distill-Qwen-7B、Gemma-2-2B、Llama-3.2-3B、Phi-3-Mini、Mistral-7B）和 4 个基准数据集（CommonsenseQA, DBPedia-14, MMLU-Pro, MobileActions）上系统开展。推理配置网格涵盖 3 种量化模式（fp16, int8, nf4）与 4 种温度（0.5, 1.0, 1.5, 2.0），共 12 种配置。名义置信水平固定为 $1-\alpha = 0.90$（非一致性度量采用 LAC）。

下表展示了在部署端固定为低位量化与低采样温度典型配置（nf4 @ T=0.5）时，全模型在 4 大数据集上的经验覆盖率与平均预测集大小表现（取 3 次随机实验均值）：

数据集	评估指标	Matched	Mismatch Mean	Mismatch Worst	Pooled	MaxThr	Latent-Robust
MMLU-Pro	覆盖率 (Coverage)	0.902	0.639	0.508	0.686	0.918	0.976
MMLU-Pro	集合大小 (Set Size)	7.045	4.024	2.628	4.417	7.376	8.877
CommonsenseQA	覆盖率 (Coverage)	0.912	0.827	0.789	0.818	0.915	0.967
CommonsenseQA	集合大小 (Set Size)	2.030	1.438	1.208	1.396	2.083	3.298
DBPedia-14	覆盖率 (Coverage)	0.901	0.863	0.827	0.867	0.922	0.957
DBPedia-14	集合大小 (Set Size)	1.603	1.309	1.096	1.324	1.956	3.421
MobileActions	覆盖率 (Coverage)	0.901	0.895	0.875	0.897	0.914	0.947
MobileActions	集合大小 (Set Size)	1.057	1.037	1.011	1.038	1.082	1.272

消融实验¶

为解耦量化模式与采样温度各自对覆盖率劣化的影响，作者分别进行了控制单变量部署的控制实验： 1. 控制部署温度 $T=0.5$，在部署量化模式上进行边际平均（表 7/8/9 对应机制）； 2. 控制部署量化模式为 nf4，在部署温度上进行边际平均。

下表汇总了 MMLU-Pro 与 CommonsenseQA 在两种控制部署条件下的覆盖率变化：

实验设置 (部署端受控轴)	数据集	Matched	Mismatch Mean	Mismatch Worst	Pooled	MaxThr	Latent-Robust
固定 $T=0.5$ (对量化平均)	MMLU-Pro	0.906	0.648	0.520	0.695	0.919	0.974
固定 $T=0.5$ (对量化平均)	CommonsenseQA	0.912	0.833	0.796	0.824	0.915	0.961
固定 `nf4` (对温度平均)	MMLU-Pro	0.901	0.842	0.719	0.852	0.923	0.970
固定 `nf4` (对温度平均)	CommonsenseQA	0.910	0.893	0.867	0.892	0.920	0.963

关键发现¶

匹配评估存在严重的可靠性虚标：匹配校准在所有任务上均能精确命中 0.90 的目标线，但在 MMLU-Pro 上，一旦校准与部署发生配置失配，非对角平均覆盖率断崖式下滑至 0.639，极端最坏匹配（Mismatch Worst）更直接腰斩至 0.508。
低温部署是失配敏感性的主导放大器：实验 2 与实验 3 证明，当部署固定在低温（$T=0.5$）时，无论量化方式如何，失配带来的破坏均达到峰值；而固定低位量化并在温度上平均后，平均失配虽然有所缓和，但最坏情况（Worst）仍旧在所有模型和数据集上完全跌破名义目标。
失配效应具有强烈的非单调性与跨任务异质性：同一配置差异在简单结构任务（如 MobileActions）上影响微弱，但在高难度推理选择题（MMLU-Pro）上引发灾难性欠覆盖。在 DBPedia-14 上，不同模型家族的失配平均覆盖率横跨 0.567 到 0.946，说明无法简单预设“某种配置必定劣于另一种配置”的单调变化规律。

亮点与洞察¶

将推理部署超参数正式确立为保形预测的一阶审计维度：指出了纯数据分布转移视角的不完备性，揭示工程服务体系中极其普遍的模型压缩（量化）与生成超参（温度）才是破坏统计交换性的现实隐蔽杀手。
反直觉的交换性破缺证明与两阶段自适应集合设计：不仅在理论上澄清了 $P_{XY}$ 相同情况下由于分数函数映射诱导的分布漂移定理，还巧妙地利用模型在多假设阈值下的预测集大小构建轻量路由器特征，兼顾了数学保证与部署可行性。

局限与展望¶

理论层面尚未建立预测性分析机制：目前的工作属于严谨的经验审计与存在性刻画，尚未建立能够从先验层面上预判特定配置对（例如从 fp16@T=1.0 迁移到 int8@T=0.5）究竟会导致欠覆盖还是过覆盖的机理模型。
受限于有限候选标签的离散决策空间：为排除开放式自由文本生成中序列概率评估与语义聚类的额外混淆变量，当前实验限制在有限离散分类与多项选择任务，未能覆盖长文本开放式生成下的不确定性。
鲁棒基线存在显著的预测集效率损耗：Latent-Robust 必须将总误差容忍度 $\alpha$ 拆分分配至两个阶段（$\alpha/2 + \alpha/2$），导致恢复覆盖率的同时预测集尺寸偏大，未来需探索更紧致的局部自适应校准框架。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出“推理时模型偏移”打破保形预测交换性，视点极具穿透力且与工程落地紧密契合。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8 个主流大语言模型、4 大基准、12 种配置全网格，全量展示覆盖率与预测集大小，数据扎实。
写作质量: ⭐⭐⭐⭐⭐ 形式化理论推导严谨自洽，论证逻辑环环相扣，从问题揭示到基准建立非常完整。
价值: ⭐⭐⭐⭐⭐ 为安全关键型大语言模型不确定性量化的评测标准与工程服务提供了极其重要的规范指导。

实验设置 (部署端受控轴)	数据集	Matched	Mismatch Mean	Mismatch Worst	Pooled	MaxThr	Latent-Robust
固定 \(T=0.5\) (对量化平均)	MMLU-Pro	0.906	0.648	0.520	0.695	0.919	0.974
固定 \(T=0.5\) (对量化平均)	CommonsenseQA	0.912	0.833	0.796	0.824	0.915	0.961
固定 `nf4` (对温度平均)	MMLU-Pro	0.901	0.842	0.719	0.852	0.923	0.970
固定 `nf4` (对温度平均)	CommonsenseQA	0.910	0.893	0.867	0.892	0.920	0.963