Conformal Language Modeling via Posterior Sampling¶

会议: NeurIPS 2026
arXiv: 2606.03731
OpenReview: https://openreview.net/forum?id=fLpIG7hvGw
论文: https://arxiv.org/abs/2606.03731
领域: LLM 其他
关键词: 共形预测, 后验采样, 幻觉抑制, 风险控制, 统计保真度

一句话总结¶

将基于共形预测的大模型幻觉控制从“生成后事后剪裁声明”重构为“条件于高置信区域的后验分布采样”，通过引入显式弃权混合先验与样本路径单调化上界，在保证严格有限样本风险上界的同时显著提升输出的完整性与下游效用。

研究背景与动机¶

大语言模型在医疗诊断、司法分析等高风险场景中的落地日益广泛，但模型内部虚构事实的“幻觉”现象依然频发。为了给生成内容的真实性提供具有统计学保证的安全边界，近期工作广泛引入了共形预测（Conformal Prediction, CP）与共形风险控制（Conformal Risk Control, CRC）框架。这类方法通常在校准集上拟合一个启发式置信度评分函数，并在测试阶段通过事后过滤机制（post-hoc filtering）强行剔除低于阈值的声明，从而在无分布假设前提下证明性地控制期望错误率。

然而，现有事后过滤范式存在根本性的机制缺陷：它将大模型的生成解码过程视为原子化的黑盒，仅在采样完成后对文本进行粗暴的“外科手术式剪裁”。在事实间存在强逻辑依赖的任务（如多步数学推导、连贯人物生平叙述）中，随意剔除某一步或某句话会直接破坏文本的语义流与论证链，导致生成结果变得支离破碎、语意断裂，甚至在模型先验概率下沦为极不自然的低概率串。为了修复流畅度，已有工作尝试引入第二阶段语言模型改写或复杂的符号依赖图，但重写重新引入了不可控的幻觉风险，且无法挽救被过度剪裁所损失的核心实用信息。

根本原因在于事后过滤无法反向重塑生成分布——它只能被动删除错误，而无法主动将概率质量推向模型原本有能力生成的正确高质区域。为此，本文反思校准目标与生成过程的割裂，将风险控制视角从“校准事后过滤器”彻底前移至“校准采样分布本身”。核心 idea：将共形语言建模重构为大模型在经验高置信区域上的后验采样问题，通过在先验中混合显式弃权基元解决归一化常数退化难题，并利用路径单调化包络在离线先验样本上实现严格的有限样本共形风险控制。

方法详解¶

整体框架¶

本文的核心框架将语言模型的生成空间约束表述为一个概率后验推断过程。对于提示词 $x$，大模型自身诱导出一个先验分布 $p_{\mathrm{LLM}}(y \mid x)$。方法设计了一个由一维阈值 $\tau$ 参数化的势函数族 $\Phi^\tau(y \mid x)$，用于截断或重加权生成样本。为了解决高阈值下候选集为空导致归一化常数退化的理论瓶颈，模型首先在基座先验中混入权重为 $\beta$ 的显式“弃权”（abstain）基元形成混合先验，进而推导出正则化的后验分布族。随后，算法利用离线采样的先验粒子构建经验后验风险，通过单调化算子消除经验风险的非单调波动，从而闭式解出满足预设风险容忍度 $\alpha$ 的全局校准阈值 $\hat{\tau}$。在测试阶段，模型直接从校准后的后验分布中采样输出。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入提示词与校准样本集"] --> B["构建显式弃权混合先验<br/>混合权重 β 注入无损弃权基元"]
    B --> C["定义序列声明累积势函数族<br/>启发式打分逐声明相乘并施加阈值 τ"]
    C --> D["经验后验风险与路径单调化<br/>粒子加权评估与单调上包络构造"]
    D --> E["离线共形风险控制阈值标定<br/>闭式求解临界截断阈值 τ_hat"]
    E --> F["校准后验分布测试时采样<br/>高完整度事实性生成或安全弃权"]

关键设计¶

1. 序列声明累积势函数与混合先验构建：解决严格截断下的后验定义退化 为了让模型生成的整段文本中所有声明均保持高置信，方法引入一个启发式声明级评分器 $s(c_i \mid x, \mathbf{c}_{<i}) \in (0, 1]$，用于评估在提示词 $x$ 及前序声明 $\mathbf{c}_{<i}$ 均假设正确的条件下，当前新声明 $c_i$ 的事实性概率。整篇完成度 $y$ 的综合得分为全部 $K$ 个子声明得分的累积乘积 $S(y \mid x) = \prod_{i=1}^K s(c_i \mid x, \mathbf{c}_{<i})$。势函数定义为硬阈值指示器 $\Phi^\tau(y \mid x) = \mathbf{1}\{ S(y \mid x) \ge \tau \}$。然而，直接将后验写为 $p_{\mathrm{LLM}}^\tau(y \mid x) \propto p_{\mathrm{LLM}}(y \mid x) \Phi^\tau(y \mid x)$ 会面临严重数学障碍：当提示词难度极大时，基座模型在该提示词下生成满足阈值 $\tau$ 文本的先验概率可能极小甚至为零，导致条件归一化常数 $Z^\tau(x) = \int \Phi^\tau(y \mid x) \mathrm{d}p_{\mathrm{LLM}}(y \mid x) \to 0$，后验分布彻底失效。为此，本文设计了混合先验分布： $$p_\beta(y \mid x) = (1 - \beta) p_{\mathrm{LLM}}(y \mid x) + \beta \delta_{\texttt{abstain}}(y)$$ 其中 $\delta_{\texttt{abstain}}$ 是赋予预设弃权回答（例如“我不知道”）的狄拉克测度，其固有损失恒为零 $\ell(x, \texttt{abstain}) = 0$ 且打分固定为 $S(\texttt{abstain} \mid x) = 1$。由于弃权分支始终能跨越任何 $\tau \in [0, 1]$，混合后验的归一化常数处处满足下界 $Z_\beta^\tau(x) \ge \beta > 0$，为后续严密推导奠定了良定基础。

2. 离线经验后验构建与路径单调化上包络：攻克非单调风险估计难题 若在每个候选阈值 $\tau$ 下都重新在线收集后验样本，计算开销将呈组合级爆炸。本文提出利用基座先验抽取的 $M$ 个离线样本粒子 $\{y_{ij}\}_{j=1}^M$ 构建分层经验混合先验 $\hat{p}(y \mid x_i, T_i)$。在该经验测度下，第 $i$ 个提示词在阈值 $\tau$ 下的条件经验后验风险呈现出闭式加权形式： $$\hat{H}_i(\tau) = \frac{(1 - \beta) \frac{1}{M} \sum_{j=1}^M \Phi^\tau(y_{ij} \mid x_i) \ell(x_i, y_{ij})}{\beta + (1 - \beta) \frac{1}{M} \sum_{j=1}^M \Phi^\tau(y_{ij} \mid x_i)}$$ 然而，式中的分母和分子均随 $\tau$ 的增大而阶梯式跳变。当阈值微弱提升时，若某个正确的粒子恰好被过滤而错误粒子侥幸保留，接受集合内的平均损失 $\hat{H}_i(\tau)$ 反而会出现局部反弹跳升，破坏了标准共形分位数搜索所需的单调递减性。为解决此问题，本文引入样本路径级别的单调上包络（Monotone Upper Envelope）： $$\bar{H}_i(\tau) = \sup_{\tau' \ge \tau} \hat{H}_i(\tau')$$ 该算子严格保证了 $\bar{H}_i(\tau)$ 随 $\tau$ 单调不增，且处处作为真实经验风险的点态紧确上界。

3. 有限样本共形风险控制定理与渐进总体保证：建立严格的统计有效性 结合单调包络 $\bar{H}_i(\tau)$ 与样本可交换性，校准算法在由 $n$ 个提示词组成的校准集上求解临界阈值： $$\hat{\tau} = \inf \left\{ \tau \;\middle|\; \frac{1}{n + 1} \sum_{i=1}^n \bar{H}_i(\tau) + \frac{1}{n + 1} \le \alpha \right\}$$ 式中追加的 $1 / (n + 1)$ 项精确对冲了未知测试样本 $(x_{\mathrm{test}}, T_{\mathrm{test}})$ 的潜在最大风险贡献。理论分析证明，当测试样本从经验后验 $\hat{p}^{\hat{\tau}}(\cdot \mid x_{\mathrm{test}}, T_{\mathrm{test}})$ 中采样时，严格满足有限样本期望风险控制 $\mathbb{E}[\ell(x_{\mathrm{test}}, y_{\mathrm{test}})] \le \alpha$。更进一步，针对部署阶段需面向无限总体分布 $p^{\hat{\tau}}$ 采样的需求，本文借助经验过程理论中的 Glivenko-Cantelli 括号数性质证明了函数类的一致收敛性：当粒子数 $M \to \infty$ 时，经验后验风险一致几乎必然收敛至真实总体后验风险，从而确立了渐进总体风险保证 $\limsup_{M \to \infty} \mathbb{E}[\ell(x_{\mathrm{test}}, y_{\mathrm{test}}^{\mathrm{pop}})] \le \alpha$。

实验关键数据¶

主实验¶

实验采用 Llama-3.3-70B-Instruct（4-bit 量化）作为生成基座模型，GPT-4o 作为置信度评分器，并由 GPT-5.4 提供真实事实标注与效用评估。对比基线为最相关的事后共形剪裁方法 Mohri & Hashimoto 2024（简称为 MH）。主实验评估开放式人物传记生成（FActScore，682 个实体）与强逻辑依赖的多步数学推导（MATH，500 道题），采用 10 折随机切分（50 测试 / 剩余校准），预设弃权混合系数 $\beta = 0.1$，单 prompt 生成粒子数 $M = 20$。

下游效用评估指标包括：FActScore 上的大模型裁判 1-5 分 Likert 评分（综合评估完整性 Completeness、流畅度 Fluency、有用性 Helpfulness）、MATH 上的端到端推导完整且答案正确率（Completeness Rate），以及非弃权条件下的对应指标。

任务 / 数据集	目标事实性 $(1-\alpha)$	指标类型	本文方法 (Ours)	事后剪裁基线 (MH)	表现差异与优势
FActScore (人物传记)	0.80	条件 Likert 分 (非弃权)	4.25	3.82	+0.43 (显著减少过度剪裁)
FActScore (人物传记)	0.90	条件 Likert 分 (非弃权)	4.10	3.45	+0.65 (高安全水位下优势扩大)
FActScore (人物传记)	0.80	单输出保留声明数 (非弃权)	8.42	5.31	+3.11 句 (保留更完整传记信息)
MATH (数学推导)	0.60	证明完整正确率 (无条件)	0.42	0.38	+0.04 (避免推导关键步骤断裂)
MATH (数学推导)	0.70	证明完整正确率 (无条件)	0.39	0.25	+0.14 (高事实性下显著领先)
MATH (数学推导)	0.80	条件完整正确率 (非弃权)	0.58	0.31	+0.27 (非弃权推导质量大幅跃升)

消融实验¶

在 FActScore 数据集与固定拒绝采样部署机制下，针对混合先验权重 $\beta$ 与评分器架构进行系统消融，考察其对校准覆盖有效性及下游特性的影响：

实验配置	评分器 / 机制设定	经验覆盖率 (目标 0.80)	非弃权严格真实率	说明
完整模型 ($\beta = 0.10$)	GPT-4o 置信度提示打分	0.802 $\pm$ 0.012	0.785	经验风险紧确贴合预设目标，有效性成立
较小弃权先验 ($\beta = 0.02$)	GPT-4o 置信度提示打分	0.731 $\pm$ 0.024	0.710	有限粒子下高截断导致拒绝采样耗尽，出现欠覆盖
较大弃权先验 ($\beta = 0.20$)	GPT-4o 置信度提示打分	0.824 $\pm$ 0.009	0.812	覆盖严格保守，但无条件回答中弃权比例偏高
替代评分器 (Logprob)	GPT-4o 强制对数几率打分	0.798 $\pm$ 0.014	0.791	验证了共形框架对启发式评分器形式的无关性
轻量基座与评分器	Llama-3.1-8B + mini 评分	0.801 $\pm$ 0.015	0.694	覆盖率仍然绝对满足，基座能力约束真实上限

关键发现¶

下游效用在强依赖场景显著提升：在 MATH 数据集上，当事实性要求从 0.5 提升至 0.8 时，事后剪裁 baseline (MH) 的完整解题率断崖式下跌至 0.20 以下（因为中间步骤被剪裁导致整题直接判废）；而本文后验采样方法在非弃权样本上的解题正确率反而上升至近 0.60，展现了将概率质量向正确样本迁移的强大威力。
单调化上包络的松弛损失极小：实验观测表明，粒子经验风险 $\hat{H}_i(\tau)$ 随着阈值增大整体呈现高度单调性，局部非单调凸起频率较低，因此单调化包络 $\bar{H}_i(\tau)$ 引入的统计保守性（slack）几乎可以忽略不计。
过滤压力的智能分配：事后剪裁方法在所有样本上均摊拒绝预算，导致简单样本也被误删语句；而后验采样方法将弃权集中在模型先验完全不支持的“极难样本”上，而对模型有能力解决的中低难度样本保留完整详实的回答。

亮点与洞察¶

将校准对象从事后过滤器转变为先验采样分布：这是语言模型共形预测领域范式级的跃迁。跳出了“先生成、再动手术修剪”的固有思维，直接通过概率势函数重构采样空间，在根本上规避了生成文本破碎化与语法失真问题。
引入显式弃权原子化解测度坍缩：在连续序列生成模型中直接求后验极易遇到归一化分母为零的奇点。通过在先验中显式注入狄拉克弃权测度 $\beta \delta_{\texttt{abstain}}$，不仅赋予了模型优雅的“安全安全阀”，更在数学上严格保证了归一化因子处处大于等于 $\beta$。
离线重要性加权与路径单调化算子结合：无需为每个超参阈值重复采样或预设静态打分网格，仅凭一组基座模型离线粒子即完成了全参数空间的无偏校准与单调性修正，为黑盒序列决策系统的离线安全评估提供了通用工具。

局限与展望¶

作者承认的局限：后验采样受到基座模型支撑集（support）的硬性制约。若对于某个困难实体，基座模型的所有采样粒子均包含虚假信息，后验采样机制无法“凭空创造”出正确事实，只能退化为选择弃权回答。
实际部署中的拒绝采样效率挑战：在线部署阶段若采用简单的蒙特卡洛拒绝采样来模拟后验，当校准阈值 $\hat{\tau}$ 极高时，接受率可能会急剧下降，造成推理时延迟上升或超出预设计算预算。
未来改进方向：可进一步将该离线校准准则与序贯蒙特卡洛（Sequential Monte Carlo, SMC）引导生成或扭曲粒子滤波（Twisted SMC）深度结合，实现逐 token / 逐声明层面的自适应动态剪枝与导向生成，彻底摆脱全样本拒绝采样的计算瓶颈。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 将大模型共形风险控制系统性重构为后验采样问题，构造了极具数学美感的显式弃权混合先验。
实验充分度: ⭐⭐⭐⭐ 覆盖开放式传记生成与多步数学推导两大典型任务，消融详尽，但缺乏大规模真实人类主观评测。
写作质量: ⭐⭐⭐⭐⭐ 统计学推导极其严密扎实，从理想预测子到经验过程 Glivenko-Cantelli 收敛性步步推进，逻辑无懈可击。
价值: ⭐⭐⭐⭐⭐ 为解决大模型长文本生成的高风险幻觉问题提供了统计保证与生成效用兼得的新方向。

实验配置	评分器 / 机制设定	经验覆盖率 (目标 0.80)	非弃权严格真实率	说明
完整模型 (\(\beta = 0.10\))	GPT-4o 置信度提示打分	0.802 \(\pm\) 0.012	0.785	经验风险紧确贴合预设目标，有效性成立
较小弃权先验 (\(\beta = 0.02\))	GPT-4o 置信度提示打分	0.731 \(\pm\) 0.024	0.710	有限粒子下高截断导致拒绝采样耗尽，出现欠覆盖
较大弃权先验 (\(\beta = 0.20\))	GPT-4o 置信度提示打分	0.824 \(\pm\) 0.009	0.812	覆盖严格保守，但无条件回答中弃权比例偏高
替代评分器 (Logprob)	GPT-4o 强制对数几率打分	0.798 \(\pm\) 0.014	0.791	验证了共形框架对启发式评分器形式的无关性
轻量基座与评分器	Llama-3.1-8B + mini 评分	0.801 \(\pm\) 0.015	0.694	覆盖率仍然绝对满足，基座能力约束真实上限