跳转至

Sampling Less, Knowing More: Contradiction-aware Adaptive Spectral and Entropic Uncertainty Quantification for LLMs

会议: EMNLP 2026
论文: ACL Anthology
领域: LLM 其他
关键词: 不确定性量化, 矛盾图, 自适应采样, 谱范数, 预测熵

一句话总结

CASE 框架通过构建采样候选回复间的稀疏化双向矛盾图并计算归一化谱范数来度量语义分歧,以此驱动自适应早停采样降低计算冗余,同时融合贪心基准回复的 token 级预测熵,有效解决了多采样 UQ 面对一致性错误时退化失效的难题。

研究背景与动机

大语言模型在开放域问答、逻辑推理和知识密集型任务中取得了令人瞩目的突破,然而其固有的幻觉现象极大限制了在医疗、法律等高风险领域的落地应用。为了校准模型输出可靠性并有效识别错误,不确定性量化(Uncertainty Quantification, UQ)成为了不可或缺的技术手段。早期基于单一输出的 token 预测熵或序列困惑度等内部表征往往容易受到表面句式差异干扰,近年来的主流研究逐渐转向多采样(multi-sample)方法,即通过对同一个 prompt 多次随机采样生成候选回复集合,并基于候选集间的语义一致性(如语义熵 SE、核语言熵 KLE 等)来评估预测不确定性。

然而,现存的多采样 UQ 范式存在两个显著的理论和工程缺陷。其一,现有方案无视 query 的实际难度与置信度,一律采用预设的固定采样预算(如每道题固定采样 10 次)。对于多数简单直白的查询,模型生成的样本呈现出极高的语义重复度,盲目追加采样仅带来冗余的计算开销与显卡功耗。其二,现有多采样指标严重依赖回复间的语义分歧;当模型面对固有认知盲区而反复生成语义高度一致但事实完全错误(consistent errors)的内容时,语义层面的分歧信号完全塌缩,导致语义熵或聚类密度给出虚假的极高置信度,使得模型无法区分正确的输出与自满的错误幻觉。

面对固定预算计算开销过大以及一致性错误下语义指标退化的核心矛盾,理想的 UQ 机制应当既能自适应感知语义空间的分歧结构变化以动态决定停止采样时机,又能在语义分歧消失时保留识别潜在预测不确定性的底层信号。本文的核心切入点是将回复间的矛盾关系抽象为代数图结构,利用具有尺度不变性的归一化图谱范数捕捉全局语义冲突,并以低采样开销检测结构扰动收敛;同时引入确定性解码基准的 token 级预测熵作为正交补偿信号。核心 idea:将多样本间的互斥矛盾构建为稀疏无向矛盾图并以归一化谱范数度量全局语义分歧,利用谱范数的边际变化实现自适应动态采样,并融合单次低温度回复的 token 级预测熵打破一致性错误下的拓扑退化。

方法详解

整体框架

CASE(Contradiction-aware Adaptive Spectral and Entropic UQ)是一个端到端推断期不确定性量化框架,无需对底层 LLM 进行任何额外参数微调。整套流水线主要由三个紧密耦合的子阶段构成:首先是语义层面的动态生成与图构建,框架从初始的两个候选回复起步,利用自然语言推理(NLI)交叉评估候选回复间的蕴含与矛盾概率,构建稀疏对称的互斥矛盾图;随后计算严格有界的归一化谱范数,实时监测图结构在样本扩充时的边际变化以驱动耐心早停机制;最后,框架结合贪心确定性输出的 token 级预测熵进行自适应线性融合,输出最终的置信度标量。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入 Query x 与待测 LLM"] --> B["阶段1:稀疏对称矛盾图构建<br/>NLI 概率差值稀疏化 + 几何平均对称化"]
    B --> C["阶段2:归一化谱范数语义分歧度量<br/>U_spec = ||H||₂ / (k-1) ∈ [0, 1]"]
    C --> D{"阶段3:谱扰动自适应采样与早停<br/>边际变化 |ΔU_spec| ≤ ϵ 连续 τ 步?"}
    D -- 否 (未收敛) --> E["生成新候选采样并增量更新矛盾图"]
    E --> B
    D -- 是 (收敛) / 达到 K_max --> F["阶段4:Token 级预测熵正交补偿<br/>低温度贪心回复平均预测熵 U_en"]
    F --> G["最终融合评分 U_CASE = U_spec + α · U_en"]

关键设计

1. 稀疏对称矛盾图构建:抑制单向噪声与微弱蕴含干扰

传统的语义聚类或蕴含图构建往往生成密集图,即便两个句子存在明显的逻辑蕴含关系,NLI 模型输出的矛盾概率也难以严格为零,这会使语义冲突指标受到虚假噪声的干扰。此外,文本间的 NLI 关系天然具备非对称性,单向蕴含或误判可能引入虚假的单向矛盾。为构建干净且仅聚焦于真正双向互斥矛盾的拓扑表示,CASE 对任意采样的回复对 \((a_i, a_j)\) 首先进行非线性差分截断: $\(W_{i,j} = \max\left(0, P_C(a_i, a_j) - P_E(a_i, a_j)\right)\)$ 其中 \(P_C\) 与 \(P_E\) 分别代表 NLI 模型判定的矛盾概率和蕴含概率。该设计确保仅当矛盾概率严格压倒蕴含概率时才保留正权有向边。接着,为了过滤非对称语义错配并凸显互为矛盾的语义冲突,算法采用几何平均对其进行对称化,构造无向邻接矩阵 \(H^{(k)} \in \mathbb{R}^{k \times k}\): $\(H^{(k)}_{i,j} = \sqrt{W_{i,j} W_{j,i}} \quad (i \neq j), \quad H^{(k)}_{i,i} = 0\)$ 此举消除了非对称干扰,使得非零边权严格对应双向确认的语义对立。

2. 归一化谱范数语义分歧度量:建立跨采样规模可比的绝对指标

获得对称无向矩阵 \(H^{(k)}\) 后,如何量化该候选集整体的矛盾激烈程度是核心挑战。直接计算图密度或局部度数容易丢失全局图连通性信息。根据代数图论,实对称且非负矩阵的谱范数 \(\|H^{(k)}\|_2\) 等于其最大特征值 \(\lambda_{\max}(H^{(k)})\),它刻画了图中信息通过矛盾边传播聚合的最强强度,能够敏锐捕捉语义冲突群的聚合紧密度。然而,最大特征值随样本数 \(k\) 的增长而天然单调膨胀。为了实现自适应采样中不同步长间的横向对比,CASE 提出了严格归一化的谱不确定性度量: $\(U^{(k)}_{\text{spec}} = \frac{\|H^{(k)}\|_2}{k - 1}\)$ 根据矩阵范数理论,对称非负矩阵的谱范数受限于其最大行和度数 \(d_{\max} \le k - 1\)。因此,分母 \(k-1\) 正好对应全连通极大矛盾图的理论上限,从而在数学上严格保证了 \(U^{(k)}_{\text{spec}} \in [0, 1]\)。当全部样本高度一致无冲突时该值为 0;而在理想的全对立冲突图上该值达到 1,为动态采样提供了坚实且尺度不变的语义分歧基准。

3. 谱扰动自适应采样与早停:避免简单查询的冗余算力浪费

现有多采样方法如语义熵(SE)和核语言熵(KLE)在样本扩充时其状态空间和特征谱持续发生尺度漂移,无法通过简单的步间方差实现平稳早停。而在 CASE 中,每次新生成样本 \(a_k\) 相当于对原有邻接矩阵施加一个秩-2 扰动 \(E^{(k)}\)。由外尔不等式(Weyl's inequality)和三角不等式可知,步间谱得分变化满足严格的有界收敛特性: $\(\Delta U^{(k)} = \left| U^{(k)}_{\text{spec}} - U^{(k-1)}_{\text{spec}} \right| \le \frac{\|E^{(k)}\|_2}{k-1} + \frac{1}{k-1}\)$ 随着采样数量增加,归一化修正项按 \(\mathcal{O}(1/k)\) 迅速衰减。CASE 借此构建了带有容忍度 \(\epsilon\) 和耐心步长 \(\tau\) 的自适应早停协议:从初始两篇回复开始逐个生成新样本,一旦连续 \(\tau\) 步满足 \(\Delta U^{(k)} \le \epsilon\),表明当前矛盾拓扑已进入稳定谱区,进一步采样无法引入新的信息量,此时立即终止采样,否则持续探索至最大预算 \(K_{\max}\)。这有效消除了置信度高或语义清晰样本的冗余推断开销。

4. Token 级预测熵正交补偿:粉碎一致性错误下的盲目自满

当模型对特定事实存在系统性错误先验时,模型在高温采样下仍然倾向于高频输出同一语义类别的错误答案。在此极端场景下,所有候选样本互相蕴含,矛盾图矩阵退化为零矩阵,\(U_{\text{spec}} \approx 0\),导致纯语义方法彻底失效。为了打破这种一致性幻象,CASE 引入与拓扑结构互补的 token 级预测熵。框架首先生成一个低温度(如温度为 0 的贪心生成)的基准回复 \(y^* = (y^*_1, \dots, y^*_L)\),并计算该序列每个自回归步的词表分布香农熵的均值: $\(U_{\text{en}}(x) = \frac{1}{L} \sum_{t=1}^L \sum_{v \in V} - P(v \mid x, y^*_{<t}) \log P(v \mid x, y^*_{<t})\)$ 模型在生成自满错误时,内部的 token 转移概率往往依然伴随较高不确定性。最终,CASE 将宏观语义矛盾与微观预测熵通过可调系数 \(\alpha\) 线性相加:\(U_{\text{CASE}}(x) = U_{\text{spec}}(x) + \alpha U_{\text{en}}(x)\),完美兼顾了多样性冲突识别与单路径隐式不确定性感知。

评估基准与实验设计

CASE 属于纯推断期算法,无需任何模型微调或参数更新。基准回复采用温度 \(T=0\) 生成并作为最终答案与正确性评判对象;后续候选池扩充采用随机采样(\(T=1.0, \text{top-}p=0.9, \text{top-}k=50\))。NLI 判定模型选用预训练的 nli-deberta-v3-large。自适应早停参数设定为 \(K_{\min}=2, K_{\max}=10, \epsilon=0.01, \tau=2\),融合权重 \(\alpha=1\)。评测任务采用四个广泛认可的事实性问答基准:Natural Questions (NQ)、TriviaQA、HotpotQA(多跳推理)与 PopQA(长尾实体事实回忆),各随机抽样 1,000 条样本;使用 Qwen-Flash 作为大模型裁判评定答案真伪。评测指标为不确定性排序准确率 AUROC 以及精度-拒绝曲线下面积 AUARC。

实验关键数据

主实验

主实验对比了三款开源大模型(LLaMA-3-8B-Instruct、Qwen3-8B、Qwen3-14B)在单样本基线(PPL、P(true)、Entropy)与多样本基线(SE、KLE、SNNE,均固定 10 次采样)下的表现。下表汇报了不同架构下的 AUROC 与平均采样数量 Samp.:

评估模型 方法 PopQA (AUROC / 采样) HotpotQA (AUROC / 采样) NQ (AUROC / 采样) TriviaQA (AUROC / 采样)
LLaMA-3-8B-Instruct Entropy 78.29% / - 76.12% / - 72.92% / - 80.36% / -
SE 77.32% / 10.0 75.58% / 10.0 71.42% / 10.0 81.06% / 10.0
KLE 82.30% / 10.0 78.61% / 10.0 79.77% / 10.0 84.96% / 10.0
SNNE 68.12% / 10.0 71.10% / 10.0 72.05% / 10.0 75.88% / 10.0
CASE (本文) 83.22% / 7.50 81.34% / 6.57 80.74% / 6.69 85.28% / 6.40
Qwen3-8B Entropy 73.96% / - 77.86% / - 75.40% / - 79.06% / -
SE 75.68% / 10.0 79.01% / 10.0 76.86% / 10.0 79.56% / 10.0
KLE 80.35% / 10.0 81.08% / 10.0 79.61% / 10.0 80.52% / 10.0
SNNE 75.76% / 10.0 72.01% / 10.0 72.40% / 10.0 75.27% / 10.0
CASE (本文) 81.43% / 7.27 81.65% / 6.57 80.63% / 6.40 82.45% / 6.41
Qwen3-14B Entropy 69.07% / - 77.60% / - 74.90% / - 77.96% / -
SE 70.24% / 10.0 78.37% / 10.0 72.84% / 10.0 78.30% / 10.0
KLE 76.16% / 10.0 80.99% / 10.0 76.76% / 10.0 79.36% / 10.0
SNNE 68.86% / 10.0 70.10% / 10.0 72.00% / 10.0 73.20% / 10.0
CASE (本文) 77.00% / 6.98 82.39% / 6.34 79.37% / 6.14 81.65% / 5.88

消融实验

针对 Qwen3-8B 模型,研究团队分析了 token 级预测熵 \(U_{\text{en}}\) 与自适应动态采样模块对性能和开销的具体影响:

实验配置 PopQA (AUROC / 采样) HotpotQA (AUROC / 采样) NQ (AUROC / 采样) TriviaQA (AUROC / 采样) 说明
CASE (完整框架) 81.43% / 7.27 81.65% / 6.57 80.63% / 6.40 82.45% / 6.41 平衡精度与开销的最优配置
w/o \(U_{\text{en}}\) (无预测熵) 80.50% / 7.27 77.62% / 6.57 77.81% / 6.40 78.28% / 6.41 移除后遇一致性错误各集掉点 0.93%~4.17%
w/o 自适应采样 (固定 10 采) 82.64% / 10.0 82.08% / 10.0 81.55% / 10.0 83.29% / 10.0 算力消耗暴增 37%~56%,AUROC 仅微涨约 0.4%~1.2%

关键发现

  • Token 级预测熵是抵抗一致性错误的关键屏障:在消融实验中,去掉 \(U_{\text{en}}\) 导致所有数据集的 AUROC 和 AUARC 显著下滑(如 HotpotQA 的 AUARC 从 71.49% 锐跌至 65.37%)。分布可视化(论文图 5)进一步揭示,在所有采样均给出相同错误答案的困难子集上,单纯的谱范数 \(U_{\text{spec}}\) 彻底丧失辨别力,而预测熵赋予了正确样本与自满错误明显的双峰分离。
  • 自适应早停实现高性价比推理:自适应采样机制在平均仅消耗 5.88~7.50 个样本(相比固定 10 采样缩减超过 30% 计算开销)的前提下,保留了与满预算极度接近的辨别能力(AUROC 仅相差约 0.8%)。实测端到端耗时(论文表 6)显示,在 NQ 数据集上 CASE 耗时 5,826.7 秒,较 SE(8,402.1 秒)节省了 30.6% 的真实墙钟时间,较 KLE 节省 24.5%。
  • 超参数宽容性与任务迁移性卓越:融合参数 \(\alpha\) 在 \([0.2, 1.0]\) 的宽阔区间内性能高度平稳,无需为新数据集精细调参;在 GSM8K 数学推理任务上(论文表 3),CASE 斩获 74.85% AUROC,大幅抛离传统 SE(60.91%)与 KLE(70.77%),验证了图拓扑与预测熵融合范式在长逻辑链条任务上的普适性。

亮点与洞察

  • 用归一化谱范数代替经验性启发式聚合:利用代数图论中对称非负矩阵的 Perron-Frobenius 定理与最大度数上界,直接构建理论有界的 \(U_{\text{spec}} \in [0, 1]\),为无监督的不确定性自适应终止提供了坚实的数学收敛保障。
  • 将冲突度量从蕴含转移到矛盾:传统语义熵主要关注语义聚类或正向蕴含,而 CASE 证明通过非线性差分截断得到的“稀疏对称矛盾图”不仅降低了虚假边干扰,而且在区分幻觉时的拓扑信号强度显著优于正向蕴含图。
  • 微观概率与宏观拓扑的完美正交互补:单样本内部 token 概率在表面句式多样时脆弱,但在一致性错误时灵敏;多样本拓扑在句式多样时判别力强,但在一致性错误时退化。将两者通过线性自适应融合,低成本化解了单/多样本 UQ 各自的致命短板。

局限与展望

  • 对外部 NLI 评估模型的潜在依赖:尽管实验证明更换 base 和 small 版 DeBERTa 性能仅轻微波动,但在长篇幅复杂逻辑文本或多语言开放生成场景下,跨句子的大规模语义矛盾往往超出判别器的上下文理解极限,可能造成矛盾关系漏判。
  • 早停机制仍存在微量过早终止风险:统计显示约有 6.5%~8.6% 的样本在前 4 步内因瞬时结构稳定而过早早停,若继续采样至 10 步本可能揭示隐藏的语义矛盾,未来可探索结合模型内部注意力状态的多层级早停策略。
  • 不确定性根因未予显式细分:当前的标量打分机制无法进一步区分不确定性究竟来源于语言表达的内在多义性(aleatoric uncertainty)、知识库事实记忆缺失、还是逻辑推理链条崩塌,对细粒度模型可信纠错支持有限。

相关工作与启发

  • vs 语义熵 (Semantic Entropy, Farquhar et al., 2024):SE 通过 NLI 聚类离散类别并计算香农熵,必须固定采样预算,且在一致性错误下类别数为 1 导致熵归零;CASE 采用图谱范数度量矛盾密度,支持自适应早停采样,并用 token 级预测熵成功挽救了一致性错误下的指标崩塌。
  • vs 核语言熵 (Kernel Language Entropy, Nikitin et al., 2024):KLE 依赖全局密集蕴含相似度核矩阵,新样本的引入会破坏整体谱分布导致不可比;CASE 采用严格归一化的稀疏矛盾图谱范数,理论性质稳定,推理计算效率提升超过 25%~30%。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ [将代数图论谱范数与自适应图更新引入 LLM 语义不确定性量化,构思十分优雅]
  • 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 3 款模型、4 个问答基准与 GSM8K,消融、早停误报率和实测时延完备]
  • 写作质量: ⭐⭐⭐⭐⭐ [数学推导严谨,动机与设计环环相扣,图表表达清晰扎实]
  • 价值: ⭐⭐⭐⭐⭐ [在降低 30%+ 采样开销的同时提升了幻觉检测准确率,对实际系统工程落地意义重大]