跳转至

BiG-SURE: Bipartite Graph for Semantic Uncertainty and Reliability Estimation of LLMs

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/iiscleap/BiG-SURE
领域: LLM推理
关键词: 不确定性估计, 黑盒LLM, 二分图谱能量, 语义一致性, 选择性预测

一句话总结

BiG-SURE 针对黑盒 LLM/VLM 不确定性估计,通过低采样温度生成语义基准锚点、高温度结合语义等价变换生成扰动探测点,构建自然语言推理加权的二分图并以归一化平方谱能量互补量化不确定性,在文本、多语言与多模态问答的选择性拒识任务上显著优于现有基线。

研究背景与动机

大语言模型与多模态模型在自然语言问答、数学推理与跨模态交互中展现出强大能力,但在开放生成场景下依然频繁出现幻觉、事实性错误与跨语言不一致问题。在医疗诊断、金融决策和司法审判等高风险安全关键场景中,模型直接输出错误结论往往会导致灾难性后果,因而可靠的不确定性估计与选择性预测(拒识)成为决定模型是否具备实际部署资格的核心瓶颈。然而,随着闭源专有模型和 API 服务的普及,模型内部参数、隐藏层激活值及输出词元概率(Token Logits)通常完全不可见,使得只能依赖纯文本交互的黑盒不确定性度量成为唯一通用的现实路径。

现有的黑盒不确定性估计方法主要沿袭固定采样温度下的语义聚类与熵计算范式。例如离散语义熵(DSE)通过对高温度采样的多条输出进行双向自然语言推理聚类并计算聚类分布熵;核语言熵(KLE)与最近邻语义熵(SNNE)则在采样响应间构建软相似度核矩阵并计算冯·诺伊曼熵。这类方法的核心局限在于:其一,它们局限于单一固定温度采样,忽略了模型在不同生成随机性下的语义演变动态,难以区分高置信度的确定表述与随机扰动下的脆弱幻觉;其二,由于高采样温度本身引入了剧烈的词汇漂移,仅在扩散样本之间相互比对容易被偶然共现的错误聚类所误导,缺乏稳定语义锚点的约束。

针对固定温度采样的表征缺陷,本文提出从跨温度语义一致性动态(Cross-temperature Semantic Agreement)切入。核心切入点在于:模型对其确信的正确知识,在低生成随机性下具有极高的语义收敛性,且这种核心语义在高随机性采样和等价输入扰动下依然能够维持稳固;而对于不确定或编造的内容,高温度采样则会迅速发生发散性漂移。核心 idea:将低温度生成作为稳定的语义锚点(Anchors),高温度与等价输入变换生成作为探测点(Probes),构建锚点-探测点二分图(Bipartite Graph),以二分邻接矩阵的归一化平方谱能量度量模型置信度,并以其补数作为无监督、无需聚类的黑盒不确定性估计。

方法详解

整体框架

BiG-SURE 的计算管线包含四个主要阶段:跨温度响应生成与输入等价扰动、二分语义相似度图构建、谱能量置信度量化、以及补数形式的不确定性输出。输入为原始提问 \(x\) 与黑盒模型 \(\theta\),输出为严格有界的归一化不确定性得分 \(U_{\text{norm}}(W; \theta) \in [0, 1]\)。流程首先在极低温度 \(T_L=0.1\) 下对原始输入采样得到 \(M\) 个高保真锚点响应;同时利用大模型改写生成语义等价提问(以及多模态场景下的轻量图像变换),在高温度 \(T_H=1.0\) 下采样得到 \(N\) 个高发散度探测点响应。随后利用自然语言推理(NLI)模型计算锚点与探测点之间的成对蕴含概率填充二分邻接矩阵,并利用矩阵的奇异值平方和(即 Frobenius 范数平方)提取主导语义模式的能量分布,完成无需超参调优的端到端置信度评估。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入查询 x 与模型 θ"] --> B["跨温度与等价扰动双路采样<br/>低温 TL 得锚点 A / 高温 TH 得探测点 H"]
    B --> C["NLI 蕴含二分语义图构建<br/>计算成对蕴含概率填入邻接矩阵 W"]
    C --> D["归一化平方谱能量置信度量化<br/>主奇异值能量 Enorm=||W||_F^2 / (MN)"]
    D --> E["谱能量补数不确定性判定<br/>Unorm = 1 - Enorm 用于选择性拒识"]

关键设计

1. 跨温度锚点-探测点双路采样机制:解决固定温度下语义稳定性与发散探索难以兼顾的痛点

传统的黑盒采样方法通常使用单一的高温(如 \(T=1.0\))生成多条回复,容易由于输出空间的不可控扰动导致可靠响应被误判为离群点;若仅使用低温生成,样本缺乏多样性,无法暴露模型潜在的幻觉风险。BiG-SURE 将响应集合解耦为功能正交的双路集合:低温度集合作为语义锚点 \(A = \{a_1, \dots, a_M\}\)(在 \(T_L = 0.1\) 下生成 \(M=3\) 个样本),代表模型在贪婪信念下的稳定收敛中心;高温度集合作为语义探测点 \(H = \{h_1, \dots, h_N\}\)(在 \(T_H = 1.0\) 下生成 \(N=10\) 个样本)。为了进一步测试模型语义在语义保持变换下的鲁棒性,探测点并非仅来自原始提示词,而是融合了 5 组语义等价的输入改写(在文本问答中通过轻量指令改写提问,在多模态视觉问答中结合均值滤波、仿射旋转 \(\pm 10^\circ\) 和高斯噪声),每个改写提示采样 2 次。这种非对称设计使得探测集合能够在不破坏真实语义的前提下最大化暴露语义漂移,而锚点集合则提供不变的基准参照。

2. NLI 蕴含二分语义邻接矩阵构建:跳过离散聚类误差,建立软连接图表示

离散语义熵等方法严重依赖硬聚类算法,极易在两极边界样本处引入累积分类错误。BiG-SURE 构建赋权二分图 \(G = (A, H, W)\),其二分邻接矩阵 \(W \in \mathbb{R}^{M \times N}\) 的每个元素 \(W_{ij}\) 直接衡量第 \(i\) 个锚点 \(a_i\) 与第 \(j\) 个探测点 \(h_j\) 之间的语义相似度:

\[W_{ij} = \text{sem-sim}(a_i, h_j) = p_{\text{entail}}(a_i, h_j) \in [0, 1]\]

相似度函数直接采用预训练的 DeBERTa-large-MNLI(多语言任务采用 mDeBERTa-v3)推理得到的 softmax 蕴含概率,全程冻结参数、不进行下游微调。由于只计算大小为 \(M \times N\) 的二分交叉对,其比对复杂度为 \(\mathcal{O}(MN \cdot C_{\text{sem}})\),相比全连接响应图的 \(\mathcal{O}(N^2 \cdot C_{\text{sem}})\) 大幅降低了语义判别模型的调用次数(当 \(M=3, N=10\) 时,只需计算 30 次推理,远少于全矩阵的 100 次)。更重要的是,连续的蕴含概率保留了细粒度的语义重叠信息,避免了硬切分阈值引起的误差放大。

3. 归一化平方谱能量不确定性度量:从奇异值主模态紧凑量化语义一致性

得到二分矩阵 \(W\) 后,需要一种严谨且具有理论保真的方式将其浓缩为标量置信度。BiG-SURE 利用二分邻接矩阵的平方谱能量(Spectral Energy),定义为所有非零奇异值 \(\sigma_i\) 的平方和。由线性代数酉不变性可知,该谱能量恒等于矩阵的平方 Frobenius 范数:

\[E_{\text{SURE}}(W; \theta) = \sum_{i=1}^{\min\{M,N\}} \sigma_i^2 = \|W\|_F^2 = \sum_{i=1}^M \sum_{j=1}^N W_{ij}^2\]

为了消除样本规模 \((M, N)\) 对绝对数值的影响,将其除以理论上限 \(MN\) 得到归一化置信度 \(E_{\text{norm}}(W; \theta)\),而不确定性则严格定义为其补数:

\[U_{\text{norm}}(W; \theta) = 1 - E_{\text{norm}}(W; \theta) = 1 - \frac{1}{MN}\sum_{i=1}^M \sum_{j=1}^N W_{ij}^2\]

数学性质证明表明,该指标天然满足三项优良公理:① 语义同一性:当且仅当所有采样响应语义完全一致且与锚点完全蕴含时(\(W_{ij}=1\)),\(U_{\text{norm}} = 0\);② 语义互斥性:当且仅当所有高低温对均不蕴含(\(W_{ij}=0\))时,\(U_{\text{norm}} = 1\);③ 单调性:当候选答案的语义离散度增加导致 \(W' \preceq W\) 时,\(U_{\text{norm}}(W'; \theta) \ge U_{\text{norm}}(W; \theta)\)。奇异值谱模态分析进一步揭示,前两个主奇异值占据了总能量的绝大部分,当模型确定时,高低温样本完全共振于第一主奇异模态;一旦模型存在认知动摇,该主导模式能量便会迅速衰减。

评估基准与实验设计

实验评估涵盖纯文本事实问答与数学推理(Trivia-QA、SVAMP,覆盖 Llama-3.1-8B/70B、Qwen-2.5-7B/72B、Gemma-3-12B/27B 共 6 款开源大模型)、多语言科学问答(SciQ 包含英、法、日、中 4 种语言,评估 Aya-expanse-8B 与 Apertus-8B)、以及多模态视觉问答(OK-VQA,评估 Pixtral-12B、LLaVA-v1.6-7B、Qwen2-VL-7B)。评测核心指标采用选择性预测中通用的拒识受试者工作特征曲线下面积(Abstention AUROC)以及风险-覆盖曲线下面积(AURC)。在测试流程中,将贪婪解码输出(\(T=0\))的正确性作为二元真实标签(文本问答基于 SQuAD F1 \(\ge 0.5\) 判定,多模态比对标准人工标注,多语言利用 Gemini-2.5-Flash 作为裁决裁判并经过严密的人工一致性抽样验证),将待测方法输出的不确定性得分作为拒识打分,全方位考察在不同错误率预算下的拒识精度。

实验关键数据

主实验

在涵盖 7 大任务维度的广泛实验中,BiG-SURE 与离散语义熵(DSE)、图谱指标(SumEigv、Deg、NumSet)、词汇重叠度(LexSim)、核语言熵(KLE)及最近邻语义熵(SNNE)进行了公平对标(所有对比方法均基于相同采样预算或对齐至 13 次推理开销)。

数据集 [语言/模态] 模型数量/规模 贪婪准确率 最佳先前基线 AUROC (↑) BiG-SURE AUROC (↑) 相对提升 / 显著性
Trivia-QA [文本/英] 6 LLMs (7B-72B) 0.668 0.722 ± 0.007 (Deg) 0.753 ± 0.017 +0.031 (6模型中5个达SOTA)
SVAMP [数学/英] 6 LLMs (7B-72B) 0.755 0.846 ± 0.018 (SNNE) 0.877 ± 0.022 +0.031 (6模型中5个达SOTA)
SciQ [多语言/英] 2 LLMs (8B) 0.775 0.646 ± 0.021 (Deg) 0.677 ± 0.015 +0.031 (Aya与Apertus均最优)
SciQ [多语言/法] 2 LLMs (8B) 0.672 0.608 ± 0.016 (LexSim) 0.590 ± 0.019 -0.018 (法语法意辨析受限)
SciQ [多语言/日] 2 LLMs (8B) 0.490 0.632 ± 0.020 (Deg) 0.685 ± 0.013 +0.053 (日文显著领先)
SciQ [多语言/中] 2 LLMs (8B) 0.507 0.644 ± 0.023 (Deg) 0.691 ± 0.012 +0.047 (中文显著领先)
OK-VQA [多模态视觉] 3 VLMs (7B-12B) 0.637 0.735 ± 0.016 (SNNE) 0.752 ± 0.014 +0.017 (3款VLM全线最优)

消融实验

为验证跨温度对比机制、等价输入增强策略及谱聚合公式的有效性,论文在 Trivia-QA 和 SVAMP 上对 6 款文本 LLM 进行了系统的控制变量消融(均值 ± 5 次随机种子标准差)。

消融配置 / 变体 SVAMP AUROC (↑) Trivia-QA AUROC (↑) 设计原理说明与结论
BiG-SURE 完整方案 (Mixed-Rephrased) 0.8769 ± 0.0221 0.7533 ± 0.0168 3个低温锚点 + 10个混合扰动高温探测点
Top-1 截断谱能量 (\(U_{\text{Top-1}}\)) 0.8746 ± 0.0205 0.7527 ± 0.0170 仅利用最大单一奇异值,保留绝大部分置信度信息
Top-2 截断谱能量 (\(U_{\text{Top-2}}\)) 0.8766 ± 0.0217 0.7532 ± 0.0172 仅利用前两大奇异值,表现几乎与全谱恒等
平均相似度聚合 (AvgSim) 0.8737 ± 0.0232 0.7489 ± 0.0198 未进行平方加权,对微弱漂移惩罚力度不足
最大相似度聚合 (MaxSim) 0.8724 ± 0.0232 0.7443 ± 0.0196 极易受单条偶然一致高响应误导
锚点-探测点分布熵 (Anchor-probe Ent.) 0.4491 ± 0.0147 0.4571 ± 0.0148 相似度矩阵全0时熵反而趋近于0,丧失单调性
无输入改写控制 (Non-Rephrased) 0.8018 ± 0.0211 0.7072 ± 0.0104 仅依赖原始查询的高温采样,缺乏语义等价扰动
独立改写控制 (Same-Input) 0.8664 ± 0.0110 0.7453 ± 0.0087 对每组改写独立采样计算并求均值,缺乏混合对比
纯低温采样控制 (Low-T Only, T=0.1) 显著偏低 (< 0.72) 显著偏低 (< 0.65) 样本收敛过甚无法暴露不确定性
对齐预算基线测试 (N=13 Samples) 0.8346 ± 0.0170 (Deg) 0.7247 ± 0.0095 (Deg) 将基线采样增至13次,SURE 依然显著领先

风险-覆盖曲线表现 (AURC)

除了拒识 AUROC,论文在 SVAMP 和 Trivia-QA 上评估了 6 款文本 LLM 的风险-覆盖曲线下面积(AURC,数值越低代表选择性预测性能越优越,均值 ± 模型间标准差):

方法 SVAMP AURC (↓) Trivia-QA AURC (↓) 表现分析
DSE 0.1097 ± 0.0441 0.2244 ± 0.0577 传统硬聚类离散熵
SumEigV 0.1169 ± 0.0487 0.2209 ± 0.0560 邻接矩阵特征值和
Deg 0.1169 ± 0.0487 0.2209 ± 0.0562 负度矩阵迹
NumSet 0.1104 ± 0.0439 0.2230 ± 0.0596 离散相似度集合数
LexSim 0.1146 ± 0.0394 0.2126 ± 0.0574 词汇 ROUGE-L 重叠
KLE 0.1212 ± 0.0398 0.2176 ± 0.0619 冯·诺伊曼核熵
SNNE 0.1017 ± 0.0391 0.2328 ± 0.0535 最近邻软相似度
BiG-SURE (Ours) 0.0839 ± 0.0328 0.1975 ± 0.0520 双数据集全线最低风险

关键发现

  • 跨温度机制与输入等价增强构成了双核心驱动力:在消融中,去除等价改写会导致 Trivia-QA 的 AUROC 从 0.7533 骤降至 0.7072,去除高温探测则会使模型因输出极度收敛而完全丧失判别力;而将采样预算对齐至 13 次的基线实验证明,BiG-SURE 的提升源于二分架构设计,而非额外的采样开销。
  • 谱能量高度富集于主导奇异模态:Top-1 奇异值贡献了几乎全部的判据效用(Trivia-QA 上 0.7527 vs 0.7533),表明当模型输出可靠时,其语义响应在二分图上呈现出强烈的低秩单模态特征;一旦发生认知动摇,高阶散乱分量增加,主模态迅速溃散。
  • 温度敏感性展现出宽容的鲁棒区间:锚点温度在 \(T_L \in [0.1, 0.4]\) 范围内波动时,性能几乎保持水平直线;探测温度在 \(T_H \in [0.9, 1.2]\) 表现最优,当温度盲目提高至 \(2.0\) 时因引入纯粹的语法噪音而导致效果衰退。

亮点与洞察

  • 将连续谱能量等价转化为平方 Frobenius 范数:利用线性代数恒等式,将奇异值分解降解为二分邻接矩阵元素的平方均值计算,不仅严格保留了谱理论的数学公理保障,而且使得计算复杂度降低至毫秒级矩阵内积运算。
  • 以非对称二分图替代对称全连接图:打破了过去所有样本平等互评的思维定势,明确区分「基准参照」与「鲁棒探针」,不仅将 NLI 相似度开销降低了 70%,更从物理机制上模拟了控制理论中的基准响应测试。
  • 即插即用的跨模态与跨语言泛化范式:无论是面对多语言的提示词直译、还是视觉问答中的像素高斯模糊与空间仿射,只需调整探测侧的等价扰动发生器,即可零成本迁移至任意黑盒多模态架构。

局限与展望

  • 高度依赖自然语言推理后端判别质量:当 NLI 模型对多语言概念理解产生偏见(例如混淆日文的“每月一次”与“每年多次”),或对细粒度数值运算不敏感时,会传递错误的相似度打分。
  • 无法防御模型系统性假阳性一致错误:若模型在特定错误知识上形成了极其顽固的认知幻觉(在贪婪解码和高温扰动下均稳定输出相同的错误答案),BiG-SURE 依然会误判为高置信度。
  • 视觉盲区下的模态未解耦风险:在视觉问答中,二分图 NLI 后端目前仅能比对文本答案,无法反向验证生成词与输入图像区域之间的视觉对齐(Visual Grounding),未来需引入多模态成对一致性评估器。

相关工作与启发

  • vs 离散语义熵 (DSE, Farquhar et al., Nature 2024):DSE 基于单一固定温度的高温样本进行双向 NLI 阈值聚类并计算信息熵;BiG-SURE 引入低温锚点形成非对称二分图,无需任何离散聚类算法与截断阈值,计算更稳健且平均 AUROC 提升 3 到 5 个百分点。
  • vs 核语言熵 (KLE, Nikitin et al., NeurIPS 2024):KLE 构造全连接语义核矩阵并求解矩阵迹归一化的冯·诺伊曼熵,复杂度高达 \(\mathcal{O}(N^3)\);BiG-SURE 采用非对称 \(M \times N\) 矩阵平方能量,计算更轻量且彻底消除了固定温度下漂移放大的问题。
  • vs 图谱不确定性 (Deg / SumEigv, Lin et al., TMLR 2024):现有图方法构建对称响应图并提取图度数或最大特征值;BiG-SURE 将图拓扑改造为跨随机性二分图,用严谨的谱能量补数取代了启发式的图统计量。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次提出跨温度响应动态与二分图谱能量的不确定性量化范式,打破了固定温度聚类垄断。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 款主流文本 LLM、2 款多语言大模型及 3 款先进 VLM,横跨 7 大基准任务并提供严格的对齐预算消融与理论证明。
  • 写作质量: ⭐⭐⭐⭐⭐ 数学推导严谨优雅,图表表达直观,实验对比逻辑严密。
  • 价值: ⭐⭐⭐⭐⭐ 纯黑盒、无监督、无需调优,为大模型在医疗、法律与金融等安全关键场景的拒识部署提供了高可用方案。