Uncertainty Quantification for Large Language Diffusion Models

会议: NeurIPS 2026
arXiv: 2605.14570
OpenReview: https://openreview.net/forum?id=fNNb0OstQs
代码: https://github.com/mbzuai-nlp/lldm-uq
领域: LLM 其他
关键词: 大语言扩散模型, 不确定性量化, 幻觉检测, 去噪轨迹, D-CoCoA

一句话总结

针对大语言扩散模型（LLDM）非自回归迭代去噪特性与传统自回归不确定性量化方法失配的困境，提出了首套利用去噪轨迹语义不稳定性、动态重掩码及计算复杂度的轻量免采样 UQ 框架，并设计了性能逼近昂贵采样基线且计算开销降低达两个数量级的 D-CoCoA 方法。

研究背景与动机

大语言扩散模型（Large Language Diffusion Models, LLDMs，如 LLaDA、Dream）作为自回归大语言模型的有力替代者迅速崛起。LLDM 打破了从左至右逐 token 因果解码的串行瓶颈，通过半自回归块状并行生成与迭代去噪机制，极大提高了长文本生成的并行度和推理速度。然而，与自回归语言模型类似，LLDM 在生成过程中极易产生幻觉（hallucinations）并输出看似连贯但事实错误的内容，因而在将其部署于高风险场景时，可靠的不确定性量化（Uncertainty Quantification, UQ）与选择性生成（Selective Generation）机制至关重要。

然而，现存的自回归 LLM 不确定性量化技术与扩散生成范式存在底层机制的根本错位。一方面，白盒信息类方法（如序列负对数似然、预测熵）严重依赖自回归链式法则的 token 级因果概率分解；而离散掩码扩散模型缺乏精确可计算的序列对数似然，仅能通过变分下界目标进行优化，导致直接提取的内部概率估计严重失真。另一方面，基于自洽性（Self-Consistency）和语义熵（Semantic Entropy）等黑盒采样 UQ 方法依赖反复多次独立完整采样以度量语义分散度，这类手段通常需要十余次甚至几十次前向推演，将推理开销放大了数十倍甚至上百倍，直接抵消了 LLDM 追求极端并行与高吞吐的核心效率优势。

针对这一核心矛盾，必须探索专属于离散扩散生成机制的无监督轻量信号：扩散模型生成过程本身就伴随着包含丰富演化信息的结构化去噪轨迹（denoising trajectory）、掩码变动动态以及早停前向步数，这些均内生地反映了模型对当前预测的置信程度。本文的核心 idea 是：将离散扩散逆过程的中间解码状态作为天然的“内部集成”轨迹，利用中间去噪状态与最终输出的语义漂移（理论证明其下界受控于训练目标损失）结合掩码对数似然与去噪复杂度，构建免除重复外部采样的极低开销高效不确定性量化方法 D-CoCoA。

方法详解

整体框架

本文构建了针对 LLDM 的全栈式不确定性量化方法体系。给定输入提示词 \(\mathbf{x}\)，LLDM 从全掩码状态 \(\mathbf{z}_T = (\mathbf{M}, \dots, \mathbf{M})\) 出发，经过 \(T\) 步离散逆向反演恢复最终文本 \(\mathbf{y} = \mathbf{z}_0\)。针对以往 UQ 方法在 LLDM 上失效的痛点，该框架首先提取三类扩散特异性信号：(1) 结合蒙特卡洛采样的掩码负对数似然估计（MCNLL）；(2) 去噪轨迹统计量（函数评估次数 NFE、重掩码数量 Remask、预测翻转计数 FlipCount 等）；(3) 中间状态与终态的去噪轨迹语义不稳定性（Average Dissimilarity, AD）。随后，框架改进了自回归前沿的 CoCoA 算法，提出融合扩散局部置信度与块轨迹漂移的 D-CoCoA-L，以及融合全局序列似然代理、全轨迹漂移与函数调用复杂度惩罚的 D-CoCoA-G。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入提示词 x 与 LLDM 离散逆向去噪过程"] --> B["蒙特卡洛掩码负对数似然 MCNLL<br/>变分上界代理序列对数似然"]
    A --> C["去噪轨迹统计与动态分析<br/>NFE 复杂度 / Remask / FlipCount"]
    A --> D["去噪轨迹语义不稳定性 AD<br/>中间 argmax 解码状态与终态语义差异"]
    B --> E["D-CoCoA 扩散适配不确定性框架<br/>双重粒度乘性融合机制"]
    C --> E
    D --> E
    E --> F["输出选择性生成决策与置信度评分<br/>低计算开销识别幻觉输出"]

关键设计

1. 蒙特卡洛掩码负对数似然估计（MCNLL）：变分序列负对数似然代理

传统自回归 UQ 直接连乘因果条件概率 \(P(\mathbf{y}\mid\mathbf{x}) = \prod_{l=1}^L p(y_l \mid \mathbf{y}_{<l}, \mathbf{x})\)，而在离散掩码扩散中，任意时刻未掩码位置作为条件输入，直接求和预测难以反映真实的联合序列似然。为此，本文采用蒙特卡洛离散掩码近似器（MCNLL）来逼近变分上界。给定生成文本 \(\mathbf{y}\)，每次从 \(\{1, \dots, |\mathbf{y}|\}\) 中均匀采样 \(l_m\) 个 token 位置进行无放回随机掩码得到损坏状态 \(\mathbf{z}_t\)，重复 \(N_{mc}\) 次独立估计：

\[\mathbf{u}_{\mathrm{MCNLL}}(\mathbf{x}, \mathbf{y}) = -\frac{1}{N_{mc}} \sum_{m=1}^{N_{mc}} \frac{|\mathbf{y}|}{l_m} \sum_{i=1}^{|\mathbf{y}|} \mathbf{1}[z_{t,i} = \mathbf{M}] \log p_\theta(y_i \mid \mathbf{x}, \mathbf{z}_t)\]

为消除生成序列长度带来的固有分布偏差，进一步定义归一化版本 \(\mathbf{u}_{\mathrm{MCNLL}}^{\mathrm{norm}}(\mathbf{x}, \mathbf{y}) = \mathbf{u}_{\mathrm{MCNLL}}(\mathbf{x}, \mathbf{y}) / |\mathbf{y}|\)。该代理似然使得所有依赖序列概率的基础 UQ 方法（如基于熵和似然排序的方法）能够直接迁移至扩散模型中。

2. 去噪轨迹统计与动态分析：无额外模型开销的生成复杂度探测

扩散去噪过程中隐藏着丰富的内部动力学特征。首先，半自回归模型采用置信度阈值判定何时提前停止或跳过无难度的去噪步，实际执行的函数评估次数（Number of Function Evaluations, NFE）记为 \(\mathbf{u}_{\mathrm{NFE}}(\mathbf{x}, \mathbf{y}) = T(\mathbf{y})\)，NFE 越大直观反映了模型在收敛时面临更高的生成难度与震荡；其次，记录在每步被撤销确认并重新打回掩码状态的 token 集合 \(\mathcal{R}_t\)，其时间均值 \(\mathbf{u}_{\mathrm{Remask}}(\mathbf{x}, \mathbf{y}) = \frac{1}{T} \sum_{t=1}^T |\mathcal{R}_t|\) 直接刻画了 token 级别的置信摇摆；第三，定义相邻步贪婪预测的翻转频次 \(\mathbf{u}_{\mathrm{FlipCount}}\) 以监控解空间振荡。此外，在 token 首次固定解封的离散步 \(t_k\) 提取提交置信度 \(\mathbf{u}_{\mathrm{CommitNLL}}\)，度量模型在不可逆抉择时刻的局部概率强度。这些指标完全派生于一次正常生成的上下文日志，计算开销近乎为零。

3. 去噪轨迹语义不稳定性（AD）：有理论保证的零采样语义一致性指标

黑盒自洽性 UQ 依赖昂贵的多样本反复生成与交叉对比，而本文证明 LLDM 在单个生成样本的内部逆向去噪轨迹中就自带有天然的“演化假说集合”。定义中间状态 \(\tilde{\mathbf{y}}_t\) 为第 \(t\) 步沿词表对所有未决位置做贪婪 argmax 解码得到的文本，计算其与最终输出 \(\mathbf{y}\) 的语义相异度 \(D(\tilde{\mathbf{y}}_t, \mathbf{y})\)（采用预训练跨编码器或自然语言推理 NLI 模型度量）。由此得到平均相异度：

\[\mathbf{u}_{\mathrm{AD}}(\mathbf{x}, \mathbf{y}) = \frac{1}{T} \sum_{t=1}^T D(\tilde{\mathbf{y}}_t, \mathbf{y})\]

论文给出了严格的理论奠基（Theorem 1）：在模型满足校准（Fisher 一致性）且相异度函数指示语义不一致的理想条件下，期望轨迹相异度严格构成了离散掩码扩散训练损失 \(\mathcal{L}(\theta)\) 的下界，即 \(\mathbb{E}_{(\mathbf{x}, \mathbf{y})\sim p_{\mathrm{data}}} [\mathbf{u}_{\mathrm{AD}}(\mathbf{x}, \mathbf{y})] \le \mathcal{L}(\theta)\)。这意味着轨迹语义漂移直接绑定了模型的预期预测风险。为惩罚慢收敛并对早期语义迷茫施加更大惩罚，论文还推导出带时间权重的递进相异度 \(\mathbf{u}_{\mathrm{AD}}^{\mathrm{prog}}(\mathbf{x}, \mathbf{y}) = \frac{1}{T} \sum_{t=1}^T \frac{t}{T} D(\tilde{\mathbf{y}}_t, \mathbf{y})\)，该项在理论上同样被离散损失严格上界控制。

4. D-CoCoA 扩散适配不确定性框架：兼顾局部与全局的轻量化双重设计

结合经典最小贝叶斯风险（MBR）理论下的 CoCoA 范式，论文构建了融合置信度与一致性的乘性扩散专用 UQ 框架。针对长短文本及不同局部控制粒度，定制了两个互补变体： - 局部版本（D-CoCoA-L）：关注 token 与局部块（block）的即时置信度与漂移。利用最终提交似然 \(\mathbf{u}_{\mathrm{CommitNLL}}\) 与分块独立轨迹语义相异度 \(\mathbf{u}_{\mathrm{AD\text{-}Block}}\) 的乘积评估： $\(\mathbf{u}_{\mathrm{D\text{-}CoCoA\text{-}L}}(\mathbf{x}, \mathbf{y}) = \mathbf{u}_{\mathrm{CommitNLL}}(\mathbf{x}, \mathbf{y}) \cdot \mathbf{u}_{\mathrm{AD\text{-}Block}}(\mathbf{x}, \mathbf{y})\)$ - 全局版本（D-CoCoA-G）：针对整篇全局序列，将长度归一化的全局似然代理 \(\mathbf{u}_{\mathrm{MCNLL}}^{\mathrm{norm}}\) 与全局全轨迹漂移 \(\mathbf{u}_{\mathrm{AD\text{-}Full}}\) 结合，并额外引入前向计算复杂度 NFE 施加全局探索代价惩罚： $\(\mathbf{u}_{\mathrm{D\text{-}CoCoA\text{-}G}}(\mathbf{x}, \mathbf{y}) = \mathbf{u}_{\mathrm{MCNLL}}^{\mathrm{norm}}(\mathbf{x}, \mathbf{y}) \cdot \left(\mathbf{u}_{\mathrm{NFE}}(\mathbf{x}, \mathbf{y}) \cdot \mathbf{u}_{\mathrm{AD\text{-}Full}}(\mathbf{x}, \mathbf{y})\right)\)$

损失函数 / 训练策略

作为完全无监督（Unsupervised / Zero-Shot）的推断期 UQ 评估体系，本文提出的方法无需微调或训练任何额外的分类器探测头。其理论基础直接锚定于离散掩码语言扩散模型的标准交叉熵去噪重构损失：

\[\mathcal{L}(\theta) = -\mathbb{E}_{t, \mathbf{x}, \mathbf{y}, \mathbf{z}_t} \left[ \frac{1}{t} \sum_{i=1}^{|\mathbf{y}|} \mathbf{1}[z_{t,i} = \mathbf{M}] \log p_\theta(y_i \mid \mathbf{z}_t, \mathbf{x}) \right]\]

在推断阶段，仅需在生成主干去噪循环中缓存每步的隐式分布与 argmax 解码结果即可，对计算图无任何侵入式反向传播要求。

实验关键数据

主实验

评估在八个权威基准（涵盖问答 MMLU/TriviaQA/CoQA/GSM8k、摘要 XSum/SamSum、机器翻译 WMT14/WMT19）上展开，测试骨干包括 LLaDA-7B-v1.5 与 Dream-7B。核心评估指标为预测拒绝比（Prediction Rejection Ratio, PRR，衡量选择性生成中拒绝不确定输出后保留样本的质量提升，上限为 1，随机为 0）以及推理附加上下文耗时（Overhead Runtime）。

下表展示了 LLaDA-7B-v1.5 模型在全任务上的 PRR 对比（精选经典自回归 baseline、扩散特异性 baseline 与本文提出的 D-CoCoA 系列）：

UQ 方法	类别	XSum	SamSum	WMT14	WMT19	CoQA	TriviaQA	MMLU	GSM8k	平均 PRR \(\uparrow\)
MSP	自回归白盒	-0.07	0.11	0.20	0.16	-0.02	0.05	0.34	0.09	0.11
SemanticEntropy	自回归黑盒采样	-0.04	0.15	0.35	0.36	0.04	0.11	0.42	0.13	0.19
SAR	自回归黑盒采样	0.07	0.21	0.43	0.46	0.20	0.46	0.42	0.16	0.30
KLE	自回归黑盒采样	0.22	0.24	0.44	0.48	0.27	0.60	0.43	0.17	0.36
TAD	监督内部状态	0.20	0.38	0.54	0.51	0.14	0.51	0.34	0.35	0.37
MCNLL	扩散似然代理	0.17	0.18	0.29	0.32	0.24	0.31	0.35	0.23	0.26
NFE	扩散步数统计	0.15	0.17	0.31	0.31	0.22	0.18	0.02	0.29	0.21
AD-Full	扩散去噪语义漂移	0.09	0.22	0.25	0.36	0.29	0.39	-0.05	0.03	0.20
CoCoA-MCNLL	昂贵外部采样融合	0.23	0.21	0.51	0.57	0.31	0.50	0.41	0.28	0.38
D-CoCoA-G (本文)	扩散轻量无采样融合	0.21	0.26	0.42	0.53	0.32	0.36	0.35	0.19	0.33
D-CoCoA-L (本文)	扩散轻量无采样融合	0.22	0.23	0.41	0.48	0.28	0.53	0.46	0.23	0.35

在计算开销方面，D-CoCoA-L 的额外延迟比昂贵采样类方法（如 CoCoA-MCNLL 和 KLE）低约 100 倍，但在 PRR 表现上仅相差约 1-3 个百分点，实现了极高性价比的帕累托最优前沿。

消融实验

针对 D-CoCoA 框架的核心模块构成，在 LLaDA-7B-v1.5 上对似然来源、轨迹汇聚策略以及 NFE 引入机制进行了系统消融（均值 PRR）：

消融配置	变体设计说明	平均 PRR	相对默认基准变化
D-CoCoA-G (默认)	MCNLL-Norm + Full Trajectory AD + NFE	0.33	完整模型基准
w/ TrajNLL 替换似然	将全局 MCNLL 替换为去噪轨迹平均负对数似然	0.31	-0.02
w/ TrajEntropy 替换似然	将似然替换为轨迹预测熵	0.31	-0.02
w/o NFE 惩罚	移除全局函数评估次数复杂度因子项	0.31	-0.02
w/ Block 汇聚	全局改为分块独立计算轨迹差异	0.31	-0.02
D-CoCoA-L (默认)	CommitNLL + Block-wise AD	0.35	完整模型基准
w/ TrajNLL 替换局部似然	局部提交概率换为轨迹平均负对数似然	0.25	-0.10
w/ Full Trajectory 替换局部轨迹	局部块差异换为跨整篇全局轨迹差异	0.34	-0.01
w/ 额外添加 NFE	在局部指标上强行引入全局步数惩罚	0.33	-0.02

关键发现

• 去噪轨迹漂移是极具信息量的零采样替代品：单纯依赖生成轨迹内部中间状态的语义差异度量（AD-Full），在无需多次独立前向生成的情况下即可取得 0.20 的 PRR，远超传统自回归的内部最大 softmax 概率（MSP 0.11）。
• 外部多重采样在扩散模型上性价比极低：虽然包含多样本采样的 CoCoA-MCNLL 取得最高平均分（0.38），但其耗费了超过原本生成过程几十倍的时延。相比之下，免额外采样的 D-CoCoA-L 仅靠单次生成内的去噪轨迹就达到了 0.35 的 PRR，兼顾了精准与实时性。
• 局部与全局设计的互补性：局部版本 D-CoCoA-L 在问答任务（TriviaQA 0.53, MMLU 0.46）上大幅超越全局版，这是因为答案短且局部锁定精确；而全局版本 D-CoCoA-G 在长文本机器翻译与摘要（WMT19 0.53, SamSum 0.26）上表现更稳健，验证了全轨迹语义度量对长程连贯性的捕捉能力。

亮点与洞察

• 将逆向去噪轨迹升格为“演化假说集合”：摆脱了以往黑盒 UQ 必须显式多次调用的思维定势，巧妙地将扩散模型 \(T\) 步去噪的中间解空间直接用作自洽性度量的对比基底，构思极为契合扩散模型机理。
• 定理严格界定相异度与重构损失的关系：通过理论证明（Theorem 1）确立了期望轨迹语义差异是离散扩散交叉熵损失的下界，给看似经验主义的“轨迹语义一致性”提供了坚实的泛化误差上界解释。
• 对生成复杂度的无缝映射：将非定长步数机制中的步数 NFE 作为“困难度惩罚”引入 UQ，天然将动态计算量转化为认知不确定性的代理变量，对其他自适应步数扩散架构具有直接迁移价值。

局限与展望

• 依赖单步生成任务时的信号退化：作者指出对于诸如 MMLU 这种单步即收敛或分类选项生成，轨迹仅含一个离散步（\(T=1\)），此时基于步数的 NFE 和轨迹漂移 AD 失去区分度，导致在单步任务上表现受限。
• 语义相异度函数引入的外部评估延迟：尽管免去了骨干 LLDM 的昂贵采样，但 AD 计算依然需要 RoBERTa 交叉编码器或 NLI 分类器前向计算，未来可探索完全内生化的自注意力相似度以进一步压缩开销。
• 连续语义距离与离散指示函数的理论间隙：Theorem 1 依赖指示函数理想假设，实际应用中使用的是连续语义嵌入距离，进一步填补实际语义打分与理论下界之间的严格松弛边界是值得深入的理论方向。

相关工作与启发

• vs 传统自回归自洽性方法（Semantic Entropy / SAR / CoCoA）：传统方法通过多次温度采样生成 \(M\) 个完整序列并计算聚类熵或加权散度，计算量呈 \(O(M)\) 倍暴增；本文直接挖掘单次去噪过程内部的 \(T\) 步轨迹，以 \(O(1)\) 骨干前向开销逼近了采样级表现。
• vs 监督式内部状态探测（LookBackLens / SAPLMA / TAD）：监督探测头依赖特定任务分布的数据训练分类器，迁移至新任务时泛化性能严重退化；本文提出的所有统计量与 D-CoCoA 系列完全属于无监督/零样本方法，无需标注与微调。
• vs 图像扩散 UQ 方法（Jazbec et al.）：连续空间高斯扩散直接在连续隐空间通过方差或分数函数梯度估计不确定性；而离散语言扩散状态为离散 token 分布，本文通过 argmax 离散映射与语义编码器成功跨越了离散文本非连续且非线性的语义鸿沟。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次系统性开拓了大语言扩散模型（LLDM）专属的不确定性量化问题，并挖掘了去噪轨迹演化与复杂度信号。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖两大开源 7B 扩散骨干、8 项横跨 QA/摘要/翻译任务基准、数十种基线方法及完整的帕累托效率曲线对比。
• 写作质量: ⭐⭐⭐⭐⭐ 数学形式化推导严密完整，图表详实直观，逻辑链条层层递进。
• 价值: ⭐⭐⭐⭐⭐ 为 LLDM 在工业高可靠性场景落地扫清了幻觉难以低成本拦截的重大障碍。

相关论文

• [ACL 2026] Clustered Self-Assessment: A Simple yet Effective Method for Uncertainty Quantification in Large Language Models
• [NeurIPS 2026] Training Optimal Large Diffusion Language Models
• [ACL 2025] Revisiting Uncertainty Quantification Evaluation in Language Models: Spurious Interactions with Response Length Bias Results
• [NeurIPS 2026] Diffusion-State Policy Optimization for Masked Diffusion Language Models
• [NeurIPS 2026] TUBE: Tangent Upper Bound on Evidence for Discrete Diffusion Language Models