Revealing Epistemic Uncertainty in MLLMs via Causal-Invariant Masking¶

会议: NeurIPS 2026
arXiv: 2610.02887
代码: https://github.com/Haoyang-Luo/CIM
领域: 其他
关键词: 多模态大模型、不确定性量化、认识不确定性、因果不变掩码、幻觉检测

一句话总结¶

针对多模态大模型不确定性量化偏向偶然不确定性而低估模型认知缺陷的问题，本文提出因果不变掩码（CIM）框架，通过度量原输入与因果聚焦视图间的语义散度（SD）并推导快速超球几何漂移（EED），实现了对认知不确定性的无偏解耦与高效幻觉检测。

研究背景与动机¶

多模态大语言模型（MLLMs）在视觉问答与复杂跨模态推理任务中取得了长足进展，但在实际部署中依然遭受严重的幻觉困扰——模型常常自信地生成语法通顺却脱离视觉事实的虚假回答。这种现象表明 MLLM 缺乏对其自身视觉感知与推理能力边界的内在自知，促使学术界将不确定性量化（Uncertainty Quantification, UQ）作为幻觉检测与系统拒答的核心代理机制。现有的 UQ 方法主要沿袭语言模型的预测分布熵或基于语义采样聚合的语义熵（Semantic Entropy, SE），通过聚合多轮采样输出的含义簇来度量语义层面的不确定度。

然而，现有采样与扰动 UQ 方法在面对多模态幻觉时呈现出明显的判别力瓶颈，尤其是当视觉输入中存在与查询无关但视觉显著的干扰元素时（例如背景中颜色鲜艳的物体或混淆文字），模型会在多次采样中稳定地依赖虚假关联做出相同错误，导致语义熵依然极低。这种失效的核心矛盾在于：不确定性本质上包含数据模糊性导致的偶然不确定性（Aleatoric Uncertainty）与模型能力缺陷导致的认知不确定性（Epistemic Uncertainty）。现有方法默认各类不确定性能被无差别估计，实际上极大偏向于量化输入模糊等偶然噪声，却无法捕获模型因感知能力局限而盲目依赖虚假关联所产生的认知不确定性。

本文的切入角度是因果不变性原理：一个具备可靠多模态推理能力的大模型，其预测在剥离与任务无关的非因果特征后应当保持语义不变；反之，若剔除无关背景后预测发生剧烈漂移，则暴露了模型对非因果虚假关联的内在脆弱性。核心 idea：通过因果保持的 RoI 掩码操作剔除非因果上下文，在能量模型框架下以原图与聚焦视图间的语义散度（Semantic Divergence）严格隔离认知不确定性，并利用嵌入超球几何距离构建无聚类的快速代理指标（EED），兼顾理论无偏性与工程推理效率。

方法详解¶

整体框架¶

本文提出的 Causal-Invariant Masking (CIM) 框架旨在将模型的内在认知不确定性从数据环境模糊性中解耦。整体流程包含两个并行或串行的视觉表征视图：原始输入视图与经因果不变变换生成的聚焦视图。对于输入图像与文本查询，首先通过轻量目标检测器识别与查询因果强相关的感兴趣区域（RoI）并进行裁剪过滤，滤除大量承载虚假背景特征的非因果变量；随后对比模型在原始全景视图与聚焦视图下的预测分布偏移，通过语义散度或嵌入漂移实现认知不确定性的显式量化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态输入<br/>图像 v + 文本查询 q"] --> B["因果掩码算子<br/>GroundingDINO 提取因果 RoI 并联合裁剪"]
    A --> C["原图分布采样<br/>生成候选响应序列并提取词嵌入"]
    B --> D["因果聚焦视图采样<br/>去除无关背景保留因果证据"]
    C --> E["认知不确定性量化：语义散度<br/>计算聚焦分布与原分布的 KL 散度"]
    D --> E
    C --> F["快速几何代理：期望嵌入漂移<br/>计算生成 Token 相对原语义均值的余弦漂移"]
    D --> F
    E --> G["综合不确定性输出<br/>线性插值偶然与认知得分，指导拒答与推理"]
    F --> G

关键设计¶

1. 因果掩码变换算子：解耦因果证据与虚假背景特征 现有扰动测试通常采用全局模糊或高斯噪声，这会无差别破坏图像内的因果证据与非因果证据，导致评估退化为偶然不确定性。CIM 假设视觉输入 $v$ 可划分为查询相关的因果变量 $v_c$ 与携带虚假关联的非因果变量 $v_s$。理想预测器应满足 $P(s|v_c, v_s) = P(s|v_c)$。为在不依赖模型预知因果分割的前提下构造因果视图，CIM 引入因果保持算子 $T(\cdot): \mathcal{V} \to \mathcal{V}$。实践中，利用 GroundingDINO 针对查询中的关键实体生成检测框，过滤掉覆盖全图超过 95% 的无效框，并对所有相关检测框取并集（Union Bounding Box）进行裁剪，得到聚焦视图 $v' = T(v)$。取并集裁剪既能最大限度剔除无关背景 $v_s$，又能完整保留多物体之间的相对空间关系与交互语境。

2. 语义散度：基于能量模型的认知不确定性严格隔离 为严格量化剔除非因果特征引起的信念偏移，定义语义散度（Semantic Divergence, SD）为聚焦视图预测分布与原分布之间的 KL 散度： $$ \mathcal{U}{\text{sem}}(v, q) = D $$ 在能量模型假设下，将输出分布建模为玻尔兹曼分布 }(P(s|v') \parallel P(s|v)) = \sum_{s \in \mathcal{S}} P(s|v') \log \frac{P(s|v')}{P(s|v)$P_\theta(s|v) = \frac{1}{Z(v)} e^{-E_\theta(s, v)}$，总能量加性分解为因果项 $E_c(s, v_c)$ 与非因果项 $E_s(s, v_s)$。由于因果算子保留了 $v_c$，因果能量项在对数似然比中完全对消（Aleatoric Cancellation）： $$ \log \frac{Q(s)}{P(s)} = \Delta_s(s) + \log \frac{Z(v)}{Z(v')} $$ 其中 $\Delta_s(s) = E_s(s, v_s) - E_s(s, v'_s)$。进一步证明可知，语义散度严格等价于指数函数的 Jensen 间隔，且在非因果能量偏移有界（$\sup |\Delta_s(s)| \leq \epsilon$）时收敛于非因果敏感度的方差： $$ \mathcal{U}{\text{sem}} = \frac{1}{2} \mathrm{Var}(\epsilon^3) $$ 这一理论保证了该指标仅对模型在非因果特征上的脆弱性敏感，彻底排除了因果证据模糊带来的偶然噪声干扰。}[\Delta_s(s)] + \mathcal{O

3. 期望嵌入漂移：超球连续几何空间的免聚类快速代理 尽管语义散度在理论上能够精确剥离认知不确定性，但其依赖离散的自然语言推理（NLI）多轮聚类，计算复杂度高达 $\mathcal{O}((K+K')^2)$。为解决这一延迟瓶颈，本文提出基于连续几何空间的期望嵌入漂移（Expected Embedding Drift, EED）。EED 假设 MLLM 的语义向量服从单位超球 $\mathbb{S}^{d-1}$ 上的 von Mises-Fisher (vMF) 分布。在自回归生成的每个时间步 $t$，首先计算原模型在词表上的概率加权期望语义中心： $$ \boldsymbol{\mu}{P, t} = \sum}} P(w | y_{<t}, v) \cdot \mathbf{ew $$ 随后度量聚焦视图生成的 Token 向量 $\mathbf{e}_{y_t}$ 与原期望中心的余弦漂移 $D_{\text{drift}}(y_t) = 1 - \cos(\mathbf{e}_{y_t}, \boldsymbol{\mu}_{P, t})$，并在采样序列上进行全局平均： $$ \mathcal{U}) $$ 论文从理论上严格证明，两组同浓度 vMF 分布的 KL 散度与均值方向余弦距离呈严格线性关系，使 }}(v, q) = \frac{1}{K'} \sum_{k=1}^{K'} \sum_{t=1}^{T_k} D_{\text{drift}}(y_t^{(K+k)$\mathcal{U}_{\text{EED}}$ 成为语义散度的一阶无偏估计，无需离散聚类模型即可将复杂度骤降至 $\mathcal{O}(K')$。

损失函数 / 训练策略¶

CIM 是一个完全免训练（Training-free）的不确定性量化框架，无需对 MLLM 底座权重进行任何微调或后训练。在推理时，设定总采样序列预算为 $K_{\text{total}} = 32$，分配为原图采样 $K=16$ 与聚焦视图采样 $K'=16$。由于原图采样的 $K=16$ 条序列可无需额外推理直接计算标准语义熵 $\mathcal{U}_{\text{SE}}$，最终输出采用凸组合插值以同时兼顾全量偶然不确定性与认知不确定性： $$ \mathcal{U}{\text{final}} = \lambda \mathcal{U} $$ 实验默认设定平衡系数 }, K'=16} + (1 - \lambda) \mathcal{U}_{\text{SE}, K=16$\lambda = 0.05$。

实验关键数据¶

主实验¶

在视觉问答基准（VQAv2, OKVQA, AdVQA）与目标幻觉评测基准（POPE）上评测不确定性量化效果，指标采用幻觉判别的 AUROC（%）与准确率-拒绝覆盖面积 AURAC（%）。

数据集	评测模型	指标	语义熵 (SE)	本文方法 (SD)	本文代理 (EED)	相对提升 (SD vs SE)
VQAv2	InternVL2-8B	AUROC	78.7	81.3	80.3	+2.6
VQAv2	Qwen2.5-VL-7B	AUROC	76.5	78.4	77.9	+1.9
OKVQA	InternVL2-8B	AUROC	80.6	81.8	80.9	+1.2
OKVQA	Qwen2.5-VL-7B	AUROC	78.6	79.6	79.3	+1.0
AdVQA	InternVL2-8B	AUROC	75.5	76.8	75.8	+1.3
AdVQA	Qwen2.5-VL-7B	AUROC	73.6	74.5	74.6	+0.9
POPE Adversarial	InternVL2-8B	AUROC	72.3	74.9	73.0	+2.6
POPE Adversarial	Qwen2.5-VL-7B	AUROC	63.0	64.5	78.6	+15.6 (EED)

消融实验¶

表 3 验证了因果裁剪算子相比于非因果破坏算子的优越性。为了清晰对比认知不确定性的纯度，表中同时报告了剔除辅助 SE 分数、仅使用纯语义散度的指标 $\text{AUROC}^{\text{epi}}$。

图像变换算子	VQAv2 (IVL) AUROC	VQAv2 (IVL) $\text{AUROC}^{\text{epi}}$	AdVQA (IVL) AUROC	AdVQA (IVL) $\text{AUROC}^{\text{epi}}$	GQA (IVL) AUROC	GQA (IVL) $\text{AUROC}^{\text{epi}}$	说明
Random Crop (随机裁剪)	80.2	70.3	75.7	61.4	77.9	61.0	无差别损坏因果与非因果信息
Reversed Crop (反向保留背景)	77.6	53.7	74.8	54.2	76.8	58.7	剥离前景强迫模型盲猜
GT RoI Crop (真实标注框裁剪)	–	–	–	–	80.3	72.1	标注真值因果裁剪
Ours RoI Crop (检测框裁剪)	81.3	76.8	76.8	70.6	79.9	73.3	本文检测并集因果裁剪

关键发现¶

在纯认知不确定性指标 $\text{AUROC}^{\text{epi}}$ 下，RoI Crop 相较于随机裁剪在 VQAv2 和 AdVQA 上带来了 6.5 至 9.2 个百分点的飞跃，证明常规随机扰动会严重钝化因果敏感度，必须通过定向因果保持来显式暴露模型缺陷。
反向裁剪（Reversed Crop）表现最差，说明仅向模型提供非因果背景会破坏推理针脚，使模型在混乱中输出不具参考性的分布，不能有效作为不确定性锚点。
EED 在 Qwen2.5-VL-7B 的 POPE 评测中表现极为优异（Adversarial split 达 78.6%，大幅领先 SD 的 64.5%）。分析表明 QwenVL 的解码概率分布极度尖锐，离散文本语义聚类易受边界扰动影响，而连续超球空间的余弦距离能更平滑、鲁棒地捕获漂移。
在计算效率方面，EED 完全省去了 NLI 文本聚类模型与两两推断开销，在 AdVQA 基准上将每个样本的推理延迟从 9.6s 降低至 4.8s（缩减约 50%）。

亮点与洞察¶

巧妙利用能量基模型与玻尔兹曼分布证明了似然比中的因果项对消引理，将语义散度严密对应到非因果能量敏感度的方差与 Jensen 间隔，赋予了直觉启发式扰动坚实的理论基石。
引入超球面 von Mises-Fisher 分布建立连续几何表征与 KL 散度的等价性映射，将耗时的离散 NLI 文本蕴含聚类转化为轻量级的 Token 余弦漂移计算，实现了近 50% 的延迟压减。
提出了基于不确定性的自适应分辨率推理与拒绝重答机制，不仅显著提升了模型在对抗性 VQA 上的正确率（AdVQA InternVL 正确率由 47.9% 提升至 51.1%），还使置信样本能在低分辨率下高效推理并降低计算负载。

局限与展望¶

严重依赖前端目标检测器对关键因果物体的召回能力；若问题涉及极其抽象的全局属性、计数或复杂空间隐喻，检测器可能出现漏检或回退至中心裁剪。
当查询涉及整幅图像的全局场景分类或极度分散的细粒度纹理时，因果 RoI 的并集框可能退化为接近全图，削弱因果过滤的对比效果。
后续研究可探索基于模型注意力特征的自适应可微掩码，避免外挂独立检测器，进一步向原生端到端架构收敛。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从因果不变性视角解耦 MLLM 的偶然与认知不确定性，并建立能量模型及超球几何的双重理论映射。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 个权威基准、2 个主流开源 MLLM、详实的消融对比（随机/反向/GT/噪声）、效率评测以及下游重答/自适应推理验证。
写作质量: ⭐⭐⭐⭐⭐ 叙述逻辑严密，数学推导完备自洽，从理论分析到轻量化工程落地的过渡自然流畅。
价值: ⭐⭐⭐⭐⭐ 为多模态可信部署与幻觉防御提供了理论与实用性兼备的关键工具，对自适应推理具有明确借鉴意义。