Unmasking-Time Visual Calibration for Hallucination Mitigation in Multimodal Discrete Diffusion Language Models¶

会议: ECCV 2026
论文: ECCV 官方页面
代码: https://github.com/THU-BPM/UVC
领域: 多模态VLM / 幻觉缓解
关键词: 多模态离散扩散模型、幻觉缓解、特征激活校准、无训练推理优化、注意力头筛选

一句话总结¶

针对多模态离散扩散语言模型（dLLM）在双向去掩码生成中易受语言先验主导而产生物体幻觉的问题，本文提出无训练、零额外推理前向开销的去掩码期视觉校准框架（UVC），通过离线提取多粒度对比激活漂移向量与 AUC 注意力头筛选，在在线去掩码时对未揭开的掩码位置精准注入视觉校准信号，大幅降低幻觉率。

研究背景与动机¶

大型视觉语言模型（LVLMs）通常采用自回归（AR）从左至右的自回归解码范式。尽管取得了显著成功，AR 架构受限于对语言先验统计共现的过度依赖以及自回归误差链式滚雪球放大效应，频繁产生视觉上不存在的物体、属性或关系幻觉。近期兴起的多模态离散扩散语言模型（multimodal dLLMs，如基于 LLaDA 的 Lumina-DiMOO 和 MMaDA）以掩码扩散为基石，通过双向自注意力与迭代去掩码（iterative demasking）进行并行文本生成。这种双向机制赋予每个 token 全局视野，避免了单向误差累积，但同时带来了全新的结构性脆弱：初始全掩码状态的长度和掩码配置会自第一步起直接影响全序列的隐状态，导致整个表示空间同时弥漫性地偏向语言先验分布。

然而，现有的自回归幻觉缓解技术根本无法平移至多模态离散扩散模型中。经典对比解码方法（如 VCD）需要在每个生成步同时运行退化视觉输入的额外前向传递，推理延迟直接翻倍；更致命的是，离散扩散模型基于置信度的并行去掩码策略会导致干净图像与退化图像在各步解除掩码的 token 集合和生成轨迹发生剧烈漂移（实验实测高达 84.7% 的位置解掩码步完全错位），使单步对比对齐假设彻底失效。此外，依赖单向因果前缀注意力的惩罚机制（如 OPERA）或基于序列依赖的训练对齐方法，在双向并行解掩码中均缺乏对应结构。

面对上述两难，本文从模型内部激活表征的可编辑性切入：模型内部注意力头的激活状态编码了丰富的事实关联与视觉感知特征，无需重新微调或在推理时引入昂贵的并行前向计算，即可通过方向性特征引导将偏离的激活拉回视觉真实基准。其关键破局点在于必须适应离散扩散的动态生成特性——校准必须是步骤对齐且感知掩码状态的（mask-aware），即仅对当前步骤尚未解码的掩码位置注入校准，保护已确定的语义。核心 idea：通过离线构建全局与实例级多粒度退化对比对，提取注意力头激活偏移向量并基于 AUC 筛选出高视觉敏感头，在推理去掩码各步仅向未揭开的掩码位置注入预计算校准向量，实现零额外前向开销的原生幻觉消除。

方法详解¶

整体框架¶

UVC（Unmasking-Time Visual Calibration）是一个专为多模态离散扩散语言模型设计的无训练幻觉缓解框架。其核心思想是将昂贵的视觉对比计算与敏感特征头定位解耦到离线阶段，而在在线推理时以极轻量的常数向量加法直接修正未揭开掩码位置的隐状态。整个架构划分为三个递进阶段： 1. 对比激活漂移提取（Contrastive Activation Shift Extraction，离线）：通过前向高斯扩散退化分别构造全图尺度的全局退化对与边界框局部的实例退化对，提取模型在各个注意力头输出投影前的掩码平均激活向量差值，捕获视觉信息丢失时的激活漂移方向； 2. 多粒度注意力头筛选（Head Selection，离线）：为每个注意力头训练轻量级逻辑回归分类器，根据二分类交叉验证 AUC 评判其区分干净与退化特征的敏感度，分别筛选出排名前 $K$ 的全局感知头与实例感知头； 3. 感知掩码的在线干预（Mask-aware Intervention，在线）：在离散扩散迭代去掩码推演中，在每个步骤 $s$ 的多头注意力输出投影前，仅对当前属于掩码集合 $\Omega_s$ 的 token 位置注入缩放后的预计算漂移向量，未掩码位置保持原样，无需二次前向传播。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    subgraph OfflinePrep["离线准备阶段"]
        direction TB
        A["图像样本与多粒度退化构造<br/>全局高斯噪声 / 目标框实例噪声"] --> B["对比激活漂移提取<br/>提取MHA输出投影前掩码平均激活差"]
        B --> C["注意力头筛选<br/>2折交叉验证AUC评定敏感头 Top-K"]
    end
    subgraph OnlineInference["在线去掩码推演"]
        direction TB
        D["输入图像 V + 提示词 X + 初始全掩码 M"] --> E["第 s 步双向注意力前向传播"]
        C -.->|注入预计算偏移向量 S| F["感知掩码的在线干预<br/>仅对未解掩码位置 t in Ω_s 注入校准"]
        E --> F
        F --> G["投影至残差流与词表 Logits 预测"]
        G --> H{"当前置信度最高的掩码揭开<br/>更新掩码集合 Ω_{s+1}"}
        H -- 未完全揭开 --> E
        H -- 达到终止步 S --> I["输出忠实无幻觉回复"]
    end
    OfflinePrep --> OnlineInference

关键设计¶

1. 多粒度对比激活漂移提取：分离粗粒度布局与细粒度属性特征
为了提取对抗语言先验的矫正方向，必须明确视觉表征受损时的表征畸变。由于全图退化会破坏全局场景布局但容易忽略单个局部物体的细微属性（如颜色、部件），而单一局部退化又无法捕获全局上下文拓扑，UVC 在 COCO 训练集上分别构建全局退化与实例退化对比对。对于全局对比，输入完整图像 $V_i$ 与加入高斯扩散噪声打乱空间结构但保留局部低频的退化图 $V_i'$；对于实例对比，根据 Ground-Truth Bounding Box 仅对目标物体区域 $O_i$ 施加高斯噪声生成局部退化图 $V_i''$。模型在前向传播中，通过注册在 MHA 输出投影矩阵 $W_{o,h}^{(l)}$ 前的 forward pre-hook，抓取第 $l$ 层第 $h$ 个注意力头在掩码位置上的平均激活向量： $$ \mathbf{a}^{(i)}{c}(l,h) = \frac{1}{|\Omega_i|}\sum} $$ 随后，分别在 }\mathbf{h}^{(i)}_{c,t}(l,h),\quad c\in{\text{clean}, \text{glob}, \text{inst$n$ 个对比样本上计算干净样本与退化样本的均值差，从而得到全局激活漂移向量 $\mathbf{S}_{\text{glob}}^{(l,h)}$ 与实例激活漂移向量 $\mathbf{S}_{\text{inst}}^{(l,h)}$。该偏移向量显式指明了隐状态从视觉匮乏回归到视觉扎实的几何方向。

2. 基于 AUC 的注意力头筛选：解耦感知分工与稀疏化干预空间
在标准多头自注意力机制中，全模型包含 $L \times H$ 个头，但大量头专注于文本语法解析、局部位置标定或标点处理，对视觉线索漠不关心；若对所有头无差别注入漂移向量，反而会严重损伤语言模型的自然表达能力与语法连贯性。UVC 为每个头独立拟合轻量级二分类逻辑回归模型，以掩码平均激活向量作为输入，预测该表征属于干净图像还是退化图像。使用 2 折交叉验证计算每个头的 ROC-AUC 分数并以此排序，分别截取 Top-$K$ 得到全局敏感头集合 $\mathcal{S}_{\text{glob}}$ 和实例敏感头集合 $\mathcal{S}_{\text{inst}}$。实验表明这两个集合呈现显著的层次解耦特性：全局头主要集中在第 14 至 20 层的中层（负责空间关系与大体布局整合），而实例头主要聚集在第 21 至 26 层的深层（负责细粒度属性提炼）。这种稀疏筛选使得干预范围收敛到极少数关键头（至多 $2K$ 个），大幅规避了对无关语义特征的负面干扰。

3. 感知掩码的在线干预：精准作用于未确定 token 且零额外前向计算
在 dLLM 生成时，掩码集合 $\Omega_s$ 随解掩码步数动态衰减。若盲目修改全序列激活，已被模型高置信揭开确定的 token 就会遭受破坏，引发生僻词突变与语义漂移。UVC 提出了感知掩码位置的动态注入法则：仅当位置 $t \in \Omega_s$ 时指示函数才为 1，校准向量直接叠加在自注意力输出 $\mathbf{o}_{h,t}^{(l)}$ 之上，并经投影矩阵融入残差连接： $$ \mathbf{H}t^{(l+1)} = \mathbf{H}t^{(l)} + \sum}^{H}\Bigl(\mathbf{o}^{(l)} + \mathbb{I{\text{glob},h,t}^{(l,s)}\,\lambda}}\,\mathbf{S{\text{glob}}^{(l,h)} + \mathbb{I}},h,t}^{(l,s)}\,\lambda_{\text{inst}}\,\mathbf{S{\text{inst}}^{(l,h)}\Bigr)\mathbf{W} $$ 由于 }^{(l)$\mathbf{S}_{\text{glob}}$ 与 $\mathbf{S}_{\text{inst}}$ 为离线预计算的静态向量，在推理时仅需执行一次微不足道的张量原位加法，完全省去了对比解码的二次前向计算，推理时延开销低于 1%。随着解码推进，未确定掩码逐步缩减，校准能量自动高度聚焦于最易被语言先验带偏的不确定性候选位。

一个完整示例¶

以判断图片中是否存在盆栽植物（Potted plant）为例： - Vanilla 模型：在第 1 步去掩码时，模型在双向先验与全掩码噪声驱动下，直接以较高置信度解出了末尾标点 . (conf=0.790) 与否定词 No (conf=0.562)；后续由于双向注意力的牵引，为了迁就 No 却在后文描述了 there is a potted plant on the bathroom shelf，造成典型的自相矛盾幻觉。 - UVC 校准模型：在第 1 步，未解掩码位置被注入视觉增强的激活漂移向量，促使中间层与深层的感知头强力检索架子上的叶片纹理与花盆边界。第 1 步模型解出的核心词为 plant (conf=0.771) 和 a (conf=0.596)；后续去掩码在此坚实视觉锚点约束下平稳推进，最终准确生成 Yes, there is a potted plant in the middle of the image.，彻底消除了否定偏差与幻觉。

实验关键数据¶

主实验¶

在标准物体存在性判别基准 POPE 上，测试涵盖 MS COCO、GQA 与 A-OKVQA 三大数据源，并在每个数据集上测试 Random（随机采样）、Popular（高频词干扰）与 Adversarial（共现对抗）三种拆分，共计 27,000 个测试问答对。对比基线包括 Vanilla、UVC-Global、UVC-Instance 以及融合两者的 UVC-Both。

模型	数据集与拆分	Vanilla Acc	Vanilla F1	UVC-Global F1	UVC-Instance F1	UVC-Both Acc (增益 $\Delta A$)	UVC-Both F1 (增益 $\Delta F$)
MMaDA	COCO Random	66.57	74.81	83.24	81.22	79.83 (+13.26)	82.16 (+7.35)
MMaDA	COCO Popular	61.73	72.10	81.06	79.85	76.40 (+14.67)	80.21 (+8.11)
MMaDA	COCO Adversarial	58.00	70.24	76.54	75.40	71.57 (+13.57)	75.79 (+5.55)
MMaDA	GQA Random	64.53	73.75	83.64	80.73	75.17 (+10.64)	82.81 (+9.06)
MMaDA	GQA Popular	61.53	72.04	79.14	79.51	70.30 (+8.77)	80.77 (+8.73)
MMaDA	GQA Adversarial	58.13	70.29	75.80	75.36	68.50 (+10.37)	76.21 (+5.92)
MMaDA	A-OKVQA Random	63.23	73.06	82.44	79.63	77.33 (+14.10)	81.03 (+7.97)
MMaDA	A-OKVQA Popular	60.03	71.29	78.88	78.79	74.27 (+14.24)	79.94 (+8.65)
MMaDA	A-OKVQA Adversarial	56.13	69.34	73.12	74.04	69.80 (+13.67)	74.54 (+5.20)
Lumina-DiMOO	COCO Random	73.70	64.95	70.72	68.88	78.40 (+4.70)	73.74 (+8.79)
Lumina-DiMOO	COCO Popular	73.47	64.75	70.55	68.67	78.00 (+4.53)	73.39 (+8.64)
Lumina-DiMOO	COCO Adversarial	72.37	63.81	69.27	67.45	75.50 (+3.13)	71.48 (+7.67)
Lumina-DiMOO	GQA Random	75.20	68.45	71.82	72.01	79.00 (+3.80)	75.79 (+7.34)
Lumina-DiMOO	GQA Popular	71.20	65.13	69.99	68.27	73.73 (+2.53)	71.41 (+6.28)
Lumina-DiMOO	GQA Adversarial	70.27	64.26	69.41	67.59	73.10 (+2.83)	71.17 (+6.91)
Lumina-DiMOO	A-OKVQA Random	78.20	73.15	77.96	76.02	81.90 (+3.70)	79.73 (+6.58)
Lumina-DiMOO	A-OKVQA Popular	76.87	71.97	75.25	74.80	80.03 (+3.16)	77.97 (+6.00)
Lumina-DiMOO	A-OKVQA Adversarial	73.73	69.41	74.30	72.86	75.80 (+2.07)	74.47 (+5.06)

消融实验与分析¶

在开放式图像描述任务上，采用 500 张 COCO 2014 验证集图像评测 CHAIR 指标（包含实例级 $C_S$ 与句子级 $C_I$，越低越好），生成配置为最大 128 tokens 与 64 步去掩码；同时在不同序列长度和步数配置 $(N_m, S)$ 下对推理延迟进行消融对比。

模型	变体配置	$C_S$ (实例级) $\downarrow$	$C_I$ (句子级) $\downarrow$	平均生成长度 (Avg Len)	相对降幻觉幅度说明
Lumina-DiMOO	Vanilla 基线	37.40	18.14	126.1	基线状态，语言先验过度泛滥
Lumina-DiMOO	UVC-Both	21.40	12.13	125.4	$C_S$ 相对下降 42.8%，$C_I$ 相对下降 33.1%，长度基本无损
MMaDA	Vanilla 基线	35.20	15.21	62.1	基线状态
MMaDA	UVC-Both	15.40	8.78	63.1	$C_S$ 相对下降 56.3%，$C_I$ 相对下降 42.3%，无长度抑制

推理延迟与额外计算开销实测：

评估模型	掩码长度与步数配置 $(N_m, S)$	Vanilla 耗时 (ms)	UVC-Both 耗时 (ms)	相对减速比 (Slowdown)
Lumina-DiMOO	(16, 8)	6552	6560	1.00× (无额外开销)
Lumina-DiMOO	(64, 32)	26610	26696	1.00× (无额外开销)
Lumina-DiMOO	(128, 64)	55118	55445	1.01× (开销 < 1%)
MMaDA	(16, 8)	2094	2116	1.01× (开销 < 1%)
MMaDA	(64, 32)	4247	4295	1.01× (开销 < 1%)
MMaDA	(128, 64)	9118	9206	1.01× (开销 < 1%)

关键发现¶

两级粒度具有明显的功能互补性：在 MME 感知总分上，UVC-Both 分别将 Lumina-DiMOO 提升至 475.00（+50.00 分），将 MMaDA 提升至 546.67（+53.34 分）。UVC-Global 显著修复了全局空间方位错误（在 Lumina 上 Position 提升 22.2%），而 UVC-Instance 大幅削减了个体存在性与计数误差（在 MMaDA 上 Count 提升 46.5%）。
去掩码轨迹漂移揭示了 AR 对比解码在扩散模型上的失效机理：对 500 张图像的去掩码步数分析证实，模糊退化输入与原图输入的未掩码集合 Jaccard 相似度在前几步便迅速归零，84.7% 的位置解掩码步骤发生错位。这一发现从根本上否定了在 dLLM 中套用自回归双路对比解码的可行性。
超参数敏感度低且显著优于随机头：超参数网格搜索表明，干预强度 $\lambda$ 在大范围测试内均表现出高 F1 收益，最佳头部数量 $K$ 稳定在 10–20 之间；AUC 引导的 Top-$K$ 筛选全面压制随机选头干预，证明特定深度的注意力头确实专门承载了视觉校准通路。

亮点与洞察¶

离线解耦与在线零开销：将耗时的对比退化与敏感头识别全部置于离线处理，在线推理仅做常数向量原位加法，以 $\le 1\%$ 的极致微小延迟换取大幅度的幻觉消除，实用落地价值极高。
揭示双向解掩码轨迹错位现象：首次从实证角度论证了干净与退化输入在离散扩散模型中的去掩码步数失配率高达 84.7%，深刻解释了自回归对比解码无法直接迁移至扩散架构的根因。
解构注意力头的层级感知分工：发现离散扩散多模态模型中第 14–20 层中层主管全局拓扑结构，而第 21–26 层深层主管实例细粒度属性，为后续可解释性研究与选择性表征编辑提供了扎实依据。

局限与展望¶

退化方式依赖纯高斯扰动：当前离线构造对比对主要依赖高斯噪声加噪，尚未引入语义驱动的扰动（例如反事实局部替换、超像素擦除或对抗扰动），未来可探索更精细的语义级属性对比。
依赖内部激活访问权限：UVC 依赖对 Transformer 内部注意力头输出投影前激活的截获与篡改，因此仅能部署于开源权重模型（如 LLaDA、MMaDA、Lumina-DiMOO），无法用于黑盒 API 服务。
静态向量与动态文本上下文的协同：目前注入的偏移向量是在 COCO 子集上提取的静态均值，缺乏对特定复杂多轮提示词上下文的动态自适应重加权，动态向量调制是值得深入探索的方向。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性分析多模态离散扩散模型与自回归抗幻觉机制的结构冲突，提出了原生去掩码期激活校准框架。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 POPE 九大细分、MME 四项感知任务、CHAIR 开放生成以及解掩码轨迹漂移机理分析，论据极为扎实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严密通畅，问题定义切中本质，图表与机理解析直观且说服力强。
价值: ⭐⭐⭐⭐⭐ 为离散扩散语言模型在多模态理解与抗幻觉维度的演进提供了低成本、高收益的标杆式范例。