Visual-Redundancy-Controlled Parallel Decoding for Diffusion-Based Multimodal Large Language Models¶

会议: NeurIPS 2026
arXiv: 2605.25820
论文: https://arxiv.org/abs/2605.25820
代码: https://github.com/infiniteYuanyl/VRCD
领域: 多模态 VLM
关键词: 多模态扩散模型, 并行解码, 视觉冗余, 注意力重排, 视觉语言模型

一句话总结¶

针对基于离散扩散的多模态大模型并行解码容易选出视觉接地区域重叠的高置信度 token 的问题，本文提出基于视觉冗余控制的免训练解码方法 VRCD，通过跨注意力显著性重排并行位置，显著降低生成熵并提升多模态推理表现。

研究背景与动机¶

离散扩散多模态大语言模型（dMLLM）正成为自回归视觉语言模型的重要替代方案。与按自左向右逐词预测的前缀生成模式不同，dMLLM 通过在视觉输入的条件下，对全序列预设的文本掩码位置进行多步迭代并行去掩码更新。这种机制大幅减少了生成所需的模型前向推理步数，但也根本性地改变了模型在推理步内部的决策边界：解码策略的核心任务不再仅仅是“挑选下一个最合理的词”，而是“在当前步必须联合选出一组被提交解掩码的位置集合”，将其作为后续迭代步的前置上下文。

然而，现有针对离散扩散模型的并行解码策略大多直接沿用单纯的词元级置信度准则。无论是经典的 Top-K 置信度选取，还是后续演化出的动态重掩码、膨胀调度或信息增益策略，其底层均依赖一个隐含假设——在单位置上预测概率足够高的 token，联合提交在同一时间步也是最合适的。在多模态视觉语言场景下，这一假设出现了严重失效：生成的文本 token 不仅依赖语言统计先验，更直接接地（grounding）在视觉图像特征上。在同一个解码时间步内，排名靠前的高置信度候选往往会扎堆聚焦于图像中同一显著物体或局部区域。将这些视觉上高度重叠的 token 同时解掩码，会导致当前步提交的上下文重复充斥同质化的视觉信息，无法为剩余掩码位置提供互补的多样化视觉锚点，进而削弱了后续生成步骤的预测确定性与多步推理能力。

为了打破这一瓶颈，必须在并行解码阶段引入跨位置的视觉接地互补性约束，同时避免耗时的子集组合搜索。本文的核心思路在于量化单步并行提交的视觉接地重叠度，并在免训练的前提下通过末层跨注意力提取残差显著性，对高置信度候选窗口进行冗余惩罚重排（VRCD），从而优先提交视觉上互补且高置信度的 token。

方法详解¶

整体框架¶

VRCD 是一个即插即用、无需训练的推理阶段解码重排算法。在每个扩散去噪步 \(t\)，模型基于当前未掩码序列和输入图像前向传播，输出所有待解掩码位置的预测词元概率与置信度 \(c_i\)。VRCD 维持原有的解码步长调度与每步提交配额 \(K_t\)，仅在决策“提交哪 \(K_t\) 个位置”时进行多模态视觉重排。

整体流程包含三个紧密串联的阶段：首先，为了规避对全部掩码位置计算冗余带来的额外开销，VRCD 根据置信度截断出一个局部候选窗口 \(U_t\)；接着，从解码器最顶层的词元到图像（Token-to-Image）跨注意力权重中滤除均匀背景噪声，抽取正残差视觉显著性分布 \(q_i\)；最后，计算候选词元之间的成对视觉重叠度，以百分位数相对排名构建词元级冗余得分 \(r_i\)，进而对基础置信度做幂律衰减重排，选出前 \(K_t\) 个视觉互补的位置予以提交。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：当前已解码序列与图像特征<br/>模型前向输出掩码位置置信度"] --> B["1. 候选窗口截断：按置信度初筛前 Mt 个候选"]
    B --> C["2. 视觉显著性提取：减除均匀先验得到正残差分布"]
    C --> D["3. 视觉冗余度量与置信度重排：惩罚视觉重合项"]
    D --> E["输出：提交重排后 Top-Kt 个视觉互补的高置信度位置"]

关键设计¶

1. 候选窗口截断：聚焦高概率区域并约束推理延迟 如果在全量剩余掩码位置集合 \(C_t\)（尺度可达几百个 token）上进行两两视觉重叠计算，会引入昂贵的二次方复杂度。痛点在于绝大多数低置信度位置本身在当前步根本不可能被采纳，在其上计算接地关联纯属计算浪费。为此，VRCD 引入受控扩展因子 \(\lambda\)，构建大小为 \(M_t = \min(|C_t|, \max(K_t, \lceil\lambda K_t\rceil))\) 的局部候选窗口 \(U_t\)。该窗口仅截取当前步预测置信度最高的前 \(M_t\) 个候选位置。默认设定 \(\lambda=2.0\)，使得计算规模严格收敛在 \(\mathcal{O}(K_t^2)\) 级别，从而将重排计算的耗时降至微秒级，在维持充沛重排选择空间的同时确保端到端吞吐几乎不受损。

2. 视觉显著性提取：消除均匀注意力背景噪声 直接使用 Transformer 末层的原始 token-to-image 交叉注意力矩阵计算相似性，会受到大量语义虚警的干扰。在实践中，标点符号、数字编号以及如“and”、“of”等无实义的功能词，其对全部图像 token 的交叉注意力往往呈现弥散的近乎均匀分布。若直接按原始分布度量，这些功能词会被判定为与所有词都有极高的重叠度。为消除此种虚假关联，VRCD 从末层多头平均后的交叉注意力 \(a_i(u)\) 中减去均匀背景先验 \(1/N\)（其中 \(N\) 为视觉 token 总数），仅保留超出均匀背景的正残差分量并重新归一化：

\[q_i(u) = \begin{cases} \dfrac{\max\left(a_i(u) - \frac{1}{N},\, 0\right)}{\sum_{u'=1}^N \max\left(a_i(u') - \frac{1}{N},\, 0\right)}, & \text{若 } \sum_{u'=1}^N \max\left(a_i(u') - \frac{1}{N},\, 0\right) > 0 \\ 0, & \text{其他} \end{cases}\]

若候选词的残差全为零，说明其为纯语言格式或虚词，直接置为零向量并不参与后续的视觉重叠惩罚，有效提纯了关键实词的视觉定位。

3. 视觉冗余度量与置信度重排：通过重叠惩罚保障接地互补 针对具有有效视觉显著性的候选词元，VRCD 计算任意候选对 \((i,j)\) 之间的巴氏系数（Bhattacharyya coefficient）作为视觉重叠度 \(o_{ij} = \sum_{u=1}^N \sqrt{q_i(u) q_j(u)}\)。为了避免不同步之间绝对重叠数值尺度偏移带来的不稳定，算法将 \(o_{ij}\) 映射为当前候选窗口内所有成对重叠度集合中的百分位数相对排名 \(R_t(i,j) \in [0, 1]\)。针对候选词 \(i\)，其遭受的整体冗余度不仅取决于重合强度，更取决于与之重合的对手是否大概率会被解掩码。因此，VRCD 采用基于候选词置信度归一化权重 \(\hat{c}_{j|i} = c_j / \sum_{\ell \neq i} c_\ell\) 的加权求和，得到最终词元级冗余得分：

\[r_i = \sum_{j \in U_t^{\mathrm{vis}} \setminus \{i\}} \hat{c}_{j|i} R_t(i,j)\]

最后，算法通过幂律衰减因子 \((r_i + 1)^{-\alpha}\) 对原始置信度 \(c_i\) 实施自适应衰减，得到综合得分 \(s_i = c_i (r_i + 1)^{-\alpha}\)。当词元 \(i\) 与其他极可能被选中的高置信度词元发生严重视觉接地冲突时，\(r_i\) 趋近于 1，置信度受到最大程度压制；反之若接地区域独立互补，则保留原始置信度优先出列。

一个完整示例¶

假设当前步计划提交 \(K_t = 2\) 个词元，窗口倍率 \(\lambda = 2\)，初筛选出 \(M_t = 4\) 个置信度最高的候选位置：“红色”（\(c=0.92\)）、“大门”（\(c=0.90\)）、“绿树”（\(c=0.88\)）、“远山”（\(c=0.85\)）。 1. 原始置信度基准下，系统将无条件提交 “红色” 与 “大门”。但在注意力层面，二者显著性分布高度重合，均强聚焦于中央鸟居区域，成对重叠排名达到 \(R_t \approx 0.95\)。 2. 计算加权冗余度后，“红色” 与 “大门” 均被赋予高额冗余分（\(r \approx 0.9\)），在 \(\alpha=1.5\) 惩罚下，其调节后得分被大幅削减（例如降至 \(0.90 \times 1.9^{-1.5} \approx 0.34\)）。 3. 与之相对，“绿树” 关注图像两侧林木，与前景大门无重叠，冗余分 \(r \approx 0.05\)，得分保持在 \(0.88 \times 1.05^{-1.5} \approx 0.82\)。 4. 最终 VRCD 优先提交“红色”与“绿树”。当前步不仅解掩码了前景颜色，还并行引入了周围环境的视觉线索，为后续几轮中精准推断场景位置和背景物体提供了充分的上下文信息。

实验关键数据¶

主实验¶

论文使用在 LLaDA-8B 和 SigLIP-400M 上训练的多模态扩散模型 LaViDa-Reason 作为主干基线，并在固定生成长度（\(L \in \{192, 384\}\)）与三种前向比例（Forward Ratio, \(\text{FR} \in \{0.125, 0.25, 0.5\}\)，对应单步解掩码 8、4、2 个 token）的严格对齐环境下展开对比。评测涵盖多步多模态推理（M3CoT）、综合评测（MMBench）、科学问答（SQA-IMG）以及文档图表问答（DocVQA、InfoVQA）。

下表为生成最大长度 \(L=192\) 下的各基准主要指标（DocVQA 与 InfoVQA 使用 ANLS，其余为准确率）：

方法	FR	M3CoT	MMBench	SQA-IMG	DocVQA	InfoVQA
Confidence	0.125	36.43	53.95	55.68	46.81	28.95
Margin	0.125	35.86	55.77	56.24	46.85	29.09
InfoGain (IG)	0.125	36.66	54.06	55.53	46.81	29.02
VRCD (本文)	0.125	37.94	58.79	60.09	49.27	29.93
Confidence	0.25	37.68	51.14	57.11	50.43	31.70
Margin	0.25	36.20	51.40	57.28	50.71	31.69
InfoGain (IG)	0.25	37.39	51.16	57.31	50.70	31.69
VRCD (本文)	0.25	40.38	59.37	63.38	52.30	32.61
Confidence	0.5	34.81	44.52	50.04	53.68	32.93
InfoGain (IG)	0.5	34.56	45.68	50.67	53.80	33.26
VRCD (本文)	0.5	39.60	57.50	58.64	54.34	33.06

在长序列生成（\(L=384, \text{FR}=0.125\)）的高并行度极限挑战下，VRCD 在 M3CoT 上取得了 34.24 vs. 28.82（相对提升 18.8%）的飞跃，在 MMBench 上取得了 61.24 vs. 57.29（相对提升 6.9%）的优异表现。

消融实验¶

论文在 \(L \in \{192, 384\}\)、\(\text{FR}=0.125\) 设置下对关键模块及设计选择进行了详尽消融（格式以 \(L=192 / L=384\) 呈现）：

实验项 / 配置	M3CoT (192/384)	MMBench (192/384)	说明
置信度基线 (Confidence, \(\alpha=0\))	36.43 / 28.82	53.95 / 57.29	无视觉重排介入
平均聚合 (Uniform Average Agg.)	37.35 / 32.17	58.10 / 60.63	邻居对等无置信度加权
置信度加权聚合 (Weighted, 默认)	37.94 / 34.24	58.79 / 61.24	加权考量易提交邻居影响
无显著性提取 (w/o VSE)	37.59 / 34.13	58.25 / 61.00	直接使用原始注意力点积
完整 VRCD 模型	37.94 / 34.24	58.79 / 61.24	减除 \(1/N\) 均匀噪声后加权

此外，在端到端解码吞吐量测试中（M3CoT, \(L=192, \text{FR}=0.5\)），原始 LaViDa 解码速度为 46.982 tokens/s，VRCD 测得为 46.264 tokens/s（额外运行时开销仅 1.5%），而 InfoGain 降速至 24.884 tokens/s，证明了 VRCD 在工程部署上的极简高效。

关键发现¶

并行跨位置的视觉接地重复确实存在且有害：分析指标 VRI 显示，常规置信度解码在步内 token 间的视觉重叠度显著偏高（M3CoT 上平均 VRI 达 0.752）；而 VRCD 将该指标稳定降至 0.712（\(FR=0.25\)）甚至 0.588（\(FR=0.5\)），证明其真实打散了局部同质接地。
视觉互补极大降低了后续未解掩码位置的预测熵：监测解码中途未解掩码位置的信息熵发现，VRCD 提交的视觉互补词元使得剩余位置的分布熵快速下降，显著提升了后续推理步骤的确定性与准确度。
长思维链与推理密集型任务收益最显著：在需要多步推演的 M3CoT 和复杂感知 MMBench 上，早期步骤建立的互补视觉上下文直接规避了幻觉级联，而在短文本抽取的 DocVQA 上提升相对收敛。

亮点与洞察¶

多模态并行解码的新视角：从以往仅仅审视单一 token 本身的“置信度高低”，扩展到了考量并行批次内 tokens 之间的“视觉多模态互补性”，指出了多模态与纯文本扩散生成在并行假设上的本质分歧。
免训练且轻量可落地的架构设计：无需对多模态底座做任何权重微调或蒸馏，直接重用末层已有的注意力张量，配合局部窗口截断与均匀残差归一，将复杂的子集互补选择转化为了代数复杂度仅 \(\mathcal{O}(K_t^2)\) 的单步重排，运行时开销几乎可以忽略不计。

局限与展望¶

解码步长调度依然是静态固定的：当前 VRCD 仅是在既定的每步配额 \(K_t\) 下重排位置，并未根据当前图像信息量动态自适应决定当前步究竟应当解掩码多少个 token。
跨层与深层多模态交互未被完全挖掘：当前方法仅抽取了最后一层解码器的交叉注意力矩阵作为接地代理，未考量更早层级或自注意力内部蕴含的复杂多跳视觉指代关联。

评分¶

新颖性: ⭐⭐⭐⭐ [首次系统揭示并建模了 dMLLM 单步并行解码中的视觉接地重叠现象，给出了形式化指标 VRI]
实验充分度: ⭐⭐⭐⭐⭐ [五大主流跨领域基准评测，覆盖长短序列与多种并行比率，消融实验与熵/VRI演变分析完整扎实]
写作质量: ⭐⭐⭐⭐⭐ [动机叙述逻辑极其清晰严谨，数学公式与机制图表严密且自洽]
价值: ⭐⭐⭐⭐⭐ [免训练且增加开销微乎其微，可直接无缝集成到任意基于掩码扩散的多模态生成模型中]