Discrete Diffusion Models with MLLMs for Unified Medical Multimodal Generation¶

会议: ECCV2026
论文: ECCV 原文
项目: MeDiM
领域: 多模态 VLM / 医学图像
关键词: 离散扩散、双向注意力、时间步条件化、医学报告生成、图像报告联合生成

一句话总结¶

MeDiM 将预训练 Liquid 改造成带双向注意力和时间步条件化的离散扩散模型，以同一套去噪网络支持医学报告到图像、图像到报告及图像报告联合生成，在 MIMIC-CXR 和 PathGen 上分别取得 16.60 与 24.19 的图像生成 FID。

研究背景与动机¶

医学图像与报告提供的是同一个病例的两种描述，但现有生成系统往往只学习其中一个方向。报告生成器读取影像后输出文字，图像生成器接受文字后合成影像；把两者串联，并不自动保证生成的病灶位置、形态和文字描述一致。 PairAug 和 MedM2G 等方法探索了医学多模态生成，但作者认为外部模型拼接或模态专用组件仍限制了任务统一与扩展。本文关心的因此不只是把胸片画得更逼真，而是让同一个模型既能补全缺失模态，也能从头生成彼此对应的图像和报告。

自然图像领域已经出现 Liquid、UniDisc 和 MMaDA 等统一模型，给这一目标提供了可复用的建模基础。 Liquid 将图像与文本放进统一 token 序列，却仍采用逐 token 的自回归生成；离散扩散则可以反复更新序列中的多个未知位置。对成对医学数据，这意味着报告可以帮助消除图像中的歧义，而正在恢复的图像也可以反过来约束报告。困难在于，预训练多模态大语言模型的因果注意力只允许位置读取左侧上下文，与这种双向去噪需求不匹配。此外，同一个被遮盖位置在扩散早期和末期拥有的可靠上下文不同，模型还必须知道自己处于哪一个恢复阶段。

MeDiM 的选择是保留预训练模型已有的视觉语言知识，但改变它组织上下文和接收噪声阶段信息的方式。图像量化 token 与报告 token 共同接受离散遮盖，Liquid 负责恢复它们，移除因果掩码后允许两种模态互相读取。时间步嵌入再通过自适应层归一化进入中间层，使网络区分大范围缺失与局部细化，而不是把所有损坏状态视作同一种填空题。 核心 idea：把预训练多模态模型变成时间步感知的双向离散去噪器，用共享联合分布而不是多个任务专用生成器来统一医学图像与报告合成。

方法详解¶

整体框架¶

模型的基本对象是一个同时包含报告 token 和图像 token 的序列，而不是一张连续噪声图像。报告由 LLaMA tokenizer 编码，图像在实验实现中由 Chameleon 的 VQGAN 编码器量化；去噪骨干使用预训练 Liquid。方法先进行共享离散建模，再由双向多模态骨干预测缺失符号，并通过时间步条件化控制中间层的恢复行为。训练时，输入来自真实图像报告对的随机损坏版本，监督目标是原始干净 token。推理时，已知条件保持可见，只把待生成部分初始化为 [MASK]，随后使用 MaskGIT 式迭代恢复。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        INPUT["医学图像与报告<br/>或保留的条件"] --> TOKEN["共享离散建模"]
        TOKEN --> BACKBONE["双向多模态骨干"]
        TIME["当前扩散时间步"] --> ADAPT["时间步条件化"]
        BACKBONE --> ADAPT
        ADAPT --> PREDICT["预测待恢复 token"]
        PREDICT -->|推理：更新后继续去噪| BACKBONE
        PREDICT --> OUTPUT["图像、报告<br/>或图像报告对"]
        CLEAN["训练：干净 token"] -.->|恢复监督| PREDICT

图中时间步条件化表示骨干内部的层调制，不是完成一次 Liquid 前向后另接一个独立生成器。训练监督的虚线只在训练时存在；迭代回边表示推理阶段不断使用更新后的序列。输出图像还需把恢复出的图像码送回对应的图像解码过程，报告则由文本 token 解码。这里的“统一”主要指联合建模和去噪骨干统一，并不意味着图像与文本无需各自的 tokenizer。

关键设计¶

1. 共享离散建模：把跨模态生成改写为同一个序列的缺失恢复

文本原本就是离散符号，图像则先经向量量化变成码本索引，因而两种模态都可以由分类分布而非像素回归来预测。原文第 2.1 节用报告部分和图像部分的拼接表示干净样本；保留其易读的结构关系如下：

\[ x_0=[x_{r0},x_{i0}]. \]

其中 \(x_{r0}\) 是报告 token，\(x_{i0}\) 是量化图像 token，二者仍代表不同类型的符号，不是把每个文字强行对应到一个图像块。共享词表的基础大小是文本词表与图像码本大小之和，额外加入一个 [MASK] 吸收状态。前向扩散逐步把原有符号替换为这个状态，而不是给离散编号加高斯噪声。一个位置一旦进入吸收状态，后续前向步骤就不会自行恢复；足够大的时间步下，待损坏序列趋于全遮盖。原文前文提到的一般性“近似均匀分布”不能当作该吸收式实现的最终噪声分布。

这一表示直接决定了三种任务如何共用网络。报告到图像时保留报告、遮盖图像；图像到报告时保留图像、恢复报告；联合生成时两部分都待恢复。因此，切换任务主要改变哪些位置被视作条件，而不是加载另一个面向该任务的模型。联合生成可以无条件开始，也可以把模态、解剖区域或病理条件提示保留在序列中。这种设计的实际价值是让图文关系参与每轮恢复，而不是在图像已经生成完后再补一段可能不匹配的说明。不过，共享序列本身不保证医学事实正确，生成的两种模态仍可能共同表达一个不真实的病例。

2. 双向多模态骨干：保留预训练知识，解除生成顺序的限制

MeDiM 不是从随机初始化的通用 Transformer 开始学习医学图文关系，而是复用 Liquid 的预训练多模态权重。作者把这种优势解释为视觉语言预训练形成的分布对齐先验，随后再用医学数据适配具体内容。在常规因果注意力下，一个报告 token 不能任意读取排在后面的图像 token，即使那个图像位置已经在当前迭代中恢复。这种顺序限制适合从左向右预测，却阻止了联合去噪最需要的跨模态信息交换。移除因果掩码后，每个位置可以访问当前序列中两侧的上下文，让图像线索与报告描述在同一次前向中互相约束。双向注意力并不意味着把监督答案泄漏给模型：训练输入仍是损坏序列，目标 token 通过恢复损失提供监督。

这一设计同时包含“选择什么初始化”和“采用什么注意力结构”两个不能混淆的问题。表 4 分别比较了 DiT、UniDisc 骨干、移除预训练权重以及保留因果掩码，因此可以看到它们并非同一种退化。保留因果掩码造成的性能损失最大，说明仅仅把预训练 MLLM 接到扩散任务上还不够。从机制上看，预训练权重提供已有知识，双向连接则让这些知识可以用于任意缺失位置的恢复。这也解释了为什么直接医学微调的 Liquid 不能代表完成结构改造后的 MeDiM。作者关于“对齐先验”的解释有消融支持，但并不等于实验已经把语义知识、优化难度和模型容量的作用完全分离。

3. 时间步条件化：让中间层知道当前需要粗恢复还是细化

离散扩散输入即便都包含 [MASK]，其恢复难度也会随噪声阶段改变。早期大量位置未知，网络更多依赖已知条件和学习到的联合分布；后期已有较多图文上下文，可以处理更细的局部一致性。 MeDiM 把当前时间步映射为连续嵌入，向骨干显式提供转移日程的信息。这里的“连续”修饰时间嵌入向量，并不表示图像和文本又回到了连续高斯扩散空间。时间嵌入进一步进入自适应层归一化 AdaLN，动态预测归一化的仿射参数，而不是始终使用固定的缩放和平移。论文还讨论 AdaLN-Zero 变体，把它与 AdaLN 一起作为训练稳定和特征调制设计。

这样，两种模态的中间特征接受共同的时间条件，而不是让每一层仅凭遮盖外观猜测当前阶段。该操作是去噪网络内部的条件注入，不引入外部诊断器或额外模态专家。原文的“去掉时间步嵌入”消融同时把 AdaLN 换成普通 LayerNorm，实际移除了整条时间条件路径。相对地，“去掉 AdaLN”仍把时间嵌入通过加权相加注入 token 表征，只是不再使用自适应归一化。因此两行结果支持的是“有无时间条件”和“如何注入时间条件”的不同问题，不能都理解成仅删掉一个独立小模块。正文未完整展开每一层的 AdaLN-Zero 接线细节，本笔记不补写未经核对的门控公式。

一个完整示例¶

设用户需要生成一组成对的胸片与报告，提示只指定胸部 X 光及某个病理条件；这是依据论文推理设置组织的流程示例，不是新增实验病例。模型先保留提示，把目标图像区域和目标报告区域都设为 [MASK]，此时并没有真实影像作为隐藏输入。第一轮去噪读取提示和时间步，预测两种模态中的缺失符号；图像码的恢复与文字恢复属于同一个序列任务。后续轮次读取更新后的序列，通过双向注意力使已经恢复的视觉信息影响文字，也使已有描述约束图像细化。迭代结束后，图像码经解码形成图像，文本 token 形成报告，构成可用于后续训练的合成配对。若改为报告到图像，就把报告完整保留，只恢复图像部分；反方向则保持图像可见。原文说明采用 MaskGIT 推理策略，但提供的正文未给出具体采样轮数、置信度阈值或逐轮 token 数，本示例不虚构这些参数。

损失函数 / 训练策略¶

训练学习的是从损坏序列恢复原始离散符号，作者将目标描述为按转移日程加权的期望负对数似然。时间步决定损坏分布及恢复权重，因此网络需要覆盖从严重遮盖到轻度遮盖的多种输入状态。本地全文中的式 (1)、式 (2) 与式 (6) 存在明显排版抽取损坏，特别是式 (6) 的对数项和权重无法从文本可靠复原。因此这里保留原文对目标的文字定义，不把常见扩散损失猜写成作者的精确公式。数据设置包含 368,960 对 MIMIC-CXR 胸片报告与 736,188 对 PathGen 病理图文；正文同时说明对病理数据作了下采样以平衡分布。这些是论文给出的数据规模，不能据此推定每个 epoch 的精确混合采样比例。图像分辨率为 \(512\times512\)，文本最多保留 256 个 token，初始化学习率为 \(1\times10^{-5}\)。训练使用带重启的 warmup cosine 学习率日程；作者报告 1M 步、8 张 A100 与 160 GPU hours。正文未给出足以核算该算力数字的 batch size 和吞吐量，不能把 160 GPU hours 自行解释为 160 小时墙钟时间。评估使用 MIMIC-CXR 测试集和 8,000 对病理样本，而 PathGen 报告评估进一步经 Qwen2-VL 筛选为 5,000 份高质量参考报告。

实验关键数据¶

主实验¶

下表摘录原文第 10 页表 1、表 2，任务是给定报告生成图像；FID 越低越好，IS 越高越好。标注 SFT 的模型经过医学数据微调，比较结论限定于论文设置，不扩展为各模型所有公开配置的排名。

数据集	方法	FID	IS
MIMIC-CXR	SDM (SFT)	78.97	2.91
MIMIC-CXR	UniDisc	82.54	2.82
MIMIC-CXR	Diff-CXR	19.50	3.24
MIMIC-CXR	MeDiM	16.60	2.87
PathGen	SDM (SFT)	55.76	4.03
PathGen	UniDisc	80.99	4.15
PathGen	PixCell	98.54	4.27
PathGen	MeDiM	24.19	4.28

胸片 FID 相对 Diff-CXR 从 19.50 降至 16.60，绝对降低 2.90，但 IS 从 3.24 对应到 MeDiM 的 2.87，并非两个指标都领先。这说明“高保真”的定量证据主要来自 FID，不能把分布相似性直接解释为病灶诊断准确率。

下表摘录原文第 11 页表 3，所有指标越高越好；PathGen 使用上述筛选后的 5,000 份参考报告。

数据集	方法	BLEU-1	BLEU-2	BLEU-3	METEOR	ROUGE-L
MIMIC-CXR	R2Gen	0.305	0.179	0.104	0.233	0.395
MIMIC-CXR	MeDiM	0.328	0.185	0.109	0.265	0.297
PathGen	R2Gen	0.160	0.090	0.055	0.251	0.278
PathGen	MeDiM	0.185	0.084	0.037	0.258	0.226

MeDiM 的两域 METEOR 均优于 R2Gen，但 PathGen 的 BLEU-2、BLEU-3、ROUGE-L 较低，胸片 ROUGE-L 也较低。因此合理结论是统一模型取得了有竞争力的报告生成表现，而不是全面超过专用报告生成器。

消融实验¶

下表摘录原文第 13 页表 4，指标是 MIMIC-CXR 与 PathGen 的跨域均值，不是任一单独测试集的分数。保留因果掩码的行是恢复自回归约束；去掉 AdaLN 的行仍保留加法注入的时间嵌入。

配置	平均 BLEU-1	平均 METEOR	平均 FID	平均 IS
完整 MeDiM	0.256	0.262	20.40	3.57
使用 DiT 骨干	0.195	0.214	63.22	2.81
使用 UniDisc 骨干	0.223	0.255	51.59	3.05
去掉预训练 MLLM 权重	0.205	0.229	68.27	2.83
去掉时间步嵌入	0.221	0.246	40.03	3.13
去掉 AdaLN 设计	0.232	0.247	32.68	3.16
保留因果掩码	0.152	0.142	143.72	2.02

关键发现¶

双向访问是最强的局部证据：保留因果掩码使平均 FID 从 20.40 恶化到 143.72，平均 METEOR 从 0.262 降至 0.142。
预训练并非可有可无：去掉 MLLM 预训练权重后平均 FID 为 68.27，支持迁移既有图文知识的价值。
成对一致性评估生成了 8,000 对病理样本和 5,159 对胸片样本；人工评估仅抽取 100 对，两个领域按 1:1 分配（第 13 页第 3.5 节）。
下游增强将 200k 真实配对与 200k 合成配对合并，两个来源内部均按两域 1:1 配比；收益对应这一低数据设置，而非全量真实数据训练（第 13 页第 3.5 节）。
作者在第 2、4 页报告 PathGen 下游 BLEU-1/2/3 与 METEOR 分别相对提升 6.43%、18.57%、31.58%、4.80%；图 5、图 6 的柱高未被文本抽取完整保留，因此不反推其绝对基线分数。

亮点与洞察¶

任务切换由条件位置决定。把同一图文序列中的不同部分设为已知，就能复用去噪网络，避免分别维护三个生成系统。
改造预训练模型时先检查注意力约束。表 4 显示，强骨干若不能读取需要的上下文，其知识优势也无法自然转化为联合生成能力。
联合生成的价值通过下游模型再检验。相比只展示几组成对样例，合成配对能否改善独立报告生成器更接近数据增强的实际用途。

局限与展望¶

本文主要验证胸片与病理两域；引言提到的 CT、电子病历及更广义临床推理并非当前正文已经验证的任务范围。
FID、IS 和文本重叠指标不能证明临床事实正确；Qwen2-VL 评判和 100 对人工样本也不足以建立临床部署可靠性。
PathGen 的参考报告由 Qwen2-VL 筛选，配对一致性又使用该模型评判。读者应关注评估偏好及测试样本选择效应，而非把二者视为完全独立的临床证据。
合成配对彼此一致不代表对应真实病理机制。后续应增加疾病标签、定位一致性、外部机构及独立临床专家评估。
本地正文缺少可读的图表柱值、精确推理步数与完整训练损失公式；这些属于复现信息边界，不以猜测补齐。

评分¶

新颖性: 4/5。把预训练自回归 MLLM 适配为医学联合离散去噪器，整合点清晰，但核心构件已有先例。
实验充分度: 3/5。覆盖三种任务、两域及关键消融，临床事实评估和外部泛化证据仍有限。
写作质量: 3/5。任务主线容易理解，但部分范围表述较宽，训练和采样细节还不足以独立复现。
价值: 4/5。对统一医学生成与合成图文数据增强有明确研究价值，不能据此视为可直接用于临床的系统。