ECHO: Efficient Chest X-ray Report Generation with One-step Block Diffusion¶

会议: ECCV2026
论文: ECCV 原文
项目: https://echo-midea-airc.github.io/
领域: 医学图像
关键词: 胸部X光报告生成、块扩散、直接条件蒸馏、响应非对称扩散、报告归一化

一句话总结¶

ECHO 将医学自回归模型转成块扩散模型，再用教师多步轨迹中的条件分布蒸馏出每块单步的学生，在论文的归一化胸片报告测试集上保持较高临床内容分数，并以块长 8 达到 274.21 tokens/s。

研究背景与动机¶

胸部 X 光报告生成需要同时完成图像理解、异常定位和医学语言组织，流畅并不等于正确，左右位置、否定词和病变名称之间的依赖尤其重要。已有医学视觉语言模型大多逐 token 自回归生成，即使图像编码已经完成，后续报告仍必须按顺序输出，限制了高吞吐工作负载下的解码速度。离散扩散模型可以一次预测多个被遮蔽位置，但通常仍要反复去噪：先确定较有把握的词，再利用它们确定剩余词。因此，“并行预测”并不自动意味着“只需一次模型前向”。

直接把块内所有位置一次填满，容易得到各词单独合理、组合却不成立的报告片段。论文将这个问题解释为均值场偏差：去噪器以逐位置分布近似联合分布，可能混合来自不同合理描述的词。传统逐 token 蒸馏即使使用更干净的教师状态，也未必把多步生成过程中逐渐建立的依赖有效传给单步学生。与此同时，报告中常常只记录异常、略过正常结构，训练标签还存在“没有提到”与“明确没有异常”难以区分的问题。

ECHO 因而不是只替换一个采样器，而是把报告监督、扩散适配、单步蒸馏和实际缓存开销连起来处理。它先让基础模型学会内容较完整的胸片描述，再将昂贵的视觉上下文保留为共享条件，最后学习教师在不同去噪时刻作出的可靠决定。这里的“单步”始终限定在一个固定长度的块内，报告仍按块顺序生成，不是整篇报告一次输出。核心 idea：把教师逐步确认上下文后得到的条件分布拼成蒸馏监督，让学生从全遮蔽块直接预测整块，同时用显式终止监督和缓存融合避免质量与速度收益被其他瓶颈抵消。

方法详解¶

整体框架¶

输入是胸部 X 光图像与报告生成指令，输出是描述影像发现的自然语言报告。图像先经过视觉编码器和投影器成为视觉 token，与指令一起作为语言模型的条件；本文主要改动报告训练和解码过程。训练从 Lingshu-7B 开始，经归一化报告上的继续预训练得到 ECHO-AR，经响应非对称扩散适配得到多步 ECHO-Base，再经直接条件蒸馏得到最终 ECHO。推理时，已完成的报告块提供历史条件，当前块以全部遮蔽的状态输入，一次前向并行预测当前块的 token。融合块 KV 缓存把上一个块的缓存更新放入当前块的去噪前向，避免为维护缓存额外执行一次模型调用。下面的实线区分训练产物的先后关系与实际解码路径，虚线表示只在蒸馏时使用的教师监督。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        A["配对胸片与报告"] --> B["报告归一化<br/>继续预训练"]
        B --> C["响应非对称扩散<br/>RAD 适配"]
        C --> D["直接条件蒸馏<br/>DCD"]
        C -.->|多步教师轨迹监督| D
        D -->|训练产物| E["单步 ECHO 权重"]
        E --> F["融合块 KV 缓存"]
        G["推理：胸片、指令<br/>历史块与遮蔽块"] --> F
        F --> H["当前块输出<br/>继续下一块或结束"]

关键设计¶

1. 报告归一化：把省略的正常状态变成明确监督

临床报告常按“异常优先”的习惯撰写，某个解剖区域没有出现，不一定表示图像里没有该区域，也不直接构成该区域正常的显式标签。 ECHO 将训练报告改写为覆盖预定义解剖区域的描述，每个区域都获得阳性发现或阴性陈述，再用这些数据对 Lingshu-7B 继续预训练。这样，模型不仅学习异常该怎样描述，也学习何时需要明确表达未见异常，从而减少省略带来的监督歧义。所得 ECHO-AR 仍是自回归模型；归一化首先改善内容学习，并不直接提供块内并行能力。论文将其作用解释为减少假阳性幻觉和假阴性遗漏，表 3 显示这一训练数据选择会持续影响后续适配和蒸馏。

需要区分“补充明确标签”和“从影像重新获得真值”：改写报告本身并不能证明原报告未提到的区域一定正常。因此，归一化的可靠性取决于区域规则、改写质量及其医学审核，这些不能仅凭最终分数判断。本文正文没有给出足够细节来重建完整归一化流程，相关补充材料引用仍是未解析占位符。这使得归一化既是方法的重要组成，也是复现和临床解释时最需要审查的环节之一。

2. 响应非对称扩散：长视觉条件只保留一份

将自回归模型转成块扩散模型时，训练需要同时表示干净的历史响应和被加噪的目标响应。既有适配方式会连同视觉、指令和响应一起复制整个序列，但胸片输入的视觉 token 很长，重复它们会显著增加注意力开销。 RAD 只复制响应部分，视觉和指令保持共享，并通过块注意力掩码约束每个带噪响应块的可见上下文。当前目标块可以访问所有视觉与指令 token，以及之前块的干净内容；未来响应不能作为已知历史泄漏给它。训练中的历史来自教师强制构造，推理中的历史则来自模型已经生成的块，这两个阶段不能混为一谈。

RAD 将原先的两阶段适配合并为单个监督微调阶段，训练视觉编码器和投影器之外的语言模型骨干，得到 ECHO-Base。该模型仍用置信度启发式多步填充当前块，因此它是蒸馏教师而非最终单步模型。这种设计针对的是“视觉上下文长、输出响应相对短”的序列结构，不能把其训练节省比例无条件外推到纯文本输入。图 5 还显示质量在约 60 个训练步骤就接近或超过 ECHO-AR，但吞吐继续改善，说明语义能力恢复和块内并行能力成熟不是同一件事。

3. 直接条件蒸馏：学习教师在确认上下文后的预测

DCD 对每个块先运行教师的多步去噪，而不是给学生拼接一份与教师实际采样策略无关的人工轨迹。在每一步，教师计算尚未确定位置的分布，以最大 token 概率作为置信度，提交超过阈值的预测。如果没有位置超过阈值，就提交置信度最高的位置，保证当前块的生成过程能够继续。一个位置被提交时，算法同时记录其预测分布和离散伪标签；后续位置的教师预测会利用这些已经确认的词作为条件。于是，晚确定位置的目标分布来自一个更充分的上下文，不再只是最初全遮蔽状态下的边缘猜测。

收集完轨迹后，算法用这些伪标签构造 RAD 风格的块级教师强制训练序列，让学生一次预测当前块。同一位置的学生分布与教师在该位置被提交时留下的分布做前向 KL 对齐，监督聚合到所有块和位置。下式忠实表达算法 1 的未加权基础目标；正文随后加入按去噪步骤加权，但没有在所给正文中列出完整的权重归一化形式。

\[ \mathcal{L}_{\mathrm{DCD}}=\sum_{n,i}D_{\mathrm{KL}}\!\left(P_{\mathrm{tch}}^{(n)}[i]\,\middle\|\,p_{\phi}(b_{n,i}\mid x_{\mathrm{train}})\right). \]

这里 \(n\) 表示块，\(i\) 表示块内位置，\(P_{\mathrm{tch}}^{(n)}[i]\) 是该位置在教师提交时记录的分布，\(x_{\mathrm{train}}\) 包含共享条件和按 RAD 可见的历史。学生与教师共享图像、指令及历史块，但学生不会在单步预测前获得教师逐步补出的当前块内部词。因此，“相同条件”不能理解为学生与每个教师去噪步骤看到了完全相同的块内状态，恰恰是这些额外条件带来的预测能力需要被蒸馏。步骤加权把更晚确定的位置赋予更强监督，作者认为这些位置对词间依赖更敏感；较早确定的位置同时提供较稳定的约束。

另一个必须单独处理的位置是终止符 <eos>：正文分析发现它通常比内容词置信度低，且随块长增大更不稳定。如果只模仿这种较平坦的软目标，学生容易持续重复而无法结束，于是 DCD 额外对终止符施加 one-hot 交叉熵监督。这一项和步骤加权都属于 DCD，不是推理时外接的报告修复器；表 2 中终止监督带来的改善很明显。论文把沿轨迹收集的监督称为“非因子化目标”，但算法实际仍累加逐位置 KL，学生的输出头也没有变成显式联合分布模型。因此更稳妥的理解是：条件化教师轨迹缓解了单步预测的经验性不一致，而非从数学上消除了所有均值场表达限制。

4. 融合块 KV 缓存：不为更新历史多跑一次前向

普通块 KV 缓存需要在一块生成完成后再前向一次，把新生成的内容写入缓存，然后才开始生成下一块。在每块本来要去噪多次时，这笔开销相对较小；压缩到单步后，它却可能让每块从一次调用变成两次。 ECHO 延后上一块的缓存更新，在预测当前全遮蔽块的同一次前向中，同时计算并缓存上一块的键和值。这样保留了块间历史条件，也移除了专门更新缓存的那次调用，使单步蒸馏收益更接近实际吞吐收益。这是缓存执行安排，不会把顺序生成的多个报告块变成彼此独立的并行块。

作者声称该融合不增加 FLOPs 并使相应前向调用数减半，但其证明指向未解析的补充材料章节。本笔记因此把它作为正文描述的实现策略，而不宣称已独立验证其计算等价性。即便调用数减少，端到端收益仍受视觉编码、预填充、设备利用率和输出长度影响，应以实测 TPS 与延迟评估，不能只看 TPF。

一个完整示例¶

考虑一个示意性的块长 4 解码过程，当前块的四个位置起初全部被遮蔽；这不是论文中额外报告的实验样本。教师可能先确认两个把握较大的位置，再依据这些词确认第三个，最后确定第四个，并分别保留各位置在确认时的完整概率分布。这样的目标保留了“先确认的描述如何约束后来用词”的信息，而不是把四个初始独立猜测直接当成最终答案。学生训练时得到相同的胸片、指令和历史块，但当前块仍要从全遮蔽状态一次产生四个预测。若某个目标位置是 <eos>，除软分布蒸馏外，它还接受明确的结束标签监督。部署时不再为这个块重跑教师轨迹；学生输出当前块后，继续下一块或按结束标记停止。继续下一块时，上一块的 KV 更新与新块预测被融合，避免用额外调用维护缓存。这解释了块长 4 与块长 8 的吞吐差异，也说明单步减少的是块内迭代，不是报告的所有顺序依赖。

损失函数 / 训练策略¶

训练语料来自 MIMIC-CXR、CheXpert-Plus、ReXGradient 和 IU-Xray，统一清理并归一化为双语报告。作者还混入少量 LLaVA-ReCap-558K 数据以减轻灾难性遗忘；正文没有给出可完整复现的混合比例。 RAD 使用继续预训练中 SFT 阶段的数据，冻结视觉编码器与投影器，只训练语言模型骨干。 DCD 从 RAD 训练集按数据集比例随机采样 30,000 个样本，教师轨迹生成中出现退化重复循环的样本会被丢弃。最终蒸馏采用前向 KL、步骤加权和终止符交叉熵，反向 KL 只作为消融替代项。所给正文未列明全部优化超参数、终止损失系数或教师更新调度，不能据“自蒸馏”一词自行推断 EMA 更新。原文早期数学公式在文本抽取中存在损坏，本笔记只保留算法 1 可清楚辨认的核心目标，不猜补损坏公式。

实验关键数据¶

主实验¶

评测从归一化 MIMIC-CXR、CheXpert-Plus、ReXGradient 各取 2,000 份英文和 2,000 份中文报告；MIMIC-CXR 明确使用官方患者级测试划分。临床内容指标采用 RaTEScore 的阳性发现部分，以及作者称对阴性发现不敏感的 SemScore；二者不是临床诊断准确率。下表节选原文表 1，第 12 页，保留各数据集的临床内容分数；TPF 是每次前向输出 token 数的相对表示，TPS 单位为 tokens/s。速度数值在原表中是模型级共享列，不能解释为下面某个单独数据集的专属测量。

数据集	模型	RaTEScore ↑	SemScore ↑	TPF ↑	TPS ↑
CheXpert-Plus	Lingshu-7B	31.34	27.54	1.00	53.70
CheXpert-Plus	ECHO-Base	59.12	52.64	1.89	48.86
CheXpert-Plus	ECHO-blk8	56.85	51.40	8.00	274.21
CheXpert-Plus	ECHO-blk4	57.40	49.57	4.00	129.19
ReXGradient	Lingshu-7B	20.26	34.82	1.00	53.70
ReXGradient	ECHO-Base	63.02	66.68	1.89	48.86
ReXGradient	ECHO-blk8	59.92	64.00	8.00	274.21
ReXGradient	ECHO-blk4	62.18	66.28	4.00	129.19
MIMIC-CXR	Lingshu-7B	32.79	26.94	1.00	53.70
MIMIC-CXR	ECHO-Base	55.85	46.10	1.89	48.86
MIMIC-CXR	ECHO-blk8	52.97	44.83	8.00	274.21
MIMIC-CXR	ECHO-blk4	53.95	45.57	4.00	129.19

由表中实测 TPS 计算，ECHO-blk8 相对 Lingshu-7B 为 \(274.21/53.70\approx5.11\) 倍，而不是实测 8 倍；8.00 对应 TPF。表 1 的标题文字称报告平均指标，但表头实际分列三个数据集，本笔记按表头呈现，不再自行合并。这些与外部模型的差距包含领域继续预训练和报告归一化的作用，不能全部归因于 DCD；比较同一 ECHO-Base 的蒸馏变体更能隔离蒸馏策略。

消融实验¶

下表来自原文表 2，第 13 页，SW 为步骤加权，CE 为 <eos> 交叉熵，RKL 为以反向 KL 替换前向 KL；未启用 RKL 的行使用前向 KL。展示 CheXpert-Plus 的 ROUGE-L 与 RaTEScore、MIMIC-CXR 的 CIDEr，以及以 Qwen3-1.7B 为评估模型的 PPL，PPL 越低越好。完整设置的数字与表 1 的 ECHO-blk4 一致，但表 2 标题本身没有明确标注块长。

配置	CheXpert ROUGE-L ↑	CheXpert RaTEScore ↑	MIMIC CIDEr ↑	PPL ↓
无 SW、无 CE、无 RKL	52.57	54.87	3.63	23.72
SW	52.44	56.30	3.65	21.07
SW + CE	56.14	57.40	4.05	18.83
SW + RKL	52.51	55.20	3.48	20.23
SW + CE + RKL	53.25	57.25	3.67	21.32

终止符 CE 加到 SW 上后，PPL 从 21.07 降至 18.83，CheXpert-Plus ROUGE-L 从 52.44 升至 56.14。这个对照支持“可靠结束对整体文本质量很重要”，但 PPL 由另一个语言模型打分，不能替代医生核查病变。反向 KL 的结果更差，作者用其偏向集中概率质量的性质解释该现象；表格验证的是性能变化，不是对机制解释的独立证明。

为观察数据监督是否在多阶段传播，下表节选原文表 3，第 15 页，列出 CheXpert-Plus 结果，归一化与未归一化训练均在论文规定的归一化测试集上评估。

阶段	训练报告	ROUGE-L ↑	RaTEScore ↑	SemScore ↑
I：继续预训练	归一化	56.89	59.18	52.94
I：继续预训练	未归一化	23.82	45.59	32.44
II：RAD	归一化	56.90	59.12	52.64
II：RAD	未归一化	23.47	39.60	30.46
III：DCD	归一化	56.14	57.40	49.57
III：DCD	未归一化	18.79	42.08	27.53

关键发现¶

单步蒸馏并非无损：MIMIC-CXR RaTEScore 从 ECHO-Base 的 55.85 降至 blk8 的 52.97，速度收益伴随临床内容指标下降。
块更小也非逐指标必优：CheXpert-Plus SemScore 的 blk4 为 49.57，低于 blk8 的 51.40，不能把“保守配置”理解为所有指标都提高。
归一化带来很大的词面指标收益，同时也改善阳性发现指标；由于参考报告同样被归一化，仍需独立评估原始临床报告场景。
图 5、第 14 页报告质量约在 60 步、即完整 RAD 数据的 2.2% 时趋稳，但 TPF 继续从 1.62 增至 2.17，强调了效率收敛与质量收敛的区别。

亮点与洞察¶

DCD 保留的是教师作出决定时的条件分布，而不只是最终硬标签。这样的监督选择使轨迹里的上下文信息能参与学习，是对蒸馏目标而非单纯采样步数的改造。
RAD 利用了胸片任务输入长、响应较短的结构，只对响应复制。计算节省来自训练序列布局，而不是通过丢掉视觉信息换速度。
终止符被当成需要专门监督的生成行为，而不是普通 token 的附带现象。消融提醒人们，减少重复循环可能同时改善流畅性和临床描述完整度。
缓存融合将算法加速与实现开销接起来。将去噪压缩到一步后重新检查每块额外调用，具有明确的工程迁移价值。

局限与展望¶

正文多处补充材料引用仍为 ??，训练数据统计、预处理细节及缓存证明无法从所给全文核实；项目链接仅按论文提供保留，未联网验证。
学生仍采用逐位置预测，沿轨迹拼接目标并不自动形成可精确表示任意相关性的联合分布；“消除均值场限制”应视为强于现有实验证据的表述。
未看到前瞻性临床部署、医生盲评或完整的机构外部泛化实验，自动文本指标不能支持独立临床使用结论。
归一化可能把原文省略转换为确定阴性，未来应审查改写标签并报告假阳性、假阴性和不确定性，而不是只看总体分数。
TPS 比较的硬件、批大小及完整计时边界在所给正文中不充分，5.11 倍仅是表中报告吞吐之比，不能直接推广到任意系统的端到端报告延迟。
SemScore 在正文中的引用编号 [43] 对应参考文献的 BERT 放射报告标注工作，指标实现与该名称的对应关系不清楚；本笔记保留原表标签，不自行替作者补定义。

评分¶

新颖性: 4/5。条件轨迹蒸馏、响应非对称适配与缓存融合形成了有针对性的组合，但关于联合分布的理论表述需要更严格界定。
实验充分度: 3/5。三个数据集、双语设置及组件消融有信息量，临床验证与可复现细节仍不足。
写作质量: 3/5。主流程易于理解，但未解析补充引用、指标引用疑点和表述口径差异削弱了严谨性。
价值: 4/5。为高吞吐医学文本生成提供可借鉴的训练和推理设计，但仍应定位为研究方法而非验证完成的临床系统。