Comprehensive language–image pre-training for 3D medical image understanding¶

会议: ECCV2026
论文: https://eccv.ecva.net/virtual/2026/poster/5833
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/13404.pdf
代码: https://huggingface.co/microsoft/colipri
领域: 医学图像
关键词: 视觉语言预训练、相反句损失、报告生成、掩码自编码器、三维 CT

一句话总结¶

COLIPRI 将胸部 CT 的图文对齐、病变肯定／否定短句判别、报告生成和多分辨率掩码重建联合起来，使同一视觉编码器兼顾全局语义与局部结构；完整版本在 RAD-ChestCT 的零样本 AUROC 达到 73.23%，但并非所有任务都需要报告生成分支。

研究背景与动机¶

CT 图像通常附有放射学报告，因此 CLIP 式图文对比学习看起来很适合医学影像：让检查与对应报告靠近，就可以用自然语言查询病变或检索相似病例。但可公开获取的成对数据仍很少，三维体数据又远比二维图像耗显存。把体数据裁得太小，报告里提到的器官或病灶可能落在视野之外；把整个体积压得太低分辨率，又可能丢掉细小异常。两种处理都可能让图像与报告的监督关系变得不可靠。

文本端还存在一个容易忽略的错位。训练报告是一整段包含多个器官、正常描述和异常发现的长文本，而零样本测试往往只问某种病变是否存在。CT-RATE 的 Findings 部分按 CXR-BERT 分词平均有 243 个 token，学会整份报告配对，并不等于学会区分简短的肯定句与否定句。与此同时，只优化全局图文匹配，也不保证视觉 token 保留分割需要的空间细节。

本文不把这些问题归结为单纯扩大模型，而是分别补足监督的形态、密度与来源。核心 idea：用相反句损失让训练直接覆盖测试时的病变存在性判断，用报告生成加密已有配对数据的监督，再用纯视觉掩码重建纳入无报告 CT 并保留局部结构。

方法详解¶

整体框架¶

COLIPRI 是一个编码器预训练配方，而不是直接输出临床结论的完整诊断系统。输入包括 CT-RATE 的 CT—报告对以及 NLST 等无报告图像；输出包括可用于图文匹配的全局嵌入和可用于下游任务的稠密视觉 token。图像编码器采用 Primus-M，文本编码器采用 CXR-BERT。

配对数据先经过放射学图文对齐，再加入相反句损失和并行报告生成；无报告图像通过多分辨率掩码重建训练同一个视觉编码器。下面展示的是各项训练监督如何汇合，而不是推理时依次运行的模块链。掩码重建还用于初始化视觉编码器，因此不能把图中的分支理解为只在训练末尾才启用。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    I["CT 与配对报告"] --> A["放射学图文对齐"]
    A --> B["相反句损失"]
    A --> C["并行报告生成"]
    U["有报告或无报告 CT"] --> D["多分辨率掩码重建"]
    A --> E["共享视觉编码器"]
    B --> E
    C --> E
    D --> E
    E --> F["全局嵌入与<br/>稠密视觉 token"]

关键设计¶

1. 放射学图文对齐：先让整份报告与三维视野尽量匹配

基础图文分支输入大小为 \(160\times160\times160\)、体素间距为 2 mm 的各向同性 CT。选择较大的物理视野，是为了让报告中的多个器官尽量处于输入范围内；限制体素数量，则避免三维 token 序列过长。图像与文本 token 分别通过多头注意力池化得到全局表示，图像表示再投影到较低维的文本空间，用 CLIP 对比目标完成检查级匹配。论文在自己的实验设置中发现普通 CLIP 目标优于 sigmoid 目标，而不是宣称这一结论普遍成立。

报告预处理为后续两个语言监督分支提供共同基础：用大语言模型将每份报告整理为八个临床小节，把句子分配到对应小节、生成精简版本，并标记为异常存在或正常发现。用于图文对齐时，随机打乱报告内句子，降低编码器对医生书写顺序的依赖；再以一定概率换用精简表达，缓和长报告与短提示的差异。这些增强主要阻止模型借助文风完成配对，却还没有直接教会它判别同一病变的肯定与否定。

2. 相反句损失：把测试时的二选一问题搬进训练

相反句损失（Opposite Sentence Loss，OSL）不只把图像与一条描述拉近，而是要求在一对相反描述之间分配概率。对于当前报告中真实出现的异常句，构造其否定版本，标签设为异常存在。另一类样本来自当前报告中没有阳性发现的临床小节：从其他报告的相同小节抽取异常句，将它作为当前图像不应匹配的描述，并配上否定句。这样模型既看到真实异常，也看到按报告小节构造的不存在异常。

设 \(v\) 为图像嵌入，\(e^+\) 和 \(e^-\) 为肯定句及其否定句嵌入，\(y\) 表示肯定句是否适用于当前图像。将原文的两类 softmax 与交叉熵写成单样本形式：

\[ p^+=\frac{\exp(\operatorname{sim}(v,e^+)/\tau)}{\exp(\operatorname{sim}(v,e^+)/\tau)+\exp(\operatorname{sim}(v,e^-)/\tau)},\qquad \ell_{\mathrm{OSL}}=-y\log p^+-(1-y)\log(1-p^+). \]

这里 \(\operatorname{sim}\) 是余弦相似度，\(\tau\) 是温度；训练损失对样本聚合。关键不是增加一个任意负样本，而是让两个文本候选只在病变存在性上相反，迫使模型学习这一区别。比如报告明确描述肺结节时，图像应更接近肯定句而非否定句；若某小节没有阳性发现，借来的异常句则反过来作为负例。这个例子解释采样机制，并非新的实验结果；其可靠性仍依赖报告及小节标签没有漏记异常。

3. 并行报告生成：让视觉表示承担内容恢复，而非只认配对线索

整份检查与报告的对比目标只要求区分配对关系，可能凭少量突出病变完成任务，却没有编码其他临床内容。论文因此用一个轻量 EVA-02 Transformer 解码器，通过交叉注意力读取稠密视觉 token，训练其恢复报告。作者比较了自回归生成与并行生成，最终采用后者：遮住待预测的正文 token，同时预测各位置，而不是让每个词依赖已经生成的前文。这样文本解码器更难仅靠语言上下文完成任务，必须更多利用图像。

并行预测面临同一影像可以有多种叙述顺序的问题，因此这里使用按八个临床小节组织的报告，并保留未遮挡的小节标题来约束内容位置。它与前面的句子打乱不是相互矛盾的规则：图文对齐分支要摆脱顺序捷径，报告生成分支则需要稳定的输出结构。这个预训练解码器也不是下游报告系统：下游实验另外冻结视觉编码器，通过两层 MLP 接到 Qwen2.5，并训练语言模型生成 Findings 部分。

4. 多分辨率掩码重建：让无报告图像补足空间监督

纯图文训练既受成对数据数量限制，也容易让局部纹理与解剖边界服从全局语义。掩码自编码器（MAE）则遮挡部分三维图像块，用轻量解码器根据上下文重建缺失体素，优化均方误差；它不需要报告，因此可以把 NLST 等图像数据加入训练。作者先通过 nnSSL 框架进行 Primus-M 的 MAE 预训练，再进行联合多模态训练，而不是完全从随机参数学习全部目标。

MAE 分支采样 1 mm 与 2 mm 各向同性分辨率的子体积。重建局部体素不需要报告对应的全局视野，所以可以在可控的输入规模内看见更细的空间结构，减轻预训练与高分辨率分割之间的差异。联合训练时，纯视觉掩码批次与图文批次交替更新共享视觉编码器，避免将遮挡后的不完整图像直接拿去对齐描述整个检查的报告。它带来的增益同时涉及额外数据、初始化和局部监督，不能仅凭最终模型比较就全部归因于某一个因素。

损失函数 / 训练策略¶

模型后缀反映逐步加入的目标：C 包含 CLIP 与 OSL；CR 再加入报告生成；CM 则在 C 上结合 MAE；CRM 包含全部目标。配对图文批次的目标为：

\[ \mathcal{L}_{\mathrm{VLM}}=0.5\mathcal{L}_{\mathrm{CLIP}}+0.5\mathcal{L}_{\mathrm{OSL}}+\lambda_{\mathrm{RRG}}\mathcal{L}_{\mathrm{RRG}}. \]

不使用报告生成时去掉最后一项；纯视觉批次优化加权的 MAE 重建损失。CT-RATE 用于两种批次，NLST 用于纯视觉批次。这里的组合是跨批次交替监督，不应理解为每张 CT 同时接受掩码重建与完整图文对齐。

本地正文缓存未包含所引用的补充材料，因此不补写未核实的掩码比例、报告生成损失权重或预训练步数。报告生成预训练是并行恢复目标；下游自回归生成与分割微调是评测编码器的另外两种使用方式。

实验关键数据¶

主实验¶

下表均为宏平均百分数，AUPRC 与 AUROC 越高越好。零样本结果按论文 Table 2 排除 Medical Material 与 Lymphadenopathy，与 fVLM 的 16 类协议保持一致；fVLM 数值为引用结果，且其推理依赖分割掩码。探测实验则在冻结特征上选择验证集最好的池化与学习率配置，部分探测器含注意力池化，不能笼统称为严格线性探测。

任务／数据集	指标	COLIPRI-CRM	对照方法	对照数值	差值（百分点）
零样本／CT-RATE	AUROC ↑	79.81	fVLM	77.8	+2.01
零样本／RAD-ChestCT	AUROC ↑	73.23	fVLM	68.0	+5.23
分类探测／CT-RATE	AUPRC ↑	61.28	Merlin	54.81	+6.47
分类探测／RAD-ChestCT	AUPRC ↑	52.55	Merlin	45.30	+7.25

CRM 不是所有列的最优版本：CT-RATE 零样本 AUROC 中 CM 为 80.52，高于 CRM 的 79.81；RAD-ChestCT 上则是 CRM 更好。报告到图像检索在去除重复报告后的 1493 个测试样本上，CRM 的 Recall@5 为 35.10%，CM 为 34.16%；表中的 CT-CLIP 2.90% 来自原论文，跨论文比较仍需注意协议差异。

报告生成不能只看 BLEU 或 ROUGE。正文概述 CRM 的 RadBERT MacroF1 约为 45%，只统计阳性发现的 RadFact-CT (+) F1 约为 22%；这些是正文中的近似值，并非从未提供的 Table S15 推断出的精确数值。RadBERT 用文本分类器衡量异常标签的一致性；RadFact-CT (+) 则用模型判断阳性发现陈述的逻辑正确性，汇总逻辑精确率与召回率。二者都不等同于临床可用性。

消融实验¶

OSL 消融来自验证集 Table 3，不与上面的测试集结果混算。Native 提示使用每类异常存在与不存在各 50 份随机报告的平均嵌入；Short 使用简短的存在／不存在提示。

配置	提示方式	AUPRC ↑（%）	AUROC ↑（%）
COLIPRI-CRM	Native	51.17	81.91
去掉 OSL	Native	47.48	80.48
COLIPRI-CRM	Short	50.70	81.66
去掉 OSL	Short	39.08	74.09

去掉 OSL 后，短提示 AUROC 下降 7.57 个百分点，长提示只下降 1.43 个百分点。这比单看完整模型领先多少，更直接支持 OSL 主要修复长报告到短提示错位的解释。

分割表保留相同 Primus-M 架构、37.5k 步微调下的比较，指标是五折交叉验证的前景类别平均 Dice（DSC，越高越好），而不是把不同训练预算下的最好值拼起来。

数据集	从头训练	纯 MAE	COLIPRI-C	COLIPRI-CRM
LiTS	74.39	80.27	76.77	80.46
Lung	62.74	67.12	65.89	68.98
HVS	64.67	67.10	64.64	67.05
KiTS23	78.90	85.34	81.02	85.79

关键发现¶

OSL 的证据最集中：它让短提示 AUROC 接近长提示，而不是仅通过更长查询获得提高。
MAE 对局部任务和全局任务都重要，但 CRM 并非分割全面领先：HVS 的短程微调略低于纯 MAE，且 C 甚至略低于从头训练。
RRG 更像辅助监督，检索受益较明确；作者承认不关注检索时，CM 可以作为表现相近的简化版本。
正常陈述会影响报告评估：将正常与异常一起统计的 RadFact-CT (+/−) 可能被大量“未见异常”句子主导，不能据此推断模型更善于发现真正病变。

亮点与洞察¶

对齐的是推理问题，而不只是文本长度。 精简报告只改变句子形式，OSL 进一步让训练回答病变是否存在，因而能单独验证它对短提示的作用。
同一个编码器保留两种粒度。 全局图文监督提供临床语义，局部重建保留体素结构；不同分支使用不同视野和掩码规则，避免强行共享不合适的输入处理。
区分表示预训练与下游生成。 并行恢复报告用于塑造视觉特征，不等同于最终自回归报告系统，解释了为什么加入 RRG 不一定带来最大的报告生成增益。

局限与展望¶

作者明确指出，报告生成的临床指标仍不足以支撑临床应用，需要更大且更多样的数据，以及按病变和患者特征分层的评估。
OSL 的负例依赖“某小节无阳性发现”这一报告级判断；未记录或被预处理遗漏的异常可能使监督带噪。这是其采样机制的潜在限制，而非论文已定量证明的失败率。
MAE 与额外无配对数据共同出现，表格中的增益不能直接当作严格控制数据量后的单目标因果效应。补充材料未在缓存中，细粒度训练设置仍需查原文附件。
分割优势应限定在比较范围内：长程微调并不总优于短程微调，Primus-M 也未整体超越强 CNN 参考 ResEnc-L；“通用表示更好”不等于“所有分割任务最强”。

评分¶

新颖性: 4/5 — OSL 对医学长报告与短提示错位有针对性，其余部分以有效整合现有目标为主。
实验充分度: 4/5 — 覆盖分类、检索、生成和分割，但基线协议与数据规模因素仍需审慎区分。
写作质量: 4/5 — 模型家族与目标关系清楚，个别全局领先表述比表格支持的范围更宽。
价值: 4/5 — 为三维医学图文编码器提供可复用训练配方，但不是经过临床验证的诊断工具。