Text-Guided Medical Image Segmentation via Residual Aggregation and Dense Alignment Representations¶

会议: NeurIPS 2026
arXiv: 2610.14944
代码: https://github.com/JGuiidev/RADAR
领域: 医学图像
关键词: 文本引导医学图像分割, 密集对齐表征, 残差深度聚合, 多模态Prompt生成, 参数高效微调

一句话总结¶

本文提出轻量级框架 RADAR，通过解耦 BiomedCLIP 语义锚定与 MedSAM2 掩码解码，引入文本条件引导的残差深度聚合 GRDA、教师锚点结构化密集对齐 SDRA 及多模态 Prompt 生成 MPG，仅需 0.74M 可训练参数即显著提升低对比度与模糊边界病灶的分割精度。

研究背景与动机¶

在临床医学影像分析中，借助自然语言灵活指定病灶目标能够克服传统闭集分割强依赖预定义类别标签的死板假设，尤其适用于病理表现多样、影像质量欠佳的复杂临床场景。然而，自然语言提示给出的往往只是病灶类别、解剖大致位置或范围等高层语义先验，而像素级医学分割要求极高精度的解剖边界勾勒与细粒度空间定位。这种高维语义先验到像素级空间控制之间的鸿沟，在病灶与周围正常组织低对比度、解剖结构形态极度相似、病理边界高度模糊的情况下，极易引发定位漂移、边界渗漏和解剖上下文混淆。

近年来以视觉语言模型（如 BiomedCLIP）与提示驱动分割大模型（如 SAM、MedSAM2）为代表的级联架构展现了互补潜力，即由 VLM 提供粗粒度定位响应，再借由 SAM 强大的类不可知掩码生成能力细化轮廓。然而现有的 VLM-SAM 级联框架依然面临两项致命瓶颈：其一，文本语义在视觉编码器中介入过晚，而深层前向传播过程中浅中层的关键空间视觉证据被持续稀释，传统的固定加权残差累积无法根据当前文本意图自适应保留关键层次特征；其二，VLM 的预训练目标主要面向全图图文对比检索，其未经针对性像素级判别训练的密集局部表征存在显著歧义，在低对比度组织处常同时激活病灶、过渡边界与背景上下文，进而导致自动生成的视觉 Prompt 充满噪声并严重误导下游 SAM 的掩码解码。

为了化解上述语义到空间映射的不稳定性，本文提出参数高效架构 RADAR。核心 idea：解耦医学视觉语言语义锚定与提示驱动掩码解码，通过文本条件引导的跨层残差深度聚合（GRDA）自适应路由关键视觉证据，结合构建目标-边界-上下文三元锚点的结构化密集表征对齐（SDRA），将鲁棒跨模态响应转化为复合文本/点/掩码 Prompt 驱动 MedSAM2 精准解码。

方法详解¶

整体框架¶

RADAR 的整体流程显式解耦为三个核心协作阶段：双分支多模态特征编码、跨模态密集表征增强与结构化对齐、复合 Prompt 生成与空间掩码解码。给定输入医学图像，系统分别调整分辨率输入冻结的预训练医学视觉语言模型 BiomedCLIP 与医学提示分割大模型 MedSAM2；BiomedCLIP 文本分支编码生成文本 Token 表征及全局文本向量，视觉分支抽取密集网格特征；MedSAM2 图像编码器抽取多尺度视觉特征。在编码过程中，文本语义通过 GRDA 作为深度路由条件在各空间位置自适应聚合跨层视觉证据；在密集特征输出端，通过结构化密集表征对齐（SDRA）利用冻结的教师模型建立目标、边界和上下文三元区域锚点进行判别式局部校准；最后，多模态 Prompt 生成模块（MPG）将精炼后的图文相似度响应映射为文本 Embedding、正负采样点集和连续掩码 Prompt，引导 MedSAM2 解码器输出最终分割结果。全流程中主干网络参数保持冻结，仅通过在选定层插入 LoRA 与轻量级组件实现仅 0.74M 参数的高效微调。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入医学图像 I & 文本描述 T"] --> Enc["双分支特征编码<br/>BiomedCLIP + MedSAM2 (LoRA 微调)"]
    Enc --> D1["1. 语义引导残差深度聚合 GRDA<br/>文本条件动态深度路由"]
    D1 --> D2["2. 结构化密集表征对齐 SDRA<br/>目标/边界/上下文锚点与边界负抑制"]
    D2 --> D3["3. 多模态 Prompt 生成 MPG<br/>复合文本/正负点/掩码 Prompt 映射"]
    D3 --> Dec["MedSAM2 掩码解码器<br/>多尺度特征融合与像素预测"]
    Dec --> Out["最终像素级分割掩码 Y_pred"]

关键设计¶

1. 语义引导残差深度聚合 GRDA：以文本条件动态路由跨层视觉证据

传统残差网络在极深层传播中容易稀释中间层富含的边缘细节与高辨识度空间证据，而现有的跨模态融合多在深层迟缓注入文本，无法根据目标需求自主决定保留哪一层的视觉特征。GRDA 将文本语义转化为各空间位置跨层选择的“深度路由开关”。在第 \(i\) 层，收集历史候选特征堆叠为张量 \(\mathbf{X}_{stacked}\in\mathbb{R}^{K\times B\times N\times C}\)。在 BiomedCLIP 视觉分支中，聚合评分不仅包含特征内部生成的自适应基础分数 \(\mathbf{A}_{base}\)，还显式计算堆叠视觉特征与有效文本 Token 之间的余弦相似度并排除填充词，得到文本引导分数 \(\mathbf{A}_{text}\)：

\[\mathbf{S}_{text}^{(l)}=\cos(\mathbf{X}_{stacked},\mathbf{E}_{txt}^{(l)}),\quad \mathbf{A}_{text}=\frac{\sum_{l=1}^{L}\mathbf{S}_{text}^{(l)}\cdot\mathbf{E}_{mask}^{(l)}}{\sum_{l=1}^{L}\mathbf{E}_{mask}^{(l)}}\]

将二者相加得到融合路由分数 \(\mathbf{A}_{fuse}=\mathbf{A}_{base}+\mathbf{A}_{text}\)，经温度系数 \(\tau\) 归一化 Softmax 得到深度加权向量 \(\boldsymbol{\alpha}\)，融合特征通过可学习残差缩放因子 \(\gamma\)（初始置 0 保证训练初始恒等映射）注入主干：\(\mathbf{X}_{out}=\mathbf{X}_{i}+\gamma(\mathbf{X}_{merged}-\mathbf{X}_{i})\)。这使得网络能根据当前描述的病灶类型，自适应保留对该病理最敏感的浅层细节或深层语义。

2. 结构化密集表征对齐 SDRA：通过嵌套区域锚点增强局部判别力

BiomedCLIP 等视觉语言模型预训练面向全图对齐，其密集网格表征容易在病灶边界及相似背景上模糊泛化。SDRA 首先将 BiomedCLIP 视觉编码器最后一个 ViT Block 替换为投影 Value 表征以保留密集网格空间细节，然后在训练阶段基于标注掩码的外接矩形构建三层嵌套结构：目标核心区 \(B_{tar}\)、模糊过渡边界区 \(B_{bd}\) 以及外围解剖上下文区 \(B_{ctx}\)。利用冻结的 BiomedCLIP 图像编码器作为教师提取各裁剪区域的稳定锚点向量 \(\mathbf{f}_r^T\)，与密集特征掩码池化得到的学生向量 \(\mathbf{f}_r^S\) 计算余弦对齐损失 \(\mathcal{L}_r\)。为防止边界区域被错误同化为目标特征，设计了独特的边界负向抑制损失：

\[\mathcal{L}_{neg}=\operatorname{ReLU}\left(\cos(\mathbf{f}_{bd}^S,\mathbf{f}_{tar}^T)-\cos(\mathbf{f}_{tar}^S,\mathbf{f}_{tar}^T)\right)\]

该约束强行拉开过渡带与真实病灶核心在特征空间上的相似度，从而彻底抑制边界模糊与假阳性响应。需要强调的是，SDRA 的教师网络仅在训练阶段参与监督，推理时完全移除，不增加额外前向负担。

3. 多模态 Prompt 生成 MPG：跨模态响应向精准空间控制信号转化

即便拥有对齐后的跨模态相似度图，直接阈值化仍会包含孤立噪点，难以为下游解码器提供可靠控制。MPG 将多模态语义响应转化为 MedSAM2 所需的三合一复合 Prompt 集 \(\mathcal{P}=\{\mathbf{P}_{txt},\mathbf{P}_{pt},\mathbf{P}_{mask}\}\)。对于文本 Prompt，利用两层 MLP 将全局文本特征投影至 MedSAM2 提示嵌入空间；对于掩码 Prompt，将密集相似度图归一化重采样至标准分辨率直接注入；对于点 Prompt，设计了稳健的启发式空间采样策略：先以分位数 \(Q_{0.90}\) 动态滤除弱响应并过滤面积小于 16 像素的孤立分量，再通过形态学腐蚀收敛至高置信病灶核心区提取正样本点（\(N_+=2\)），同时在膨胀环形硬背景过渡区提取难负样本点（\(N_-=2\)），并施加最小 12 像素间距约束。正负结合的点集与连续掩码互补，为 MedSAM2 提供了精准且兼具容错能力的空间引导。

损失函数 / 训练策略¶

系统总训练目标由三部分联合驱动：MedSAM2 预测掩码的 BCE-Dice 最终分割损失 \(\mathcal{L}_{seg}\)、密集相似度图经 Sigmoid 映射后的辅助监督损失 \(\mathcal{L}_{sim}\)，以及 SDRA 结构化对齐损失 \(\mathcal{L}_{align}\)：

\[\mathcal{L}_{total}=\mathcal{L}_{seg}+\lambda_{sim}\mathcal{L}_{sim}+\lambda_{align}\mathcal{L}_{align}\]

超参数设置上，\(\lambda_{sim}=0.2\)，\(\lambda_{align}=0.2\)。在 \(\mathcal{L}_{align}\) 内部，目标对齐权重 \(\lambda_{tar}=0.5\)，边界对齐、上下文对齐与边界负抑制权重均为 0.2。训练全程冻结 BiomedCLIP 与 MedSAM2 的骨干权重，仅在 MedSAM2 图像编码器全部层以及 BiomedCLIP 视觉/文本后 4 层注入低秩自适应模块 LoRA（\(r=8, \alpha=1.0\)），可训练参数量压缩至仅 0.74M。优化器采用 AdamW，初始学习率 \(3\times 10^{-4}\)，配合余弦退火重启策略与 Early Stopping。

实验关键数据¶

主实验¶

在涵盖新冠感染肺部 X-ray (QaTa-COV19)、新冠 CT 切片 (MosMedData+) 以及结肠镜息肉图像 (Kvasir) 三个公开基准数据集上进行全面评测。RADAR 在保持超低可训练参数量 (0.74M) 和轻量计算开销 (46.66G FLOPs) 的同时，分割精度全面超越纯视觉模型、传统视觉语言多模态模型以及既有 VLM-SAM 级联方案。

方法类型	模型方法	可训练参数	FLOPs	QaTa-COV19 (Dice/mIoU)	MosMedData+ (Dice/mIoU)	Kvasir (Dice/mIoU)
纯视觉	U-Net	31.04M	41.91G	76.95% / 66.97%	40.57% / 30.41%	54.82% / 41.38%
纯视觉	TransUNet	105.28M	49.36G	77.38% / 67.27%	63.52% / 49.26%	86.19% / 78.50%
纯视觉	Swin-UNet	27.17M	5.92G	77.47% / 68.05%	63.98% / 50.61%	83.90% / 75.98%
视觉-语言	LViT	39.93M	27.08G	83.21% / 74.43%	73.97% / 60.89%	88.14% / 81.07%
视觉-语言	RecLMIS	69.44M	26.69G	83.87% / 75.16%	74.63% / 61.42%	84.12% / 75.78%
视觉-语言	MMI-UNet	56.18M	11.04G	83.86% / 75.20%	70.80% / 57.23%	90.42% / 84.61%
VLM-SAM级联	DIT	103.38M	92.82G	79.99% / 70.40%	72.22% / 59.00%	89.80% / 83.97%
VLM-SAM级联	LGA	97.91M	381.18G	81.47% / 72.22%	72.46% / 58.92%	86.37% / 78.60%
VLM-SAM级联	CLIP-MedSAM2	1.13M	93.85G	83.35% / 74.36%	73.90% / 60.43%	90.27% / 84.80%
VLM-SAM级联	RADAR (本文)	0.74M	46.66G	84.12% / 75.32%	75.47% / 62.43%	92.15% / 86.65%

消融实验¶

针对主干模块、Prompt 策略、跨层路由与表征对齐的逐步消融实验证明了各组件的必要性与高度互补性。

实验配置变体	MPG组件构成	GRDA	Dense Mod.	SDRA	MosMedData+ (Dice/mIoU)	Kvasir (Dice/mIoU)
MedSAM2 Baseline	无外部Prompt	–	–	–	69.19% / 55.33%	88.11% / 81.07%
+ 文本 Prompt	仅 Text	–	–	–	69.86% / 55.68%	88.73% / 82.17%
+ 文本与点 Prompt	Text + Point	–	–	–	71.14% / 57.47%	89.93% / 83.62%
Full MPG	Text + Point + Mask	–	–	–	71.47% / 57.67%	90.36% / 84.29%
Full MPG + GRDA	全套 Prompt	✓	–	–	72.78% / 59.40%	91.35% / 85.61%
去除 SDRA 模块	全套 Prompt	✓	✓	–	73.71% / 60.22%	91.63% / 86.25%
去除 Dense Mod.	全套 Prompt	✓	–	✓	75.29% / 62.21%	91.77% / 86.24%
去除 GRDA 模块	全套 Prompt	–	✓	✓	74.63% / 61.30%	90.84% / 85.28%
RADAR 完整模型	全套 Prompt	✓	✓	✓	75.47% / 62.43%	92.15% / 86.65%

关键发现¶

Prompt 协同放大增益：从单纯文本 Prompt 逐步增加点采样与密集掩码时，MosMedData+ 的 Dice 从 69.86% 稳步跃升至 71.47%，证明点与掩码为 SAM 解码器提供了互补的边界与区域约束。
跨层路由与局部对齐双轮驱动：在完整 Prompt 基础上加入 GRDA，MosMedData+ Dice 提升 1.31%；在此基础上加入 SDRA 密集表征对齐，Dice 进一步提升 2.69%（达到 75.47%），说明解决“深层语义稀释”与“密集特征局部模糊”是提升 VLM-SAM 性能的两个决定性支柱。
文本扰动鲁棒性验证：当文本被清空时，模型在 QaTa-COV19 和 MosMedData+ 上的 Dice 分别严重滑落 7.22% 和 7.67%，HD95 误差显著增加一倍以上；而轻微扰动和同义词替换仅导致微弱波动（Dice 仅降约 0.5%），证明模型扎实利用了文本语义先验而非盲目依靠视觉过拟合。

亮点与洞察¶

文本条件引导深度路由机制：不同于常规跨模态注意力每次均强行向特征图注入文本，GRDA 将文本作为深度层维度的动态路由条件，根据病灶语义去决定抽取保留哪一历史层的视觉证据，既避免语义信息冗余稀释，又保护了底层空间边界。
三元区域教师锚点与边界负抑制：巧妙利用未微调的 BiomedCLIP 教师对目标、过渡带及背景区域构建结构化对齐约束，并引入边界负抑制损失，防止过渡模糊区侵蚀病灶特征，推理期直接卸载教师，实现零开销提升特征判别度。
高能效的跨模型级联范式：冻结通用医学领域两大基石模型的主干权重，仅通过精心调配的 LoRA 层（0.74M 参数）与启发式空间提示采样连通语义与分割，为参数受限临床算力环境下的基础模型迁移提供了范例。

局限与展望¶

依赖启发式 Prompt 采样后处理：MPG 中的连通域阈值分割、形态学腐蚀与膨胀环采样依赖手工调谐的超参数（如 0.90 分位数、特定卷积核尺寸），在极端低对比度或复杂弥漫性病变时泛化能力可能受限。
缺乏原生 3D 体积数据建模：尽管在 2D 切片上验证了 CT 与 X-ray，但当前框架尚未原生支持 3D 空间切片间的层间连续性注意力建模与多器官多类别并行分割。
未来改进方向：探索端到端可微分的轻量级可学习 Prompt 生成头（如在保证参数量受控的前提下增强 LMPG），并将 GRDA 扩展至 3D 体素级骨干网络中。

评分¶

新颖性: ⭐⭐⭐⭐☆ 文本深度路由机制与三元边界负抑制区域对齐设计新颖实用。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 个多模态医学基准、全方位消融、跨骨干泛化及详尽文本扰动分析。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰严谨，逻辑推导自洽，实验呈现规范详实。
价值: ⭐⭐⭐⭐⭐ 为医学多模态基础模型与交互式分割大模型的高效协作提供了极具参考价值的轻量级落地范式。