Concept-to-Pixel: Prompt-Free Universal Medical Image Segmentation¶

会议: ECCV2026
论文: https://eccv.ecva.net/virtual/2026/poster/4207
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/4937.pdf
代码: https://github.com/Yundi218/Concept-to-Pixel
领域: 模型压缩（知识蒸馏；应用于医学图像分割）
关键词: 知识蒸馏、通用医学分割、解耦概念、动态卷积、几何一致性

一句话总结¶

C2P 将大模型生成的医学语义蒸馏到语义 token，并用掩码属性监督几何 token，再据此生成逐图像动态卷积核和几何一致性融合权重，以无需人工提示或参考图像的单模型取得八数据集平均 Dice 88.22%，但不能稳健迁移到所有结构类型。

研究背景与动机¶

通用医学分割希望一套参数同时处理超声、MRI、CT、病理等不同图像，而不是每个任务维护一个模型。困难不只是颜色或噪声不同：相似的像素表现可能对应不同组织，网络若只在混合数据上联合优化，很容易把本来不能共用的外观规则混在一起。交互式分割模型可以借助点、框明确目标，但这仍需要人工输入；UniverSeg、Spider 一类上下文方法则把任务定义交给图像—掩码参考对，因而受参考质量和部署时支持集准备的约束。

C2P 的切入点是区分“目标长什么形状、位于哪里”和“这种成像条件下的纹理意味着什么”。前者可以从标注掩码计算并跨模态共享，后者需要医学概念及模态上下文。仅增加几个自由学习的 token 并不能保证这种分工，因此论文分别赋予它们可核对的几何回归目标与由医学文本得到的语义对齐目标，再让两组表示参与像素预测，而不是只当训练时的附属分支。

核心 idea：把医学知识变成有明确监督的几何与语义 token，让语义蒸馏承担外观理解、几何监督承担结构约束，并由这些概念直接控制每张图像的分割边界和预测自检。

方法详解¶

整体框架¶

输入是一张医学图像，输出是前景与背景分割；测试时不需要点、框、参考掩码或临时生成的文本。训练前先离线准备两类监督：从真实掩码提取几何属性，用多模态大语言模型为训练图像生成结构化描述并经 PubMedBERT 编码。训练时，概念构建与模态注入产生两组有不同职责的 token，双向概念交互把它们与视觉特征绑定，概念引导动态头负责真正的掩码预测。

推理阶段还可对翻转等扰动视图运行同一模型，利用几何一致性共识决定哪些预测值得合并。这里的“无需提示”是部署接口的性质，不意味着训练不使用文本知识或像素标注；论文的语义蒸馏是把离线大模型知识保留在分割网络中，而非在线调用大模型分割。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["医学图像<br/>训练时附离线监督"] --> B["概念构建与模态注入"]
    B --> C["双向概念交互"]
    C --> D["概念引导动态头"]
    D --> E["几何一致性共识"]
    E --> F["最终分割掩码"]

关键设计¶

1. 概念构建与模态注入：共享形状知识，但不强迫外观知识共享

几何 token [GEO] 不是没有解释的潜变量，而是分别受到明确属性监督。论文使用包围盒、面积、周长、长宽比、紧致度、质心、偏心率、方向和实心度这 9 类属性，监督值来自训练掩码的离线计算。面积与质心约束“多大、在哪”，其余属性补充轮廓和形状信息。这样的目标迫使几何表示对实际结构负责，减少模型把某种成像亮度误当作目标身份的机会；但“可跨模态共享”并不等于对所有拓扑都适用，紧致度等先验会受到训练目标形状的限制。

语义 token [SEM] 则学习另一类证据。Qwen3-VL-Plus 为训练图像生成涵盖形态、边缘定义、内部纹理、周围交互、边界清晰度、恶性风险、病理推断、鉴别推理和预测诊断的 9 个维度描述，PubMedBERT 将它们编码为 768 维嵌入，作为语义对齐目标。这些是模型生成的训练监督，而不是人工确诊报告。由于“低回声”等概念依赖模态，风格—内容融合模块 SCFM 再从浅层 E2 提取逐通道均值与标准差，从深层 E5 提取全局平均池化内容，经门控 MLP 融合后，仅向语义 token 注入模态信息。几何 token 不接收这一模态偏置，使结构共享与外观区分各有明确入口。

2. 双向概念交互：让概念读取图像，也让图像接受概念约束

若语义 token 只记住离线文本，几何 token 只记住训练集的平均形状，它们仍无法描述当前病例。C2P 将深层 E5 特征展平、投影并加入可学习二维位置编码，把两组概念 token 拼接后进行多层双向交叉注意力。先由概念 token 作查询，读取视觉特征的键和值，让“边缘”“位置”等表示收集当前图像的证据；残差连接和前馈网络更新这些表示，使它们从全局可学习先验变为样本相关概念。

随后交换读写方向：视觉特征作查询，读取更新后的概念 token。这一步让像素特征吸收结构与语义限制，抑制虽有局部纹理响应、却不符合目标概念的背景。两次注意力并非两个互不相干的分支：前一次使概念适应病例，后一次把这一适应结果返还给图像，因此最终解码既保有空间证据，也受高层概念引导。二维位置编码负责保留视觉布局，不是额外的几何监督来源。

3. 概念引导动态头：把概念变成实际用于分类像素的权重

同一套静态分割头要覆盖所有成像条件，可能仍把不同病例压进固定的像素判别规则。概念引导动态头 TGDH 不直接给 token 接一个分类器，而是先解码交互后的视觉特征，得到高分辨率 D2，再对 D2 全局平均池化形成图像查询。这个查询通过两路交叉注意力分别汇聚最终几何 token 与语义 token，由当前图像决定各类概念应该贡献多少信息。

随后，几何汇聚结果、语义汇聚结果和图像查询一起输入核生成 MLP，生成前景与背景各自的动态卷积参数，再把这些参数作用于 D2，输出两类像素概率。这里的动态性来自“每张图像重新生成头部参数”，不是换一个任务标识选择预置分类头。保留图像查询也很重要：卷积权重不仅由抽象概念决定，还能结合当前图像的整体上下文；高分辨率 D2 则保留具体边界所需的空间细节。

4. 几何一致性共识：用两种预测路径的分歧降低不可信视图的权重

推理时，对同一图像的多个扰动视图，网络既输出分割掩码，也从几何 token 回归面积与质心。系统再直接从掩码计算面积和质心，比较“概念分支认为应该出现的目标”与“像素分支实际画出的目标”。不一致越大，置信权重越低；原文采用指数衰减的惩罚形式，结合面积差与质心位置差，并对回归面积接近零却出现前景的矛盾预测实施额外假阳性抑制。

最后使用加权融合，而不是标准测试时增强中对所有视图一视同仁的平均。下式是原文给出的融合关系，\(M_i\) 为参与融合的视图掩码，\(w_i\) 为相应几何一致性权重：

\[ M_{\mathrm{final}}=\frac{\sum_i w_i M_i}{\sum_i w_i}. \]

这个机制检查的是模型内部自洽性，不是真实正确率。两条预测路径若同时继承了错误形状先验，也可能“一致地错”；因此应把它理解为对异常视图的抑制，而非独立的临床可信度评估。缓存中的权重公式存在运算符抽取破损，这里不补写未经核实的系数、阈值或精确惩罚公式。

损失函数 / 训练策略¶

总目标同时训练像素预测、几何回归和语义对齐：

\[ \mathcal{L}_{\mathrm{total}}=\lambda_{\mathrm{seg}}\mathcal{L}_{\mathrm{seg}}+\lambda_{\mathrm{geo}}\mathcal{L}_{\mathrm{geo}}+\lambda_{\mathrm{sem}}\mathcal{L}_{\mathrm{sem}}. \]

分割损失对前景和背景均使用结构损失与 Dice 损失。结构损失先用掩码与其 \(31\times31\) 平均池化结果的差异加大边界附近权重，再结合加权 Focal 与 IoU 项；Focal 参数为 \(\gamma=2.0\)。几何属性以归一化目标接受均方误差监督；语义损失在方法细节中明确写作余弦嵌入对齐，不应仅依据前文“contrastive loss”的概称，擅自补成带负样本的 InfoNCE。

实现段给出 ConvNeXt-B 主干、\(384\times384\) 输入、Adam、批大小 8、训练 50 个 epoch、初始学习率 \(10^{-4}\) 和余弦衰减。不过消融段又称基线使用 ConvNeXtV2 主干，缓存未充分澄清二者版本关系；正文也未给出三项损失权重的具体数值。所读文件包含完整主文和参考文献，但未附文中提及的附录，因此不补造预处理配置或额外超参数。

实验关键数据¶

主实验¶

联合训练覆盖 8 个数据集、7 种模态；平均 Dice 为各数据集结果的平均，数值单位为百分比，越高越好。以下摘录原表 1，专用方法为“一任务一模型”，通用方法为“一模型多任务”，不能把平均分优势解释为所有单项都胜出。

方法	设置	平均 Dice ↑	Polyp Dice ↑	COVID Dice ↑	AMDSD Dice ↑	BTD Dice ↑
nnUNetV2	专用模型	86.68	90.47	79.44	88.01	86.32
RWKV-UNet	专用模型	87.38	91.41	81.41	85.65	85.15
Spider	通用模型	87.32	92.40	83.14	83.21	84.66
SR-ICL	通用模型	87.25	92.22	82.92	84.88	85.37
C2P	通用模型	88.22	93.13	83.91	86.27	85.73

C2P 相对 Spider 平均提升 0.90 个百分点，相对 nnUNetV2 提升 1.54 个百分点；但 AMDSD 和 BTD 仍低于 nnUNetV2。下面摘录原表 2 的零样本结果，均为 Dice（%）↑。C2P 不增加新 token、不生成测试文本，也不使用支持图像；Spider 使用 64 张参考图像，SR-ICL 使用自参考细化，资源条件并不相同。

数据集	迁移类型	Spider（64 张参考）	SR-ICL（自参考）	C2P（无参考）
TN3K	已见超声模态的新数据集	74.24	70.59	75.14
ACDC	已见 MRI 模态的新数据集	63.26	59.95	71.87
BUSBRA	已见超声模态的新数据集	85.16	80.70	83.39
GlaS	已见病理模态的新数据集	56.42	53.78	53.99
Montgomery	未见 X-Ray 模态	83.89	67.00	87.60
ISBI EM	未见电子显微镜模态	64.63	83.21	26.79

TN3K 在原表 2 为 75.14，正文另一处写成 75.15，本笔记统一采用表格值。原表标题文字还误将超声称为未见模态；按数据设置，超声已参与训练，真正额外测试的未见模态是 X-Ray 与电子显微镜。

消融实验¶

以下摘录原表 3 的八数据集平均 Dice（%）↑。各行是不同训练或推理配置，不是对最终模型逐项删除的完全对称实验。

配置	平均 Dice ↑	说明
无概念 token，静态头	82.38	联合训练基线
仅语义 token，静态头	87.15	单独加入语义监督与引导
仅几何 token，静态头	87.31	单独加入几何监督与引导
无概念 token，动态头	87.19	动态头本身也有明显收益
两类 token，动态头，无增强	87.79	完整训练架构
两类 token，动态头，标准 TTA	88.16	多视图平均
两类 token，动态头，几何一致性共识	88.22	完整推理配置

关键发现¶

几何 token 静态头相比基线提升 4.93 个百分点，语义 token 静态头提升 4.77 个百分点；但无概念动态头也达到 87.19，不能把全部提升归因于语义蒸馏。
几何一致性共识相对标准 TTA 只增加 0.06 个百分点，而标准 TTA 相对无增强配置增加 0.37 个百分点；主体收益来自训练架构，而非最后的重加权。
零样本优势具有结构条件：ACDC 与 Montgomery 表现较强，BUSBRA 并未超过 Spider，ISBI EM 则显著落后。t-SNE 和注意力图支持表征分工的解释，但不是因果证明。

亮点与洞察¶

几何监督具有双重用途：训练时规定 token 的含义，推理时用同一属性体系检查掩码。相比另训质量估计器，这种复用使自检信号与训练目标直接相连。
大模型的作用发生在离线知识准备中，最终部署仍由分割网络完成。由此应区分“免去推理提示”与“免去训练成本”，前者得到实验支持，后者并非论文主张。

局限与展望¶

作者明确承认紧致结构先验不适合电子显微镜中的细长神经结构，并提出扩充血管、神经等训练结构。ISBI EM 的 26.79% Dice 是这一边界的直接证据，而非可忽略的小幅退化。
主表未给出重复运行方差或显著性检验，也没有展示语义报告质量控制的独立消融。因此，0.06 个百分点的推理增益以及生成语义中的潜在错误都需要谨慎解读。
本文是图像前景/背景分割实验，不能据此推定已验证任意器官的多类别分割、三维体数据一致性或临床安全性。主干版本表述与缺失附录配置也限制了仅凭当前文本的复现精度。

评分¶

新颖性: 4/5 — 将语义蒸馏、显式几何监督、动态头与几何自检组织为连贯方案，单个算子并非全新。
实验充分度: 4/5 — 覆盖多模态、外部数据集和有解释价值的失败案例，但统计稳定性与部分配置仍不充分。
写作质量: 3/5 — 方法主线清楚，数字、模态标签与主干名称存在需要核对的小不一致。
价值: 4/5 — 提供了无需测试提示的通用分割路径，并清晰暴露结构先验的适用边界。