Wavelet-Driven Cross-Domain Consistency for Mixed-Supervised 3D Tumor Segmentation¶
会议: ECCV 2026
论文: ECCV 原文
领域: 医学图像
关键词: 3D肿瘤分割, 混合监督学习, 小波变换, 跨域一致性, 域泛化
一句话总结¶
针对医学CT重建滤波核异质性与跨数据源域偏移,提出首个面向3D肿瘤混合监督分割的小波驱动跨域一致性框架(WCC4MS),通过小波频域调制生成平滑/锐化变体并结合双分支跨任务一致性与显式域感知正则化,在少掩码多弱标场景下显著刷新多数据集SOTA。
研究背景与动机¶
三维CT肿瘤分割在量化病灶特征、监测疾病进展及制定放化疗策略等临床决策中至关重要。尽管全监督深度学习模型在高质量标注数据集上取得了卓越表现,但3D CT体数据的逐体素掩码标注极其耗时且高度依赖资深放射科专家的交叉复核。为了缓解密集标注的成本瓶颈,弱监督学习(如仅依赖3D边界框)成为近年来的研究热点,然而纯弱监督方案在复杂且不规则的病灶边界上往往表现欠佳,难以满足实际临床对高精度边缘刻画的要求。混合监督学习(Mixed-Supervised Learning)应运而生,它旨在利用少量高精度像素掩码与海量低成本边界框弱标注联合训练统一网络,最大化释放多源异质数据的标注价值。
然而,现存混合监督方法面临着严重的跨数据源域偏移与成像异质性挑战。在实际临床与公开基准中,提供强标注和弱标注的CT数据集往往来自不同的医疗中心与设备厂商,其CT扫描重建滤波核(Reconstruction Kernels)存在显著差异——高噪声滤波核能够保留锐利的组织与肿瘤边缘,而低噪声平滑核则会平滑细微纹理。由于隐私限制,公开医学影像数据通常剥离了原始元数据,无法通过逆傅里叶变换消除滤波核效应;更关键的是,常规图像质量评估倾向于识别全局分布漂移,而肿瘤分割要求聚焦局部边界分类,传统域适应或半监督范式很难直接调和这两类冲突的目标。
针对这一核心困境,本文选择从多尺度频域调制切入:虽然无法获取原始重建元数据,但滤波核的本质是对CT高频分量的选择性放大或抑制。通过在三维小波变换域直接对高频子带系数进行缩放,可以无损解耦病灶解剖结构与高频纹理扰动,合成兼具平滑与锐利特性的同源变体。核心 idea:利用 3D 离散小波变换对输入病灶体进行高频系数缩放生成平滑与锐化域变体,在共享主干的双分支架构中联合学习掩码分割与边界框检测,并通过跨分支 KL 散度一致性约束和辅助域感知分类器引导网络捕捉图像质量敏感特征,实现对重建核异质性与标注噪声兼具强鲁棒性的跨域 3D 肿瘤分割。
方法详解¶
整体框架¶
WCC4MS 采用病灶为中心(Lesion-centered)的端到端双分支学习范式。在实际 3D 计算机辅助诊断(CAD)流程中,系统通常先通过初筛检测定位可疑区域,再由本文网络对候选病灶局部块(96×96×96)进行高分辨率精细分割。输入体块首先送入 KernelWave 小波频域扰动模块,经由多级三维离散小波分解(MWD)分离低频解剖结构与高频细节,并通过对高频子带系数赋予放缩因子合成平滑(Smooth)与锐化(Sharp)两种具有重建核差异特征的输入变体。
处理后的变体数据被送入参数共享的 3D 特征提取主干网络,网络后接两个任务专属分支:掩码分割分支负责预测高精度病灶体素概率,检测辅助分支则基于边界框标注回归病灶位置与尺寸。为了迫使网络抵抗频域扰动与跨域漂移,框架在两路输出分布间施加对称 KL 散度一致性约束;同时引入轻量级域分类辅助头显式预测数据来源域,作为域感知正则项引导特征编码器保留成像质量线索而非抹杀域特征。在测试推理阶段,模型仅激活分割分支,以极低计算开销完成无弱监督依赖的纯前向推理。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["输入 3D 病灶体块 X<br/>(96×96×96)"] --> KW["KernelWave 小波频域扰动<br/>MWD分解 + 高频缩放生成平滑/锐化变体"]
KW --> SharedEnc["共享 3D 骨干网络<br/>(3D UNet / 3D UNetr)"]
SharedEnc --> DMS["双分支混合监督解码<br/>分割分支 (Dice) + 辅助检测分支 (Det)"]
DMS --> KL["跨分支语义一致性约束<br/>平滑与锐化预测分布间 KL 散度"]
SharedEnc --> DC["显式域感知辅助正则化<br/>预测数据源域,保留质量敏感特征"]
DMS --> Out["推理阶段输出<br/>仅保留精细 3D 肿瘤分割掩码"]
关键设计¶
1. KernelWave 小波频域扰动:无需元数据的无损滤波核特征模拟
临床 CT 影像中滤波核差异本质上是对傅里叶高频成分的选择性增益,但元数据缺失导致传统逆滤波失效。KernelWave 创新性地引入三维多级离散小波分解(MWD)。对于 3D 体块 \(X \in \mathbb{R}^{D \times H \times W}\),在第 \(v\) 分解尺度下,将数据解耦为一个低频近似子带 \(\mathcal{X}_{LLL}^{(v)}\) 以及七个空间方向的高频细节子带 \(\mathcal{X}_{\epsilon}^{(v)}\)(\(\epsilon \in \{LLH, LHL, HLL, LHH, HLH, HHL, HHH\}\))。低频分量反映坚实的解剖结构拓扑,而高频分量则承载噪声与边缘锐利度。
为了在严格保全解剖形态的前提下模拟真实 CT 重建核引起的频域偏移,KernelWave 保持低频分量完全不变,仅通过调节因子 \(\delta > 1\) 对高频系数进行定向缩放。锐化变体的高频细节系数放大为 \(\widetilde{\mathcal{X}}_{\epsilon}^{(v)} = \delta \cdot \mathcal{X}_{\epsilon}^{(v)}\),而平滑变体则压缩为 \(\widetilde{\mathcal{X}}_{\epsilon}^{(v)} = \frac{1}{\delta} \cdot \mathcal{X}_{\epsilon}^{(v)}\)。随后通过多级小波逆变换(MWR)重构出空间维度一致的平滑与锐化图像对:
该设计无缝映射了从低噪平滑核(如 B31f)到高噪锐利核(如 B60f)的物理变化,避免了通用空间高斯模糊破坏边缘结构的弊端。
2. 双分支混合监督解码:解耦掩码与边界框标注的确定性信息引导
弱监督框标注与稠密掩码具有截然不同的监督粒度,若在单一解码头强行拟合,极易导致弱标注噪声破坏像素级边界感知。为此,DMS 模块构建了双任务解耦解码机制:共享编码器参数以抽取通用的 3D 空间表征,但在解码端分为掩码分割分支与辅助检测分支。分割分支专注于肿瘤体素分类,在掩码标注样本上计算软 Dice 损失:
辅助检测分支则充分挖掘弱标注中边界框的位置与尺度先验,利用包含分类交叉熵损失与基于 3D IoU 的回归损失组合 \(\mathcal{L}_{\mathrm{det}} = \mathcal{L}_{\mathrm{cls}} + \mathcal{L}_{\mathrm{reg}}\),强行迫使模型对病灶宏观空间边界与定位产生确定性感知,有效弥补了极少标注掩码下模型定位能力不足的缺陷。
3. 跨分支语义一致性约束:跨域频变扰动下的输出分布平滑
为了抵御 KernelWave 引入的人工频域扰动并对齐不同分支的表征流形,框架在输出端施加了跨预测的一致性正则。当输入经过 KernelWave 变换后的平滑与锐化样本对时,尽管频域能量差异明显,但病灶本身的语义拓扑应当严格不变。对于网络两路输出概率图 \(p^{(1)}\) 与 \(p^{(2)}\),构建跨体素集合 \(\Omega\) 的对称 KL 散度约束:
这一机制约束网络不论面对锐利边缘还是平滑退化的输入,都能输出几何形态一致的置信度分布,极大增强了模型对复杂边界预测的鲁棒性。
4. 显式域感知辅助正则化:保留图像质量线索的非对抗表征学习
传统域泛化方法常依赖对抗训练强行抹杀域差异以追求“域不变特征”,但医学影像中成像协议与滤波核带来的质量差异往往与病灶纹理息息相关,过度抹平域信息反而会破坏边缘检测的判别力。本文反其道而行之,在编码器末端挂载轻量级域预测分类头,引入多分类交叉熵损失 \(\mathcal{L}_{\mathrm{dc}}\):
其中 \(C\) 表示训练集涉及的数据源总数。该域分类头充当域感知正则器(Domain-aware Regularizer),鼓励编码器显式保留图像质量与设备特征,配合前述的分割、检测和一致性损失,使模型学会“知晓输入处于何种成像质量并在该质量下精准分割”,而非盲目滤除高频有效细节。
损失函数 / 训练策略¶
WCC4MS 采取全流程端到端联合训练策略,总损失函数定义为各项任务损失的加权和:
在双分支并行前向中,除 KL 散度项跨分支计算外,\(\mathcal{L}_{\mathrm{dsc}}\)、\(\mathcal{L}_{\mathrm{det}}\) 和 \(\mathcal{L}_{\mathrm{dc}}\) 均为双分支的累加和。实验确定的最优超参数配置为 \(\lambda_1=1, \lambda_2=1, \lambda_3=0.5, \lambda_4=0.1\)。训练采用 SGD 优化器(初始学习率 0.01,动量 0.9,权重衰减 1e-4),结合余弦退火学习率策略,以 batch size 为 8 训练 80 个 epoch。
实验关键数据¶
主实验¶
实验在三个包含掩码的标准肺部 CT 肿瘤分割数据集(LIDC-IDRI、MSD-Lung、LNDb)以及一个仅含框弱标注的大规模数据集(PN9)上开展。训练阶段掩码样本与弱标注样本的比例固定为 1:2。评价指标采用 Dice 相似系数(DSC, %)与 95% 豪斯多夫距离(HD95, mm)。以 3D UNet 为主干的性能对比如下表所示:
| 方法类型 | 方法 | LIDC-IDRI (DSC↑ / HD95↓) | MSD-Lung (DSC↑ / HD95↓) | LNDb (DSC↑ / HD95↓) |
|---|---|---|---|---|
| 全监督基准 | 3D UNet (Full Labels) | 77.26 / 1.92 | 56.46 / 7.31 | 63.24 / 8.59 |
| 弱监督学习 | SANPNet | 65.31 / 2.86 | 46.83 / 14.46 | 57.76 / 14.20 |
| 弱监督学习 | MonoBox | 68.03 / 2.75 | 47.21 / 15.56 | 60.25 / 11.46 |
| 弱监督学习 | ReliableMD | 68.54 / 2.73 | 46.14 / 14.19 | 61.21 / 12.32 |
| 弱监督学习 | BoxInst | 66.86 / 2.78 | 48.95 / 14.93 | 60.47 / 11.85 |
| 混合监督学习 | MIST | 77.45 / 1.90 | 56.18 / 8.14 | 64.00 / 8.27 |
| 混合监督学习 | ConfKD | 73.85 / 2.47 | 52.02 / 12.26 | 63.18 / 9.87 |
| 混合监督学习 | MixSegNet | 78.19 / 1.75 | 55.36 / 8.13 | 63.72 / 8.39 |
| 混合监督学习 | WSL4MIS | 77.62 / 1.73 | 57.01 / 7.49 | 63.99 / 8.63 |
| 混合监督学习 | MSDN | 72.44 / 2.53 | 51.94 / 12.13 | 62.25 / 9.76 |
| 本文方法 | WCC4MS (Ours) | 80.32 / 1.52 | 57.93 / 7.06 | 65.84 / 7.98 |
在切换为更先进的 3D UNetr 骨干时,WCC4MS 在三数据集上分别达到了 81.16%(HD95 1.43)、60.02%(HD95 8.21)和 67.90%(HD95 7.51),全面超越现有 SOTA。在留一域域泛化测试中(Leave-one-domain-out),WCC4MS 平均达到 59.88% DSC,大幅击败 GTVSeg(57.93%)和无域泛化基线 DeepAll(51.66%)。此外,在脑部 MRI 四数据集跨模态实验中,WCC4MS 在 BraTS(85.69% vs 83.71%)、MSD-BT(83.04% vs 81.08%)和 FeTS(83.62% vs 82.41%)上同样稳定超越全监督与现有混合监督方法。
消融实验¶
在 LIDC-IDRI 数据集上针对四个关键模块——KernelWave (KW)、KL 一致性约束 (KL)、辅助域感知正则化 (DC) 以及辅助检测分支 (AD) 的消融实验结果如下表:
| 实验编号 | KW (小波变换) | KL (一致性) | DC (域感知) | AD (辅助检测) | DSC (%) ↑ | HD95 (mm) ↓ | p-value | 说明 |
|---|---|---|---|---|---|---|---|---|
| 1 | 63.17 | 3.74 | 0.009 | 仅基础分割分支(掩码基线) | ||||
| 2 | ✔ | 72.95 | 2.39 | 0.015 | 引入边界框辅助检测分支 | |||
| 3 | ✔ | ✔ | ✔ | 66.27 | 3.10 | 0.001 | 缺少边界框弱标注监督 | |
| 4 | ✔ | ✔ | ✔ | 76.89 | 2.03 | 0.005 | 移除显式域分类头 | |
| 5 | ✔ | ✔ | ✔ | 78.05 | 1.95 | 0.036 | 移除跨分支 KL 一致性 | |
| 6 | ✔ | ✔ | ✔ | 75.46 | 2.17 | 0.018 | 移除小波频域扰动 | |
| 7 (Full) | ✔ | ✔ | ✔ | ✔ | 80.32 | 1.52 | - | 完整 WCC4MS 模型 |
关键发现¶
- 弱监督边界框的强驱动力与饱和效应:消融表明,移除辅助检测分支(AD)后模型 DSC 从 80.32% 骤降至 66.27%(-14.05%),证明海量框标注所提供的空间先验对弱监督训练至关重要。进一步探讨强弱比例发现,当强弱比在 1:2 时表现最佳;当比例拉大到 1:4 甚至 1:5 时,过量框监督反而会冲淡模型对精细边缘纹理的注意力,导致性能快速下降。
- 频域小波仿真的必要性:移除 KW 导致 DSC 从 80.32% 下降至 75.46%(-4.86%)。在真实 B60f/B31f 肺部 CT 数据集(RKPN)的高频能量分析中,真实多核高频能量比为 1.44,而 KernelWave 锐化/原图高频能量比为 1.50,二者频域变化的谱相关系数高达 \(r = 0.71\);相比传统高斯模糊(79.48%)和拉普拉斯滤波(76.98%),KernelWave 表现出显著优势。
- 标注噪声防御力:向弱标注边界框的中心坐标与边长施加 20% 的随机扰动时,最强基线的 DSC 剧烈跌落至 72.9%,而 WCC4MS 仍稳定保持在 77.6% DSC,展现出极强的工业与临床容错价值。
亮点与洞察¶
- 解耦解剖结构与成像质量的频域操作:利用 3D 离散小波低频保持解剖不变性、高频缩放模拟重建滤波核,巧妙绕开了临床影像剥离 DICOM 元数据导致无法做物理逆重构的行业痛点。
- 反常识的“保留域差异”正则化:不同于主流域自适应强求“提取域无关特征”的思路,本文通过显式域分类监督引导模型感知成像质量,让网络“适应质量而非忽视质量”,在多源异构医学图像上取得了极佳的域泛化表现。
- 高度实用的 CAD 即插即用性:仅在训练期借助弱监督框与小波扰动实施混合多任务学习,推理阶段完全剥离辅助头与检测分支,零额外参数与计算开销落地于标准病灶分割流水线。
局限与展望¶
- 依赖第一阶段候选定位:模型假定 3D 候选病灶已由初筛 CAD 模块裁剪为 96×96×96 局部块,若前序定位发生漏检或严重偏移,分割性能将受限。
- 高频缩放因子的启发式预设:当前小波缩放因子 \(\delta\) 采用全局网格搜索固定值(\(\delta=4\)),未能根据输入块的实际局部组织对比度实现动态自适应缩放。
- 未来方向:作者团队计划将该频域一致性框架拓展至超声、PET 等更多成像模态,并探索与涂抹标(Scribble)、极值点(Extreme Points)等超轻量标注的融合机制。
相关工作与启发¶
- vs MIST / WSL4MIS (医学混合监督):以往混合监督方案通常共享简单特征提取器并通过启发式伪标签或伪边界迭代自训练,易受弱标注噪声侵蚀且忽视多数据源的重建核域漂移。WCC4MS 显式建模滤波核频域扰动,辅以解耦检测分支与一致性损失,全面压制了伪标签累积误差。
- vs GTVSeg / MKCNet (医学域泛化):现有域泛化方法普遍通过特征对齐或元学习消除域偏差,往往抹杀了有助于边缘界定的高频特征。WCC4MS 的域分类头作为显式质量提示,结合频域小波增强,兼顾了域鲁棒性与高频边界保真度。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ [小波频域调制模拟 CT 重建核异质性与显式保留域质量正则化的思路非常清晰且巧妙]
- 实验充分度: ⭐⭐⭐⭐⭐ [涵盖 3 个 CT 数据集、1 个大规模框标注集、真实多核验证集及跨模态 MRI 验证,消融与鲁棒性分析扎实全面]
- 写作质量: ⭐⭐⭐⭐⭐ [逻辑层层递进,方法原理与临床痛点紧密贴合,图表表达直观]
- 价值: ⭐⭐⭐⭐⭐ [对临床上极度紧缺高质量掩码而拥有海量低成本边界框的病灶分割 CAD 系统具有极高的落地指导意义]