Safe Generalization: Mitigating Catastrophic Forgetting in Single-Source Multi-Organ Segmentation via Collaborative Causal Learning¶
会议: ECCV 2026
论文: ECCV 原文
领域: 医学图像
关键词: 单源域泛化、多器官分割、因果介入、灾难性遗忘、协同学习
一句话总结¶
针对单源域多器官分割中泛化增强破坏源域表征导致的灾难性遗忘（CF-SDG）问题，提出协同因果学习网络 CCL-Net，通过正交结构解耦与解剖引导局部因果介入双路径剥离混杂外观捷径，并设计局部-全局动态协同约束重建分支，在保持源域极低遗忘率的同时实现 SOTA 跨域分割性能。
研究背景与动机¶
在临床医学影像分析中，深度分割模型常常面临因采集设备、扫描协议和成像模态差异引发的严峻分布偏移。受制于患者隐私法规和高昂标注成本，临床实际往往仅能获取单一中心的标注数据，使得单源域泛化（Single-Source Domain Generalization, SDG）成为极具应用价值却极具挑战的课题。现有 SDG 方案通常依赖激进的数据增强、样式混合或特征对齐策略来强行消除域偏移。然而，这些方法往往将单源泛化简单视为特征空间的映射变形，在盲目抹平域差异的过程中严重破坏了源域数据清晰细致的固有判别特征，导致模型在未见目标域泛化能力上升的同时，在原本训练良好的源域上遭遇显著的性能骤降。这种被长期忽视的“单源域泛化中的灾难性遗忘”（CF-SDG）现象，不仅极大削弱了模型在源机构本地部署的可靠性，也给实际临床安全带来了不可承受的风险。
从因果机制的角度审视，CF-SDG 的根本症结在于模型未能真正学习到稳定的解剖因果特征，而是陷入了腹部等多器官影像中普遍存在的“混杂耦合”（Confounding Coupling）。在单源域成像过程中，潜在的解剖语义（\(D\)）不仅决定了各器官的真实几何拓扑与空间结构（\(S\)），还与组织密度、对比度等外观样式（\(A\)）紧密绑定，形成了虚假的后门关联链路 \(S \leftarrow D \rightarrow A\)。基于经验风险最小化（ERM）的分割模型极易走捷径，依赖局部组织外观 \(A\) 来辅助器官标签预测；当测试域参数剧烈变化时，这种统计相关性迅速瓦解。同时，若仅施加常规反事实样式扰动，又会导致特征空间过度失真，重演持续学习中的灾难性遗忘。
为了打破这一两难困境，研究需要在消除虚假依赖的同时显式锚定源域记忆。本文的核心 idea 是：构建双路径因果介入与多任务协同约束机制（CCL-Net），前端利用正交投影解耦建立纯净结构中介通路（前门调整），局部利用解剖掩码引导样式扰动物理切断混杂后门路径（后门调整），并在辅助图像重建分支中通过动态局部-全局层级偏差约束自适应注入源域先验，实现安全无遗忘的域泛化。
方法详解¶
整体框架¶
CCL-Net 采用双任务协同架构，由主分割分支 \(\mathcal{S}_{seg}\) 与辅助源域图像重建分支 \(\mathcal{S}_{rec}\) 构成。整个流程接收单源域图像输入，在特征编码阶段通过正交结构解耦（OSD）分离解剖形态与全局样式；在特征传输过程中，利用批次内的器官掩码执行解剖引导局部因果介入（AG-LCI），合成反事实特征并实施一致性监督；在多分支优化过程中，引入局部偏差与全局偏差约束自适应调节特征交互与梯度流向，保证模型在探索域不变特征的同时牢固维持源域记忆。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["输入医学图像 X"] --> Sh["浅层共享编码器 E_shared"]
Sh --> OSD["1. 正交结构解耦<br/>结构/样式双分支与正交投影约束"]
OSD -->|纯净结构特征| LCI["2. 解剖引导局部因果介入<br/>器官掩码仿射合成反事实特征与一致性约束"]
LCI --> SegHead["主分割分支 S_seg<br/>预测多器官分割图"]
Sh --> RecHead["辅助重建分支 S_rec<br/>源域图像精细重构"]
SegHead <-->|特征距离动态评估| CL["3. 协同学习约束机制<br/>局部层间交互因子 + 全局任务增益调制"]
CL <--> RecHead
SegHead --> Out["输出跨域鲁棒分割结果"]关键设计¶
1. 正交结构解耦：阻断非因果样式侵入的前门中介通路
常规单编码器无法阻断全局对比度和纹理样式渗入深层表征。受因果前门调整启发，本文将解剖结构视为自输入图像至分割标签的中介变量，构建双分支编码架构以提取纯净的域不变结构。网络在浅层共享特征提取器 \(E_{shared}\) 之上分流为平行的结构编码器 \(E_s\) 与样式编码器 \(E_a\)，分别输出保留精细空间拓扑的特征图 \(s \in \mathbb{R}^{C \times H \times W}\) 及全局向量 \(a \in \mathbb{R}^L\)。为了在潜在表示空间迫使两类特征统计解耦，结构特征经全局平均池化（GAP）后与样式特征分别输入双层 MLP 投影头映射至同维隐空间 \(\tilde{s}, \tilde{a} \in \mathbb{R}^d\)，并最小化软正交损失：
最小化两者的余弦相似度平方促使投影表征互相正交，从根本上剥离样式变量对结构通路的串扰，为下游分割预测提供纯净的几何先验。
2. 解剖引导局部因果介入：物理切断后门相关性的反事实生成
即便在全局特征上实施了解耦，多器官影像中器官密度的解剖特异性依然会在局部建立“器官语义-组织外观”的伪相关性（例如特定器官总是对应特定的灰度分布）。为切断此后门路径并模拟因果介入 \(P(Y | do(A))\)，模型利用批次内随机采样的参考样本 \(x_j\) 近似样式的边际分布。针对器官间强烈的异质性，设计了基于器官金标准掩码 \(M_j\) 的局部仿射变换。对源特征 \(F_i\) 中属于第 \(k\) 类器官的前景区域，利用参考特征 \(F_j\) 对应器官的通道均值 \(\mu_k^{(j)}\) 与标准差 \(\sigma_k^{(j)}\) 替换原特征统计量：
其中 \(M_{fg} = \sum_{k=1}^K M_k\) 为器官前景总掩码。通过将变换后的反事实特征 \(Z_{mix}\) 输入分割头，并施加一致性约束 \(\mathcal{L}_{con} = \|\mathcal{F}_{seg}(F_i) - \mathcal{F}_{seg}(Z_{mix})\|_2^2\)，强迫网络在组织灰度与对比度被任意干预时依然输出恒定的空间解剖几何轮廓。
3. 协同学习约束机制：动态多层交互与任务平衡抗遗忘
单纯依赖因果扰动会诱导严重的表征漂移，导致网络遗忘源域判别特征。CCL-Net 并行引入源域图像重建分支 \(\mathcal{S}_{rec}\) 作为高保真记忆锚点，但静态或盲目的多任务联合训练往往出现浅层受损或梯度相互抵消的问题。为此，本文设计了包含局部偏差与全局偏差的协同约束机制： - 局部偏差约束（Local Bias）：网络各深度层对域偏移的敏感度差异巨大，浅层包含易受样式扭曲的低级特征，深层则主导高级语义。该模块追踪连续 \(k\) 步更新前后中间特征在欧氏距离上的收敛趋势，自适应判定当前层是处于稳定优化还是发生偏移，并生成二值交互因子 \(f_{layer}^{(l)} \in \{0.0, 1.0\}\) 来动态开闭该层与重建分支的特征对齐通道；同时引入概率 \(\delta=0.05\) 的随机扰动机制防止网络过早收敛至局部陷阱。 - 全局偏差约束（Global Bias）：为防止辅助重建任务过度主导梯度更新方向而抑制因果不变性探索，通过计算分割与重建分支的优化方向一致性派生全局调节因子 \(f_{task}^{(l)} = \text{Sigmoid}(-2 \cdot dir_{seg} + dir_{rec})\)。当两分支优化方向协同（有利于源记忆固化）时赋予正向增益，而当分割分支探索泛化空间时自动削弱记忆任务的干涉。
损失函数 / 训练策略¶
协同特征正则项 \(\mathcal{L}_{Co}\) 聚合各中间层特征均方误差，并受局部与全局因子动态加权：
最终总损失函数联合了分割 Dice 损失、图像重建结构相似性损失（SSIM）、软正交损失 \(\mathcal{L}_{orth}\) 与介入一致性损失 \(\mathcal{L}_{con}\)：
其中 \(\mathcal{L}_{seg} = \alpha \mathcal{L}_{Dice} + \beta \mathcal{L}_{Co}\)，\(\mathcal{L}_{rec} = \alpha \mathcal{L}_{SSIM} + \beta \mathcal{L}_{Co}\)。超参数经网格搜索确定为 \(\alpha=0.25, \beta=0.25, \gamma=0.6, \lambda=0.4\)。
实验关键数据¶
主实验¶
在跨模态腹部器官分割（CT \(\leftrightarrow\) T2-SPIR MRI）与跨序列心脏分割（bSSFP \(\leftrightarrow\) LGE）上进行了严格评测，各对比方法均采用官方开源代码进行公平复现。
| 数据集迁移任务 | 指标 (Dice %) | 本文 (CCL-Net) | 次优基线 (ICMSeg) | 风格增强基准 (MixStyle) | 优势/提升 |
|---|---|---|---|---|---|
| 腹部 CT \(\to\) MRI | 平均 Dice | 86.23 ± 0.59 | 85.63 ± 1.24 | 77.41 ± 2.39 | +0.60% (vs ICMSeg) / +8.82% (vs MixStyle) |
| 腹部 MRI \(\to\) CT | 平均 Dice | 90.05 ± 0.54 | 88.98 ± 1.18 | 62.44 ± 4.03 | +1.07% (vs ICMSeg) / +27.61% (vs MixStyle) |
| 心脏 bSSFP \(\to\) LGE | 平均 Dice | 86.41 ± 0.23 | 85.00 ± 1.25 | 74.55 ± 2.41 | +1.41% (vs ICMSeg) / +11.86% (vs MixStyle) |
| 心脏 LGE \(\to\) bSSFP | 平均 Dice | 88.42 ± 0.22 | 87.63 ± 1.27 | 85.33 ± 2.32 | +0.79% (vs ICMSeg) / +3.09% (vs MixStyle) |
在腹部器官细节上，MRI \(\to\) CT 任务中 CCL-Net 的肝脏（90.89%）、右肾（86.97%）、左肾（91.03%）及脾脏（91.32%）均创下最高精度；而在心脏 bSSFP \(\to\) LGE 中，对于极易破碎断裂的心肌结构（MYO），CCL-Net 取得了 81.32% 的 Dice，显著超越 ICMSeg（80.02%）和 MixStyle（63.75%）。
源域灾难性遗忘与消融实验¶
论文提出了源域遗忘度量（Source Forgetting Metric, SFM），量化仅在源域训练的 ERM 模型与泛化模型在源域测试时的性能落差（\(SFM = \text{Dice}_{ERM} - \text{Dice}_{Gen}\)，越低越好）。
| 训练源域 | ERM 基线 Dice (%) | Cutout SFM (%) | MixStyle SFM (%) | ICMSeg SFM (%) | 本文 CCL-Net SFM (%) |
|---|---|---|---|---|---|
| 腹部 MRI | 93.24 | 14.90 (Dice: 78.34) | 14.03 (Dice: 79.21) | 5.92 (Dice: 87.32) | 1.07 (Dice: 92.17) |
| 腹部 CT | 92.54 | 9.76 (Dice: 82.78) | 11.41 (Dice: 81.13) | 6.22 (Dice: 86.32) | 2.22 (Dice: 90.32) |
| 心脏 bSSFP | 92.31 | 11.99 (Dice: 80.32) | 11.53 (Dice: 80.78) | 9.99 (Dice: 82.32) | 3.29 (Dice: 89.02) |
| 心脏 LGE | 89.55 | 5.73 (Dice: 83.82) | 7.22 (Dice: 82.33) | 4.13 (Dice: 85.42) | 1.26 (Dice: 88.29) |
各组件渐进式消融结果（Table 4 & Table 5）：
| 配置代号 | OSD | AG-LCI | 协同约束 CL | CT \(\to\) MRI (Dice %) | MRI \(\to\) CT (Dice %) | bSSFP \(\to\) LGE (Dice %) | 平均 SFM (%) |
|---|---|---|---|---|---|---|---|
| VA1 (Baseline) | \(\times\) | \(\times\) | \(\times\) | 55.98 | 62.15 | 53.32 | - |
| VA2 | \(\checkmark\) | \(\times\) | \(\times\) | 59.33 | 67.34 | 59.46 | - |
| VA3 | \(\times\) | \(\checkmark\) | \(\times\) | 60.76 | 67.98 | 63.49 | - |
| VA4 | \(\times\) | \(\times\) | \(\checkmark\) | 70.59 | 75.34 | 72.12 | - |
| VA5 (因果无CL) | \(\checkmark\) | \(\checkmark\) | \(\times\) | 76.45 | 78.30 | 76.45 | 8.87 |
| VA6 | \(\times\) | \(\checkmark\) | \(\checkmark\) | 79.12 | 81.05 | 80.56 | - |
| VA7 | \(\checkmark\) | \(\times\) | \(\checkmark\) | 85.34 | 86.88 | 85.43 | - |
| VA8 (完整模型) | \(\checkmark\) | \(\checkmark\) | \(\checkmark\) | 86.23 | 90.05 | 86.41 | 1.96 |
关键发现¶
- 纯因果介入难掩严重源遗忘：消融 VA5 显示，仅依靠正交解耦与局部反事实介入虽能将跨域泛化提升至 76.45%~78.30%，但其在源域上的平均遗忘率高达 8.87%（Table 5），证实了盲目去风格化会破坏源域表征。
- 协同约束机制具备决定性双向增益：引入 CL 后，平均 SFM 从 8.87% 断崖式下降至 1.96%，同时跨域泛化 Dice 实现了近 10% 的跨越式飞跃（VA5 的 76.45% 升至 VA8 的 86.23%），说明源域特征记忆的巩固反而为泛化提供了坚实锚点。
- 方差极小展现高因果稳定性：CCL-Net 在 5 次独立随机实验中的标准差稳定在 0.2~0.6 之间，显著优于传统增强方法（通常达 2.0~4.0），证明剥离虚假关联极大提升了优化的稳健性。
亮点与洞察¶
- 重新审视域泛化的安全边界（CF-SDG）：指出领域内长期追求“跨域平移”而忽视源域性能衰退的盲区，在医学临床场景下，以损害唯一真实有标注的源域精度为代价换取泛化极其危险，提出兼顾泛化与抗遗忘的“安全泛化”准则。
- 掩码引导的局部器官反事实介入（AG-LCI）：跳出全局风格混合（如 MixStyle）对空间形态的盲目破坏，精准根据解剖掩码在器官局部做仿射统计量变换，既切断了特定解剖器官与灰度强度的伪绑定，又完好保护了轮廓边界。
- 自适应动态层间交互设计：没有使用生硬的静态多任务共享权重，而是通过追踪 \(k\) 步更新前后的特征收敛动态生成 \(f_{layer}\) 与 \(f_{task}\)，自适应决定何时记忆、何时泛化，极具通用多任务或持续学习的迁移参考价值。
局限与展望¶
- 依赖训练集完整器官掩码支持：AG-LCI 依赖细粒度的器官金标准掩码 \(M_i\) 来计算局部区域统计量。在存在弱标注、粗糙轮廓或部分器官标签缺失的临床数据集上，该介入机制难以直接展开。
- 双分支重建带来的额外算力开销：引入辅助重建分支 \(\mathcal{S}_{rec}\) 及深浅层距离计算增加了训练时的显存占用与前向反向耗时，尽管推理时仅需保留主分割网络，但训练阶段对计算资源提出了更高要求。
- 未来方向：探索无监督或原型驱动的局部解剖区域聚类以摆脱强掩码依赖，并将局部-全局动态协同约束框架扩展到多中心联邦学习或序列持续域泛化任务中。
相关工作与启发¶
- vs MixStyle / RandConv: 传统特征扰动方法假设域偏移是全局风格变化，在全图执行高斯噪声卷或统计量混淆，严重破坏器官解剖边缘且导致源域 SFM 高达 11%~15%；本文采用掩码级局部反事实介入，并受正交约束阻断样式泄露，源域 SFM 降至 1%~3%。
- vs CSDG / ICMSeg: 先前因果医学分割方案主要聚焦于消除成像环境等外部混杂因素或构建对比对齐，忽视了内部解剖特征引起的后门关联以及泛化带来的灾难性遗忘；CCL-Net 首次结合前门正交解耦与后门掩码介入，并通过辅助重建分支显式解决 CF-SDG。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统揭示并定义单源医学图像泛化中的灾难性遗忘现象，提出了前门解耦与后门局部掩码介入相结合的双路径因果协同网络。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖腹部多模态与心脏多序列双重复杂场景，全面评测跨域泛化 Dice 与源域遗忘度（SFM），消融实验层层递进十分详实。
- 写作质量: ⭐⭐⭐⭐⭐ 结构因果图（SCM）论证清晰有力，问题定义严谨，方法推导与算法流程完整。
- 价值: ⭐⭐⭐⭐⭐ 为临床部署中“既要泛化又不能丢源域性能”的真实痛点提供了扎实可信的解决方案。