LangDAug: Langevin Data Augmentation for Multi-Source Domain Generalization in Medical Image Segmentation¶

会议: ICML 2025
arXiv: 2505.19659
代码: https://github.com/backpropagator/LangDAug
领域: Medical Imaging
关键词: 数据增强, 域泛化, Langevin 动力学, 能量模型, 医学图像分割

一句话总结¶

LangDAug 利用基于对比散度训练的能量模型(EBM)，通过 Langevin 动力学在源域之间遍历生成中间样本，实现医学图像分割的多源域泛化，理论证明其诱导正则化效果并上界 Rademacher 复杂度。

领域现状：医学图像分割模型在跨域场景下（如不同医院、设备、成像参数）泛化能力严重不足。域泛化(DG)方法通过表示学习或数据增强来改善这一问题。
现有痛点：表示学习方法寻求域不变特征，但常依赖 ad-hoc 技术且缺乏形式化保证。数据增强方法虽然效果接近或更好，但现有增强策略（如随机风格迁移）缺乏原理性设计，不清楚"应该增强到什么程度"。
核心矛盾：如何设计一种有理论保证的数据增强策略，能系统性地产生填充源域间隙的有效中间样本？
本文目标：提出一种基于能量模型和 Langevin 动力学的原理性数据增强方法。
切入角度：将不同源域视为能量景观中的不同低谷，用 Langevin 动力学在域之间"行走"生成中间域样本。
核心 idea：训练 EBM 捕获源域的联合能量景观，然后用 Langevin 采样器在域间遍历，生成的中间样本用于训练分割模型。

能量模型 (EBM) 的域间建模:
- 用对比散度 (Contrastive Divergence) 训练 EBM：\(p_\theta(\mathbf{x}) \propto \exp(-E_\theta(\mathbf{x}))\)
- EBM 的能量景观自然编码了不同源域的分布
- 不同域对应不同的低能量区域，域间是高能量"山丘"
- 设计动机：EBM 提供了一个连续的能量景观，使得域间的过渡是平滑的
Langevin 动力学遍历域间:
- 从域 A 的样本出发，运行 Langevin MCMC：\(\mathbf{x}_{k+1} = \mathbf{x}_k - \frac{\eta}{2} \nabla_\mathbf{x} E_\theta(\mathbf{x}_k) + \sqrt{\eta} \epsilon_k\)
- 随着步数增加，样本从域 A 过渡到域 A 和域 B 之间的中间区域
- 步数控制增强样本与源域的距离
- 设计动机：Langevin 动力学的平稳分布就是 EBM 定义的分布，保证采样的合理性
理论保证:
- 证明 LangDAug 诱导正则化效果
- 对于广义线性模型(GLM)，LangDAug 将 Rademacher 复杂度上界为数据流形的内在维度
- 这意味着增强的效果与数据的真实复杂度相关，而非模型的参数量
- 设计动机：提供形式化的泛化保证，不只是经验性的改善

EBM 训练：对比散度损失 \(\mathcal{L}_{CD} = \mathbb{E}_{p_\text{data}}[E_\theta(\mathbf{x})] - \mathbb{E}_{p_\theta}[E_\theta(\mathbf{x}')]\)
分割模型训练：标准分割损失（交叉熵 + Dice），在原始 + 增强数据上训练
LangDAug 可与其他域随机化(domain randomization)方法组合使用

数据集	指标	LangDAug	之前 SOTA DG	提升
眼底分割 (Fundus)	Dice↑	SOTA	次优	显著
前列腺 MRI	Dice↑	SOTA	次优	显著
眼底 + Domain Rand.	Dice↑	最优	Domain Rand. alone	互补提升