Physics-Grounded Disentangled Flow Modeling for Brain Disease Progression Trajectory¶
会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/jhuldr/PDF
领域: 医学图像
关键词: 脑疾病进展预测, 解耦流匹配, 物理驱动学习, 反应扩散平流方程, 纵向MRI
一句话总结¶
针对纵向脑部疾病进展预测中病灶形态形变与图像强度变化相互耦合导致生理物理合理性缺失的问题,本文提出基于解耦流匹配与 Fisher-KPP 偏微分方程投影正则化的建模框架 PDF,在三大纵向胶质瘤与多发性硬化数据集上显著提升了病灶边界预测精度与轨迹连续性。
研究背景与动机¶
纵向磁共振成像(Longitudinal MRI)在胶质瘤(Glioma)和多发性硬化(Multiple Sclerosis, MS)等进行性脑部疾病的临床管理中占据核心地位,能够精确捕捉病灶随时间的演化过程,从而为早期干预、手术放疗方案调整以及治疗反应评估提供决定性依据。然而,纵向医学图像建模面临着严峻的现实挑战:不同随访时间点之间往往存在高度不规则的采集间隔、扫描协议与成像设备的不一致性,以及配对临床随访数据的匮乏。
近年来,以神经普通微分方程(Neural ODE)、薛定谔桥扩散模型(如 I2SB)以及轨迹流匹配(Trajectory Flow Matching, TFM)为代表的连续时间生成模型被引入该领域,并在图像外推与连续轨迹拟合上取得了显著进展。然而,现有方法普遍采用端到端的图像到图像(Image-to-Image)直接映射范式。这种范式将复杂的病灶演化隐式地混杂在一起,将由细胞增殖浸润引起的局部解剖形态畸变与由组织代谢/信号衰减引起的体素强度波动直接混合学习。模型因而缺乏对病灶生长底层生物物理规律的认知,在面对侵袭性快速进展、脑室受压形变等极端病变时容易产生边界模糊、形变失真或伪影。
这一困境的核心矛盾在于:真实的病理演变在空间上由细胞迁移与组织形变支配,在外观上由信号聚集与微结构变化驱动,端到端黑盒生成模型极难在没有物理归纳偏置的情况下自行解耦这两个截然不同尺度的物理过程。本文的切入角度是:不再强求单网络直接生成未来完整图像,而是显式将疾病演化拆解为形态演化与强度演化两个专用流匹配过程,并引入经典的生物力学与肿瘤动力学偏微分方程作为先验。核心 idea:将纵向脑疾病进展显式解耦为由 Fisher-KPP 反应-扩散-平流偏微分方程投影正则化的形态演化流匹配,以及基于变形初始化和高频纹理保持的强度演化流匹配,在保持图像逼真度的同时严格约束病灶解剖演化的生物物理合理性。
方法详解¶
整体框架¶
PDF 框架将基线时刻 \(t_1\) 的解剖图像 \(I_{t_1}\) 与病灶二值掩膜 \(M_{t_1}\) 到未来时刻 \(t_2\) 的外推任务分解为双阶段流匹配:首先由形态演化分支预测病灶空间形态和位移场的瞬时速度,并利用基于偏微分方程(PDE)的物理张成子空间进行正则化投影;随后通过计算预测形态与基线形态间的密集光流场对基线解剖结构进行空间形变对齐,最后由强度演化分支基于变形图像与高频纹理线索补充内部微观信号的演化,生成符合真实病理表现的未来脑图 \(\hat{I}_{t_2}\)。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["基线输入:图像 $I_{t_1}$ 与掩膜 $M_{t_1}$<br/>时间间隔 $\Delta t = t_2 - t_1$"] --> B["形态演化流匹配<br/>符号距离函数与浓度场建模"]
B --> C["物理张成空间与偏微分方程正则<br/>Fisher-KPP 反应-扩散-平流基底投影"]
C --> D["密集形变场光流变形<br/>半拉格朗日空间几何扭曲"]
D --> E["强度演化流匹配与纹理保持<br/>条件外观流匹配与高频纹理补充"]
E --> F["预测输出:未来图像 $\hat{I}_{t_2}$ 与病灶 $\hat{M}_{t_2}$"]
关键设计¶
1. 形态演化流匹配:连续病灶细胞浓度场建模与瞬时速度预测
为了克服二值掩膜在空间离散性与可微性上的局限,本模块首先将基线时刻 \(t_1\) 的离散二值病灶掩膜 \(M_{t_1}\) 转换为平滑的符号距离函数(Signed Distance Function, SDF)\(d(\mathbf{x})\),其中负值表示病灶内部,正值表示病灶外部。随后利用带尺度参数 \(\tau\) 的 Sigmoid 映射构建归一化的连续病灶细胞浓度场 \(c(\mathbf{x}) \in [0, 1]\): $\(c(\mathbf{x}) = \frac{1}{1 + \exp\left(\frac{d(\mathbf{x})}{\tau}\right)}\)$ 在形态演化分支中,专用 U-Net 网络 \(f_\theta\) 接收基线掩膜 \(M_{t_1}\)、结构上下文图像 \(I_{t_1}\) 以及时间跨度 \(\Delta t = t_2 - t_1\) 作为条件,预测描述解剖形态膨胀与形变的瞬时速度场 \(v_\theta = f_\theta(M_{t_1}; I_{t_1}, t_2 - t_1)\)。流匹配的目标速度经验近似定义为 \(v_{\text{morph}} = \frac{M_{t_2} - M_{t_1}}{t_2 - t_1}\),从而建立了从基线结构到未来病灶形态的连续速度场映射,显著增强了对不规则时间采样间隔的适应能力。
2. 反应-扩散-平流物理张成空间与偏微分方程正则化:生物物理机理约束
纯数据驱动的神经速度场往往会生成违背生物机理的随机形变。为此,本文结合经典的肿瘤动力学 Fisher-KPP 偏微分方程,将病灶细胞浓度演化建模为扩散、反应增殖与平流输运三者的共同作用: $\(\frac{\partial c}{\partial t} = D \Delta c + \rho c(1 - c) - \mathbf{u} \cdot \nabla c\)$ 其中扩散项 \(D \Delta c\) 表征细胞的波状随机扩散与边缘浸润,反应项 \(\rho c(1 - c)\) 表征符合逻辑斯蒂生长(Logistic Growth)的细胞局部分裂增殖,平流项 \(-\mathbf{u} \cdot \nabla c\) 则表征由占位效应(Mass Effect)引起的整体生物力学组织迁移。针对患者特异性参数 \((D, \rho, \mathbf{u})\) 难以直接观测的问题,作者设计了两步伪逆估计策略:首先通过最小二乘拟合扩散与反应系数 \((D, \rho)\) 得到中间预测 \(\tilde{c}_{t_2}\);然后基于变分 TV-L1 光流估计 \(\tilde{c}_{t_2}\) 到真实 \(c_{t_2}\) 的残差密集位移场 \(\mathbf{d}(\mathbf{x})\),转化为瞬时平流场 \(\mathbf{u}(\mathbf{x}) = -\frac{\mathbf{d}(\mathbf{x})}{t_2 - t_1}\)。
以此为基础,构建由三个动力学正交基张成的物理子空间: $\(\mathcal{S}(c_{t_1}; \mathbf{u}) = \text{span}\left\{ \Delta c_{t_1},\; c_{t_1}(1 - c_{t_1}),\; -\mathbf{u} \cdot \nabla c_{t_1} \right\}\)$ 在训练形态流匹配网络时,将网络预测的瞬时速度场 \(v_\theta\) 投影至该物理子空间中,求取最优线性组合系数 \((\alpha, \beta, \gamma) = \arg\min_{\alpha, \beta, \gamma} \|v_\theta - (\alpha \Delta c_{t_1} + \beta c_{t_1}(1 - c_{t_1}) + \gamma(-\mathbf{u} \cdot \nabla c_{t_1}))\|^2\)。偏微分方程正则化损失 \(\mathcal{L}_{\text{PDE}}\) 即为投影残差的二范数: $\(\mathcal{L}_{\text{PDE}} = \|v_\theta - \Pi_{\mathcal{S}}(v_\theta)\|^2\)$ 该设计无需在训练回环中求解高复杂度的 PDE 逆问题,直接通过几何投影将神经网络引导至生物物理合理的速度流形上。
3. 强度演化流匹配与纹理保持:基于解剖变形初始化的外观微调
在形态演化分支积分获得预测病灶 \(\hat{M}_{t_2}\) 后,首先通过变分 TV-L1 光流估计计算从 \(M_{t_1}\) 到 \(\hat{M}_{t_2}\) 的密集位移矢量场 \(\mathbf{f}(\mathbf{x})\),并采用半拉格朗日采样对基线图像执行空间形变扭曲,获得结构变形图像 \(\hat{I}^{\text{morph}}(\mathbf{x}) = I_{t_1}(\mathbf{x} + \mathbf{f}(\mathbf{x}))\)。该图像已经纠正了解剖位置与体积的宏观畸变,但尚未包含病灶核心变性坏死或水肿加剧所伴随的信号强度漂移。
为此,独立的强度流匹配网络 \(g_\phi(z_\tau; M)\) 以 \(\hat{I}^{\text{morph}}\) 作为结构初始化,在图像空间上沿着插值路径生成速度场 \(v_\phi\)。为了避免强度演化平滑掉病灶特有的异质性纹理,模型提取基线图像 \(I_{t_1}\) 中的高频滤波特征作为辅助引导,使得生成的终态图像 \(\hat{I}_{t_2}\) 在满足宏观解剖形态收敛的同时,保留逼真的微观病灶组织质感。
一个完整示例¶
假设临床上收录了一位恶性胶质瘤术后复发患者的基线随访扫描(\(t_1\)),经专业标注获得病灶体积为 12.5 mL。医生希望预测 180 天后(\(t_2 - t_1 = 0.5\) 年)的肿瘤发展情况: 1. 预处理将离散掩膜转化为连续浓度场 \(c_{t_1}\),形态分支 \(f_\theta\) 接收 \((M_{t_1}, I_{t_1}, \Delta t)\),输出初步形态速度矢量; 2. 物理子空间投影模块调取预先基于纵向演化模式拟合的扩散基底 \(\Delta c_{t_1}\)、增殖基底 \(c_{t_1}(1-c_{t_1})\) 与平流基底 \(-\mathbf{u}\cdot\nabla c_{t_1}\),将预测速度投影后消除非生物性伪形变(投影残差比例从无正则下的 0.20 压降至 0.12); 3. 沿时间对速度积分得到预测掩膜 \(\hat{M}_{t_2}\)(测得体积膨胀至 21.8 mL),并通过 TV-L1 算法求取病灶膨胀引起的脑组织挤压变形场 \(\mathbf{f}(\mathbf{x})\),对正常脑实质与脑室施加半拉格朗日扭曲,使受挤压的侧脑室发生逼真的生理弯曲; 4. 强度分支 \(g_\phi\) 以扭曲后的图像为起点,注入基线病灶的高频微观纹理表征,并在病灶核心区预测信号增强与坏死区衰减,最终输出 180 天后的逼真 T1 增强 MRI 预测图。
损失函数 / 训练策略¶
形态演化网络采用流匹配损失与物理正则损失的加权联合: $\(\mathcal{L}_{\text{morph}} = \mathcal{L}_{\text{FM}}(v_\theta, v_{\text{morph}}) + \lambda \mathcal{L}_{\text{PDE}}\)$ 其中流匹配目标 \(\mathcal{L}_{\text{FM}} = \|v_\theta - v_{\text{morph}}\|^2\),超参数 \(\lambda = 0.01\) 在实验中被验证为平衡数据拟合度与物理刚性约束的最优权重。 强度演化分支则在图像空间遵循标准流匹配优化目标 \(\mathcal{L}_{\text{intensity}} = \|v_\phi - v_{\text{intensity}}\|^2\)。两阶段网络采用共享编码器-解码器结构的 U-Net 分别进行端到端优化,在 NVIDIA RTX PRO 6000 GPU(PyTorch 2.9.1 / CUDA 13.0)上训练,按患者序列级别严格划分 6:2:2 的训练/验证/测试集,杜绝时序数据泄露。
实验关键数据¶
主实验¶
实验在三个涵盖不同病理类型与成像模态的纵向脑部队列上开展:UCSF(胶质瘤 T1 加权,302 例)、LUMIERE(胶质瘤术后增强 T1,91 例患者 795 序列)、LMSLS(多发性硬化 FLAIR,79 例随访)。对比方法包括时序条件 U-Net(T-UNet)、薛定谔桥扩散模型(I2SB)、轨迹流匹配(TFM)和神经微分方程方法(ImageFlowNet)。
| 数据集 | 评估指标 | 本文 (PDF) | T-UNet [34] | I2SB [23] | TFM [50] | ImageFlowNet [22] |
|---|---|---|---|---|---|---|
| UCSF (Glioma) | DSC ↑ | 0.752 ± 0.003 | 0.728 ± 0.004 | 0.725 ± 0.005 | 0.696 ± 0.006 | 0.724 ± 0.004 |
| HD (mm) ↓ | 25.952 ± 0.654 | 27.322 ± 0.812 | 28.839 ± 0.941 | 31.701 ± 1.284 | 28.402 ± 0.893 | |
| PSNR (dB) ↑ | 31.364 ± 0.092 | 31.739 ± 0.103 | 31.393 ± 0.097 | 30.659 ± 0.125 | 31.675 ± 0.108 | |
| SSIM ↑ | 0.920 ± 0.001 | 0.920 ± 0.002 | 0.920 ± 0.002 | 0.898 ± 0.003 | 0.909 ± 0.003 | |
| L1 Error ↓ | 0.072 ± 0.002 | 0.085 ± 0.002 | 0.093 ± 0.002 | 0.091 ± 0.002 | 0.085 ± 0.002 | |
| LUMIERE (Glioblastoma) | DSC ↑ | 0.534 ± 0.013 | 0.520 ± 0.020 | 0.522 ± 0.035 | 0.492 ± 0.015 | 0.493 ± 0.033 |
| HD (mm) ↓ | 33.672 ± 1.229 | 38.135 ± 1.925 | 36.105 ± 1.720 | 39.211 ± 1.530 | 41.994 ± 1.653 | |
| PSNR (dB) ↑ | 37.216 ± 0.349 | 36.753 ± 0.185 | 37.206 ± 0.348 | 36.317 ± 0.406 | 37.178 ± 0.346 | |
| SSIM ↑ | 0.957 ± 0.002 | 0.845 ± 0.004 | 0.953 ± 0.003 | 0.894 ± 0.001 | 0.916 ± 0.003 | |
| L1 Error ↓ | 0.071 ± 0.002 | 0.097 ± 0.003 | 0.084 ± 0.003 | 0.088 ± 0.002 | 0.078 ± 0.003 | |
| LMSLS (Multiple Sclerosis) | DSC ↑ | 0.696 ± 0.004 | 0.673 ± 0.005 | 0.682 ± 0.006 | 0.670 ± 0.007 | 0.687 ± 0.005 |
| HD (mm) ↓ | 20.867 ± 0.623 | 26.354 ± 0.932 | 23.617 ± 0.784 | 24.438 ± 0.851 | 24.296 ± 0.741 | |
| PSNR (dB) ↑ | 29.314 ± 0.087 | 29.248 ± 0.118 | 29.312 ± 0.094 | 29.441 ± 0.102 | 28.972 ± 0.113 | |
| SSIM ↑ | 0.900 ± 0.002 | 0.805 ± 0.003 | 0.893 ± 0.002 | 0.889 ± 0.003 | 0.890 ± 0.003 | |
| L1 Error ↓ | 0.058 ± 0.002 | 0.083 ± 0.002 | 0.068 ± 0.003 | 0.062 ± 0.004 | 0.072 ± 0.002 |
消融实验¶
1. 解耦形态与强度分支的互补性消融
| 分支配置 | UCSF DSC ↑ | UCSF HD ↓ | LUMIERE DSC ↑ | LUMIERE HD ↓ | LMSLS DSC ↑ | LMSLS HD ↓ | 说明 |
|---|---|---|---|---|---|---|---|
| 仅形态演化分支 (Morph Only) | 0.750 | 26.038 | 0.532 | 34.066 | 0.694 | 21.855 | 专注于病灶形变与空间定位,DSC提升明显 |
| 仅强度演化分支 (Intensity Only) | 0.749 | 25.806 | 0.529 | 35.143 | 0.690 | 21.749 | 擅长全脑外观与像素连续性重建,解剖演化偏弱 |
| 完整解耦联合模型 (Joint Full) | 0.752 | 25.952 | 0.534 | 33.672 | 0.696 | 20.867 | 双分支协同,解剖形态与信号纹理均达最优 |
2. 物理正则化损失 \(\mathcal{L}_{\text{PDE}}\) 的有效性验证
| 损失函数配置 | UCSF DSC ↑ | UCSF HD ↓ | LUMIERE DSC ↑ | LUMIERE HD ↓ | LMSLS DSC ↑ | LMSLS HD ↓ | 说明 |
|---|---|---|---|---|---|---|---|
| 无 PDE 正则项 (w/o \(\mathcal{L}_{\text{PDE}}\)) | 0.745 | 26.216 | 0.524 | 34.211 | 0.690 | 22.337 | 神经流匹配缺少物理先验,基底残差高达 0.20 |
| 含 PDE 正则项 (w/ \(\mathcal{L}_{\text{PDE}}\)) | 0.752 | 25.952 | 0.534 | 33.672 | 0.696 | 20.867 | 显著减少非物理失真,残差降至 0.12,边界更严密 |
3. 正则权重超参数 \(\lambda\) 敏感性 - 当 \(\lambda = 1.0\) 时:UCSF DSC 为 0.745,LUMIERE DSC 为 0.526,LMSLS DSC 为 0.691(物理约束过强,束缚了神经网络拟合复杂真实形变的能力)。 - 当 \(\lambda = 0.1\) 时:UCSF DSC 为 0.746,LUMIERE DSC 为 0.529,LMSLS DSC 为 0.693。 - 当 \(\lambda = 0.01\) 时(本文设定):三数据集 DSC 分别达到 0.752、0.534、0.696,取得数据拟合与物理先验的完美平衡。
关键发现¶
- 病灶区域指标优于全脑平均指标的诊断敏感度:在全脑图像指标(如 PSNR/SSIM)上,各基线方法均能取得较为接近的分数,这是因为病灶区域仅占全脑体素的一小部分,背景正常脑组织的准确重建掩盖了病灶演化的预测错误。但在病灶特异性指标 DSC 和 Hausdorff 距离上,PDF 展现出压倒性优势,尤其在 LUMIERE 上将豪斯多夫距离从基线的 38.135 mm 骤降至 33.672 mm。
- 极端恶性进展案例的鲁棒性:在肿瘤快速侵润、导致正常脑室严重挤压变形的边缘案例(Edge Case)中,所有基线对比模型(T-UNet, I2SB, TFM, ImageFlowNet)的 DSC 仅有 0.63 - 0.77,无法预测脑室结构的移位;而 PDF 成功拟合了这种复杂的解剖位移,DSC 达到 0.85,HD 降至 16.4 mm。
亮点与洞察¶
- 将生物物理动力学转化为轻量投影正则化:以往的物理知情医学建模多依赖计算昂贵且病态的 PDE 参数反演(Inverse Problem),难以融入现代端到端生成网络;本文巧妙地将 Fisher-KPP 方程的三个核心物理组分(扩散、反应、平流)作为速度场的几何张成基底,利用极低算力开销的局部线性最小二乘投影施加软约束,兼顾了生成灵活性与物理真实性。
- 解耦结构形变与信号演化的两阶段流匹配管线:解剖病灶的形态扩张遵循组织连续性物理学,而内部强化信号遵循生化微环境规律。通过形态分支驱动半拉格朗日空间变形、强度分支借助高频纹理引导微调,成功解决了传统生成模型因混淆形态与强度导致的结构模糊问题。
- 跨疾病与跨模态的高泛化性:方法不仅在具有明显膨胀占位效应的高级别脑胶质瘤(T1 / CE-T1)上表现出色,在病灶细微分散、形态演化极为平缓的多发性硬化(FLAIR)上也实现了病灶边界误差的显著降低(HD 从 26.35 mm 降至 20.87 mm)。
局限与展望¶
- 基底参数估计对初态分割质量的依赖:物理张成子空间依赖基线时刻与随访时刻的病灶掩膜来估算扩散系数 \(D\)、增殖率 \(\rho\) 与光流位移场 \(\mathbf{d}\),如果基线医学图像本身存在严重的分割噪声或漏诊,可能导致估计出的物理基底存在偏差。
- 未结合多模态解剖先验与脑白质纤维束各向异性扩散:当前模型假设扩散张量在空间中为各向同性(Isotropic Diffusion),未显式结合弥散张量成像(DTI)中的神经纤维各向异性扩散路径,未来可进一步拓展为张量化导向扩散。
- 缺乏治疗干预变量的因果建模:临床中患者常在随访期间接受化疗、放疗或免疫治疗,药物干预会改变局部的肿瘤反应速率 \(\rho\)。未来可将治疗方案编码为时序控制信号,构建支持临床干预虚拟推演的反事实疾病轨迹模型。
相关工作与启发¶
- vs ImageFlowNet [22]: ImageFlowNet 采用神经常微分方程(Neural ODE)直接在多尺度图像特征空间学习速度场并预测图像轨迹,虽然同样具备连续时序建模能力,但其在隐空间内混合了外观与结构,且没有物理机理约束;本文通过显式解耦形态与强度流,并融入 PDE 投影正则化,在预测病灶边界对齐度(DSC)上实现了显著超越。
- vs I2SB (Image-to-Image Schrödinger Bridge) [23]: I2SB 将图像纵向转移视为两个端点分布之间的薛定谔桥扩散过程,其生成的全脑纹理细腻,但在病灶快速扩张时容易将结构形变误判为灰度渐变,生成边缘弥散的伪影;本文通过先变形后强化的物理两阶段生成机制,有效保护了解剖结构的生理刚性。
- vs 经典物理先验反演方法 (如 Learn-Morph-Infer [9], GliODIL [3]): 这些方法侧重于反演患者的肿瘤细胞密度分布与放疗靶区推断,需要昂贵的迭代数值解法;本文则将物理 PDE 从反演工具转变为前向生成网络的正则化流形约束,实现了实时高效的纵向图像前向外推。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [将 Fisher-KPP 偏微分方程作为流匹配速度场的几何张成投影约束,概念优雅且极富启发性]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖胶质瘤与多发性硬化三大纵向队列,评估兼顾病灶边界对齐与全脑保真度,消融实验扎实严密]
- 写作质量: ⭐⭐⭐⭐⭐ [数学表达严谨自洽,方法论述逻辑严密,图表对比详实清晰]
- 价值: ⭐⭐⭐⭐⭐ [为计算神经肿瘤学与纵向医学影像生成提供了一条物理机理与深度生成模型深度融合的可行范式]