Progression as Latent Drift: Generative Forecasting of Slow-Evolving Pathologies¶

会议: ECCV 2026
论文: ECCV 原文
领域: 医学图像
关键词: 慢进展病理预测 / 潜空间漂移 / 有限标量量化 / 拓扑死区滤波 / 3D脑部MRI模拟

一句话总结¶

针对神经退行性疾病纵向MRI中微弱病理信号易被静态解剖与扫描噪声淹没的问题，提出潜空间漂移（Latent Drift）框架，将生成目标重构为时序潜变量残差，并结合有限标量量化（FSQ）作为拓扑死区滤波器截断成像噪声，实现了高保真与高临床诊断一致性的个性化纵向脑部解剖预测。

研究背景与动机¶

神经退行性疾病（如阿尔茨海默病、帕金森病）的器官形态演化通常是一个历时数年、且不可逆的缓慢生理过程。由于神经元丢失与结构萎缩（如海马体萎缩、脑室扩大）无法复原，当临床认知障碍症状显现时，脑实质往往已产生大范围不可逆的不可逆损伤。精准生成预测患者未来的 3D 脑解剖状态，不仅能抓住狭窄的干预窗口、辅助早期靶向治疗，更能为临床试验富集未来确实会出现结构性恶化的受试者，从而大幅优化试验方案与评估效率。

然而，将前沿视频或音频等生成序列模型直接迁移至纵向 3D MRI 预测时却严重失灵。自然视频中通常包含大范围、高动态的运动特征，而在典型的 1 年临床随访期内，神经退行性病变引发的局部形态变异在整脑三维体积总方差中占比通常不足 1%，前后时序的扫描在统计分布上高度重合。直接将传统自回归或扩散模型用于预测未来绝对解剖状态时，模型极易陷入两个优化病理困境：一是“身份坍塌”（Identity Collapse），占绝对主导的静态背景解剖解结构（如颅骨、未受损半球）垄断了反向传播梯度，使模型退化为微不足道的恒等映射；二是“连续插值陷阱”（Continuous Interpolation Trap），深度网络固有的 Lipschitz 连续平滑先验无法区分稀疏的微弱生物萎缩与全脑弥漫的样本特异性扫描仪噪声，迫使模型将噪声方差弥散至整个脑体积，生成大量伪病变。

面对背景压制与弥散噪声的双重制约，本文的核心切入点是打破端到端拟合全图的传统范式，将微弱的病变动态从庞大的静态解剖与稠密噪声中解耦出来。核心 idea：将预测目标从全脑绝对解剖状态重构为紧凑语义潜空间的动态残差（Latent Drift），并引入有限标量量化（FSQ）充当非 Lipschitz 拓扑死区滤波器，彻底截断高频测量噪声并保留稀疏病理漂移，实现稳健可信的纵向解剖演化生成。

方法详解¶

整体框架¶

Latent Drift 采用两阶段分离式生成架构：第一阶段通过潜空间漂移分词器（Latent Drift Tokenizer）压缩纵向 3D MRI，并利用带拓扑死区特性的有限标量量化将时序残差转化为离散漂移 token；第二阶段使用自回归 Decoder-Transformer，在基线解剖表征与临床元数据（人口统计学、时间跨度）联合条件引导下，预测离散漂移序列，最终叠加回基线潜变量并通过解码器恢复出未来的 3D MRI 图像。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["纵向 3D MRI 对<br/>(当前 scan x_cur, 未来 scan x_fut)"] --> B["空间编码器压缩<br/>提取连续潜表征 z_cur, z_fut"]
    B --> C["时序残差解耦<br/>计算连续漂移 delta_z_raw = z_fut - z_cur"]
    C --> D["FSQ 拓扑死区滤波<br/>非线性截断噪声并离散化为 delta_z_q"]
    D --> E["条件自回归漂移生成<br/>基于 z_cur 与临床嵌入预测未来漂移 token"]
    E --> F["潜变量残差融合<br/>z_pred = z_cur + delta_z_q"]
    F --> G["空间解码器重建<br/>生成个性化未来 3D 脑部 MRI (x_fut_hat)"]

关键设计¶

1. 时序残差解耦：消除静态背景解剖对梯度的绝对垄断

在传统的条件生成目标中，模型直接优化 $p_\theta(x_{\mathrm{fut}} \mid x_{\mathrm{cur}}, c, \Delta t)$ 或潜空间的 $\hat{z}_{\mathrm{fut}} = \mathcal{G}_\theta(z_{\mathrm{cur}}, h_{\mathrm{cond}})$。由于静态背景解剖的能量占比极高（$\|z_{\mathrm{cur}}\| \gg \|\delta_{\mathrm{pathology}}\|$），网络在计算重构损失或均方误差时，几乎所有有效梯度都集中在保持颅骨、白质大体轮廓等不变结构上，导致 $\mathcal{G}_\theta$ 退化为恒等函数 $f(z) \approx z$。针对该痛点，本文在潜空间将未来状态解构为静态解剖、病理变化与扫描噪声的三元叠加： $$z_{\mathrm{fut}} = z_{\mathrm{cur}} + \delta_{\mathrm{pathology}} + \eta_{\mathrm{nuisance}}$$ 通过直接以连续潜空间残差 $\Delta z_{\mathrm{raw}} = z_{\mathrm{fut}} - z_{\mathrm{cur}}$ 为建模对象，显式剔除了静态基线项 $z_{\mathrm{cur}}$，迫使梯度全部重聚焦于海马体、脑室周围等微弱病理变化的局部区域，从根源上摆脱了身份坍塌。

2. FSQ 拓扑死区滤波：打破 Lipschitz 连续插值陷阱

单纯转向时序残差 $\Delta z_{\mathrm{raw}}$ 仍无法抵御弥漫性成像噪声 $\eta_{\mathrm{nuisance}}$。根据统计学习理论分析（定理 1），标准神经网络具备 Lipschitz 连续性，面对密集的样本特异性噪声，经验风险最小化（ERM）必然倾向于处处插值，导致期望误差有下界 $\mathbb{E}\|f_\theta(x) - \delta(x)\|_2^2 \gtrsim \mathbb{E}\|\eta(x)\|_2^2$，进而在全脑伪造出弥散性漂移。为此，本文设计了基于有限标量量化（Finite Scalar Quantization, FSQ）的非 Lipschitz 拓扑死区滤波器： $$\Delta z_q = \Delta z_{\mathrm{raw}} + \text{sg}\left(s \cdot \text{clip}\left(\left\lfloor\frac{\Delta z_{\mathrm{raw}}}{s}\right\rceil, -L_{\max}, L_{\max}\right) - \Delta z_{\mathrm{raw}}\right)$$ 当步长 $h > 2\varepsilon$ 满足标定间距时，对于病理支撑集之外的纯噪声坐标，由于 $|\eta| \le \varepsilon < h/2$，四舍五入取整算子 $\lfloor \cdot \rceil$ 将其精确截断为零（$\Delta z_{q,j} = 0$）；而在真实病理区域，累积的生物漂移幅度超过量化阈值，其几何支撑集被完整保留（定理 2）。这种阶跃不连续机制打破了连续平滑插值先验，将稠密随机噪声坍缩为稀疏离散事件。

3. 条件自回归漂移生成：高维离散病理轨迹的多模态引导

在通过 FSQ 分词器将连续 MRI 演化离散化后，预测任务被转化为离散词表上的因果序列生成。采用 Decoder-Transformer 架构 $G_\theta$，以自相关交叉注意力融合患者临床元数据嵌入（年龄、性别、受教育年限、神经心理测试、APOE 基因型及目标预测时间步 $\Delta t$）与基线扫描特征 $z_{\mathrm{cur}}$。自回归解码器利用交叉熵损失监督离散 token 的概率分布建模： $$P(\Delta \hat{z}_q \mid x_{\mathrm{cur}}, c, \Delta t) = \mathcal{G}_\theta(\Delta \hat{z}_q \mid z_{\mathrm{cur}}, \text{MLP}(c, \Delta t))$$ 在推理阶段，采样出的 $\Delta \hat{z}_q$ 与患者基线潜变量 $z_{\mathrm{cur}}$ 直接相加，送入预训练的三维空间反分词器（De-Tokenizer）中，即可还原出具有解剖连贯性与病理一致性的未来全脑 MRI。

损失函数 / 训练策略¶

Latent Drift 分为两个独立训练阶段： - 阶段一（分词器与死区滤波器训练）：在纵向扫描对 $(x_{\mathrm{cur}}, x_{\mathrm{fut}})$ 上训练 3D 空间编解码器与 FSQ 模块。通过均方误差损失（MSE）、感知损失（LPIPS 3D 适配版）与对抗判别损失（GAN Loss）联合优化，并在反向传播中采用直通估计器（Straight-Through Estimator, STE）传递量化离散梯度的更新。 - 阶段二（自回归序列模型训练）：冻结第一阶段的分词器，提取全部训练集的离散漂移 token 序列，使用标准交叉熵损失优化 Decoder-Transformer，学习在多模态临床指标与基线特征联合条件下的离散 token 自回归分布。

实验关键数据¶

主实验¶

实验基于 ADNI 与 AIBL 两个权威阿尔茨海默病临床队列，共构建 3,981 组纵向 3D MRI 扫描对（测试集包含 1,140 对独立患者样本），输入分辨率归一化为 $93 \times 112 \times 96$。下游临床有效性采用预训练且患者不交叉的 ViViT 架构阿尔茨海默病诊断分类器进行测试。

方法	生成保真度 FID (i3d) $\downarrow$	生成保真度 FID (cls.) $\downarrow$	结构相似度 Diff-SSIM $\uparrow$	结构相似度 Pix-SSIM $\uparrow$	归一化互相关 NCC $\uparrow$	临床诊断 F1 $\uparrow$	临床诊断 Precision $\uparrow$	临床诊断 Recall $\uparrow$	临床诊断 Accuracy $\uparrow$
CycleGAN	12.13	7.03	0.7713	0.9612	0.9611	75.44	85.95	67.22	79.39
Palette (Diffusion)	46.74	9.27	0.8030	0.8088	0.9810	80.36	87.50	74.30	82.89
I2I-DiT (Diffusion)	25.65	7.63	0.7799	0.7979	0.9807	62.37	87.00	48.60	72.36
BrLP (Diffusion)	19.59	10.14	0.8063	0.8574	0.9819	80.36	86.98	74.67	82.81
VQGAN (AR)	30.11	18.29	0.7625	0.8612	0.9576	70.55	78.23	64.24	74.74
RQ-Transformer (AR)	27.71	10.89	0.7071	0.7507	0.8666	60.78	62.82	58.84	64.21
NeuroAR (AR)	22.28	15.34	0.8128	0.8554	0.9782	81.86	87.50	76.91	83.95
Latent Drift (本文)	13.92	12.77	0.8204	0.9483	0.9880	87.51	88.26	86.78	88.33

消融实验¶

1. 预测目标与量化机制消融

实验组别	核心配置	rFID $\downarrow$	Diff-SSIM $\uparrow$	诊断 Acc. (%) $\uparrow$	诊断 F1 (%) $\uparrow$	说明
预测目标消融	Pixel 直接预测	44.38	0.7625	77.19	72.75	陷入身份坍塌，容量耗费在静态背景上
	Drift 潜空间残差 (本文)	13.92	0.8205	88.33	87.52	成功解耦背景，聚焦局部病理演化
量化方式消融	Vector Quantization (VQ)	14.04	0.8249	86.67	85.52	码本离散性好但缺乏标量几何阈值控制
	Residual VQ (RVQ)	29.06	0.7798	84.56	83.67	残差细化容易重新引入高频噪声扰动
	Lookup-Free Quantization (LFQ)	19.09	0.8253	85.09	84.02	结构恢复尚可但保真度较低
	Binary Spherical Quantization (BSQ)	20.70	0.7795	84.56	82.75	极端二值化损失了微小形态变异分辨率
	FSQ 拓扑死区量化 (本文)	13.77	0.8224	88.24	87.41	达到生成保真度与临床诊断精度的最佳平衡

2. FSQ 标量网格容量与分辨率权衡（第二阶段生成表现）

FSQ 网格大小	码本容量配置	rFID $\downarrow$	Diff-SSIM $\uparrow$	诊断 Acc. (%) $\uparrow$	诊断 F1 (%) $\uparrow$	说明
`[8, 6, 5]`	粗粒度小网格	7.07	0.8128	86.84	85.27	死区过宽，丢失早期微弱病理退化特征
`[8, 5, 5, 5]`	中等网格	15.58	0.8240	82.46	79.51	保真度与下游诊断精度均有明显下滑
`[7, 5, 5, 5, 5]`	5维扩展网格	7.00	0.8253	85.35	83.64	保真度突出但下游临床诊断表现次优
`[8, 8, 8, 6, 5]`	高容量网格	27.07	0.8273	82.81	80.00	步长过小落入插值陷阱，rFID严重恶化
`[8, 8, 8, 5, 5, 5]`	最佳标定网格 (本文)	12.78	0.8224	88.24	87.41	完美契合噪声下界，临床指标达到峰值

关键发现¶

直接合成像素的致命缺陷：将目标设为像素全图时，FID 飙升至 44.38，Diff-SSIM 暴跌至 0.7625，梯度可视化证明大量算力浪费在颅骨、未受损白质等静态区域，无法捕捉海马体萎缩；而潜空间残差方案将诊断准确率直接从 77.19% 提至 88.33%。
网格尺度的非单调性与插值陷阱验证：FSQ 网格不是越大越好。当码本容量激增到 [8, 8, 8, 6, 5] 时，量化步长变窄，由于 $h \le 2\varepsilon$ 使得拓扑死区失效，扫描仪噪声被重新学习，rFID 恶化至 27.07，诊断精度骤降；而 [8, 8, 8, 5, 5, 5] 成功构筑了正确的噪声截止壁垒。
动态跨度下的鲁棒性：在海马体、小脑和脑室等萎缩速率跨度达 23 倍的异质脑区上，恢复变化率与理想变化率之比保持在 [0.93, 1.18] 之间（平均绝对偏差仅 0.12），显著优于基线模型 2.6 至 5.8 倍。

亮点与洞察¶

将病理预测数学化表述为潜空间微小漂移：敏锐指出了传统生成模型用于慢病预测时的“身份坍塌”本质是由能量量级差异（$\|z_{\mathrm{cur}}\| \gg \|\delta\|$）驱动的，采用时序残差切断了对静态解剖的简单拷贝。
将标量量化机制上升为拓扑死区滤波器：打破了 VQ/FSQ 仅被视作压缩离散化工具的固有认知，首次从非 Lipschitz 算子的数学视角证明了其在截断稠密高频连续噪声、恢复稀疏支撑集中的本质作用。
可复用的微弱演化生成范式：该“时序残差解耦 + 死区阈值截断”框架天然可迁移至其他慢进展退行性病变（如青光眼视网膜 OCT 演变、慢性阻塞性肺疾病胸部 CT 进展等）的超前模拟中。

局限与展望¶

作者指出的局限：全局统一的 FSQ 标量步长假设脑部背景整体相对稳定，但在局部快速演变区域（如晚期剧烈扩大的侧脑室）可能造成轻微的欠拟合或量化饱和；此外，目前仅在经过严格配准和降采样的单中心/多中心公开集上验证，未直接接入未经配准的原始跨扫描仪异质数据。
独立发现的局限：3D MRI 分辨率被下采样至 $93 \times 112 \times 96$，虽然保证了长序列生成的显存可行性，但对皮层精细灰质厚度等亚毫米级生物标志物的微观追踪存在信息损失；且依赖于二值化临床标签驱动的分类器进行间接评价，缺乏多时间步的连续认知评分回归追踪。
改进方向：引入解剖先验引导的区域自适应量化步长（Region-Aware FSQ），对海马体与侧脑室动态赋予不同的量化粒度；结合神经隐式表示或多尺度潜扩散实现更高分辨率的无损体素预测。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 深刻揭示了慢进展疾病生成的身份坍塌与连续插值陷阱两大根因，首创 FSQ 死区滤波理论。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖结构相似度、两套特征 FID 以及冻结临床下游 ViViT 诊断全维度评测，消融严谨。
写作质量: ⭐⭐⭐⭐⭐ 理论证明完整严密，问题提出与架构设计层层递进，动机非常清晰。
价值: ⭐⭐⭐⭐⭐ 为慢病早筛、个性化器官退行演变模拟和临床干预试验富集提供了具有重要转化潜力的生成工具。