Y-diff: Structure-Texture Decoupled Diffusion Distillation for H&E-to-pCLE Translation¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/Hdw2agon/Y_diff
领域: 医学图像
关键词: 跨模态图像转换 / 探头式共聚焦激光显微内镜 (pCLE) / 结构纹理解耦 / 流匹配 / 扩散蒸馏

一句话总结¶

Y-diff 提出了一种结构与纹理解耦的教师-学生扩散蒸馏框架，利用 DiffAE 语义流匹配迁移 pCLE 光学纹理，结合灰度 SPNet 施加局部空间拓扑约束，显著消除无配对转换伪影，并将下游细胞计数 MAPE 降至 13.84%。

研究背景与动机¶

探头式共聚焦激光显微内镜（pCLE）能够实现活体实时的细胞级光学活检，极大提升了临床病理诊断的即时性。然而受限于光学成像的物理机理，pCLE 影像普遍存在对比度低、细胞边界模糊等缺陷，不仅高度依赖资深专家的人工解读，更导致高分辨率、高质量的配对训练数据极其稀缺。现有的深度学习分析大多只能局限于小样本图像分类，无法直接支撑细胞检测、实例分割等对空间拓扑要求严苛的下游计算病理任务。

利用数据充足且易于获得的离体 H&E 染色病理图像，通过无监督跨模态图像转换生成合成 pCLE 数据，是破解稀缺模态数据瓶颈的理想路径。然而，H&E 与 pCLE 之间存在巨大的跨域鸿沟，且临床上根本无法建立逐像素对齐的配对真值。经典的循环一致性网络（如 CycleGAN）与前沿的薛定谔桥扩散模型（如 UNSB）往往在高度纠缠的像素空间内同时拟合组织形态与光学风格，容易产生黑白斑点伪影、条纹噪点，甚至造成局部细胞结构的灾难性畸变；而现有的病理虚拟染色方法多面向弱配对切片设计，面对完全无配对的极端分布偏移时极易发生拓扑崩塌。

这种失败的核心矛盾在于：像素空间的直接映射把“目标域特有的光学纹理”与“源域图像固有的细胞几何拓扑”混为一谈，模型在学习 pCLE 暗场散斑纹理的同时不可逆地破坏了 H&E 的细胞空间结构。核心 idea：将无配对跨模态转换在物理表征路径上显式解耦为独立的“纹理流”与“结构流”，在低维语义流匹配中迁移光学纹理，在时间条件空间先验约束下通过教师-学生知识蒸馏完成结构重建。

方法详解¶

整体框架¶

Y-diff 的核心在于打破传统像素空间端到端混合映射的黑盒机制，构建了包含共享空间前向加噪、流匹配语义传输以及教师-学生双分支去噪的整体架构。整个系统物理隔离为两股独立的信息流： - 纹理流（Texture Flow）：借助预训练的扩散自编码器（DiffAE）将图像解耦为低维全局语义向量 $z_{\text{sem}}$，并利用流匹配（Flow Matching）在语义潜空间构建两域间的连续常微分方程（ODE）最优传输路径。 - 结构流（Structure Flow）：将输入 H&E 图像转为灰度图并送入结构保持网络（SPNet），在每个去噪时间步提取空间形态特征并调制扩散隐状态，严格锚定细胞空间拓扑。

在训练阶段，预先训练好的 Oracle 教师模型在真实 pCLE 语义引导下拟合目标数据流形；随后冻结教师与流匹配模块，学生模型以源域流匹配语义为条件，在多尺度蒸馏损失与判别器对抗监督下学习重组纹理与空间结构。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["H&E 染色病理输入 xA"] --> B["基于 DiffAE 的语义流匹配<br/>最优传输 ODE 映射 zA 到 zB"]
    A --> C["SPNet 时间条件结构约束<br/>灰度像素级 MLP 空间调制"]
    A --> D["扩散前向加噪阶段<br/>截断 DDIM 提取中间状态 xt"]
    B --> E["Oracle 教师知识蒸馏<br/>多尺度特征与感知对齐"]
    C --> E
    D --> E
    E --> F["合成伪 pCLE 图像"]
    G["真实 pCLE 图像 xB"] --> H["目标域对抗监督<br/>判别器分布拉齐"]
    F --> H

关键设计¶

1. 基于 DiffAE 与流匹配的语义纹理最优传输：规避像素纠缠与模式崩塌 直接在像素空间学习两域映射极易受高维噪声与局部伪影干扰。作者发现 DiffAE 的语义编码器能够高度压缩颜色与全局光学特征，若固定扩散状态 $x_t$ 仅替换语义编码 $z_{\text{sem}}$，图像即可自然呈现出目标域的光学风格。为此，Y-diff 采用流匹配构建速度场网络 $v_\phi$，在 H&E 语义分布 $p(z_{\text{sem}}^A)$ 与 pCLE 语义分布 $p(z_{\text{sem}}^B)$ 之间拟合最优传输概率路径。给定经过批内最优传输耦合的语义对 $(z_{\text{sem}}^A, z_{\text{sem}}^B)$ 及线性插值路径 $z_t = (1-t)z_{\text{sem}}^A + t z_{\text{sem}}^B$，流匹配损失定义为： $$ \mathcal{L}{\text{FM}} = \mathbb{E}^A)|_2^2 \right] $$ 在推理时，只需以 }}^A, z_{\text{sem}}^B} \left[ |v_\phi(z_t, t) - (z_{\text{sem}}^B - z_{\text{sem}$z_{\text{sem}}^A$ 为初值，采用 Dopri5 求解器沿 ODE 单次积分即可确定性地推演得到目标域语义编码 $z_{\text{sem}}^{A \to B}$，从根本上杜绝了传统 GAN 的模式崩塌问题。

2. SPNet 时间条件灰度空间约束：微观细胞拓扑的硬性锚定 单纯依靠全局语义迁移仍无法约束局部细节，扩散反向过程容易在去噪迭代中丢失细胞壁和细胞核的精确边界。为此，Y-diff 引入了结构保持网络（SPNet, 记为 $S_\psi$）。SPNet 采用轻量级的像素级 MLP 架构，首先将输入 H&E 图像转为单通道灰度图，彻底剥离染色色彩分布对几何轮廓的干扰；随后通过 FiLM（Feature-wise Linear Modulation）层将扩散时间步嵌入 $c_t$ 注入到隐藏层中，使网络能根据 DDIM 不同的去噪阶段自适应调整空间先验的引导强度： $$ x_t^A \leftarrow x_t^A + \lambda_{\text{map}} \cdot \sigma(S_\psi(x_A, t)) $$ 该设计在保持去噪时间感知的同时，将原始病理切片的微观几何拓扑直接灌注到隐变量演化过程中，确保细胞核不位移、不发生虚假分裂。

3. Oracle 教师指导的多层次知识蒸馏：解耦特征的稳定重组 在获得解耦的纹理先验与空间先验后，若直接端到端微调生成器，容易引发梯度冲突与多目标优化失衡。Y-diff 设计了两阶段优化策略：第一阶段预先训练一个参数冻结的 Oracle 教师模型，在真实 pCLE 语义 $z_{\text{sem}}^B$ 驱动下生成高质量伪真实目标（Pseudo-GT）$\hat{x}_{\text{Teacher}}^B$；第二阶段训练学生模型，学生模型接收流匹配推断出的语义 $z_{\text{sem}}^{A \to B}$ 与 SPNet 空间约束，生成 $\hat{x}_{\text{Student}}^B$。为了向学生模型无缝迁移教师所沉淀的光学先验，设计了涵盖像素底层、感知层与高层语义的多尺度知识蒸馏损失： $$ \mathcal{L}{\text{KD}} = \lambda}} |\hat{x{\text{Student}}^B - \hat{x}^B|}1 + \lambda}} \text{LPIPS}(\hat{x{\text{Student}}^B, \hat{x}}}^B) + \lambda_{\text{CLIP}} (1 - \text{CosSim}(\text{CLIP}(\hat{x{\text{Student}}^B), \text{CLIP}(\hat{x}^B))) $$ 这种严格的教师监督使得学生模型能够安全地将目标纹理“绘制”在源域结构基底上，避免了直接无监督对齐时的幻觉生成。}

4. 目标域对抗分布对齐：补偿高频细节与边缘锐度 尽管蒸馏损失能够拉近学生与教师的表征距离，但仅靠回归与感知损失容易导致生成图像过于平滑，丢失 pCLE 特有的高频光学散斑与细胞质颗粒感。Y-diff 引入了一个判别器 $D$，通过最小化生成分布与真实 pCLE 流形之间的相对熵来实现分布对齐，对抗损失目标表述为： $$ \mathcal{L}G = \mathbb{E}}[\log D(x_B)] + \mathbb{E{x_A \sim p_A}[\log(1 - D(\hat{x}^B))] $$ 学生模型的最终优化目标为加权联合损失 }$\mathcal{L}_{\text{Student}} = \lambda_{\text{KD}} \mathcal{L}_{\text{KD}} + \lambda_G \mathcal{L}_G$。判别器对抗监督迫使学生网络在服从几何轮廓的同时，精确补偿 pCLE 模态微观层面的物理光学质感。

损失函数 / 训练策略¶

整个训练流水线划分为两个串行阶段： 1. Oracle 先验准备阶段：使用真实 pCLE 图像及其 DiffAE 提取的语义编码与 SPNet 约束，独立优化 Oracle 教师模型（30 epochs）；同时在成对的 H&E 与 pCLE 语义向量间，利用小批量最优传输独立训练流匹配网络 $v_\phi$。 2. 跨模态蒸馏优化阶段：完全冻结教师模型与流匹配 ODE 模块，仅训练学生模型与对抗判别器（10 epochs）。所有模型均在单张 RTX PRO6000 GPU 上采用 Adam 优化器训练。 3. 截断 DDIM 采样加速：为降低训练与推理计算负担，模型采用截断扩散策略（1000 个理论时间步，设置 0.5 截断比），将前向编码与反向采样均压缩至 25 个时间步，在大幅缩减计算耗时的同时完美保留了深层结构特征。

实验关键数据¶

主实验¶

评估涵盖内部临床数据集 CCD（包含结肠离体 H&E 切片与活体 pCLE 视频帧各 296 张，划分为 240 训练集与 56 测试集）以及弱配对免疫组化基准 MIST（ER-004 子集，4000 训练 / 1000 测试）。评估指标采用无配对场景公认的结构相似度（SS）、亮度与对比度（LC）、直方图相关度（Hist）以及感知距离（LPIPS）。

下表展示了 CCD 数据集上的定量评测结果（对比主流跨模态转换与虚拟染色方法）：

方法	模型范式	SS ↑	LC ↑	Hist ↑	LPIPS ↓
CycleGAN	经典循环一致性 GAN	0.614	0.908	0.731	0.511
PyramidPix2Pix	虚拟染色金字塔 Pix2Pix	0.114	0.926	0.823	0.974
PPT	局部 Patch 对比学习	0.217	0.925	0.854	0.907
SynDiff	对抗扩散转换	0.226	0.927	0.815	0.529
D-VST	染色解耦扩散 Transformer	0.103	0.953	0.853	0.811
UNSB	神经薛定谔桥扩散模型	0.488	0.920	0.798	0.655
CycleGAN-Turbo	单步扩散加速框架	0.316	0.887	0.672	0.777
Y-diff (本文)	结构-纹理解耦扩散蒸馏	0.689	0.939	0.868	0.495

实验表明，传统在配对数据上表现优秀的虚拟染色方法（D-VST、PyramidPix2Pix）在完全无配对的跨模态场景下发生结构崩塌（SS 仅 ~0.10）；而 Y-diff 在核心结构保持（SS 达到 0.689）、色彩分布一致性（Hist 达 0.868）与图像感知质量（LPIPS 达 0.495）上全面刷新 SOTA。在 MIST 数据集上，Y-diff 同样斩获最低的 FID (41.40) 与最高结构度量，展现出强大的泛化能力。

消融实验¶

为验证各创新组件的必要性，在 CCD 数据集上进行了系统消融（w/o Student 表示直接输入真实目标域语义的 Oracle 上界）：

配置	消融机制与设置	SS ↑	LC ↑	Hist ↑	LPIPS ↓
w/o Flow matching	移除流匹配，仅依赖源域 H&E 语义	0.5397	0.9339	0.8646	0.4810
w/o SPNet	移除空间结构保持网络	0.6090	0.9092	0.7814	0.4915
w/o Discriminator	移除判别器对抗监督	0.6039	0.9199	0.7802	0.4992
Ours (Full)	完整 Y-diff 模型	0.6892	0.9387	0.8684	0.4948
w/o Student (Oracle)	直接使用真实 pCLE 语义（理论上限）	0.7015	0.9664	0.8807	0.4460

关键发现¶

流匹配主导语义对齐：去除 Flow matching 导致结构相似度暴跌 0.1495，证明跨模态生成中的结构失真很大程度上源于色彩与光学语义冲突引起的扩散先验混乱。
SPNet 是结构保真的生命线：移除 SPNet 导致模型蜕化为对教师特征的无约束蒸馏，SS 与 Hist 均大幅下降，证实纯像素级去噪若无灰度结构硬性约束，无法抵抗跨模态形变。
下游临床计数验证：在下游细胞计数任务中，利用 NuInsSeg 公共 H&E 标注集转换为伪 pCLE 增强 U-Net 训练（测试集为 30 张真实专家标注 pCLE）：

数据增强策略	MAE ↓	RMSE ↓	MAPE (%) ↓
纯人工标注 (无伪 pCLE 增强)	83.29	103.29	55.77%
+ CycleGAN 增强	63.71	73.17	30.86%
+ Y-diff 增强 (本文)	28.43	34.30	13.84%

Y-diff 生成的数据使得细胞计数误差（MAPE）从 55.77% 锐减至 13.84%，显著优于 CycleGAN 的 30.86%，证明合成数据完整继承了源域切片的细胞空间拓扑真值，具备切实的临床辅助诊断价值。同时，三位病理学家参与的盲评实验也证实 Y-diff 在形态保真度和纹理真实性上的评分（MOS）显著领先基线（Welch's t-test, $p < 0.05$）。

亮点与洞察¶

解耦再重组的跨模态新范式：不同于像素空间的端到端混洗，将表征明确拆分为基于 ODE 的全局语义传输与基于灰度 MLP 的局部拓扑约束，破解了无配对医学图像转换中的拓扑漂移顽疾。
巧妙规避梯度冲突的蒸馏策略：通过构建 Oracle 教师并将其作为静态先验进行单向蒸馏，避免了在极其不稳定的无配对跨模态分布间同时优化流匹配与扩散去噪器带来的震荡问题。
从“好看”走向“可用”的数据反哺：绝大多数跨模态医学图像生成仅停留在定性视觉对比，Y-diff 直接通过合成数据打通了下游实例级细胞计数应用，为小样本稀缺医学模态提供了一条高保真数据扩增路线。

局限与展望¶

采样效率与分辨率受限：模型基于像素级 DDIM 框架，25 步的采样耗时仍明显高于单步 GAN 模型，且目前仅支持 256×256 分辨率，距离全切片（WSI）或实时高清内镜流生成尚有差距。
光学物理先验的显式建模不足：当前纹理生成依赖统计分布学习，尚未深度结合荧光探针衰减、物镜焦距失真等内镜光学生理先验。
未来方向：作者团队展望将该框架迁移至潜空间扩散模型（LDM）以支持百兆像素级高分辨率快速合成，并在纹理流中嵌入内镜物理成像方程以应对复杂的荧光强度波动。

评分¶

新颖性: ⭐⭐⭐⭐☆ [将语义流匹配与灰度空间调制结合引入扩散蒸馏，构筑了严密的结构-纹理解耦范式]
实验充分度: ⭐⭐⭐⭐⭐ [囊括主流跨模态基线对比、消融分析、下游细胞计数与临床专家盲评，实验链条闭环]
写作质量: ⭐⭐⭐⭐⭐ [逻辑架构严谨，问题剖析透彻，图表呈现清晰直观]
价值: ⭐⭐⭐⭐⭐ [为高壁垒、低样本的 pCLE 临床内镜计算病理开辟了可靠的高保真数据扩增新途径]