Low-Level Dataset Distillation for Medical Image Enhancement¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/xufz123/Med_LLDD
领域: 医学图像
关键词: 数据集蒸馏、医学图像增强、图像超分辨率、低剂量 CT 复原、梯度匹配

一句话总结¶

本文提出首个面向低层任务的医学图像数据集蒸馏框架：用单个代表性受试者的切片构造共享解剖先验，再经受试者专属码调制的 SPG 模块生成逐受试者的合成数据，并通过受试者感知的梯度匹配对齐训练轨迹，在 CT/MRI 超分与低剂量 CT 复原上以约 99% 的压缩率逼近全量数据训练的性能。

研究背景与动机¶

医学图像增强——超分辨率、去噪/复原等——要把低质量（LQ）图像恢复成高质量（HQ）图像，直接服务于诊断和临床决策。但现有方法几乎都依赖大规模高分辨率医学数据来学习复杂的逐像素映射：训练与存储开销大，临床端部署困难。数据集蒸馏（dataset distillation, DD）因此被寄予厚望——它把大数据的"训练行为"压进一个很小的合成集，下游只用合成集训练就能达到接近原数据的性能。已有的 DD 方法（performance matching 的 bi-level 优化、parameter matching 的梯度匹配、distribution matching 的特征分布对齐）在分类任务上已经相当成熟，但它们的共同前提是多个样本共享同一个语义标签：这种多对一映射意味着合成数据只需抓住类内共享语义，信息压缩才有可能。

低层任务把这一前提彻底推翻。超分/复原是逐像素的密集图像到图像映射，样本与标签之间是多对多关系，每张输入都有自己独有的像素级目标；有限张合成图根本约束不住这种密集的输入-输出关系，因此低层 DD 在本质上是欠定的，比高层 DD 困难得多。医学场景又叠加了两层麻烦：一是模态与退化类型多（CT 的 ×4 下采样、MRI 的 ×2 下采样、低剂量 CT 的投影域噪声加反投影），同一种蒸馏策略未必通用；二是不同受试者的解剖结构差异显著，论文用 t-SNE 可视化不同受试者的梯度发现，跨受试者的梯度分布明显分离、而同受试者内部高度相似——把多个受试者的训练信息硬塞进同一张合成图，会互相冲突并导致训练崩溃。

本文的切入角度是：既然不同受试者共享相似的解剖结构，就可以先把这种共性抽成一个共享解剖先验当初始化来给欠定问题加约束，再针对每个受试者单独蒸馏、把一个大而欠定的问题拆成一串小而可控的子问题；同时把"蒸馏"从外观相似推进到训练动力学相似——用梯度匹配让在合成数据上训练的网络的优化轨迹对齐在原始数据上训练的轨迹。核心 idea：以代表性受试者的切片作共享解剖先验，用可学习的受试者码把先验个性化成逐受试者的合成 HQ 数据，再用退化算子补出 LQ–HQ 配对，最后按受试者分别做梯度匹配对齐训练轨迹；下游只拿到合成数据，原始受试者数据不出域。

方法详解¶

整体框架¶

方法要解决的是"在没有类别标签、只有逐像素映射的低层医学增强任务上如何做数据集蒸馏"。整条流程按受试者并行：先从原始数据里挑一个代表性受试者，随机取 v 层切片作为共享解剖先验当初始化；然后对每个受试者 p 用一份可学习的受试者码把这份先验调制成该受试者专属的合成 HQ 数据（SPG 模块）；接着用任务特定的退化算子把合成 HQ 映射成 LQ，配上原数据的 LQ–HQ 对一起送进增强网络；最后比对"合成数据上算出的梯度"和"该受试者原始数据上算出的梯度"，用二者的差异反过来更新合成数据与受试者码。蒸馏结束后，只有合成数据集被交付给下游，原始受试者数据不再参与。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多受试者原始 HQ 数据"] --> B["共享解剖先验初始化<br/>代表受试者的随机切片"]
    B --> C["受试者感知个性化生成<br/>受试者码调制 + 保真残差"]
    C --> D["任务特定退化配对构造<br/>D(·) 造出 LQ–HQ 对"]
    D --> E["受试者感知梯度匹配<br/>逐受试者对齐训练轨迹"]
    A -->|原始 LQ–HQ 对梯度| E
    E -->|更新合成数据与受试者码| C
    E --> F["蒸馏数据集 M≪N<br/>仅此交付下游"]

关键设计¶

1. 共享解剖先验初始化：先给逐像素的欠定问题加一层全局结构约束

低层 DD 的困难源于"有限张合成图要覆盖多对多的密集映射"，纯随机初始化的合成数据在这种弱约束下几乎学不出东西——消融里把初始化换成随机噪声后，PSNR 直接崩到 11.54 dB（NRI=5、IPS=1）。本文的做法是利用同一个成像协议下不同受试者解剖结构高度相似这一先验：从原始数据集中随机挑一个代表性受试者，在其 3D 体数据（CT 或 MRI volume）里随机选 v 层切片，记作 \(U\in\mathbb{R}^{v\times h\times w}\)，作为全体受试者共用的初始化。这一步同时干了两件事：一是把解空间从"任意图像"收缩到"解剖上合理的图像"，缓解欠定；二是提供一套跨受试者共享的结构基底，使得后续每个受试者只需学习相对这个基底的偏移量，而不必从零学一套解剖结构。论文验证了这一初始化对代表性受试者的选择是稳健的：把代表换成 1 号或 3 号受试者，CT 超分在 IPS=5 下分别是 34.45 dB 与 34.27 dB。

2. 受试者感知个性化生成：用一个受试者专属码把共享先验改写成该受试者的合成数据

共享先验只提供了共性，而受试者之间的解剖差异客观存在，论文明确放弃了"用一张合成集代表多个受试者"的做法，改为逐受试者蒸馏——这既保住了结构保真度，也把一个大欠定问题拆成 P 个小问题。SPG 模块用两个组件完成这次改写：一个是第 p 个受试者的可学习受试者码 \(d_p\in\mathbb{R}^{q}\)（论文默认 q=2），另一个是与受试者无关的共享卷积层 \(\theta^c\)。调制方式是"复制+缩放+拼接"：把先验 \(U\) 复制 q 份，第 k 份整体乘以受试者码的第 k 个标量，再沿通道维拼成一个 \(\mathbb{R}^{v\times q\times h\times w}\) 的张量，让受试者码的每个分量各自控制一路解剖结构的强度；随后这 q 路特征被共享卷积层融合并重排成该受试者应有的图像数量 IPS（记作 \(i\)）张 HQ 合成图。为了让像素级细节不被卷积的平滑抹掉，论文再加一步像素级保真保留：从先验 \(U\) 里随机取一层 \(u_p\in\mathbb{R}^{h\times w}\)，复制 i 份后直接加到卷积输出上做残差：

\[\tilde{Y}_p=\mathrm{Conv}\big(f(U,d_p);\theta^c\big)+\mathbf{u}_p\]

其中 \(\tilde{Y}_p\in\mathbb{R}^{i\times h\times w}\) 就是第 p 个受试者的合成 HQ 数据。这个残差项不是装饰：消融中把它去掉（Ours‡）后，IPS=1 时 PSNR 从 32.73 dB 掉到 16.95 dB、IPS=5 时从 34.45 dB 掉到 30.55 dB，说明该模块在"把解剖结构真正写进合成像素"这件事上贡献最大。值得注意的是，受试者码是逐受试者独立可学的，因此合成的不是原始受试者影像的拷贝，而是被训练动力学塑造出来的、承载该受试者结构特征的合成样本。

3. 任务特定退化配对构造：没有标签，就用退化算子现造监督信号

分类 DD 的监督来自共享标签，低层 DD 没有标签可用，本文改为用任务本身的退化模型造监督信号。做法很直接：把 SPG 生成的合成数据当作 HQ 真值 \(\tilde{y}_m\)，用退化算子 \(D(\cdot)\) 作用上去得到配对的 LQ 输入 \(D(\tilde{y}_m)\)，构成合成配对集 \(\mathcal{S}_p^l=\{D(\tilde{y}_m),\tilde{y}_m\}\)；同时对原始数据做同样的事，得到 \(\mathcal{T}_p^l=\{D(y_n^p),y_n^p\}\)。\(D(\cdot)\) 按任务切换：超分任务是下采样（CT 512×512 缩小 4 倍，MRI 先缩到 256×256 再缩小 2 倍），低剂量 CT 复原则是往投影数据上加噪声后反投影，光子数设为 \(10^4\)。这样做的意义不只是"造数据"，而是把"任务是什么"也编码进了蒸馏过程——蒸馏出的合成集与该任务的退化模型绑定，换个任务只需换 \(D(\cdot)\)，方法本身不用改。

4. 受试者感知梯度匹配：按受试者分别对齐训练轨迹，而不是共享一张合成集

前面三步保证了合成数据在结构和外观上像医学影像，但低层 DD 真正要保住的是训练行为：在合成集上训出来的网络，其参数轨迹应当逼近在原始数据上训出来的网络。论文用 t-SNE 展示了不同受试者的梯度分布明显分离、同受试者内部聚拢，因此不做全局匹配而是逐受试者匹配——把密集映射拆成多个子映射，避免跨受试者信息冲突导致的训练崩溃。对第 p 个受试者，同时计算原始配对集 \(\mathcal{T}_p^l\) 与合成配对集 \(\mathcal{S}_p^l\) 上的梯度 \(\nabla\theta_p\) 和 \(\nabla\theta'_p\)，用它们的余弦相似度作为匹配损失（数值越小表示方向越一致）：

\[\mathcal{L}_{GM}=1-\frac{\nabla\theta_p\cdot\nabla\theta'_p}{\lVert\nabla\theta_p\rVert\,\lVert\nabla\theta'_p\rVert}\]

⚠️ 原文该式在缓存中解析破损，上式按梯度匹配的通用形式（1 减余弦相似度）重建，以原文为准。这一项是"受试者专属训练知识"进入合成数据的通道：合成像素本身不必长得像原始切片，只要它与退化算子组合后被网络消费时产生的梯度方向正确，就足以把该受试者的训练动力学隐式编码进去——这也是论文强调"不直接拷贝受试者解剖结构，而是对齐优化轨迹"的原因。任务损失用 MSE 度量增强输出与 HQ 真值之间的逐像素差异：

\[\mathcal{L}^{l}_{MSE}=\big\lVert\phi\big(D(\mathbf{y});\theta\big)-\mathbf{y}\big\rVert^2\]

合成数据一侧把配对换成 \(\mathcal{S}_p^l\) 同理计算。整套蒸馏以逐受试者参数匹配为目标：\(\min\sum_{p=1}^{P}\mathcal{L}_{PM}\big(\theta_{\mathcal{S}_p^l},\theta_{\mathcal{T}_p^l}\big)\)，即让从合成集学到的参数尽量靠拢从该受试者原始集学到的参数。

一个完整示例¶

以 CT 超分、NRI=10、IPS=5 为例走一遍。先随机挑一名代表受试者，从其 3D CT 体数据中随机取 10 层切片组成共享先验 \(U\in\mathbb{R}^{10\times 512\times 512}\)（NRI=10，对应压缩率 98%——即原数据 98% 的图不参与初始化）。对 1 号受试者，取一份维度为 2 的可学习受试者码，把 \(U\) 复制成 2 份、分别按码的两个标量缩放后拼接成 \(\mathbb{R}^{10\times 2\times 512\times 512}\)，再过共享卷积压到 5 张 \(512\times512\) 的合成 HQ 图；从 \(U\) 里随机抽一层复制 5 份加回去，得到 \(\tilde{Y}_1\in\mathbb{R}^{5\times 512\times 512}\)。把这 5 张图各自下采样 4 倍得到 LQ，配上 1 号受试者原始数据的 LQ–HQ 对，一起算梯度并比较余弦相似度，用失配量同时更新这 5 张合成图和受试者码（共 2 000 步迭代）。10 名受试者各走一遍，最终得到 50 张合成图、约 822 KB，而全量 CT 数据是 39.9 MB（存储 −97.98%）。下游只拿到这 50 张合成图，自行下采样出 LQ 并训练 SRCNN 300 个 epoch，测试集（另外两名受试者）上 PSNR 34.57 dB、SSIM 92.83；作为参照，用 39.9 MB 全量数据训练是 36.10 dB / 94.86。

损失函数 / 训练策略¶

蒸馏阶段用 MSE 作为任务损失分别作用于原始配对集与合成配对集，再用二者的梯度余弦失配 \(\mathcal{L}_{GM}\) 更新合成数据与受试者码，共 2 000 步迭代优化，全部实验在单张 RTX 3090 上用 PyTorch 完成。超分蒸馏用 SRCNN，复原蒸馏用 REDCNN；受试者码维度默认取 2（超参实验里 2 维在两个 NRI 设置下都最稳）。下游训练：CT 超分与 CT 复原各训 300 epoch，MRI 超分训 600 epoch。为保证结论可靠，每次实验生成 3 份独立的蒸馏数据集、每份跑 5 次训练-测试，共 15 个测试分数取均值与方差；coreset 类基线同样在选中子集上做多次独立训练-测试后报告均值方差。由于低层任务没有类别概念，数据集规模用 NRI（用于初始化或选择的原始图像数量）度量，压缩率 CR 定义为未被选中的原始图像占原数据集总量的比例。

实验关键数据¶

主实验¶

CT 用公开的 NIH-AAPM-Mayo Low-Dose CT Grand Challenge 数据（超分任务每受试者 50 张、10 名受试者训练；复原任务用 10 名受试者全部图像；均用另外 2 名受试者测试），MRI 用 Calgary-Campinas-359（每受试者 100 张高分辨图、10 名受试者训练，2 名测试）。对比方法为 5 种 coreset 选择基线：Random（全体受试者中随机选图）、Random*（单受试者内随机选图）、Uniform（等间隔选图）、Herding、K-Center Greedy。

模态 / 任务	NRI=10	PSNR (dB)↑	SSIM↑
CT ×4 超分（SRCNN）	Full Data	36.10±0.02	94.86±0.03
	Random	32.66±0.41	91.06±0.51
	Random*	32.76±0.19	90.78±0.69
	Uniform	32.46±0.28	90.67±0.26
	Herding	32.86±0.26	91.18±0.48
	K-Center	32.92±0.23	91.34±0.28
	本文 IPS=1	32.93±0.28	90.15±1.90
	本文 IPS=5	34.57±0.14	92.83±0.28
MRI ×2 超分（SRCNN）	Full Data	29.07±0.00	90.46±0.02
	Random / Random* / Uniform	26.80 / 26.74 / 26.77	83.63 / 83.54 / 83.79
	Herding / K-Center	26.72 / 26.76	83.62 / 83.70
	本文 IPS=1	27.02±0.28	77.04±8.22
	本文 IPS=5	28.35±0.10	88.27±0.33
CT 低剂量复原（REDCNN）	Full Data	28.90±0.01	58.08±0.05
	最好的基线（K-Center, NRI=10）	28.11±0.05	56.78±0.32
	本文 IPS=1 / IPS=5（NRI=10）	28.38±0.14 / 28.09±0.03	57.43±0.94 / 56.36±0.42

CT 超分下本文在 NRI=10、IPS=5 时比最强 coreset 基线 K-Center 高 1.65 dB PSNR / 1.49 SSIM；MRI 超分下最高达到全量数据训练的约 97%（论文原文表述）。跨架构泛化用 SRCNN 蒸馏、换 EDSR/SCTSRN 评测：EDSR 上达到 35.48 dB / 94.57，甚至高于用 SRCNN 自己评测的 34.79 dB / 93.16，说明合成数据携带的是可迁移的训练信息而非对某一网络的过拟合。规模扩展实验把 CT 训练受试者扩到 48 名（因梯度开销大，每 5 名受试者做一次梯度累积后再更新合成样本），IPS=5 在 NRI=5/10 下取得 36.08 / 36.07 dB，与全量数据的 36.95 dB 最接近。

消融实验¶

CT 超分（SRCNN），各组件与初始化策略的影响：

配置	NRI	IPS=1 PSNR / SSIM	IPS=5 PSNR / SSIM	存储↓
Full Data	—	36.10±0.02 / 94.86±0.03	同左	39.9 MB
Ours† 随机噪声初始化	5	11.54±0.28 / 45.79±0.36	11.30±0.19 / 45.55±0.23	817 KB（−98.00%）/ 4085 KB（−90.00%）
Ours‡ 去掉像素级保真保留	5	16.95±1.40 / 51.57±1.83	30.55±0.06 / 88.11±0.16	410 KB / 412 KB（−98.99%）
Ours 完整	5	32.73±0.22 / 90.50±0.78	34.45±0.20 / 92.07±0.93	410 KB / 412 KB（−98.99%）
Ours 完整	10	32.93±0.28 / 90.15±1.90	34.57±0.14 / 92.83±0.28	819 KB（−97.99%）/ 822 KB（−97.98%）

初始化策略与先验采样策略的对照（CT 超分）：

初始化 / 采样策略	IPS=1 PSNR / SSIM	IPS=5 PSNR / SSIM
Random（随机噪声初始化）	18.41±0.84 / 54.50±1.13	31.84±2.37 / 81.23±8.99
Average（跨受试者对齐后逐层平均）	27.20±8.43 / 73.60±20.49	30.29±0.27 / 86.10±0.53
代表受试者 #1（本文默认）	32.73±0.22 / 90.50±0.78	34.45±0.20 / 92.07±0.93
代表受试者 #3	32.26±0.32 / 88.55±2.02	34.27±0.17 / 92.00±0.41
连续采样（Adjacent）	26.24±0.13 / 64.85±0.33	—
间隔采样 step=3 / 5 / 10	31.57 / 31.84 / 31.89	—
随机采样（本文默认）	32.73±0.22 / 90.50±0.78	—

IPS 上限探索：IPS 从 1 → 5 → 10 → 15，PSNR 依次为 32.73 / 34.45 / 34.56 / 34.77，SSIM 为 90.50 / 92.07 / 92.52 / 92.68，收益递减而存储与计算线性增长。

关键发现¶

像素级保真保留是最关键的组件，而且它的作用随 IPS 放大：去掉后（Ours‡）IPS=1 时 PSNR 只剩 16.95 dB（比完整模型低 15.78 dB），IPS=5 时 30.55 dB（低 3.90 dB）。这说明卷积输出的合成图本身缺少可靠的高频解剖细节，需要先验切片的残差把像素级信息"焊"回去。
共享解剖先验不可替代，但来源可以随意挑：换成随机噪声初始化，即使 IPS=5 也只有 31.84 dB 且方差极大（±2.37 dB）；换成跨受试者逐层平均的 Average 先验反而更差（IPS=5 仅 30.29 dB），原因是不同受试者体数据直接平均会糊掉结构边界。而换一个代表性受试者（#1 vs #3）只带来 0.2 dB 级别的差异，支持"解剖结构先验可跨受试者共享"的论断。
先验的采样方式比采样数量更要紧：连续取相邻切片（Adjacent）只覆盖局部解剖区域，PSNR 仅 26.24 dB、SSIM 64.85；改成跨层随机采样后升到 32.73 dB / 90.50，说明覆盖率而非密度决定先验质量。
IPS 存在效率与性能的权衡：IPS 越大性能越好但收益递减（1→5 涨 1.72 dB，10→15 只涨 0.21 dB），而存储从 410 KB 涨到数 MB 量级。
一个与主趋势相悖的结果需要诚实标注：在 CT 低剂量复原任务上，IPS=1（28.38 dB / 57.43）反而略优于 IPS=5（28.09 dB / 56.36），与超分任务上"IPS 越大越好"的结论相反。论文没有解释这一现象，一个可能的猜测是复原任务的退化（投影域噪声 + 反投影）破坏了合成图之间的差异结构，使更多合成样本带来冗余而非增益，但⚠️ 这只是推测，以原文为准。

亮点与洞察¶

把"数据集蒸馏"从压缩语义改成压缩训练轨迹：分类 DD 靠共享标签才可压缩，本文指出低层任务的多对多映射让问题欠定，于是不去追求"合成图像看起来像真实图像"，而是让合成数据产生的梯度方向对齐真实数据的梯度方向。这个视角把 DD 的适用边界从"有标签的离散任务"推到了"无标签的密集回归任务"，是可迁移的范式性想法。
"共享基底 + 逐主体个性化"的分解非常经济：跨受试者的解剖共性用一份切片先验承载（共享、不随受试者增长），受试者差异只用 q=2 维的可学习码承载，参数量极小却足以区分个体。这等价于把"用多少数据代表多少个体"的问题拆成了"公共基 + 稀疏系数"，同样的思路可以直接搬到多中心医学数据、多设备采集数据的压缩上。
退化算子 \(D(\cdot)\) 扮演了标签的角色：低层任务没有标签，本文用任务的退化模型把无监督的合成数据变成有监督的 LQ–HQ 对，使蒸馏目标与具体任务绑定。这是一个廉价且通用的接口——迁移到新任务时只需替换 \(D(\cdot)\)，方法与超参基本不用动。
隐私叙事落点准确：作者强调蒸馏过程中原始受试者数据不显式传给下游、交付物只有合成数据集（受试者数据从 39.9 MB 压到 822 KB）。虽然蒸馏阶段仍需原始数据参与梯度计算，但"下游不再持有原始病人数据即可训练"这一性质在实际部署中确实有价值。

局限与展望¶

蒸馏阶段仍需全量原始数据：梯度匹配要求对每个受试者的原始 LQ–HQ 对算梯度，48 名受试者时需每 5 人做一次梯度累积才能控制开销。因此本文提供的是"下游共享阶段的数据最小化"，而不是"训练阶段不需要原始数据"，隐私收益的边界应如实理解。
合成数据量随受试者数线性增长：逐受试者蒸馏意味着总量为 P×IPS 张，受试者极多时压缩比会被摊薄（48 受试者实验里 NRI=5 时 CR 为 99.92%，看似很高，但这是因为 NRI 定义的是初始化用图数而非合成图数，评价口径对本文有利）。用 NRI/CR 而非"合成像素总量 / 原始像素总量"衡量压缩，读者需要留意两套口径的差别。
复原任务上 IPS 越大反而略差（见关键发现最后一条），论文未给出解释，这提示 IPS 这类超参可能依赖任务与退化类型，缺少选择准则。
评测范围有限：只覆盖 CT 与 MRI、超分与低剂量复原两类任务，下游网络只用了 SRCNN / REDCNN / EDSR / SCTSRN，且只报 PSNR 与 SSIM，没有 LPIPS 等感知指标，也没有与低剂量 CT 领域内的自监督/联邦等数据高效方法比较。
改进思路：(1) 把单受试者切片先验换成对多受试者体数据做低秩分解得到的公共基（甚至用生成先验/扩散先验采样），既保留代表性又消除对"选哪个受试者"的残留依赖；(2) 把 MSE 换成感知损失或对抗损失，让蒸馏对齐感知质量而非仅像素误差，顺带评测 LPIPS；(3) 把 NRI 与 IPS 纳入统一的"每受试者像素预算"下做分配研究，给出预算-性能曲线；(4) 将逐受试者蒸馏嵌入联邦流程——各客户端本地蒸馏、只上传合成数据，可望同时拿到通信压缩与隐私收益。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次把数据集蒸馏做到低层医学图像增强，明确指出高层 DD 的"多对一可压缩"前提在密集映射下失效，并用共享先验 + 逐受试者梯度匹配给出了自洽的解法。
实验充分度: ⭐⭐⭐⭐ 覆盖 CT/MRI 两种模态、超分与复原两类任务、跨架构泛化与 48 受试者规模扩展，消融把每个组件都拆开验证；但指标只有 PSNR/SSIM、缺少感知指标与领域内数据高效方法的对比，且复原任务上 IPS 的反常结果未获解释。
写作质量: ⭐⭐⭐⭐ 问题定义（第 3 节把高低层 DD 的目标函数并列写出）清晰，动机与方法呼应紧密；但部分公式在排版中损坏（梯度匹配式、DD 目标式），需要读者自行补齐。
价值: ⭐⭐⭐⭐ 给出了一条在数据不可共享的医学场景下用约 1% 存储逼近全量训练的可行路径，附公开代码；不过单受试者先验与逐受试者蒸馏带来的规模线性增长，限制了它在超大规模多中心数据上的直接套用。