Steering Diffusion Models via Class-Contrastive Influence for Few-Shot Classification¶

会议: ECCV 2026
论文: ECCV 原文
领域: 医学图像 / 少样本学习 / 扩散模型
关键词: 扩散模型, 数据增强, 少样本医学分类, 类别对比影响度 (C2I), 强化学习微调

一句话总结¶

针对少样本图像分类中合成样本“重逼真度而轻任务效用”的痛点，本文提出类别对比影响度（C2I）准则与理论解释，揭示高 C2I 样本天然逼近决策边界的难样本属性，并通过强化学习以 C2I 奖励微调扩散模型定向生成高信息量难样本，在医学影像基准上显著提升分类精度与噪声鲁棒性。

研究背景与动机¶

在数据受限尤其是标注极其昂贵的医学图像分类任务中，利用现成的文本引导扩散模型进行合成数据增强已成为主流范式。然而，学术界与工业界现有的扩散模型增强方法大多聚焦于提升生成图像的逼真度（realism）、样本多样性（diversity）或通过域自适应拟合目标数据分布。这种做法隐含了一个未经验证的假设：只要生成的图像足够逼真且多样，分类器就能从中获益。但实验中常常观察到令人困惑的现象——在视觉质量完全相当的不同合成图像子集中，部分子集能显著提升下游分类性能，而另一部分不仅毫无助益甚至还会损伤模型判别力。

这一现象背后的核心矛盾在于：现存生成增强方法缺乏一个原则性的“分类任务效用”（task usefulness）度量准则。直接引入大模型指令微调中常用的梯度影响力（Influence Function）同样会失效，因为分类任务的验证集由不同类别混合构成，传统全局无差别的梯度点积将同类促进信号与异类对抗信号混为一谈，导致原始影响力得分与下游分类性能毫无正相关性。生成模型不知道哪些样本在真正帮助分类器刻画决策边界，盲目采样原型类中心或安全区域的样本对改善决策面收效甚微。

本文的切入角度是：从分类器梯度动力学的角度拆解训练样本与验证集样本的相互作用，发现合成样本的真正价值在于对不同类别的验证梯度产生“同向拉拢、异向对抗”的强分离鸿沟。核心 idea：提出类别对比影响度（Class-Contrastive Influence, C2I）来量化合成样本对分类决策的有效性，证明高 C2I 样本本质上是对齐全局均值、靠近判别边界的高价值“难样本”（Hard Examples），并以 C2I 为奖励函数通过强化学习（RL）微调扩散模型，驱动生成器定向产出决策边界周边的关键样本。

方法详解¶

整体框架¶

本文构建了一套将通用扩散模型转化为“面向分类任务效用的定向生成器”的完整闭环。整体流程包含四个阶段：首先在极少量的少样本训练集上分别使用 LoRA 微调分类器（ViT-B/16）与预训练文本到图像扩散模型（Stable Diffusion 2.1）；随后冻结分类器检查点，在平衡验证集上预计算各类别验证样本的降维投影梯度；在强化学习微调阶段，扩散模型生成成批条件样本，分类器在线计算生成样本的投影梯度并评估其与同类及异类验证梯度的对比对齐度，形成 C2I 标量奖励；最后通过去噪扩散策略优化（DDPO）迭代更新扩散模型参数，并在收敛后采样生成大批高质量难样本用于下游分类器的高效增强。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["少样本医学数据集<br/>(16~32样本/类)"] --> B["阶段1: 基础微调<br/>LoRA轻量适配ViT分类器与SD生成器"]
    B --> C["阶段2: 类别对比影响度 (C2I) 计算<br/>同类梯度正向对齐 + 异类梯度反向排斥"]
    C --> D["阶段3: 决策边界难样本生成机理<br/>凸组合收敛至全局特征均值靠近分界面"]
    D --> E["阶段4: 强化学习微调扩散模型<br/>以C2I为奖励驱动DDPO策略优化"]
    E --> F["定向合成难样本集合<br/>(每类500张高质量决策面样本)"]
    F --> G["下游多架构分类器评估<br/>ViT-B/16 & ResNet-18 精度与鲁棒性全面提升"]

关键设计¶

1. 类别对比影响度（C2I）：解耦同类促进与异类对抗的梯度效用度量

传统基于梯度的一阶影响度通过追踪参数更新前后验证损失的降低量 \(\langle \nabla \ell(x), \nabla \ell(v) \rangle\) 来筛选样本。在二分类或多分类任务中，分类器最后一层特征与权重的内积梯度展现出强烈的类相关性：若生成样本 \(x\) 与验证样本 \(v\) 同属一类，其余弦相似度倾向于为正；若属于不同类别，其损失梯度内积则天然反向为负。若不加区分地在全体验证集上取平均，相反符号的梯度会互相抵消，使得全局影响度与测试表现完全脱钩。为此，本文设计了类别对比影响度。对于生成的单类样本集 \(\mathbf{x} \subset \mathcal{D}_c\) 以及类别 \(c \in \{0, 1\}\) 的验证集 \(\mathcal{V}_c\)，先计算生成集对各类别验证样本的投影梯度余弦相似度均值 \(\mu_c(\mathbf{x}, \mathcal{V}_c)\) 与方差 \(\sigma_c^2(\mathbf{x}, \mathcal{V}_c)\)：

\[\mu_c(\mathbf{x}, \mathcal{V}_c) = \frac{1}{N}\sum_{j=1}^N \mathcal{A}^\phi(\mathbf{x}, v_c^j), \quad \mathcal{A}^\phi(\mathbf{x}, v) = \cos\left( \Pi^\top \tilde{\nabla}\ell(v; \phi), \Pi^\top \tilde{\Gamma}(\mathbf{x}; \phi) \right)\]

其中 \(\Pi\) 为随机投影矩阵，将超高维 LoRA 梯度压缩至低维空间，\(\tilde{\Gamma}\) 为自适应优化器（如 Adam）的预处理梯度。二分类下的 C2I 得分定义为放大了均值间隙并惩罚类内方差的类分离度指标：

\[\text{C2I}(\mathbf{x}, \mathcal{V}; \phi) = \frac{(\mu_0(\mathbf{x}, \mathcal{V}_0) - \mu_1(\mathbf{x}, \mathcal{V}_1))^2}{\sqrt{\sigma_0^2(\mathbf{x}, \mathcal{V}_0) \sigma_1^2(\mathbf{x}, \mathcal{V}_1)}}\]

而在多分类场景下，对于类别 \(a\) 的样本 \(x_a\)，将其与各个类别 \(b\) 的平均影响力 \(\mu_{ab}\) 通过 Softmax 归一化为匹配类的概率得分 \(\text{C2I}(x_a) = \frac{\exp(\mu_{aa})}{\sum_{b=1}^K \exp(\mu_{ab})}\)，在二分类时退化为 Sigmoid 形式 \(\sigma(\mu_{aa} - \mu_{ab})\)，使模型能够显式奖励拉开类别对比间隙的样本。

2. 决策边界逼近与样本难易度理论：高 C2I 驱动生成边界难样本

为什么追求大 C2I 间隙能带来优异的下游泛化？本文从理论上给出了严格的数理证明（Theorem 1 与 Lemma 2）。在逻辑回归模型中，若考虑余弦相似度下的类间影响度绝对间隙 \(|\mu_0(x) - \mu_1(x)|\)，其极大值解向量 \(x^\star\) 必然是全体验证样本的凸组合：

\[x^\star = \sum_{v_i \in \mathcal{V}} \alpha_i v_i, \quad \alpha_i = \frac{1/\|v_i\|}{\sum_{v_j \in \mathcal{V}} 1/\|v_j\|}\]

当数据模长方差较小时，权重近似均匀，即 \(x^\star \approx \bar{v}\)，最优解收敛于跨类别的全局数据集均值。结合 Lemma 2，分类器在全局均值 \(\bar{v}\) 处的预测概率处于极度不确定状态，其预测置信度严格低于各类本身的均值中心，分类交叉熵损失达到极高下界。这表明：最大化 C2I 并不是在生成最典型的类中心样本，而是迫使生成器远离易学习的“安全样本”，向靠近分类判别边界、高损失、高不确定性的“难样本（Hard Examples）”靠拢。在 ViT 深度特征空间的实证观测完全吻合这一理论：随着 C2I 的提升，不同类别的合成特征向验证集中心移动，类间特征距离缩小，生成数据精准落在最能强化模型边界判别力的薄弱带。

3. 强化学习驱动的扩散模型微调：基于 C2I 奖励的策略优化

为了让预训练扩散模型能够受控地生成高 C2I 的边界样本，本文引入了去噪扩散策略优化（DDPO）框架，将图像生成视为多步序列决策过程，把 C2I 评价作为最终图像状态的标量奖励 \(r(\mathbf{x}, \mathcal{V}; \phi_a)\)。在强化学习微调期间，ViT 分类器参数保持冻结，扩散模型的 LoRA 权重根据生成轨迹的重要性采样梯度进行优化：

\[\nabla_\theta J_{\text{DDPO}} = \mathbb{E} \left[ \sum_{t=1}^T \frac{p_\theta(x_{t-1} \mid x_t, C)}{p_{\theta_{\text{old}}}(x_{t-1} \mid x_t, C)} \nabla_\theta \log p_\theta(x_{t-1} \mid x_t, C) \cdot r(x_0, C) \right]\]

为保证梯度的稳定性，每个 minibatch 采样多个同类样本集合共同计算组奖励，分配给该集合内的所有样本。由于仅需在验证集子集上做轻量的前向与反向投影，整个 RL 过程计算开销极低（单张 A100 仅需 5 小时），且在推理采样阶段不产生任何额外的测试时计算负担，完美兼顾了生成质量与推理效率。

损失函数 / 训练策略¶

分类器预训练与 LoRA 冻结：分类器骨干为 ImageNet 预训练的 ViT-B/16，在少样本训练集 \(\mathcal{D}\) 上通过 LoRA 微调 20 个 epoch（学习率 \(5 \times 10^{-4}\)，rank 16），保存检查点 \(\phi_a\) 作为梯度评判基准。
生成器 RL 微调：以在少样本上初调过的 Stable Diffusion 2.1 为策略模型，引入 LoRA（rank=16, \(\alpha=16\)），在 DDPO 下训练 30 个 epoch，学习率 \(3 \times 10^{-4}\)，clip 范围 \(1 \times 10^{-4}\)，选择验证奖励最高的检查点用于后续扩增。
下游评估模型训练：以生成的 500 样本/类作为扩增池，分别测试 ViT-B/16（LoRA 微调）与 ResNet-18（从头完全随机初始化训练），训练 100 epochs，早停准则为验证集最佳 AUC。

实验关键数据¶

主实验¶

在 MedMNIST 基准（BreastMNIST 32-shot，DermaMNIST-binary 16-shot，PneumoniaMNIST 16-shot）上，对比标准几何/色彩增强（RandAugment, RandomErasing, Mixup）以及前沿扩散增强方法（DataDream, Dataset Expansion, DistDiff），测试集 AUC（Area Under Curve）对比如下：

骨干网络 (Backbone)	增强方法 (Method)	BreastMNIST	DermaMNIST-binary	PneumoniaMNIST	平均 AUC (Avg.)
ViT-B/16	原始数据 (Original only)	0.828	0.846	0.941	0.873
ViT-B/16	+ RandAugment	0.858	0.824	0.954	0.879
ViT-B/16	+ RandomErasing	0.873	0.839	0.945	0.885
ViT-B/16	+ Mixup	0.823	0.845	0.890	0.867
ViT-B/16	+ DataDream	0.822	0.819	0.958	0.866
ViT-B/16	+ Dataset Expansion	0.844	0.852	0.943	0.880
ViT-B/16	+ DistDiff	0.764	0.805	0.938	0.784
ViT-B/16	+ 本文方法 (Ours)	0.885	0.853	0.945	0.894
ResNet-18	原始数据 (Original only)	0.815	0.777	0.935	0.842
ResNet-18	+ RandAugment	0.764	0.787	0.936	0.829
ResNet-18	+ RandomErasing	0.758	0.747	0.900	0.802
ResNet-18	+ DataDream	0.844	0.804	0.947	0.865
ResNet-18	+ Dataset Expansion	0.804	0.831	0.956	0.864
ResNet-18	+ 本文方法 (Ours)	0.854	0.836	0.956	0.882

消融实验¶

1. 决策边界噪声鲁棒性测试（AUC 指标） 为评估生成难样本所塑造的决策边界是否真正稳健，在测试集上施加椒盐噪声（Salt&Pepper, 0.01）、JPEG 压缩（Quality 25%）与高斯模糊（Gaussian Blur, radius 2）：

数据集 (Dataset)	噪声类型 (Noise Type)	原始数据 (Original)	Dataset Exp.	DataDream	本文方法 (Ours)
DermaMNIST-binary	椒盐噪声 (Salt&Pepper)	0.766	0.813	0.810	0.830
DermaMNIST-binary	JPEG 压缩 (JPEG)	0.806	0.800	0.821	0.831
DermaMNIST-binary	高斯模糊 (Blur)	0.827	0.848	0.828	0.841
DermaMNIST-binary	平均 (Avg.)	0.800	0.820	0.820	0.834
BreastMNIST	椒盐噪声 (Salt&Pepper)	0.764	0.772	0.817	0.832
BreastMNIST	JPEG 压缩 (JPEG)	0.760	0.804	0.814	0.816
BreastMNIST	高斯模糊 (Blur)	0.758	0.727	0.765	0.810
BreastMNIST	平均 (Avg.)	0.761	0.768	0.799	0.819
PneumoniaMNIST	椒盐噪声 (Salt&Pepper)	0.868	0.861	0.823	0.792
PneumoniaMNIST	JPEG 压缩 (JPEG)	0.922	0.907	0.950	0.940
PneumoniaMNIST	高斯模糊 (Blur)	0.930	0.881	0.956	0.946
PneumoniaMNIST	平均 (Avg.)	0.907	0.883	0.910	0.893

2. 朴素错分类难样本生成基线 vs C2I 对比直接使用被分类器误分类的验证图片来微调扩散模型的朴素基线（BreastMNIST 数据集）：

数据集	配置 / 方法	测试 AUC	说明
BreastMNIST	仅使用原始少样本 (Original Only)	0.828	基线模型
BreastMNIST	朴素难样本微调 (仅用分类错误的15张验证图微调SD)	0.778	导致过拟合与噪声漂移，性能大跌 (-0.050)
BreastMNIST	C2I 奖励 RL 微调 (本文方法)	0.885	准确锚定边界且保持平滑分布，显著超越基线 (+0.057)

关键发现¶

跨架构迁移性极强：尽管 C2I 奖励在 RL 阶段完全是由 ViT-B/16 计算驱动，但生成的合成图像在从头训练的卷积架构 ResNet-18 上依然取得了 0.882 的最佳平均 AUC（比原始数据高出 4.0%），说明 C2I 诱导的样本效用是数据流形本身的内在几何属性，而非对特定模型架构的过拟合。
合成样本规模的可扩展性逆转：现有扩散增强方法（如 DataDream 与 Dataset Expansion）往往在合成数量增加时出现性能饱和甚至衰减（因为生成样本偏离了真实任务需求）；而 C2I 引导的生成随着每类合成样本量从 50 张增加至 500 张，AUC 呈现出单调递增的上升曲线，展示出极强的数据扩展收益。
验证集规模鲁棒性：在 PneumoniaMNIST 上，将用于提供梯度反馈的验证集规模从 135 张/类极限压缩至仅 16 张/类（完全等同于少样本训练集大小），ViT AUC 仍保持在 0.946（完整验证集为 0.945），平均 AUC 仅相差 0.001，证明该方法在超低资源极度依赖小验证集时依然高度实用。

亮点与洞察¶

重新定义了生成增强的评估锚点：跳出了传统一味追求生成图像逼真度（FID）或多样性盲目堆砌的误区，首次从“模型参数更新有效性”的视角量化样本价值，确立了以任务效用驱动生成模型微调的新方向。
理论与机理自洽严谨：通过数学推导证明了 C2I 间隙极值点等价于数据集全体特征中心，优雅地解释了为何最大化梯度影响度 gap 会产生处于决策面附近的高难度边界样本。
即插即用无额外推理延迟：相较于 Dataset Expansion 在测试时每个样本需要消耗 25 秒的梯度优化，本文将所有任务引导成本前置在离线 RL 训练中，推理采样沿用标准 SD 管道，完全没有额外的运行时计算损耗。

局限与展望¶

计算资源与前期训练开销：虽然采样阶段零额外耗时，但在极小样本场景下仍需训练 ViT 并在 Diffusion 上运行 30 个 epoch 的强化学习微调，耗时约 5 个 GPU 小时，相比直接在原始数据上训练增加了计算预算。
对初始分类器判别力的依赖：在样本极度稀缺且任务极难时（如 BreastMNIST 在 16-shot 时分类精度仅 66%），分类器计算出的梯度信号噪声较大，必须适当扩充至 32-shot 才能建立可靠的 C2I 奖励反馈机制。
扩展至更广泛多模态与密集预测任务：当前方法主要验证在 2D 医学分类基准上，未来可进一步拓展至 3D 体积数据生成（如 CT/MRI）以及目标检测、分割等密集预测任务的扩散模型引导。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次将梯度影响度拓展为类别对比 C2I，并作为 RL 奖励直接微调扩散模型用于定向难样本合成]
实验充分度: ⭐⭐⭐⭐⭐ [涵盖 3 种医学基准、多分类与二分类、跨架构迁移、3 种噪声鲁棒性测试及超参规模分析]
写作质量: ⭐⭐⭐⭐⭐ [数学推导详实严密，机理图表直观明了，论证逻辑环环相扣]
价值: ⭐⭐⭐⭐⭐ [彻底打破少样本生成增强“重逼真轻效用”的思维定式，对数据稀缺领域的定向数据合成有重要指导意义]