GroundingAnomaly: Spatially-Grounded Diffusion for Few-Shot Anomaly Synthesis¶

会议: ECCV 2026
论文: ECCV 原文
领域: 语义分割
关键词: 异常生成, 异常检测, 扩散模型, 小样本合成, 空间接地

一句话总结¶

GroundingAnomaly 提出了一个基于预训练扩散模型的小样本异常生成框架，通过空间条件模块将密集语义图与解耦文本 token 融合，并利用门控自注意力层注入冻结的 U-Net，实现了缺陷位置与类别的精准空间控制以及高保真异常图像合成。

研究背景与动机¶

工业制造中的视觉异常检测对产品质量控制至关重要，但现实产线中缺陷样本极其稀缺，严重限制了全监督目标检测与分割模型的训练。主流无监督检测方法仅依赖海量正常样本建模分布偏差，不仅缺陷定位精度有限，且完全缺失异常类别感知能力。为了扩充带标签缺陷数据，基于预训练生成先验的异常合成方法逐渐成为研究热点。

然而，现有的异常合成范式存在两难困境。一方面，基于图像修复（Inpainting）的局部缺陷修补方法直接将合成缺陷 patch 贴入真实正常图像，但边缘过渡生硬、上下文光照不一致，且修补过程极易产生与缺陷实际边界不匹配的偏置掩码；另一方面，联合生成产品与缺陷的异常图像生成（AIG）方法虽然保证了整图全局协调性，但其缺陷掩码通常只能依赖低分辨率交叉注意力图上采样或后验分割模型提取，掩码边缘粗糙且缺乏像素级精度。

这一矛盾的核心在于：生成模型既需要联合生成整图以维持工件物理真实感，又必须具备前验输入的精确空间几何引导能力，以获得天然精准的分割标注。本文的核心 idea 是引入密集语义图显式编码缺陷位置与类别标识，通过空间条件模块与门控自注意力机制将空间-语义联合特征无损注入冻结的扩散 U-Net，实现像素级空间可控的整图异常生成。

方法详解¶

整体框架¶

GroundingAnomaly 基于预训练的 Stable Diffusion 骨干构建，包含三个核心阶段：首先，通过解耦 token 学习和 ConvNeXt 密集编码构建包含位置与类别信息的空间条件；接着，在空间条件模块（SCM）中完成空间几何特征与文本语义特征的通道融合与投影；最后，借助轻量门控自注意力模块（GSM）将条件 token 注入冻结的扩散 U-Net 中完成去噪生成。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["密集语义图 S<br/>+ 提示词模板"] --> B["空间条件模块 (SCM)<br/>ConvNeXt几何编码 + 空间语义广播融合"]
    B --> C["门控自注意力模块 (GSM)<br/>与视觉Token拼接后经Tanh门控注入"]
    C --> D["混合正常-异常训练 (MNT)<br/>共享U-Net结构并利用正常样本正则化"]
    D --> E["正常先验去噪初始化 (NDI)<br/>从正常图像前向加噪步起步采样输出"]

关键设计¶

1. 空间条件模块（SCM）：像素级语义与文本特征的密集对齐 针对现有方法使用二值掩码无法区分多缺陷类别、且交叉注意力引导缺乏局部几何精度的问题，该设计引入多类别整数编码的语义图 $S(x,y) \in \{0, 1, \dots, C\}$。语义图经预训练 ConvNeXt 编码为空间特征图 $F_S \in \mathbb{R}^{H_f \times W_f \times D_f}$。同时，产品与各缺陷类别的解耦可学习嵌入经 MLP 投影后，根据下采样语义图 $S_f$ 广播至对应的二维网格中形成文本语义特征图 $F_T$： $$F_T(i, j) = \begin{cases} \tilde{e}_{\mathrm{pro}}, & \text{if } S_f(i,j) = 0 \\ \tilde{e}_{\mathrm{ano}, l}, & \text{if } S_f(i,j) = l \end{cases}$$ $F_S$ 与 $F_T$ 沿通道维度拼接后经投影展平成序列条件 token $c \in \mathbb{R}^{N_c \times D_v}$，同时锁定了异常的精确轮廓与局部语义类别。

2. 门控自注意力模块（GSM）：保持预训练先验的无损条件注入 直接微调扩散模型的主干 U-Net 极易破坏海量真实自然图像先验并发生小样本过拟合，而仅优化 prompt 嵌入则难以驾驭像素级空间结构。本设计保持原始 U-Net 权重完全冻结，在每个 Transformer block 的自注意力与交叉注意力层之间插入门控自注意力机制。将视觉特征 $v$ 与条件 token $c$ 拼接为 $h_c = [v; c]$ 执行自注意力，利用可学习门控标量 $\gamma$（初始值为 0）控制条件注入幅度： $$v \leftarrow v + \tanh(\gamma) \cdot \mathrm{Select}_v\big(\mathrm{SelfAttn}(h_c)\big)$$ 在自注意力层中配合轻量 LoRA 进行小样本参数微调，确保训练初始阶段完整保留基座生成能力，平滑融入空间控制约束。

3. 混合正常-异常训练策略（MNT）：跨域先验共享与正则化 异常图像本身数量极少且背景往往局部重合，仅在缺陷样本上微调容易导致背景表征退化崩溃。MNT 为每个产品训练一个统一模型覆盖所有缺陷类别，每个 mini-batch 混合采样正常与异常样本。正常样本配以全零语义图 $S=0$ 和无缺陷提示词，强迫模型复用正常样本维持产品全局结构完整性，实现缺陷与正常背景分布的高保真分离。

4. 正常先验去噪初始化（NDI）：加速采样与真实背景无缝融合 从纯高斯白噪声 $z_T \sim \mathcal{N}(0, I)$ 开始生成工业产品容易引入背景微小失真或边缘抖动。NDI 利用现有正常图像的潜在表征 $z_0$，在前向扩散过程中仅加噪至中间步 $t' < T$ 得到 $z_{t'}$，逆向去噪采样从 $t'$ 步启动。这一策略不仅极大缩减了采样时间开销，而且直接复用了输入正常样本的高频背景纹理，使合成缺陷与宿主产品无缝衔接。

损失函数 / 训练策略¶

模型采用混合批次条件扩散损失优化： $$\mathcal{L}_{\mathrm{LDM}} = \mathbb{E}_{x \sim p_{\mathrm{data}},\,\epsilon \sim \mathcal{N}(0,I),\,t} \left[ \|\epsilon - \epsilon_\theta(z_t, t, c)\|^2 \right]$$ 在掩码生成阶段，针对少样本掩码缺乏几何多样性的问题，采用 Textual Inversion 学习掩码概念 token $e_m$，在推理时生成同分布的新型几何掩码驱动 SCM。

实验关键数据¶

主实验¶

在 MVTec AD 与 VisA 数据集上，采用各生成方法合成的样本训练下游 U-Net 缺陷分割网络，评估像素级 AUC-P、AP-P 及图像级 AP-I：

数据集	指标	本文	DualAnoDiff (Prev. SOTA)	提升
MVTec AD	AUC-P (%)	99.3	99.1	+0.2
MVTec AD	AP-P (%)	85.9	84.5	+1.4
MVTec AD	F1-P (%)	81.8	78.7	+3.1
MVTec AD	AP-I (%)	99.2	99.0	+0.2
VisA	AUC-P (%)	98.2	96.6	+1.6
VisA	AP-P (%)	67.2	60.9	+6.3
VisA	F1-P (%)	63.5	61.4	+2.1
VisA	AP-I (%)	96.0	94.7	+1.3

此外，在生成质量客观指标上，MVTec AD 的 Inception Score（IS）达到 1.99（DualAnoDiff 为 1.91），多样性指标 IC-LPIPS 达到 0.41（DualAnoDiff 为 0.37）；在 VisA 上 IS 达到 1.29，IC-LPIPS 达到 0.31。

消融实验¶

消融实验验证了各个核心模块在下游分割与检测任务中的贡献（MVTec AD 与 VisA 综合评估）：

配置	MVTec IS	MVTec AP-P (%)	VisA IS	VisA AP-P (%)	说明
Full Model	1.99	85.9	1.29	67.2	完整模型配置
w/o DTL	1.88	81.7 (-4.2)	1.21	62.3 (-4.9)	移除解耦 token 学习，使用固定提示词
w/o SFF	1.72	77.3 (-8.6)	1.13	59.1 (-8.1)	移除空间-文本特征融合
w/o GSM	1.63	75.7 (-10.2)	1.09	58.1 (-9.1)	移除门控自注意力，改用常规交叉注意力
w/o MNT	1.74	83.1 (-2.8)	1.17	62.9 (-4.3)	仅在异常图像上训练，缺少正常样本正则
w/o NDI	1.94	84.7 (-1.2)	1.25	64.9 (-2.3)	从纯随机高斯噪声初始化采样

关键发现¶

GSM 与 SFF 构成性能基石：去掉 GSM 导致 MVTec AP-P 暴跌 10.2%，去 SFF 导致 AP-P 暴跌 8.6%，证明向冻结 U-Net 精准注入像素空间条件是避免过拟合与实现边界对齐的关键。
细粒度与复杂结构类别提升巨大：在 MVTec AD 的 grid（网格破损）类别上，AP-P 相比 DualAnoDiff 提升 5.9%（73.6% vs 67.7%）；在 VisA 的 capsules 和 macaroni2 类别上分别取得 16.6% 和 15.2% 的超大幅度 AP 提升。
目标检测下游兼容性强：在 Faster R-CNN、DETR 和 YOLOv5 目标检测器上，训练于 GroundingAnomaly 合成数据的模型平均 mAP 在 MVTec AD 达到 44.84%（超越 DualAnoDiff 42.90%），在 VisA 达到 38.91%（超越 DualAnoDiff 36.57%）。

亮点与洞察¶

解耦式像素级空间条件构建：将空间几何分支（ConvNeXt 提取的掩码特征）与文本类别嵌入（按位置索引广播的 token）在空间网格上 1:1 对齐拼接，既消除了二值掩码的类别模糊，又规避了后验掩码提取的边缘伪影。
Tanh 零初始化门控注入：在保留大规模预训练扩散模型先验知识的前提下，以残差形式平滑微调新条件，解决了小样本训练中模型遗忘与过拟合的结构性矛盾。
组合缺陷泛化能力：由于语义图支持多值标记 $S = S_1 + S_2$，模型无需额外配对数据即可自然合成同图多类型复合缺陷（如同时存在破洞与色差），且能零样本迁移到未见工业底板上。

局限与展望¶

对初始掩码形状先验依赖度高：虽然引入了 Textual Inversion 学习掩码生成，但在极度缺乏少样本（1-shot 甚至 0-shot）时，掩码形状多样性匮乏仍是制约检测器下游泛化的主要短板。
工业三维形态与光照渲染不足：当前基于 2D LDM，对于反光金属表面、深度凹陷等涉及复杂 3D 几何与光追交互的严重工业缺陷，生成的微观法线真实感仍有提升空间。
未来方向：探索无监督/零样本异常提示迁移，以及将框架迁移至更高分辨率的 DiT（Diffusion Transformer）架构。

评分¶

新颖性: ⭐⭐⭐⭐☆ [设计了优雅的密集空间-文本特征广播与门控自注意力注入机制]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 MVTec 和 VisA、分割与检测下游模型、多检测器及详细消融]
写作质量: ⭐⭐⭐⭐⭐ [逻辑紧凑，问题定义清晰，图表完整详实]
价值: ⭐⭐⭐⭐☆ [工业质检数据增广领域极具实用价值的即插即用管线]