DeCo: Zero-Shot Anomaly Generation through Decoupling and Recoupling¶

会议: ECCV 2026
论文: CVF / ECCV Poster
代码: https://github.com/HUST-SLOW/DeCo
领域: 其他
关键词: 工业异常生成、零样本生成、扩散模型、解耦与重耦、缺陷检测

一句话总结¶

针对工业缺陷真实样本匮乏且现有方法存在异常提取失真与产品融合失控的问题，DeCo提出通过DR-Flow与PI-Flow将源缺陷结构与载体解耦并绑定至异常token，并在推理时借助混合注入与兼容性校正PCC与目标产品纹理重耦，在MVTec AD与VisA上显著刷新下游检测SOTA。

研究背景与动机¶

工业表面缺陷检测常受制于真实异常图像极其匮乏的冷启动困境。早期的启发式异常合成（如 CutPaste、DRAEM、NSA）多依赖随机纹理拼接或简单图像增强，合成缺陷缺乏物理真实性与结构自洽；而少样本生成方案仍需在目标产品上采集真实缺陷样例，在新型号快速上线时难以满足需求。这催生了零样本工业异常生成（Zero-Shot Industrial Anomaly Generation）这一方向——即在完全没有目标产品任何真实缺陷图像的前提下，利用来自其他参考产品的缺陷信息以及目标产品的正常样本，直接在目标产品上生成高保真缺陷。

然而，现存的零样本异常生成技术深陷两大核心瓶颈：其一是异常信息获取不准确。基于文本驱动的方法（如 AnomalyAny、AnoStyler）依赖固定文本提示词引导生成，由于有限的自然语言与复杂几何畸变/损伤之间存在巨大语义鸿沟，生成效果往往千篇一律甚至脱离真实物理形态；而基于参考图像驱动的方法则试图从跨类别的参考图像中提取视觉特征，但在特征提取过程中往往无法将异常本身与源产品的背景纹理彻底解耦，导致源产品的颜色、底纹等无关特征泄露到目标图像中。其二是异常与产品融合失控。现有工作大多仅依靠简单文本拼接（如“a cut on carpet”）隐式引导扩散模型融合，缺乏对目标产品底层正常几何与外观纹理的显式约束，极易生成边界突兀、对比失真或难以识别的异常。

本文的核心切入角度在于：工业缺陷的本质在于其独特的几何拓扑与形变“结构”，而非源产品自带的材质“纹理”；既然扩散模型中的自注意力机制对 Query（控制空间布局）与 Key/Value（承载内容外观）有明确角色分工，完全可以通过双流约束显式分离结构与材质。核心 idea：将异常结构从源产品中彻底解耦并绑定至独立异常文本 token，再通过混合 LoRA 注入与产品兼容性校正（PCC）将其与目标产品的正常纹理显式重耦，实现纯净且高保真的跨品类零样本缺陷生成。

方法详解¶

整体框架¶

DeCo 构建于预训练 Stable Diffusion 3 (SD3) 的 Rectified Flow Transformer (MM-DiT) 之上。整体管线划分为两个核心阶段：异常结构解耦阶段与目标产品重耦推理阶段。在解耦阶段，模型首先利用源产品的正常图像训练并冻结一个产品适配模块 P-LoRA（捕捉正常材质基底），随后引入可训练的异常适配模块 A-LoRA。通过双路流（DR-Flow）中的 AP-Routing 与 QK-Routing，将图像注意力中的结构 Query 绑定给异常 token，同时利用产品不变流（PI-Flow）从速度场中残差剔除产品背景速度；在推理阶段，直接将源产品的 A-LoRA 与目标产品的 P-LoRA 进行混合注入，配合产品兼容性校正（PCC）推离纯产品速度场，再结合混合掩码扩散完成局部融合。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    subgraph S1["阶段一：纯异常结构解耦"]
        direction TB
        A["参考异常图 + 正常图"] --> B["双路流 DR-Flow<br/>AP分离token + QK提取结构"]
        A --> C["产品不变流 PI-Flow<br/>残差速度约束，去除背景纹理"]
        B & C --> D["纯净异常 A-LoRA<br/>纯结构无源产品材质"]
    end
    subgraph S2["阶段二：目标产品重耦与生成"]
        direction TB
        E["目标产品正常图 + P-LoRA"] & D --> F["混合注入与重耦<br/>W_inf = W0 + ΔW_P + ΔW_A"]
        F --> G["产品兼容性校正 PCC<br/>推离纯产品速度场，强化可见性"]
        G --> H["局部混合扩散 Blended Diffusion<br/>输出目标产品高保真缺陷图像"]
    end

关键设计¶

1. 双路流绑定（DR-Flow）：通过 AP 路由与 QK 路由显式解耦异常结构 工业缺陷在自然语言中往往缺乏细粒度概念先验，若直接联合微调，注意力机制会将整张参考图的背景与缺陷一并学入。DR-Flow 针对该问题设计了两套正交路由：在文本侧采用 AP-Routing，将复合提示词（如 "a <anomaly> on <product>"）中的 token 明确划分为异常 token $T_A$、产品 token $T_P$ 与常规/填充 token $T_O$。$T_P$ 严格经过预先在正常图像上拟合并冻结的 P-LoRA 映射，而 $T_A$ 仅由可训练的 A-LoRA 映射，切断了异常 token 与产品 token 在参数映射上的直接干扰；在图像侧采用 QK-Routing，利用注意力机制中 Query 掌管空间布局与拓扑、Key/Value 承载视觉外观的特性，将图像 token $T_I$ 的 Key 与 Value 投影强制绑定给冻结的 P-LoRA，而唯独将 Query 投影交给可学习的 A-LoRA 学习。如此一来，A-LoRA 只能获取缺陷的几何拓扑轮廓，无法吸收源图像的外观纹理，并通过跨模态联合自注意力强行将纯净的结构特征绑定至异常 token。其训练目标是在异常区域掩码 $m$ 内进行流匹配速度监督： $$ \mathcal{L}{\text{DR}} = \mathbb{E}) - v_t) |_2^2 \right] $$ 其中 } \left[ | m \odot (\hat{v}_{\text{DR}}(z_t, t, \mathcal{P$v_t = z_1 - z_0$ 为常数目标速度场，$\hat{v}_{\text{DR}}$ 为模型预测的速度场。

2. 产品不变流约束（PI-Flow）：残差速度惩罚杜绝源背景纹理泄漏 尽管 QK-Routing 剥离了直接的 Key/Value 外观输入，但在复杂的反向传播过程中，A-LoRA 仍倾向于通过隐层捷径记忆源产品特有的颜色和纹理以降低损失。为了杜绝这种泄漏，PI-Flow 构建了一个严格的并行物理动力学约束。具体而言，冻结的 P-LoRA 在输入正常提示词和加噪隐变量时，输出的预测速度 $\hat{v}_p$ 代表纯正常产品的去噪流向。从总目标速度 $v_t$ 中减去该产品速度，所得到的残差流 $v_{\text{PI}} = v_t - \hat{v}_p$ 恰好代表完全剔除产品底色后的“纯缺陷物理流速”。在训练中，单独激活 A-LoRA 处理异常文本 prompt $P_a$ 并监督其逼近该残差流： $$ \mathcal{L}{\text{PI}} = \mathbb{E}} \left[ | m \odot (\hat{v{\text{PI}}(z_t, t, \mathcal{P}_a) - v) |_2^2 \right] $$ 联合总优化目标为 }$\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{DR}} + \lambda_{\text{PI}} \mathcal{L}_{\text{PI}}$（实验中 $\lambda_{\text{PI}}=0.1$）。这一机制从动力学轨迹层面消除了源产品的外观残留。

3. 混合 LoRA 注入与产品兼容性校正（PCC）：解决跨域重耦排异反应 在推理阶段，为了将解耦出的纯异常结构赋予完全不同材质的目标产品 $T$，DeCo 首先构建混合权重 $W_{\text{inf}} = W_0 + \Delta W_{\mathcal{T}}^{\text{P}} + \Delta W_{\mathcal{R}}^{\text{A}}$，实现参数级显式重耦。然而，由于 A-LoRA 与目标产品的 P-LoRA 在训练时各自独立，在某些产品上直接融合会出现“排异现象”——即缺陷结构被目标产品的强材质强行吞没、对比度极低，甚至近乎不可见。为克服跨品类不兼容性，作者提出类似 Classifier-Free Guidance 外推思想的 PCC 机制。通过单独运行目标产品 P-LoRA 获得纯产品去噪速度 $\hat{v}_p$，并引导最终推理速度 $\hat{v}_{\text{inf}}$ 沿着远离纯产品基线的方向进行外推： $$ \hat{v}{\text{inf}} = \hat{v}_p + \omega \cdot (\hat{v}_p) $$ 其中 }} - \hat{v$\omega$ 是校正调节因子（默认取 $\omega=2$）。该校正大幅增强了缺陷边缘与目标产品正常表面的拓扑反差，最后配合 Blended Diffusion 将更新限定在掩码内部，实现平滑自然的缺陷生成。

损失函数 / 训练策略¶

训练过程采用端到端 Rectified Flow Matching 框架： - P-LoRA 预训练：在源产品与目标产品的各自正常图像集上独立训练，冻结主干权重 $W_0$，仅更新低秩矩阵。 - A-LoRA 联合解耦微调：冻结 $W_0$ 与 P-LoRA，训练时对加噪时间步 $t \in [0, 1]$ 进行均匀采样，输入噪声潜码 $z_t = (1-t)z_0 + tz_1$，在每个迭代步骤计算 $\mathcal{L}_{\text{DR}}$ 与 $\mathcal{L}_{\text{PI}}$。 - 超参数配置：$\lambda_{\text{PI}} = 0.1$，PCC 放大系数 $\omega = 2$。

实验关键数据¶

主实验¶

论文在工业缺陷基准 MVTec AD 和跨域泛化评测集 VisA 上进行了下游缺陷检测与分割验证（利用生成的图像及掩码训练标准 U-Net 检测器），并评估了生成图像的真实度与多样性。

表 1: MVTec AD 上的异常生成质量对比（对应原论文 Table 1）

方法类别	方法	图像真实度 (IS ↑)	缺陷区域真实度 (IS(a) ↑)	样本多样性 (IC-L ↑)
少样本生成	DFMGAN [8]	1.72	2.80	0.20
少样本生成	AnoDiff [16]	1.80	2.77	0.27
少样本生成	AnoGen [19]	1.77	2.84	0.32
异常合成	CutPaste [20]	1.76	–	0.22
异常合成	DRAEM [37]	1.76	–	0.25
异常合成	NSA [29]	1.44	–	0.26
异常合成	RealNet [38]	1.64	–	0.22
零样本生成	AnomalyAny [32]	2.02	2.98	0.33
零样本生成	AnoStyler [31]	2.04	3.12	0.32
本文方法	DeCo (Ours)	2.06	3.98	0.33

表 2: MVTec AD 上的下游异常检测性能对比（对应原论文 Table 2）

方法类型	方法	图像级 I-AUC (%)	图像级 I-AP (%)	像素级 P-AUC (%)	像素级 P-AP (%)	区域重叠 PRO (%)
异常合成	CutPaste	89.8	92.1	88.2	51.9	76.4
异常合成	DRAEM	94.6	97.0	92.2	54.1	83.1
异常合成	NSA	93.0	95.6	92.0	52.6	82.2
异常合成	RealNet	95.2	97.0	94.0	57.7	85.2
零样本生成	AnomalyAny	95.2	96.9	89.0	62.7	84.7
零样本生成	AnoStyler	98.0	99.0	94.4	62.9	88.3
LoRA解耦	UnzipLoRA [22]	96.6	98.5	94.6	61.9	85.0
LoRA解耦	QR-LoRA [35]	95.4	97.2	93.1	60.2	84.2
本文方法	DeCo (Ours)	98.0	99.1	95.3	68.0	89.6

消融实验¶

论文在 MVTec AD 上严格验证了各核心创新组件的累加贡献。

表 3: 核心组件消融实验（对应原论文 Table 4）

行号	AP-Routing	QK-Routing	PI-Flow	PCC	图像级 I-AUC (%)	像素级 P-AUC (%)	像素级 P-AP (%)	像素级 P-F1 (%)
(a)	–	–	–	–	94.0	94.2	62.7	60.5
(b)	✓	–	–	–	95.7	94.3	63.2	61.1
(c)	✓	✓	–	–	96.9	95.0	66.7	63.0
(d)	✓	✓	✓	–	97.5	95.1	67.6	63.2
(e)	✓	✓	✓	✓	98.0	95.3	68.0	64.5

关键发现¶

局部缺陷保真度大幅领先：在 Table 1 中，针对异常局部的 IS(a) 指标，DeCo 取得了 3.98 的极高分数，大幅抛离先前最佳零样本方法 AnoStyler（3.12）以及少样本方法 AnoGen（2.84），证明解耦出的缺陷具有极其自然的真实边缘与物理质感。
解耦结构对像素级定位具有决定性增益：在 Table 2 和 Table 3 中，QK-Routing 的引入使像素级 P-AP 直接从 63.2% 激增至 66.7%（+3.5%）；而加入 PI-Flow 后进一步提升至 67.6%，彻底证明了结构与背景纹理强制剥离的必要性。
零样本跨数据集泛化表现优异：直接将 MVTec AD 上解耦得到的异常结构迁移到复杂且未见过的 VisA 数据集上时，DeCo 取得了 41.5% P-AP，相比此前 SOTA（RealNet 的 33.3%、AnoStyler 的 31.4%）提升了 8.2% 以上。

亮点与洞察¶

将自注意力机制的角色语义物化为工业解耦利器：巧妙利用 Query 控制几何拓扑、Key/Value 承载外观材质的理论洞见，通过把 Key/Value 锁在正常背景 P-LoRA 上，迫使 A-LoRA 纯粹只从 Query 处提取结构信息，极为简洁且高效。
动力学流层面的残差约束（PI-Flow）：以往特征解耦多停留在嵌入特征正交或注意力掩码约束，DeCo 在 Rectified Flow 的速度向量空间中直接用总速度扣减纯背景速度构造出纯残差流，从物理运动路径层面切断了背景纹理偷渡的路径。
面向跨域排异反应的 PCC 校正外推：识别出独立 LoRA 跨品类拼接时的“可见性退化/不相容”本质，借鉴 CFG 思维将生成轨迹推离纯产品基底，为通用 LoRA 组合与迁移提供了极具通用性的推理 trick。

局限与展望¶

对几何掩码先验的依赖：推理生成依然需要通过参考缺陷掩码或启发式形状合成提供空间掩码 $m$，若缺乏合理掩码，可能会生成不符合物理规律的位置排布（例如悬空的破损）。
极微小瑕疵与亚像素级缺陷生成受限：由于 SD3 VAE 潜空间存在下采样压缩（通常为 8 倍压缩），对于工业质检中极精细的微米级划痕或针孔，生成边缘可能存在一定程度的模糊或阶梯伪影。
未来方向：探索高分辨率直接像素空间扩散或双尺度隐空间，同时将异常形状生成与上下文语义布局联合建模，消除对外挂候选掩码的依赖。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用注意力 Q/KV 分工与流匹配残差速度场实现结构与纹理彻底解耦，设计极为扎实精炼。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 MVTec AD 与 VisA 两大基准，包含了完整的生成质量指标、下游分割多维度指标与严谨的五阶段逐级消融。
写作质量: ⭐⭐⭐⭐⭐ 叙述逻辑严密，动机与痛点直击要害，图表清晰自洽。
价值: ⭐⭐⭐⭐⭐ 为冷启动工业表面质检提供了真正实用可落地的高保真合成数据引擎，代码已开源。