Align3D-AD: Cross-Modal Feature Alignment and Dual-Prompt Learning for Zero-Shot 3D Anomaly Detection¶

会议: NeurIPS 2026
arXiv: 2605.05850
OpenReview: https://openreview.net/forum?id=P5rO538Rjx
论文: https://arxiv.org/abs/2605.05850
领域: 目标检测
关键词: 零样本3D异常检测, 跨模态特征对齐, 语义一致性重加权, 双提示词学习, 对比对齐

一句话总结¶

针对 3D 渲染图与 RGB 视觉编码器之间的跨模态域鸿沟，Align3D-AD 在辅助训练阶段引入 RGB 模态引导，通过特征对齐与语义一致性重加权将点云渲染特征投射至 RGB 语义空间，并配合模态感知双提示词对比学习，实现了仅需 3D 输入即可高精度检测与分割异常的零样本检测方案。

研究背景与动机¶

工业表面异常检测是智能制造与产品质检的关键环节。相比易受光照干扰且欠缺空间信息的 2D 图像检测，基于 3D 点云的异常检测能直接提供物体的三维几何细节。然而工业缺陷极度稀缺，传统无监督方法往往依赖大量目标类别的正常样本构建记忆库或师生自蒸馏网络；在实际工业落地中，受限于隐私保护或新型试制品缺失，目标类别的正常样本在训练阶段完全不可获取，促使零样本 3D 异常检测成为研究焦点。

现有的零样本 3D 异常检测方法通常将 3D 点云多角度投射为 2D 渲染图（或深度图），试图直接借用 CLIP 等通用图文预训练大模型强大的零样本泛化能力。然而这种范式存在一个根本性的跨模态域鸿沟（Domain Gap）：CLIP 强劲的视觉语义理解能力建立在具有丰富色彩、纹理和逼真视觉外观的自然 RGB 特征空间之上，而 3D 点云投影生成的渲染图极度抽象，本质上只包含纯几何与轮廓线索，缺乏真实的视觉外观语义。当面对几何形变不明显或存在语义细微缺陷时，预训练视觉编码器难以在抽象的渲染图上提取深层判别性特征，导致误检或分割边界模糊。

核心 idea：在辅助类别训练阶段显式引入 RGB 图像作为跨模态导师，通过特征对齐网络与语义一致性重加权将纯几何渲染特征对齐至 RGB 语义空间，并在下游构建解耦的双分支模态感知提示词与对比约束，使模型在推理阶段仅凭借 3D 渲染图即可激活丰富的 RGB 外观语义表征。

方法详解¶

整体框架¶

Align3D-AD 采用统一的两阶段训练架构，整体输入为 3D 点云数据，输出为物体级异常预测概率与 3D 点级/2D 像素级异常分割掩码。在准备阶段，对包含 \(P_n\) 个点的点云在 9 个固定视角下进行渲染，得到多视角渲染图 \(\{I_i^r\}_{i=1}^V\) 及对应的配对 RGB 图像 \(\{I_i^R\}_{i=1}^V\)（仅在第一阶段对齐训练中使用辅助类别的 RGB 图像，推理完全不需要 RGB 输入）。第一阶段通过冻结的 CLIP ViT-L/14@336px 提取特征，利用可学习的特征对齐器（Feature Aligner）将全局与局部渲染特征投影到 RGB 语义空间，并在后半程激活语义一致性重加权（Semantic Consistency Reweighting, SCR）重点强化难对齐区域。第二阶段固定特征对齐器，采用模态感知双提示词学习（Modality-Aware Prompt Learning, DpL）分别为渲染特征和 RGB 对齐特征分配独立的文本提示词分支，并在后期引入双提示词对比对齐（Dual-Prompt Contrastive Alignment, DpCA）正则化空间分布。推理时两分支预测结果通过加权融合输出最终异常得分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: 3D点云与辅助RGB图像<br/>多视角渲染图与RGB图"] --> B["阶段1: 跨模态特征对齐<br/>双MLP映射到RGB语义空间"]
    B --> C["语义一致性重加权<br/>全局语义互相关自适应加权"]
    C --> D["阶段2: 模态感知双提示词学习<br/>渲染分支与RGB对齐分支独立Prompt"]
    D --> E["双提示词对比对齐<br/>跨模态正负例对比约束"]
    E --> F["推理输出: 模态预测加权融合<br/>3D点级与图像级异常预测"]

关键设计¶

1. 跨模态特征对齐：建立从纯几何渲染到自然外观语义的映射桥梁

现有方法直接将 3D 渲染图输入 CLIP 图像编码器，由于输入缺乏真实纹理导致提取出的特征落在 CLIP 特征边缘区域。Align3D-AD 在辅助数据训练阶段引入对应的真实 RGB 图像作为语义参照，设计了由两套 3 层全连接网络（带 GELU 激活、隐藏层维度 768）组成的全局与局部特征对齐器 \(\mathcal{A}_g(\cdot)\) 与 \(\mathcal{A}_l(\cdot)\)。对于第 \(i\) 视角的渲染全局特征 \(G_i^r\) 与局部特征 \(F_i^r\)，对齐器将其映射为对齐表征 \(G_i^{r_a} = \mathcal{A}_g(G_i^r)\) 和 \(f_{i,n}^{r_a} = \mathcal{A}_l(f_{i,n}^r)\)。通过余弦相似度损失联合约束全局与 Patch 局部一致性，强制渲染特征吸收自然图语义：

\[\mathcal{L}_{g}=\frac{1}{V}\sum_{i=1}^{V}(1-\langle G_{i}^{r_{a}},G_{i}^{R}\rangle),\quad\mathcal{L}_{l}=\frac{1}{V}\sum_{i=1}^{V}\frac{1}{N}\sum_{n=1}^{N}(1-\langle f_{i,n}^{r_{a}},f_{i,n}^{R}\rangle)\]

该设计确保在测试阶段面对未知类别的 3D 点云时，即使完全没有 RGB 输入，仅通过前向经过对齐器即可恢复出具备真实外观语义级别的富集表征。

2. 语义一致性重加权：基于全局交互自适应关注跨模态差异区域

传统的局部特征匹配对所有 Patch 赋予同等权重，但点云渲染图往往在复杂结构或缺陷变形区域出现阴影、空洞或剧烈几何起伏，这些区域与平坦区域相比跨模态语义鸿沟显著更大。如果均摊优化目标，模型容易被大量简单的平滑背景主导。Align3D-AD 在第一阶段后 50 个 epoch 激活语义一致性重加权策略（SCR），首先计算渲染 Patch 与所有 RGB Patch 的全相关矩阵 \(C_i = F_i^r (F_i^R)^\top \in \mathbb{R}^{N\times N}\)，对第 \(n\) 个渲染 Patch 聚合其与整幅 RGB 图像的平均相似度 \(c_{i,n} = \frac{1}{N}\sum_{j=1}^N (C_i)_{n,j}\)，进而计算自适应局部权重：

\[w_{i,n} = 1 + \lambda \cdot \sigma(c_{i,n})\]

其中 \(\sigma(\cdot)\) 为 Sigmoid 函数，\(\lambda\) 为重加权强度因子（默认设为 1）。带有权重的局部对齐损失变形为 \(\mathcal{L}_l^w = \frac{1}{V}\sum_{i=1}^V \frac{1}{N}\sum_{n=1}^N w_{i,n}(1-\langle f_{i,n}^{r_a},f_{i,n}^R\rangle)\)。该机制使得模型能依据全局上下文敏锐感知几何变形与语义突变区域，将优化梯度精准集中在跨模态不一致的高价值区域，显著提升对齐特征的边界判别力。

3. 模态感知双提示词学习：解耦捕获互补的几何与语义异常线索

渲染图保留纯净的 3D 几何与空间轮廓，而经对齐得到的 \(r_a\) 特征则富集了类 RGB 纹理语义，二者表征空间存在天然差异，共用同一套文本提示词会导致语义混淆。Align3D-AD 设计了模态感知的双分支提示词学习方案，分别为几何渲染模态 \(r\) 和对齐模态 \(r_a\) 构建独立的可学习文本提示词 \([t_m^N, t_m^A]\)（对应正常与异常类别），经文本编码器得到 \(T_m^N, T_m^A\)。通过计算图像全局/局部特征与提示词的相似度输出异常概率 \(\hat{y}_i^m\) 与局部异常图 \(M_{i,A}^m\)。通过逆投影算子 \(R_i^{-1}\) 将多视角 2D 异常图反投影到 3D 空间，并由可见性掩码 \(H_i\) 加权合成 3D 点级得分：

\[M_A^m = \frac{1}{V}\sum_{i=1}^V R_i^{-1}(\mathrm{Up}(M_{i,A}^m)) \odot H_i\]

两分支联合采用分类交叉熵损失与分割综合损失（3D/2D Dice Loss 与 Focal Loss）进行监督，使两个分支分别专门化聚焦于“几何异常感知”与“语义异常辨识”。

4. 双提示词对比对齐：跨模态语义约束下的判别力强化

尽管两组提示词分别独立优化，但若缺乏跨模态交互，提示词容易陷入局部过拟合或空间漂移。Align3D-AD 在第二阶段后 5 个 epoch 引入双提示词对比对齐（DpCA）。在优化模态 \(m\) 时，将互补模态 \(\bar{m}\) 的对应状态提示词作为固定锚点参考，正例定义为跨模态相同状态提示词（如 \(T_m^N\) 与 \(T_{\bar{m}}^N\)），负例定义为同模态异类提示词（如 \(T_m^N\) 与 \(T_m^A\)），对比损失定义为：

\[\mathcal{L}_{con}^m = -\frac{1}{2}\left[\log\frac{\exp(\langle T_m^N, T_{\bar{m}}^N\rangle)}{\exp(\langle T_m^N, T_{\bar{m}}^N\rangle)+\exp(\langle T_m^N, T_m^A\rangle)} + \log\frac{\exp(\langle T_m^A, T_{\bar{m}}^A\rangle)}{\exp(\langle T_m^A, T_{\bar{m}}^A\rangle)+\exp(\langle T_m^A, T_m^N\rangle)}\right]\]

通过施加 \(\lambda_{con} \mathcal{L}_{con}^m\) 正则，该设计既维系了双模态提示词在宏观正常/异常概念上的语义一致性，又拉大了正常与异常提示词向量之间的夹角，有效增强了模态提示词在边界情况下的语义判别力。

损失函数 / 训练策略¶

训练过程采用渐进式两阶段策略： - 阶段一（特征对齐）：共 250 轮，使用 Adam 优化器，学习率 \(1\times 10^{-3}\)，前 200 轮优化基础对齐损失 \(\mathcal{L}_{align} = \mathcal{L}_g + \mathcal{L}_l\)；后 50 轮激活语义一致性重加权，优化 \(\mathcal{L}_{align}^w = \mathcal{L}_g + \mathcal{L}_l^w\)。 - 阶段二（提示词学习）：共 15 轮，冻结阶段一训练好的特征对齐器，学习率 \(1\times 10^{-3}\)，前 10 轮联合优化双模态分类与分割损失 \(\mathcal{L}_{cls} + \mathcal{L}_{seg}\)；后 5 轮引入对比正则项，总目标为 \(\mathcal{L} = \sum_{m\in\{r_a,r\}} (\mathcal{L}_{cls}^m + \mathcal{L}_{seg}^m + \lambda_{con}\mathcal{L}_{con}^m)\)，其中 \(\lambda_{con}=0.05\)。 - 推理阶段：设定融合权重 \(\alpha=0.5\)，线性组合两分支 3D 异常图 \(M_A = \alpha M_A^{r_a} + (1-\alpha)M_A^r\)，图像级分数由加权平均加点云最大异常分构成：\(\hat{y} = \alpha \hat{y}^{r_a} + (1-\alpha)\hat{y}^r + \max(M_A)\)。

实验关键数据¶

主实验¶

在 MVTec3D-AD 与 Eyecandies 上的 One-vs-Rest 评估结果，以及在 Real3D-AD 上的跨数据集（Cross-Dataset）零样本泛化结果如下表所示。对比指标包括物体级 AUROC（O-R）、AP（O-A）与点级 AUROC（P-R）、PRO（P-P）。

数据集 / 评测设定	方法	O-R (%)	O-A (%)	P-R (%)	P-P (%)
MVTec3D-AD (One-vs-Rest)	PointAD (NeurIPS'24)	82.0	94.2	95.5	84.4
MVTec3D-AD (One-vs-Rest)	GS-CLIP* (arXiv'26)	78.7	92.9	94.6	80.6
MVTec3D-AD (One-vs-Rest)	ZUMA (TPAMI'26)	81.9	-	95.6	87.0
MVTec3D-AD (One-vs-Rest)	Align3D-AD (本文)	83.0	94.3	95.9	86.5
Eyecandies (One-vs-Rest)	PointAD (NeurIPS'24)	69.1	73.8	92.1	71.3
Eyecandies (One-vs-Rest)	GS-CLIP* (arXiv'26)	68.3	73.4	92.3	72.0
Eyecandies (One-vs-Rest)	ZUMA (TPAMI'26)	67.1	-	92.5	73.6
Eyecandies (One-vs-Rest)	Align3D-AD (本文)	71.3	76.6	92.6	74.2
Real3D-AD (Cross-Dataset)	PointAD (NeurIPS'24)	75.9	77.9	71.6	-
Real3D-AD (Cross-Dataset)	GS-CLIP* (arXiv'26)	74.8	77.5	72.6	-
Real3D-AD (Cross-Dataset)	Align3D-AD (本文)	76.1	79.3	76.7	-

消融实验¶

在 MVTec3D-AD 上针对关键模块（DpL: 模态感知提示词, FA: 特征对齐, SCR: 语义一致性重加权, DpCA: 双提示词对比对齐）的逐步递进消融结果：

配置	DpL	FA	SCR	DpCA	O-R (%)	O-A (%)	P-R (%)	P-P (%)	说明
基线单模态	✔	✗	✗	✗	81.9	94.0	95.3	83.7	仅使用纯几何渲染图分支
仅对齐特征	✔	✔*	✗	✗	79.8	93.0	95.6	84.2	仅利用投影后的 RGB 对齐特征
仅几何特征	✔	✔†	✗	✗	82.0	94.0	95.2	83.4	结合对齐特征后仅用渲染预测
双模态基础	✔	✔	✗	✗	82.4	94.0	95.7	85.6	引入特征对齐且双路融合
增加 SCR	✔	✔	✔	✗	82.6	94.1	95.6	85.1	强化复杂差异区域对齐
增加 DpCA	✔	✔	✗	✔	82.6	94.2	95.9	86.3	强化双提示词对比判别力
完整模型	✔	✔	✔	✔	83.0	94.3	95.9	86.5	所有机制全开达到最佳综合性能

关键发现¶

几何与语义的互补性：单用 RGB-aligned 特征时（O-R 为 80.1%），整体表现略低于单用 Rendering 几何特征（82.5%），但二者融合后立即跃升至 83.0%，且在点级 P-R/P-P 上全面取得收益。这印证了点云几何提供了基础结构界限，而对齐后的视觉语义则帮助纠正细微瑕疵判断。
跨数据集强鲁棒性：Real3D-AD 本身完全不包含任何真实 RGB 数据，仅有 3D 点云扫描。Align3D-AD 在仅使用 MVTec3D-AD 辅助训练的情况下，在 Real3D-AD 上的点级 P-R 达到 76.7%，大幅超越 PointAD（71.6%）达 5.1 个百分点，充分证明学到的对齐器已将通用的 RGB 视觉先验固化在特征投影参数中。
两阶段后期激活的必要性：针对 SCR 与 DpCA 轮数的敏感性实验表明，SCR 在后 50 轮引入最优，若过早全量使用会导致对局部差异过度过拟合；DpCA 在最后 5 轮引入最佳，若持续优化过多轮次会导致提示词空间过约束从而削弱零样本泛化能力。

亮点与洞察¶

训练借助多模态、推理仅需单模态的实用范式：充分利用辅助训练集中廉价的 RGB-D/点云配对信息作为隐式导师，在测试时严格遵守纯 3D 零样本设置，既消解了 CLIP 在几何渲染图上的表征退化，又避免了推理阶段依赖 RGB 传感器的硬件负担。
全局到局部的语义一致性调制：不仅停留在简单的 Patch-wise 距离对齐，而是通过构建 cross-modal patch 相关矩阵计算全局语义密度，自适应加权形变几何区域，设计极其直观且切实切中 3D 投影破损这一实际痛点。
轻量而高效的推理延迟权衡：仅引入两个 3 层 MLP 进行特征映射，推理耗时为 0.19 秒（5.30 FPS，显存占用 2791 MB），相比直接利用点云、渲染与深度图三重混合输入的 GS-CLIP（0.62 秒、1.62 FPS、4978 MB），速度提升超过 3 倍，更贴合产线实时质检要求。

局限与展望¶

依赖渲染质量与点云完整度：当点云本身存在大面积扫描空洞、散乱离群噪点或自遮挡严重时，生成的渲染图出现严重残缺，特征对齐网络难以建立稳健的跨模态投影，导致出现误检。
跨模态特征对齐为单向静态映射：当前的特征对齐器采用简单的 MLP 前馈对齐，未引入注意力交互机制，未来可探索轻量级 Cross-Attention 机制在局部特征层面上进行动态自适应对齐。
超参数敏感度需进一步收敛：融合系数 \(\alpha\)、重加权权重 \(\lambda\) 及对比对齐权重在部分类别间表现出一定的差异，若能引入自适应门控或贝叶斯不确定性估计动态调节权重，将进一步增强极端工业场景下的鲁棒性。

评分¶

新颖性: ⭐⭐⭐⭐☆ 构思巧妙，在零样本 3D 领域首次系统性提出利用辅助 RGB 特征对齐来补齐纯点云渲染图语义退化的方案。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖三大主流 3D 异常检测数据集，设置了严苛的 One-vs-Rest 与跨数据集评估，消融分析细致扎实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑主线清晰，图文呼应紧凑，公式推导与动机剖析层层递进。
价值: ⭐⭐⭐⭐☆ 对 3D 工业视觉质检中跨模态表征复用具有重要参考意义，具备良好的工程落地潜力。