Proximity-CLIP: Text-Guided Semantic Proximity Learning for Zero-Shot Anomaly Detection

会议: ECCV 2026
论文: ECCV 原文
领域: 目标检测
关键词: 零样本异常检测 / 视觉语言模型 / 语义邻近度学习 / 异常查询模块 / 结构连续性

一句话总结

针对零样本异常检测中强制正异常文本正交割裂预训练度量空间连续性的几何困境，Proximity-CLIP 提出视觉校准的语义邻近度学习与异常查询模块，实现平滑的语义间隔自适应与主动局部缺陷检索。

研究背景与动机

零样本异常检测（Zero-Shot Anomaly Detection, ZSAD）旨在不依赖任何目标类别的正常或异常训练样本的前提下，直接识别并定位测试图像中的未见异常缺陷。近年来，以 CLIP 为代表的大规模视觉语言模型凭借在超大规模图文对上学习到的跨模态对齐能力，为开放世界感知提供了新的范式。然而，CLIP 的预训练目标主要面向全局、实例级的对象分类，其特征表示具有极强的“以对象为中心”（object-centric）的先验偏差。这种偏差导致模型对局部细微的几何结构或纹理畸变极不敏感，使得直接提取的正常文本原型与异常文本原型在超球面上高度重叠、难以区分。

为了消除这种语义纠缠，近期主流的高效微调工作（如基于适配器的 AA-CLIP 等）倾向于施加严格的正交性约束，强行将正常与异常文本原型的内积推向零以最大化分类间隔。然而，这种人为割裂引入了严重的“几何困境”（geometric dilemma）：在物理真实世界中，异常样本本质上是正常物体在局部受到轻微扰动的结果，二者在底层视觉流形上保持着高度的连续性与紧密邻近。强行将高度连续的视觉特征映射到绝对离散、极端正交的文本原型空间，严重撕裂了预训练特征空间的拓扑连续性，极大地削弱了模型向未知目标类别的泛化能力。

面对这一结构性矛盾，本文的核心切入点在于：正常与异常状态之间的语义距离绝不应该是一刀切的绝对正交，而应该存在一个由真实图像分布决定的、有界的动态语义间隔。核心 idea：将异常建模为受正常特征分布约束的有界语义偏移，通过第一阶段视觉校准的动态邻近度学习自适应确定连续语义间隔，并在第二阶段利用校准后的异常原型作为显式语义查询驱动异常查询模块（AQM）进行主动局部线索检索，在保持预训练度量空间完整性的同时实现高精度零样本异常定位。

方法详解

整体框架

Proximity-CLIP 采用两阶段参数高效微调架构，系统解决文本语义纠缠与视觉特征稀释问题。第一阶段固定视觉编码器，仅优化轻量级文本适配器与邻近度标量，利用真实图像的多尺度局部特征引导文本原型学习，动态确立适配视觉方差的有界语义间隔；第二阶段冻结已校准的文本分支，将其异常原型作为显式语义先验，引导层级视觉特征构建注意力检索模块，实现从被动全局匹配到主动目标线索聚合的跨越。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像与正异常文本提示"] --> B["阶段1：保模残差适配与动态邻近度正则<br/>冻结视觉分支，视觉方差驱动学习有界间隔 λ"]
    B --> C["阶段2：基于异常原型的语义主动查询<br/>以校准异常原型为 Query 检索多层级视觉 Patch 缺陷"]
    C --> D["全局-局部联合优化<br/>局部 Patch 分割对齐 + 全局异常 Token 分类"]
    D --> E["输出图像级异常得分与像素级定位热图"]

关键设计

1. 保模残差适配器与动态邻近度正则：以视觉方差校准连续语义间隔

为了打破离散正交约束对度量空间的破坏，模型在文本分支中引入轻量级残差适配器，并提出保模变换机制（Norm-Preserving Residual Blending）。常规微调往往改变隐藏状态的模长分布，导致超球面度量失真；该机制通过显式将适配器输出投影回输入隐状态的 \(L_2\) 范数空间：

\[\tilde{h} = \omega \cdot \mathcal{A}(h) \frac{\|h\|_2}{\|\mathcal{A}(h)\|_2} + h\]

其中 \(\mathcal{A}(\cdot)\) 代表适配器映射，\(\omega\) 为融合权重。在此基础上，模型定义了一个可学习的动态邻近度目标 \(\lambda\)，通过非线性映射 \(\lambda = \sigma(\phi) \cdot \alpha + \beta\) 将目标相似度严格限制在 \([\beta, \alpha + \beta]\) 的合理超球面区间内（实验中 \(\alpha=0.65, \beta=0.3\)，约束至 \([0.3, 0.95]\)）。在第一阶段优化中，多层级视觉特征通过分割损失 \(\mathcal{L}_{align\_text}\) 驱动文本原型更新，同时均方误差损失 \(\mathcal{L}_{prox} = \frac{1}{B} \sum_{i=1}^B (\tilde{\mu}_{n,i}^\top \tilde{\mu}_{a,i} - \lambda)^2\) 强迫文本对的实际余弦相似度收敛至动态间隔 \(\lambda\)。这使得文本原型的角距离完全由底层视觉图像的真实相似度分布决定，既拉开了鉴别距离，又严格保留了预训练连续几何拓扑。

2. 异常查询模块（AQM）：以校准原型为探照灯的主动局部缺陷检索

在传统视觉语言对齐中，视觉 Patch 通常被均匀池化，导致在背景占据主导的图像中，微小局部的异常响应被严重稀释。为此，模型在第二阶段设计了跨越层级特征层 \(\mathcal{L}\) 的轻量级异常查询模块（Anomaly Query Module, AQM）。该模块将第一阶段校准且冻结的异常文本原型 \(\hat{\mu}_a\) 作为自上而下的显式语义 Query，而将视觉适配器更新后的多尺度视觉 Token \(f_v^{(l)}\) 映射为 Key 与 Value：

\[Q = \hat{\mu}_a, \quad K^{(l)} = f_v^{(l)}, \quad V^{(l)} = f_v^{(l)}\]

AQM 借助跨模态交叉注意力交互函数 \(\mathcal{F}_{attn}\)，主动从复杂的视觉上下文中检索与异常先验高度关联的异常响应并叠加残差：\(z_{query}^{(l)} = \mathcal{F}_{attn}(Q, K^{(l)}, V^{(l)}) + \hat{\mu}_a\)。这一设计像一束精准的“语义聚光灯”，强力压制正常背景噪声，主动放大微弱缺陷。各层级提取的查询表示经跨层平均池化与 \(L_2\) 归一化后，形成代表整图全局异常特征的表征 \(z_{global}\)。

3. 全局-局部双层联合监督：协同保证定位细粒度与分类判别力

为了兼顾像素级空间定位与图像级全局判别的双重需求，第二阶段构建了双层联合目标函数。在局部像素层面，各层级视觉 Token 与冻结文本原型进行密集匹配，计算 Focal 损失与 Dice 损失构成的空间对齐损失 \(\mathcal{L}_{align\_image}\)；在全局图像层面，聚合得到的全局异常 Token \(z_{global}\) 与文本原型计算余弦相似度，并在可学习温度系数 \(\tau\) 下利用图像级二分类交叉熵损失 \(\mathcal{L}_{cls}\) 进行监督：

\[\mathcal{L}_{cls} = \text{CE}\left(\frac{z_{global}^\top \hat{\mu}}{\tau}, y\right)\]

总损失 \(\mathcal{L}_{image} = \mathcal{L}_{align\_image} + \mathcal{L}_{cls}\) 确保视觉适配器既能敏锐感知局部的异常突刺，又能为整幅图像输出高保真的判别性全局表征。

损失函数 / 训练策略

训练过程采用两阶段分步优化策略。阶段一训练文本分支 10 个 epoch，学习率设为 \(1 \times 10^{-5}\)，邻近度标量参数学习率设为 \(0.01\)，采用联合损失 \(\mathcal{L}_{text} = \mathcal{L}_{align\_text} + \gamma \mathcal{L}_{prox}\)；阶段二训练视觉适配器与 AQM 25 个 epoch，学习率设为 \(5 \times 10^{-4}\)，视觉主干与文本原型严格冻结，优化损失为 \(\mathcal{L}_{image} = \mathcal{L}_{align\_image} + \mathcal{L}_{cls}\)。全流程基于 OpenCLIP ViT-L/14 主干，输入分辨率统一定为 \(518 \times 518\)，仅需单张 NVIDIA RTX A6000 即可完成训练。

实验关键数据

主实验

模型在工业（MVTec-AD, VisA, BTAD, MPDD）与医疗（Brain MRI, Liver CT, Retina OCT）共 7 个公开基准上进行了严格的跨数据集零样本评估（在 VisA 上评估时用 MVTec-AD 训练，其余 6 个数据集均用 VisA 训练）。

数据集	任务类型	指标	本文 (Proximity-CLIP)	之前SOTA (AA-CLIP)	提升幅度
MVTec-AD	工业缺陷检测	Pixel AUROC / Image AUROC	92.0 / 92.2	91.8 / 90.0	+0.2 / +2.2
VisA	工业缺陷检测	Pixel AUROC / Image AUROC	95.7 / 82.9	94.7 / 78.3	+1.0 / +4.6
BTAD	工业缺陷检测	Pixel AUROC / Image AUROC	97.0 / 92.3	97.0 / 94.8	+0.0 / -2.5
MPDD	工业缺陷检测	Pixel AUROC / Image AUROC	96.2 / 74.1	96.5 / 73.8	-0.3 / +0.3
Brain MRI	医疗病灶检测	Pixel AUROC / Image AUROC	96.2 / 77.2	95.3 / 77.6	+0.9 / -0.4
Liver CT	医疗病灶检测	Pixel AUROC / Image AUROC	96.8 / 64.0	97.6 / 66.8	-0.8 / -2.8
Retina OCT	医疗病灶检测	Pixel AUROC / Image AUROC	95.9 / 84.3	95.5 / 82.7	+0.4 / +1.6
工业平均	全局均值	Pixel AUROC / Image AUROC	95.2 / 85.4	95.0 / 84.2	+0.2 / +1.2
医疗平均	全局均值	Pixel AUROC / Image AUROC	96.3 / 75.2	96.1 / 75.7	+0.2 / -0.5
全基准平均	综合 7 数据集	Pixel AUROC / Image AUROC	95.7 / 81.0	95.5 / 80.6	+0.2 / +0.4

消融实验

消融实验深入验证了第一阶段语义校准（SC）、第二阶段异常查询模块（AQM）、保模机制（NP）以及不同多尺度检索策略的独立贡献。

配置变体	工业 Pixel (%)	工业 Image (%)	医疗 Pixel (%)	医疗 Image (%)	核心作用与表现说明
CLIP Baseline (原始模型)	57.5	60.3	55.5	44.3	零样本被动匹配，受对象中心偏置限制严重
w/o SC (移除语义校准)	91.9	70.4	92.9	73.9	缺乏有界间隔导致文本纠缠，工业分类狂跌 15.8%
w/o AQM (移除异常查询模块)	68.8	69.1	84.4	53.5	仅保留文本校准，局部异常被全局池化严重稀释
w/o NP (Text) (移除文本保模)	95.0	82.7	95.5	72.3	文本特征幅度失真，两领域分类指标均有下滑
w/o NP (Image) (移除图像保模)	94.6	81.9	95.9	68.5	图像特征尺度漂移，医疗分类大幅下降 6.7%
w/o NP (Both) (移除全部保模)	94.5	82.0	95.8	70.8	度量空间失稳，工业与医疗分类分别下降 4.2% 和 4.4%
Multi-scale (w/o AQM) (被动多尺度池化)	93.8	85.4	95.5	73.0	优于纯无查询基线，但明显落后于主动查询检索
Ours (完整 Proximity-CLIP)	95.1	86.2	96.3	75.2	视觉校准原型与主动查询高度协同，取得最佳综合指标

关键发现

• 两模块高度互补共生：消融数据显示，若仅引入 AQM 而去除语义校准（w/o SC），工业 Image AUROC 从 86.2% 暴跌至 70.4%；而若仅有语义校准而去除 AQM（w/o AQM），工业 Pixel AUROC 从 95.1% 暴跌至 68.8%。这表明高品质的连续语义先验与主动局部视觉提取缺一不可。
• 保模机制是维持度量稳定性的基石：完全去掉 Norm-Preserving 残差机制后，模型在未见域分类上的稳定性明显受挫（医疗 Image AUROC 下降 4.4%），证实了控制特征模长漂移对保护 CLIP 预训练超球面几何的重要性。
• 主动查询超越被动特征聚合：与传统将各层级特征直接拼接或简单多尺度池化相比，AQM 将校准后的异常原型用作自注意力聚光灯，使工业 Pixel AUROC 提升 1.3%，医疗 Image AUROC 提升 2.2%，有效证明了先验引导查询的优越性。

亮点与洞察

• 从几何视角重审正交先验的局限：深刻指出了以往通过强制文本特征正交来拉开异常分类边界的内在缺陷——真实图像中异常与正常样本的微小视觉距离与人为正交的极端语义空间发生严重撕裂。用有界动态连续间隔取代硬编码正交，兼顾了判别度与度量拓扑。
• 自适应视觉方差驱动的间隔学习：巧妙设计非线性映射将相似度边界约束至 \([0.3, 0.95]\)，让梯度的流动自发逼近图像特征的真实邻近分布，使文本原型的距离自然映射物理缺陷的偏离尺度。
• 文本原型由被动判定变为主动探针：打破了传统方法仅将文本特征用作分类器权重的局限，将其转化为注意力机制中的 Query 主动检索 Patch 缺陷，为视觉语言模型在密集密集预测下游任务的落地提供了可复用的范式。

局限与展望

• 复杂医疗病灶分类仍具挑战：在 Liver CT 等复杂三维断层扫描切片中，由于组织结构的天然异质性，Image AUROC 表现（64.0%）仍显不足，反映出二维切片缺少时序连续性先验时容易将正常组织变异误判为病灶。
• 依赖双阶段串行训练管线：目前方案需要先在阶段一彻底收敛文本原型再冻结开启阶段二，无法端到端单次迭代完成，增加了一定的超参数调优与工程部署流程。
• 未来改进方向：可进一步探索结合轻量级三维空间感知算子以提升体数据异常判别，或研究单阶段交替式动态对抗校准策略，简化训练生命周期。

相关工作与启发

• vs AA-CLIP: AA-CLIP 通过在文本分支施加严格正交损失追求离散分类边界，容易割裂预训练特征空间的连续拓扑；Proximity-CLIP 则构建连续且有界的动态语义间隔，并结合 AQM 主动检索，在未见类别的跨域泛化和图像级分类（全基准平均 81.0% vs 80.6%）上表现更为平滑稳健。
• vs AnomalyCLIP / AdaCLIP: 相比于前两者主要依赖目标无关提示词或混合可学习提示词的被动匹配方式，Proximity-CLIP 通过在视觉骨干各层级部署基于异常原型的 AQM 交叉注意力模块，实现了由语义引导的主动缺陷聚焦，有效克服了微小缺陷在全局池化时的响应稀释。

评分

• 新颖性: ⭐⭐⭐⭐☆ 敏锐抓住正异常原型强制正交破坏连续度量空间的几何矛盾，提出视觉校准的邻近度自适应学习与主动查询，理论视角鲜明。
• 实验充分度: ⭐⭐⭐⭐☆ 覆盖工业与医疗两大应用领域共 7 个标准基准，Pixel 与 Image 两级指标详尽，消融实验严谨剖析了各组件与保模机制的作用。
• 写作质量: ⭐⭐⭐⭐⭐ 论证脉络清晰，几何矛盾表述直观生动，实验图表排版与分析详略得当。
• 价值: ⭐⭐⭐⭐☆ 为视觉语言模型在零样本工业质检与医学异常辅助筛查中的参数高效微调提供了坚实优化的新思路。

相关论文

• [ECCV 2026] DeMuS: Learning Decoupled Matching and Scoring for Batch Zero-Shot Industrial Anomaly Detection
• [ECCV 2026] Robust Zero-shot Anomaly Detection under Limited Auxiliary Anomaly Priors
• [ECCV 2026] VarProtoAD: Variational Prototype-Conditioned Prompting for Zero-Shot Anomaly Detection
• [ECCV 2026] DETR is Secretly a Multispectral Detector: Zero-Parameter Adaptation via Semantic Alignment
• [ECCV 2026] Back-Tracking from Clarity: Self-Learning to See Text from Afar