TokenCLIP: Token-wise Prompt Learning for Zero-shot Anomaly Detection¶

会议: NeurIPS 2026
arXiv: 2510.21171
领域: 目标检测
关键词: 零样本异常检测, 提示词学习, 最优传输, 视觉语言模型, 细粒度对齐

一句话总结¶

TokenCLIP 针对零样本异常检测中单一文本空间无差别对齐导致的语义受限问题，提出将文本空间解耦为正交子空间并通过最优传输（Optimal Transport）自适应分配给各图像 Patch Token，实现了兼顾计算效率与语义特异性的 Token 级动态提示学习。

研究背景与动机¶

工业缺陷检测与医学异常诊断近年来逐步迈向零样本异常检测（Zero-shot Anomaly Detection, ZSAD），旨在无需目标类别先验标注的情况下，直接利用预训练视觉语言基础模型（如 CLIP）检测未见类别的异常结构。现有主流范式（如 AnomalyCLIP、VAND、WinCLIP）通常学习全局或无类别偏置（object-agnostic）的正常与异常文本提示词，并将其映射到单一共享的文本嵌入空间中。无论是地毯裂纹、金属螺栓缺陷还是脑部 MRI 肿瘤，所有视觉 Patch Token 均被强制与这组单一、静态的文本表征进行无差别对齐（indiscriminate alignment）。

这种粗粒度的对齐机制存在内在的核心矛盾：单一文本空间无法兼顾复杂多变的异常语义模式。当模型试图用一套均质化的文本表征匹配所有视觉 Token 时，文本空间被迫在各类语义间做出妥协，导致模型倾向于拟合常见缺陷模式，而牺牲对低频、细微或高度局部化异常的表征精度。若直觉性地为图像中的每个 Patch Token 显式分配独立的自适应文本提示词，则在常规高分辨率输入（例如 $518 \times 518$ 输入对应 1369 个 Patch）下将引发不可承受的文本编码器前向计算开销，且每个 Token 提示词在训练过程中缺乏多样本统计支撑，极易陷入严重欠拟合。

面对计算开销与表征特异性的两难困境，本文的核心切入点是变显式独立建模为隐式组合对齐。核心 idea：将单一基础文本空间投影为一组正交文本子空间，并把视觉 Patch 与子空间的动态对齐建模为带边际约束与最小代价目标的最优传输（OT）问题，再辅以 Top-K 稀疏化为每个 Token 动态组合最契合的文本子空间，实现精细化语义专精与高效 Token 级监督。

方法详解¶

整体框架¶

TokenCLIP 的整体架构围绕解耦的局部/全局异常建模与基于最优传输的动态对齐展开。模型以冻结的 CLIP ViT-L/14@336px 为骨干，输入尺寸为 $518 \times 518$ 的图像被编码为全局图像表征 $f \in \mathbb{R}^d$ 以及 $N$ 个局部 Patch Token 构成的集合 $V = \{v_i\}_{i=1}^N$。在文本端，网络解耦构建了图像级提示词与像素级提示词；像素级基础提示词不仅提供全局基准语义，还通过多头投影视角衍生出 $Q$ 个正交子空间。随后，网络计算所有 Patch Token 与子空间特征间的余弦距离代价矩阵，借助 Sinkhorn 算法求解最优传输方案，并筛选 Top-K 权重重构每个 Token 的定制化异常分类 Logits。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像 x<br/>518x518"] --> B["CLIP 视觉编码器<br/>提取 CLS token f 与 Patch tokens V"]
    C["可学习提示词输入<br/>图像级 G 与像素级 L"] --> D["局部-全局解耦与互促表征<br/>拼接融合生成 g 与 l"]

    B --> E["多头正交文本子空间投影<br/>MLP 将 l 映射为 Q 个正交向量"]
    D --> E

    B --> F["最优传输动态对齐<br/>构建代价矩阵 C 并求解 Sinkhorn 方案"]
    E --> F

    F --> G["Top-K 稀疏化与自适应分配<br/>阈值过滤并归一化为稀疏分配矩阵 A"]
    G --> H["双分支异常预测融合<br/>无差别基础分支 + 动态对齐分支"]
    H --> I["输出图像级异常得分与像素级分割图"]

关键设计¶

1. 局部-全局解耦与互促表征机制：消除单一文本提示的多尺度语义冲突 传统提示学习在处理整体图像分类与局部像素分割时往往共用相同的提示空间，导致大尺度全局语义与微观局部缺陷表征相互干扰。TokenCLIP 设计了独立的像素级提示词 $L=\{L_n, L_a\}$ 与图像级提示词 $G=\{G_n, G_a\}$，分别刻画局部和全局的正常与异常语义。为了让局部微观缺陷能够正向增强全局异常判别，方法将两者在通道维度进行拼接，并通过轻量多层感知机（MLP）融合生成增强型图像级提示词 $\bar{G}_n = \text{MLP}([G_n, L_n])$ 和 $\bar{G}_a = \text{MLP}([G_a, L_a])$。经文本编码器编码后，全局表征 $\bar{g}_n, \bar{g}_a$ 与视觉 Class Token 计算交叉熵全局损失 $\mathcal{L}_g$，而未拼接的基础局部表征 $l_n, l_a$ 则用于全图无差别粗粒度对齐，通过 Focal Loss 和 Dice Loss 构筑底层基准异常空间。

2. 多头正交文本子空间投影：兼顾低计算开销与语义多样性 为避免直接为成百上千个 Patch Token 分别构建文本提示导致的灾难性计算负担，TokenCLIP 在基础局部文本嵌入 $l_n, l_a$ 之后引入多头投影模块 $\text{MultiHead}_c(\cdot)$（包含单层 MLP），将其映射为 $Q$ 个细粒度文本子空间向量 $O_c = \{o_c^1, \dots, o_c^Q\}$（其中类别 $c \in \{n, a\}$）。为了促使不同子空间学习到互不重叠的多样化特征（例如分别聚焦物体前景主体、纹理变化区域或均匀背景），模型施加了显式的正交性正则化约束： $$\mathcal{L}_{\text{reg}} = \sum_{c \in \{n, a\}} \left\| [\tilde{o}_c^1, \dots, \tilde{o}_c^Q]^\top [\tilde{o}_c^1, \dots, \tilde{o}_c^Q] - I^{Q \times Q} \right\|_F^2$$ 其中 $\tilde{o}_c^j = o_c^j / \|o_c^j\|_2$ 为 $\ell_2$ 归一化后的子空间特征向量。正交性约束抑制了子空间之间的特征冗余，为后续语义特异化提供了结构解耦的空间支撑。

3. 基于最优传输（OT）的动态跨模态语义对齐：引导子空间专精与充分优化 如果仅采用贪心余弦相似度将 Token 分配给最近的子空间，极易导致某一主导子空间被过度匹配而其他子空间缺乏梯度的“塌陷”现象。TokenCLIP 将视觉 Token 集合 $\{v_i\}_{i=1}^N$ 与文本子空间集合 $\{o_c^j\}_{j=1}^Q$ 的多对多映射建模为离散最优传输问题。两者的经验概率测度分别设为均匀分布 $u = \sum_{i=1}^N \frac{1}{N} \delta_{v_i}$ 与 $v = \sum_{j=1}^Q \frac{1}{Q} \delta_{o_c^j}$。定义跨模态余弦距离代价矩阵 $C_{ij} = 1 - \frac{v_i^\top o_c^j}{\|v_i\| \|o_c^j\|}$，带熵正则化的传输规划问题表述为： $$T_c^* = \arg\min_{T_c \in \Pi(u, v)} \sum_{i=1}^N \sum_{j=1}^Q (T_c \odot C)_{ij} - \lambda E(T_c)$$ 利用 Sinkhorn-Knopp 算法在极少迭代次数下快速收敛。根据理论分析（Theorem 3.1），当视觉特征存在多个互不重叠的聚类时，将不同聚类混合传输到同一子空间会额外引入与聚类中心间距成正比的二次惩罚代价 $\frac{\alpha_p \beta_q}{\alpha_p + \beta_q}\|\mu_p - \mu_q\|^2$。因此，OT 的最小代价准则自然驱使子空间走向语义专精（例如某一子空间自动专精于前景异常，其他子空间专精于低方差背景），而边际约束 $T_c \mathbf{1}^N = v$ 保证了所有子空间均得到充分的样本梯度更新。

4. Top-K 稀疏化与自适应软分配选择：剔除伪关联与噪声质量传输 标准 Sinkhorn 求解得到的连续传输矩阵 $T_c^*$ 往往呈现全连接的稠密分布，微小的传输质量噪声会扰乱子空间的语义特异性。TokenCLIP 对传输方案矩阵执行行级（逐 Token）Top-K 截断与阈值过滤：仅保留各 Token 权重最高的前 $k$（实验中设为 $k=2$）个且大于阈值 $\epsilon=0.2$ 的子空间，随后进行行级重新归一化获得软分配权重矩阵 $\bar{A}_c \in \mathbb{R}^{N \times Q}$： $$\bar{A}_c^{ij} = \frac{A_c^{ij}}{\sum_l A_c^{il}}, \quad A_c^{ij} = (T_c^*)_{ij} \cdot \mathbb{I}\left(j \in \text{topK}((T_c^*)_{i,:}, k) \land (T_c^*)_{ij} > \epsilon\right)$$ 通过该矩阵，Token $v_i$ 的动态异常分类 Logit 计算为 $z_c^i = \sum_{j=1}^Q \bar{A}_c^{ij} \langle o_c^j, v_i \rangle$。最后，通过动态异常概率 $S_a^{\text{da}}(i) = \frac{\exp(z_a^i / \tau)}{\sum_{c \in \{n, a\}} \exp(z_c^i / \tau)}$ 达成对复杂细粒度缺陷的自适应高精度定位。

一个完整示例¶

以一张 MVTec AD 中的瓷砖裂纹图像（Tile Crack）输入为例： 1. 图像经过 ViT 骨干提取得到 $1369$ 个 Patch Token，背景区域占据绝大多数平滑无纹理 Patch，而裂纹区域集中于少数显著变化的边缘 Patch。 2. 基础局部特征经过多头投影产生 $Q=4$ 个正交子空间。代价矩阵计算各 Patch 与各子空间的余弦距离。 3. 经 Sinkhorn 迭代求解后，由于裂纹区域与背景区域特征中心分离，OT 优化强力促使第 1 号子空间（主要捕捉前景高方差变化）被分配给裂纹 Patch，而第 2、3 号子空间主要分配给低方差平坦背景。 4. 经过 Top-2 过滤与 $\epsilon=0.2$ 截断，背景 Patch 的非主导异常权重被清零，裂纹 Patch 则聚焦于高响应的专精子空间组合。 5. 最终经 Logits 加权后，裂纹区域准确输出高异常概率，而平坦背景处的虚警被彻底抑制。

损失函数 / 训练策略¶

TokenCLIP 采用端到端联合优化，总训练损失涵盖五个目标项： $$\mathcal{L}_{\text{total}} = \mathcal{L}_g + \mathcal{L}_{\text{base}} + \mathcal{L}_{\text{da}} + \eta \mathcal{L}_{\text{hinge}} + \xi \mathcal{L}_{\text{reg}}$$ 其中： - $\mathcal{L}_g$ 为图像级文本与 Class Token 的交叉熵分类损失； - $\mathcal{L}_{\text{base}}$ 为基础局部提示分支的无差别对齐损失（Focal Loss + 正异常区域的双路 Dice Loss）； - $\mathcal{L}_{\text{da}}$ 为动态对齐分支输出的 Focal 与双路 Dice 损失； - $\mathcal{L}_{\text{hinge}}$ 为引入边界余量 $\delta^-, \delta^+$ 的 Hinge 损失，用于显式拉开正常与异常区域预测值的判别裕度： $$\mathcal{L}_{\text{hinge}} = \frac{1}{|\mathbb{I}_n|} \sum_{i \in \mathbb{I}_n} \max(S_n^{\text{da}}(i) - \delta^-, 0) + \frac{1}{|\mathbb{I}_a|} \sum_{i \in \mathbb{I}_a} \max(\delta^+ - S_a^{\text{da}}(i), 0)$$ - 权重超参数设为 $\eta = 5, \xi = 100$。优化器采用 AdamW，学习率设为 $1 \times 10^{-3}$，批量大小设为 8，共训练 30 个 Epoch。

在推理阶段，最终像素级异常分割图结合了基础对齐与动态对齐预测：$\mathcal{A}_S(x) = \frac{1}{2}(S_a^{\text{da}} + S_a)$；图像级异常得分结合了全局分类概率与局部最大异常响应：$\mathcal{A}_I(x) = \frac{1}{2}(P_a(\bar{g}_a, f) + \max(\mathcal{A}_S(x)))$。

实验关键数据¶

主实验¶

在 7 个工业缺陷基准数据集（MVTec AD、VisA、MPDD、BTAD、SDD、DAGM、DTD-Synthetic）上与 SOTA 零样本异常检测方法进行对比。在以 VisA 作为辅助训练集、在 MVTec AD 进行评估（反之亦然）的标准零样本协议下，TokenCLIP 表现出显著优势。

数据集	任务指标	CoOp (IJCV'22)	WinCLIP (CVPR'23)	VAND (ARXIV'23)	AdaCLIP (ECCV'24)	AnomalyCLIP (ICLR'24)	FAPrompt (ICCV'25)	TokenCLIP (本文)
MVTec AD	图像级 (AUROC, AP) 像素级 (AUROC, PRO)	(88.8, 94.8) (33.3, 6.7)	(91.8, 96.5) (85.1, 64.6)	(86.1, 93.5) (87.6, 44.0)	(89.6, -) (90.3, -)	(91.5, 96.2) (91.1, 81.4)	(90.8, 94.9) (90.6, 81.6)	(93.5, 96.7) (92.2, 87.9)
VisA	图像级 (AUROC, AP) 像素级 (AUROC, PRO)	(62.8, 68.1) (24.2, 3.8)	(78.1, 81.2) (79.6, 56.8)	(78.0, 81.4) (94.2, 86.8)	(83.8, -) (95.6, -)	(82.1, 85.4) (95.5, 87.0)	(83.6, 85.6) (95.6, 86.7)	(85.8, 88.2) (95.9, 88.5)
MPDD	图像级 (AUROC, AP) 像素级 (AUROC, PRO)	(55.1, 64.2) (15.4, 2.3)	(63.6, 69.9) (76.4, 48.9)	(73.0, 80.2) (94.1, 83.2)	(76.8, -) (96.4, -)	(77.0, 82.0) (96.5, 88.7)	(77.5, 82.2) (95.7, 85.6)	(80.0, 82.3) (96.8, 89.3)
BTAD	图像级 (AUROC, AP) 像素级 (AUROC, PRO)	(66.8, 77.4) (28.6, 3.8)	(68.2, 70.9) (72.7, 27.3)	(73.6, 68.6) (60.8, 25.0)	(88.6, -) (92.1, -)	(88.3, 87.3) (94.2, 74.8)	(92.3, 93.0) (94.8, 75.1)	(91.0, 90.5) (95.1, 78.3)
SDD	图像级 (AUROC, AP) 像素级 (AUROC, PRO)	(74.9, 65.1) (28.9, 7.1)	(84.3, 77.4) (68.8, 24.2)	(79.8, 71.4) (79.8, 65.1)	(- , -) (- , -)	(84.7, 80.0) (90.6, 67.8)	(81.8, 77.5) (92.5, 70.0)	(88.1, 85.2) (90.8, 70.3)
DAGM	图像级 (AUROC, AP) 像素级 (AUROC, PRO)	(87.5, 74.6) (17.5, 2.1)	(91.8, 79.5) (87.6, 65.7)	(94.4, 83.8) (82.4, 66.2)	(98.3, -) (91.0, -)	(97.5, 92.3) (95.6, 91.0)	(96.9, 90.6) (98.1, 94.9)	(98.7, 95.2) (95.8, 91.6)
DTD-Synthetic	图像级 (AUROC, AP) 像素级 (AUROC, PRO)	(- , -) (- , -)	(93.2, 92.6) (83.9, 57.8)	(86.4, 95.0) (95.3, 86.9)	(95.5, -) (96.9, -)	(93.5, 97.0) (97.9, 92.3)	(95.6, 97.4) (98.0, 92.2)	(95.8, 97.6) (98.1, 93.7)

此外，在直接泛化至跨域医学图像的零样本测试中（HeadCT、BrainMRI、Br35H 脑肿瘤检测以及 ISIC 皮肤癌与肠道息肉），TokenCLIP 在 MVTec AD 预训练权重下全面超越对比基线。例如在 ISIC 皮肤病变分割上达到 91.6 像素级 AUROC 与 83.4 PRO（次优仅为 90.7 和 80.3），在 HeadCT 图像级 AUROC 达到 96.0（次优为 93.9）。

消融实验¶

下表列出 TokenCLIP 四大核心组件的模块消融验证（$T_1$: 基础语义学习; $T_2$: 最优传输机制; $T_3$: 局部-全局解耦提示; $T_4$: 正交性正则化）：

模型配置	$T_1$ (Base)	$T_2$ (OT)	$T_3$ (Decouple)	$T_4$ (Reg)	MVTec AD 像素级 (AUROC, PRO)	MVTec AD 图像级 (AUROC, AP)	VisA 像素级 (AUROC, PRO)	VisA 图像级 (AUROC, AP)
基础全局模型					(80.3, 77.8)	(89.9, 95.4)	(86.6, 78.1)	(82.2, 84.9)
引入基础局部无差别对齐	✓				(91.1, 81.4)	(91.5, 96.2)	(95.5, 87.0)	(82.1, 85.4)
引入最优传输分配	✓	✓			(91.8, 87.0)	(93.1, 96.6)	(95.6, 87.8)	(84.5, 88.0)
引入局部-全局解耦	✓	✓	✓		(91.7, 87.4)	(93.2, 96.8)	(95.8, 88.2)	(85.1, 87.9)
完整模型 (TokenCLIP)	✓	✓	✓	✓	(92.2, 87.9)	(93.5, 96.7)	(95.9, 88.5)	(85.8, 88.2)
移除基础语义 $T_1$		✓	✓	✓	(83.2, 62.5)	(89.6, 94.8)	(95.2, 87.1)	(84.8, 86.7)
移除正交正则 $T_4$	✓	✓	✓		(91.7, 87.4)	(93.2, 96.8)	(95.8, 88.2)	(85.1, 87.9)
移除最优传输 $T_2$ (贪心匹配)	✓		✓	✓	(91.5, 83.2)	(92.4, 96.3)	(95.2, 87.6)	(83.0, 85.8)

同时，针对子空间数量 $Q$ 与 Top-K 参数 $k$ 的消融显示：当 $Q=3$（VisA）或 $Q=4$（MVTec AD）且 $k=2$ 时模型取得最优权衡。过大的 $Q$（如 5）或过大的 $k$（如 3）会导致语义表征碎片化或引入无关噪声。

关键发现¶

最优传输驱动语义专精，而非单纯余弦贪心匹配：对比将 OT 替换为局部余弦贪心最高匹配的朴素变体（TokenCLIP-Van），OT 的边际分布约束迫使每个子空间均衡接收训练质量，彻底杜绝了单一子空间主导匹配导致的其余子空间欠拟合。可视化证明，专精后的子空间能自然解耦出专注前景物体突变区域和专注背景平滑区域的特定通道。
PRO 指标取得飞跃式增长：在 MVTec AD 像素级定位上，TokenCLIP 的 PRO 相比 AnomalyCLIP 从 81.4 跃升至 87.9（提升达 6.5%），在 VisA 和 MPDD 上也达到 88.5 与 89.3。这证明细粒度动态文本子空间在刻画不规则、多尺度的微细缺陷边界上具有绝对优势。
极低的计算开销增幅：相比于同样尝试多提示词的 FAPrompt（训练单 Epoch 需 284 秒，显存 4238MB，推理 3.62 FPS），TokenCLIP 单 Epoch 仅需 149 秒，显存 3186MB，推理帧率达到 6.25 FPS，仅略高于基线 AnomalyCLIP（126 秒，2235MB，7.19 FPS），实现了性能与开销的绝佳平衡。

亮点与洞察¶

将 Token 级文本定制化重塑为子空间最优传输：没有暴力为每个 Token 单独跑文本编码器，而是借助多头正交投影与 Sinkhorn 算法，在极低算力增加的前提下实现了 Token 级别的细粒度文本表征定制。
理论严格保障子空间语义解耦：论文通过数学证明阐明，在 $\ell_2$ 归一化特征下，OT 目标函数等价于特征距离，将不同聚类的混合样本输送至同一子空间必然会遭受正比于类间距的严格数学惩罚，从而在机制层面确保了无监督下的语义专精。
通用可拔插的跨模态对齐思路：这种“基础嵌入 $\to$ 正交投影 $\to$ 最优传输分配 $\to$ Top-K 稀疏组合”的框架，不仅适用于工业与医学异常检测，也极具潜力迁移到密集预测型视觉语言任务（如开放词表语义分割、指代表达分割等）。

局限与展望¶

空间局部平滑性偶发不连续：如作者在失误案例（Failure Case）中所分析，由于当前 OT 规划基于独立的 Patch Token 特征计算，在相邻空间区域可能发生突发性的子空间分配突变（例如前景胶囊区域中心偶发单点跳变至背景子空间），从而导致点状虚警（spot-level false alarms）。
静态先验子空间数量：当前子空间数量 $Q$ 是离散超参数，不同物体类别的纹理复杂度存在差异，未来可探索自适应判定子空间容量的非参数化机制。
未来改进方向：引入马尔可夫随机场（MRF）或在最优传输代价矩阵中融入空间拓扑邻域正则化项，约束空间邻近 Token 的子空间分配平滑度，进一步消除点状伪异常。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙将最优传输与正交提示子空间结合，解决 Token 级定制监督的计算瓶颈。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7 个工业与 8 个医学基准，包含理论证明、模块消融及计算开销详实测试。
写作质量: ⭐⭐⭐⭐⭐ 动机清晰，数学推导完备，问题分析与机制图文并茂。
价值: ⭐⭐⭐⭐⭐ 为密集预测型 Vision-Language 提示学习提供了兼具高效性与细粒度表达能力的全新范式。