TED: Text-Axis Evidence Decomposition for Prompted Anomaly Localization¶

会议: NeurIPS 2026
arXiv: 2609.39033
OpenReview: https://openreview.net/forum?id=2lzL7Y6lmU
代码: https://github.com/barraki7226/TED
领域: LLM 其他
关键词: 提示词异常定位, 视觉语言模型, 文本轴证据分解, 难负例解纠缠, 零样本异常检测

一句话总结¶

针对 CLIP 适配模型在跨域异常检测中易将高频正常区域与真实缺陷混淆的痛点，TED 提出在共享文本响应轴上解耦源域缺陷与难负例证据，实现无需目标域微调的即插即用像素级异常重评分。

研究背景与动机¶

在大规模视觉语言模型（如 CLIP）支撑的工业异常检测（Anomaly Detection, AD）体系中，提示词工程与轻量级适配模块成为了实现零样本缺陷检测的主流范式。然而，通用预训练视觉语言模型在设计之初并未针对细粒度的像素级缺陷定位进行专门优化。真实工业场景中，图像局部补丁（patch）可能因为边缘显著、纹理复杂、光照反射或局部结构多变而具有天然的高语义显著性；当模型采用通用的正常与异常文本提示词进行局部匹配时，这些非缺陷的难例正常区域（Hard False Positives, Hard-FPs）往往会被分配与真实缺陷相当甚至更高的异常响应打分。

现有针对 CLIP-AD 的适配方案大多试图通过引入可学习提示词（如 AnomalyCLIP、AdaCLIP）或轻量视觉适配器来全面拔高模型对异常信号的敏感度。但更敏锐的缺陷响应并没有带来更清晰的局部判别证据：在跨域迁移下，真实缺陷与复杂的难例正常区域往往挤在同一个高分置信区间内发生纠缠。这种失败并非源于预训练表征中缺陷语义的彻底丢失，而是由于提示词相似度这一标量解码准则混淆了解析来源——缺乏机制去判断一个异常高分究竟是被真实缺陷模式所支撑，还是被结构复杂的正常难例所触发。单纯做后处理误报抑制同样会伤及真实缺陷，因为难负例与真实缺陷并非正交可分。

本文的切入角度是：保留视觉语言模型已建立的正常-异常文本响应坐标，将模糊区域的高分证据溯源内化为源域证据的比对判决。核心 idea：将提示词异常定位解耦为文本响应轴上的证据分解问题，通过构建源域真实缺陷与误报难例双证据库，比较待测补丁在文本轴投影上的支撑边际并生成有界残差校准，在不改变骨干与提示词的前提下实现像素级精细重排序。

方法详解¶

整体框架¶

TED 是一种用于提示词异常定位的后验评分框架（Post-hoc Scoring Framework），在推理阶段无需修改任何视觉语言模型骨干网络、文本编码器或提示词结构，也无需目标域图像、标注或打分即可完成像素级重排序。方法整体包含两种使用形态：面向纯冻结 VLM 骨干的免训练独立评分（T-TED）与面向既有适配 CLIP-AD 主机模型的源域校准有界残差修正（C-TED）。

对于输入查询图像，模型首先利用主机的正常与异常文本嵌入构建一维正规化文本判别轴，并将所有局部 patch 特征投影至该轴上获取基础异常响应；随后，通过在同一文本轴上对齐预先收集的源域缺陷库（Defect Bank）与难负例库（Hard-FP Bank）的响应分布，计算出表达“更偏向真实缺陷还是更偏向难负例”的文本轴证据支撑边际；最后由 T-TED 直接输出重排序分数，或由 C-TED 经双曲正切函数变换为平滑有界残差叠加回原模型打分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入查询图像与特征提取<br/>Patch 特征与正常/异常文本嵌入"] --> B["构建正规化文本判别轴<br/>投影获取一维局部异常响应"]
    B --> C["双源证据库匹配与响应对齐<br/>源域真实缺陷库 vs 难负例库"]
    C --> D["计算文本轴证据支撑边际<br/>对数指数加权聚合求取差值边际"]
    D --> E["源域校准有界残差生成<br/>tanh 缩放生成平滑校正项"]
    E --> F["输出精细像素级异常定位图<br/>基线打分锚定叠加校正残差"]

关键设计¶

1. 正规化文本判别轴投影：将多维特征对齐至一维异常响应坐标

传统特征匹配方法常在数百甚至上千维的原始视觉空间中直接计算欧氏距离或最近邻相似度，但在跨域工业检测中，高维空间充斥着与异常无关的域风格漂移与背景变化，导致最近邻检索严重失真。为此，TED 坚守视觉语言模型最具判别力的正常-异常相对语义，提取正常文本嵌入 $e_{\mathrm{n}}(x)$ 与异常文本嵌入 $e_{\mathrm{a}}(x)$ 的差向量，构造单位正规化判别轴方向： $$u(x) = \frac{e_{\mathrm{a}}(x) - e_{\mathrm{n}}(x)}{\|e_{\mathrm{a}}(x) - e_{\mathrm{n}}(x)\|_2}$$ 对于图像中第 $i$ 个局部 patch 在层 $\ell$ 的视觉特征 $v_i^{(\ell)}(x)$，其在该方向上的标量投影响应为 $c_i^{(\ell)}(x) = \langle v_i^{(\ell)}(x), u(x) \rangle$。所有来自源域的缺陷补丁与难负例补丁同样通过内积投影至该一维标尺上，确保了待测补丁与源域历史先验在完全一致的语义度量坐标系中展开比对。

2. 双源证据库匹配：解耦真实缺陷与难例正常区域的支撑强度

针对复杂纹理区域因视觉多变性而导致的误报问题，TED 在源域数据中显式构造两类证据库：与源域真实缺陷掩码重叠的缺陷特征库 $\mathcal{B}_{\mathrm{def}}^{(\ell)} = \{b_{\mathrm{def},j}^{(\ell)}\}_{j=1}^{N_{\mathrm{def}}}$，以及在源域正常样本中被基线模型赋予高异常分的难负例特征库 $\mathcal{B}_{\mathrm{fp}}^{(\ell)} = \{b_{\mathrm{fp},j}^{(\ell)}\}_{j=1}^{N_{\mathrm{fp}}}$。为了平滑且鲁棒地度量待测补丁响应与两库分布的贴合程度，设计了基于核带宽 $\tau$ 的对数平均指数响应匹配准则： $$q_z^{(\ell)}(v_i; x) = \log \frac{1}{N_z} \sum_{j=1}^{N_z} \exp\left( - \frac{(c_i^{(\ell)}(x) - c_{z,j}^{(\ell)}(x))^2}{\tau} \right), \quad z \in \{\mathrm{def}, \mathrm{fp}\}$$ $q_{\mathrm{def}}$ 反应补丁与已知缺陷特征在文本轴上的契合度，而 $q_{\mathrm{fp}}$ 则度量补丁是否落入易产生虚警的复杂正常纹理模式区间。免训练形态 T-TED 直接结合惩罚权重 $\lambda_{\mathrm{fp}}$ 计算净边际分 $r_{\mathrm{TED}}^{(\ell)}(v_i; x) = q_{\mathrm{def}}^{(\ell)}(v_i; x) - \lambda_{\mathrm{fp}} q_{\mathrm{fp}}^{(\ell)}(v_i; x)$，通过正负符号快速甄别像素属性。

3. 源域校准有界残差：基于基线锚定的平滑保序修正

对于已经过精细微调的 CLIP-AD 模型，直接替换原始评分容易破坏原本在平坦背景区域形成的良好全局校准。C-TED 采取残差修正思路，首先对单层净边际进行归一化得到 $\widehat{m}_i^{(\ell)}$，再通过轻量可学习参数 $a_\ell, b_\ell, \gamma_\ell$ 映射为局部残差： $$\Delta s_i^{(\ell)} = \gamma_\ell \tanh\left( a_\ell \widehat{m}_i^{(\ell)} + b_\ell \right)$$ 双曲正切函数 $\tanh$ 严格限制了修正项的极大绝对幅度，使得校准仅在真实缺陷与难负例剧烈混淆的局部区间发挥拉开差距的作用。最终打分 $s_{\mathrm{TED}}^{(\ell)}(v_i) = s_{\mathrm{host}}^{(\ell)}(v_i) + \Delta s_i^{(\ell)}$ 始终以原主机的预测为锚点，既防止了对易区分正常区域的矫枉过正，又精准瓦解了难负例的高响应伪装。

损失函数 / 训练策略¶

C-TED 仅在源域数据上完成参数拟合，全过程不需要任何目标域图像、无标注样本或验证指标，属于严格的源域离线校准。训练时仅以源域构建的缺陷补丁与难负例补丁对为输入，优化目标为排序对比损失：促使校正后的缺陷样本打分显著高出难负例打分，同时对原主机模型已经能够充分分离的易区分样本施加约束以保持不变。学习到的标量参数 $(a_\ell, b_\ell, \gamma_\ell)$ 在校准完毕后彻底冻结，并在所有跨域目标数据集上统一复用。

实验关键数据¶

主实验¶

在 MVTec AD、VisA、MPDD、BTAD 和 MVTec AD 2 五大跨域基准上，针对冻结 VLM 骨干网络（采用通用文本提示词相似度基线 B）以及免训练 T-TED、校准 C-TED 展开像素级与图像级全指标评估。

骨干网络 / 模型	方法	MVTec P-AUC	MVTec P-PRO	VisA P-AUC	VisA P-PRO	MPDD P-AUC	MPDD P-PRO	BTAD P-AUC	BTAD P-PRO
ViT-L/14-336	基线 B	32.2	9.7	41.6	13.5	24.4	3.9	23.9	3.7
ViT-L/14-336	T-TED	69.3	64.0	59.2	42.3	76.4	60.5	77.9	50.8
ViT-L/14-336	C-TED	69.2	63.9	59.3	42.7	76.0	60.6	77.6	50.5
ViT-H/14	基线 B	15.2	1.0	18.0	1.5	14.4	0.6	23.2	3.6
ViT-H/14	T-TED	85.3	77.9	82.3	61.8	87.6	77.2	78.3	55.0
ViT-H/14	C-TED	85.2	77.7	82.2	61.6	87.4	77.1	78.1	54.5
ImageBind	基线 B	14.4	0.7	16.5	1.0	19.5	1.7	18.6	2.9
ImageBind	T-TED	85.7	77.7	84.1	62.4	82.3	73.3	82.3	60.7
ImageBind	C-TED	85.6	77.7	84.0	62.3	82.1	73.1	82.1	60.3

消融实验¶

在 BTAD 数据集上对适配基线 AA-CLIP 和 FAPrompt 进行组件消融分析，验证有界残差形式与难负例库的必要性，并检验残差映射子空间秩 $r$ 的影响。

主机模型	配置变体	P-AUROC	P-PRO	P-AP	说明
AA-CLIP	Baseline (基线打分)	92.48	59.78	36.55	原始微调适配检测器
AA-CLIP	T-TED (直接评分替换)	86.58	53.50	27.88	破坏了原模型的全局打分校准
AA-CLIP	C-TED w/o hard-FP (仅缺陷库)	93.58	61.76	38.40	缺失难例正常样本的抑制项
AA-CLIP	C-TED (完整模型, $r=2$)	94.23	65.42	39.68	像素级指标全方位提升
FAPrompt	Baseline (基线打分)	90.52	60.32	21.54	难负例竞争严重的基线
FAPrompt	C-TED (完整模型)	94.99	70.95	45.01	P-PRO 提高超 10 个百分点
AA-CLIP	C-TED ($r=4$)	93.83	65.06	38.99	增加残差容量未带来额外收益
AA-CLIP	C-TED ($r=8$)	93.51	63.67	38.26	参数过大易引起源域轻度过拟合

关键发现¶

冻结骨干表征蕴藏丰富缺陷信息：冻结的 ViT-H/14 或 ImageBind 经由原始提示词相似度解码时 P-PRO 几乎归零（不足 2%），但通过 TED 重新在文本轴解码后 P-PRO 跃升至 77% 以上，证明通用视觉语言表征中早具备定位异常的潜能，瓶颈全在解码准则。
难负例支持至关重要：去除了难负例支持的 C-TED 无法有效拉开模糊区域与真实缺陷的界限；在基线难负例竞争严重的类别中，C-TED 带来的平均定位增益（$\Delta\text{Loc}$）从低竞争区间的 +5.0 飙升至高竞争区间的 +10.9。
高维视觉匹配反噬性能：将文本轴分解退化为全维度视觉最近邻匹配（Full-D 1-NN / Prototype）时，多项跨域迁移性能发生断崖式下跌（P-PRO 下降超 40%），证实了文本轴方向在滤除与异常无关的视觉域漂移时的核心枢纽作用。

亮点与洞察¶

异常定位的本质是证据辨析而非敏感度放大：模型误报并非因为看不到异常，而是因为把视觉复杂度误认成了缺陷；引入难例负样本反向拉扯边界，比单纯增加正向提示词更有效。
降维至文本判别轴滤除跨域噪声：不直接在高维特征空间做相似度检索，而是将源域先验与待测补丁全数映射到一维相对文本坐标中，以极简代价规避了跨域特征分布漂移的干扰。
有界残差设计平滑兼容既有系统：使用 $\tanh$ 构造有界校正项并锚定基线预测，使算法成为各类工业级异常检测流水线的即插即用升级插件。

局限与展望¶

依赖具有代表性的源域难负例挖掘：若源域数据极其匮乏或纹理结构与目标域毫无关联，构建的难负例库可能无法覆盖目标域出现的极端罕见非缺陷干扰模式。
文本响应轴依赖高质量提示对：算法假定正负文本提示词能够勾勒出合理的语义梯度方向，若提示词本身存在严重语义偏倚，投影轴的判别质量会受到牵连。
未来方向：探索动态自适应的难例挖掘策略，以及将文本轴证据分解延伸至多分类缺陷辨识与工业多模态大模型的长文本推理过程中。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次指出并系统形式化了视觉语言异常定位中的难负例竞争困境，提出了文本轴证据分解与有界残差校正机制。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 个工业检测基准、多种冻结与适配模型骨干、完备的难例分箱与损坏性对照实验。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，图文对应清晰，机理剖析深刻透彻。
价值: ⭐⭐⭐⭐⭐ 即插即用、无需训练与调参，为工业提示词异常定位的工程落地提供了稳健高效的新解法。