Towards Explainable Industrial Anomaly Detection via Knowledge-Guided Latent Reasoning¶

会议: NeurIPS 2026
arXiv: 2602.09850
OpenReview: https://openreview.net/forum?id=aMYVuzvH3g
代码: https://github.com/chenpeng052/Reason-IAD
领域: 目标检测
关键词: 工业异常检测, 隐空间推理, 知识检索增强, 熵引导奖励, 多模态大模型

一句话总结¶

针对通用多模态大模型缺乏工业缺陷领域知识且显式思维链推理低效的问题，提出首个完全免微调的测试时隐空间推理框架 Reason-IAD，通过检索增强知识集成注入品类先验，并利用预测熵作为内在奖励通过策略梯度优化隐式思考标记与动态视觉证据注入，在 MMAD 七项任务上全面超越现有方案与专有模型。

研究背景与动机¶

工业异常检测是现代高端制造与工业质检的基石，要求系统能够对微小划痕、细粒度结构破损或逻辑装配错误进行精准辨识与因果归因。传统无监督方法高度依赖特定类别的数据先验，面对产线环境的复杂光照、工件分布漂移以及多样化的产品形变时泛化能力严重受限。近年来，以 CLIP 为代表的视觉语言模型通过对齐文本与图像特征实现了零样本与少样本异常检测，但受限于预训练表达能力与静态相似度匹配范式，难以在复杂工业场景下实现证据驱动的深度推理，无法提供满足高可靠性场景需求的质检解释。

多模态大语言模型（MLLMs）的快速演进为工业异常检测带来了通用专家的潜能，但将通用 MLLM 直接迁移至工业质检面临着两大深层瓶颈。一方面，通用 MLLM 主要在开放域互联网数据上预训练，缺乏对工业制造领域特有缺陷机理与零件结构规范的领域知识，极易产生幻觉或浅层归因；另一方面，现有基于强化学习（如 GRPO）的方法通常强依赖于自回归生成冗长的显式思维链（Chain-of-Thought），不仅推理延迟居高不下、难以部署在实时工业检测线上，而且显式长文本极易引入误差累积与不确定性震荡，导致最终判定摇摆不定。

面对知识匮乏与显式推理低效的双重困境，本文探索了完全免微调（training-free）的测试时隐空间强化探索路径。核心 idea：构建知识引导的动态隐空间推理框架 Reason-IAD，首先通过跨模态检索向输入提示词中动态注入类别与缺陷先验，随后在隐空间中引入可优化的隐式思考标记，利用预测熵构建内在置信度奖励并在测试时基于策略梯度迭代优化，同时自适应回溯并注入高信息量视觉图像块，以紧凑、免训练且高确定性的方式实现可解释的工业异常检测。

方法详解¶

整体框架¶

在多模态工业异常问答（QA）设定下，输入包含工业待检图像 $I$ 以及对应的异常推理问题 $Q$（在单样本设定下一并提供同品类正常参考图像 $I_r$；零样本设定下则仅有 $I$ 和 $Q$）。目标是准确预测判定答案 $A$ 并给出具备证据链的质检解释。Reason-IAD 在推理时保持底层多模态大模型参数完全冻结，整体流水线分为三个紧密协同的阶段：首先利用检索增强知识集成（RAKI）模块计算图像与类别库的跨模态语义相似度，提取 top-$k$ 品类特异的正常与缺陷描述并构建结构化专家提示词；接着在输入序列中嵌入连续可优化的隐式思考标记（latent think tokens），通过预测概率分布的负熵构建置信度奖励，在测试时利用 REINFORCE 策略梯度迭代优化潜空间嵌入；在每次推理迭代中，动态视觉证据注入机制依据交叉注意力响应筛选最具鉴别力的图像块动态拼接入隐空间序列，促使思考状态与局部高频视觉证据相互锚定，最终由 MLLM 直接解码出高确定性的决策结果与解释。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["待检图像 I + 质检问题 Q"] --> B["检索增强知识集成<br/>跨模态对齐检索类别与缺陷先验"]
    B --> C["构建结构化专家提示词 Prompt"]
    C --> D["熵引导隐空间强化推理<br/>连续隐式思考标记 Z 与高斯扰动探索"]
    D --> E["动态视觉证据注入机制<br/>注意力引导关键图像块与奖励更新"]
    E -->|策略梯度迭代优化 N 轮| D
    E --> F["高置信度异常判定与可解释分析输出"]

关键设计¶

1. 检索增强知识集成（RAKI）：跨模态语义对齐与类别级先验注入 通用多模态大模型在海量日常开放域图像上预训练，缺乏工业制造场景中关于工件正常几何外观与典型缺陷模式的先验规范，直接提示常导致对微小工业异常视而不见。针对这一知识断层，RAKI 构建了一个预定义的品类缺陷知识库 $\mathcal{K} = \{(c_i, \text{desc}_i)\}_{i=1}^N$，其中 $c_i$ 表示工业品类标签（如电缆、药丸、晶圆等），$\text{desc}_i$ 详尽描述了该品类的正常形态特征及可能出现的典型缺陷模式（如划伤、污染、破损、短路等）。

在推理阶段，系统使用冻结的 CLIP ViT-L/14-336 视觉编码器 $f_v$ 与文本编码器 $f_t$ 分别提取待检图像嵌入 $\mathbf{v} = f_v(I)$ 与各品类文本嵌入 $\mathbf{k}_i = f_t(c_i)$，并在共享特征空间中计算余弦相似度： $$s_i = \frac{\mathbf{v}^\top \mathbf{k}_i}{\|\mathbf{v}\| \|\mathbf{k}_i\|}, \quad i=1,\dots,N$$ 根据相似度得分排序检索出前 $k$ 个最高相关的类别先验（实验中取 $k=2$），并将其文本描述注入到统一设计的专家系统提示词模板中（赋予模型工业质检专家人设，并明确要求先隐式推理再作答）。这一设计以纯推理时外挂检索的方式直接弥补了通用大模型的领域认知短板。

2. 熵引导隐空间强化推理（EDLR）：测试时无训练的隐式思考与确定性优化 传统的显式思维链（CoT）需要模型逐步自回归生成冗长的中间文本，不仅在毫秒级质检产线上计算开销过大，而且长链条生成极易引入语义漂移，在缺乏外部强监督的情况下容易出现摇摆不定的低置信度推测。EDLR 将推理过程压缩至紧凑的连续潜空间中，在多模态输入序列中插入一组连续向量构成的隐式思考标记 $\mathcal{Z} = \{z_1, z_2, \dots, z_m\}$（默认 $m=4$）。

在迭代推理的第 $n$ 步，首先向思考标记施加局部高斯噪声以拓宽潜空间探索轨迹：$\mathcal{Z}^{\prime(n)} = \mathcal{Z}^{(n)} + \xi^{(n)}, \xi^{(n)} \sim \mathcal{N}(0, \sigma^2 I)$（扰动幅度 $\sigma = 10\%$）。为了驱动思考标记向高确定性状态收敛，框架以预测分布的不确定性构建内在反馈信号，计算第 $i$ 个思考标记对候选答案预测概率分布 $P_i^{(n)}$ 的 Shannon 熵： $$\mathcal{H}(P_i^{(n)}) = -\sum_{j=1}^{C} P_i^{(n)}(j) \log P_i^{(n)}(j)$$ 将整体奖励定义为思考标记平均熵的补集：$\mathcal{R}(\mathcal{Z}^{(n)}) = 1 - \frac{1}{m}\sum_{i=1}^m \mathcal{H}(P_i^{(n)})$。熵越低意味着模型越果断、确信，奖励值越高。随后利用 REINFORCE 策略梯度算法在测试时直接反向更新连续潜空间思考标记： $$\mathcal{Z}^{\prime(n)} \leftarrow \mathcal{Z}^{(n)} + \eta \nabla_{\mathcal{Z}^{(n)}} \mathcal{J}(\mathcal{Z}^{(n)}), \quad \nabla_{\mathcal{Z}} \mathcal{J}(\mathcal{Z}) = \mathbb{E}_{\mathcal{Z}' \sim \pi(\cdot|\mathcal{Z})}\left[\mathcal{R}(\mathcal{Z}') \nabla_{\mathcal{Z}} \log \pi(\mathcal{Z}'|\mathcal{Z})\right] = \mathbb{E}\left[\mathcal{R}(\mathcal{Z}') \frac{\xi}{\sigma^2}\right]$$ 通过固定步长（默认 10 轮）的连续潜空间策略优化，思考标记自发消除认知歧义，指引模型得出高鲁棒性的确定性判决。

3. 动态视觉证据注入机制：注意力引导的局部图像块迭代精炼 工业缺陷往往呈现极度微小、局部对比度弱的特点，在经过多模态视觉主干全局分块与降采样后，关键的高频缺陷信号极易被平滑或稀释；单纯在潜空间中优化思考标记若缺少精细视觉信号的再确认，易导致凭经验幻觉。动态视觉注入机制模拟了人类质检员在犹疑时“重新贴近放大观察可疑区域”的认知回溯过程。

该机制利用隐式思考标记在自注意力层中对图像 Token 的关注权重分布，提取出注意力响应最强烈的 $t$ 个候选图像 Patch $V_{cand} = \{v_1, \dots, v_t\}$，并在每次推理迭代中将其拼接到潜序列中协同推断。依据当前迭代获得的全局熵奖励 $\mathcal{R}$ 进行贪心式最优集维护： $$V_{best} = \begin{cases} V_{cand}, & \text{if } \mathcal{R} > \mathcal{R}_{best} \\ V_{best}, & \text{otherwise} \end{cases}$$ 只有当新采样的候选图像块能实质性降低预测不确定性（即提升奖励 $\mathcal{R}$）时，系统才接纳并保留该组视觉块，进而自适应更新全局基准奖励 $\mathcal{R}_{best}$。通过这一闭环机制，潜空间思考标记与精细视觉证据逐步协同聚焦于真正的缺陷部位。

损失函数 / 训练策略¶

Reason-IAD 为纯推理时框架，底层多模态大语言模型（MLLM）的所有权重在推理和测试阶段均保持冻结，不需要任何监督微调（SFT）或强化学习后训练（RLHF/GRPO）。核心超参数设置如下： - 测试时优化学习率：$\eta = 1 \times 10^{-3}$ - 高斯扰动幅度：$\sigma = 10\%$ - 隐式思考标记数量：$m = 4$ - 潜空间迭代轮数：$N_{\text{iter}} = 10$ - 检索知识库品类数：top-$k = 2$，检索主干为 CLIP ViT-L/14-336 - 硬件环境：4 块 NVIDIA A100 (80GB) GPU

实验关键数据¶

主实验¶

在工业异常推理基准 MMAD（涵盖 MVTec-AD、VisA、MVTec-LOCO、GoodsAD 四大工业数据集共 38 个物体类别、244 类缺陷及近 4 万道测试问答）上，对比商用闭源大模型、开源通用 MLLM 及工业异常专用大模型的表现。

类别 / 架构	模型	参数量	异常判断	缺陷分类	缺陷定位	缺陷描述	缺陷分析	物件分类	物件分析	平均准确率 (%)
基线对照	Random Chance	-	50.00	25.00	25.00	25.00	25.00	25.00	25.00	28.57
人类表现	Human (ordinary)	-	86.90	66.25	85.58	71.25	81.52	89.58	69.72	78.69
人类表现	Human (expert)	-	95.24	75.00	92.31	83.33	94.20	86.11	80.37	86.65
商用模型	Claude-3.5-sonnet	-	60.14	60.14	48.81	67.13	79.11	85.19	79.83	68.36
商用模型	GPT-4o	-	68.63	65.80	55.62	73.21	83.41	94.98	82.80	74.92
商用模型	GPT-5-mini	-	64.10	67.35	69.07	79.02	86.72	93.96	83.37	77.65
商用模型	Gemini-2.5-pro	-	83.07	73.86	67.20	79.97	86.27	94.88	83.08	81.19
工业专用	AnomalyGPT	7B	65.57	27.49	27.97	36.86	32.11	29.84	35.82	36.52
工业专用	AnomalyR1	3B	60.62	63.56	70.14	80.47	85.28	92.48	86.15	76.96
开源通用	Qwen3-VL (Base)	8B	73.08	62.33	60.34	69.15	80.09	92.53	84.01	74.51
开源思考	Qwen3-VL-thinking	8B	52.31	41.50	40.37	45.67	36.02	64.34	53.30	47.64
本文方法	Reason-IAD (Qwen3-VL)	2B	61.90	70.20	54.63	71.51	79.92	94.59	81.61	73.48
本文方法	Reason-IAD (Qwen3-VL)	4B	75.05	73.72	66.48	76.83	82.33	94.90	84.41	79.10
本文方法	Reason-IAD (Qwen2.5-VL)	7B	70.74	67.97	60.82	72.78	82.62	97.17	84.99	76.73
本文方法	Reason-IAD (Qwen3-VL)	8B	75.24	75.07	62.78	76.38	85.58	96.31	84.62	79.43

消融实验¶

在 Qwen3-VL-8B 主干下，在单样本设置下对四大工业异常数据集进行模块拆解消融实验：

配置	RAKI (知识检索)	EDLR (熵引导隐式推理)	$V_{patch}$ (动态视觉注入)	MVTec-AD (%)	VisA (%)	MVTec-LOCO (%)	GoodsAD (%)	四数据集均值 (%)
基线模型 (Baseline)	-	-	-	85.75	75.44	67.45	69.38	74.50
+ 知识增强	✓	-	-	88.49	77.83	70.76	73.83	77.73 (+3.22)
+ 潜空间推理	✓	✓	-	89.52	78.58	71.33	74.69	78.53 (+0.80)
完整模型 (Full)	✓	✓	✓	89.84	78.93	71.65	75.00	78.86 (+0.33)

对隐式思考标记数量 $m$ 的敏感性分析如下：

思考标记数 $m$	异常判断准确率 (%)	缺陷定位准确率 (%)	物体分类准确率 (%)
2	73.91	61.12	95.64
3	74.68	62.01	96.02
4 (默认)	75.24	62.78	96.31
5	74.97	62.43	96.18
6	74.63	62.05	95.91

关键发现¶

检索增强知识（RAKI）的贡献度最为显著：在四大工业数据集上平均带来 +3.22% 的跳跃式提升（在 MVTec-AD 上由 85.75% 提升至 88.49%），在细粒度缺陷分类任务上单模块提升甚至超过 12%（Qwen2.5-VL-7B 从 55.23% 跃升至 67.97%），证明对通用 MLLM 而言，注入工业制造品类的缺陷常识是突破质检瓶颈的首要杠杆。
隐式思考（EDLR）在质检任务中显著优于显式长思维链：采用显式长 CoT 推理的 Qwen3-VL-thinking 平均准确率仅为 47.64%，甚至低于随机水平附近的多项子任务；而采用隐式紧凑推理的 Reason-IAD 达到 79.43%，相对提升高达 31.79%。这表明在工业质检这类强感知、低容错任务中，显式语言长链极易带来累积幻觉，而基于熵约束的紧凑潜向量更能保证预测的确定性。
动态视觉注入与思考标记呈现紧凑倒 U 型规律：在实验中将注入图像块数量逐步增加时，模型性能先升后降，表明适量高响应图像块能提供高频细节，但过量图像块会造成上下文冗余与潜空间梯度扰动。思考标记数量同样以 $m=4$ 最优，过多标记反而因扩大了策略梯度的探索空间而损害收敛稳定性。
零样本通用性强悍：在完全脱离参考图像的零样本测试中，Reason-IAD (Qwen3-VL 8B) 达到 76.71% 平均准确率，较原始底座提升 4.53%，并显著超越 760 亿参数的 InternVL2-76B（69.41%）达 7.30%，凸显出测试时推理的普适价值。

亮点与洞察¶

测试时无微调强化探索新范式：打破了工业大模型必须依赖重度 SFT 与基于 GRPO 训练的惯性思维，首创在推理时利用 REINFORCE 优化连续潜空间隐式思考标记，零训练成本即插即用。
预测熵驱动的内生置信度奖励：巧妙地将工业质检对“高确信度、零歧义”的核心诉求形式化为最小化模型候选答案概率分布的 Shannon 熵，以无监督方式构造了极其优雅的内在驱动力。
思考与审视动态闭环：通过思考标记注意力与高分辨率局部图像块的自适应挂接，实现了类人专家的“疑难处反复放大查验”机制，有效克服了传统视觉 Transformer 对微小缺陷的信息稀释问题。

局限与展望¶

测试时迭代计算开销：尽管避免了逐标记自回归文本解码，但 10 轮潜空间前向反向更新仍使得单样本端到端延迟高于单次前向通过的简单 MLLM，在严苛的百帧级超高速产线质检中仍需进一步剪枝与蒸馏。
复杂空间布局与密集细小缺陷的定位局限：论文失效案例指出，在 MVTec-LOCO 等背景重度杂乱且包含密集微小部件（如多枚微型图钉错位）或缺陷跨越大范围全局区域时，模型仍偶发定位偏移或漏判。
知识库检索粒度可自适应拓展：当前采用固定的 CLIP top-2 类别检索，未来可探索层次化知识图谱或基于缺陷相似度的细粒度动态检索，进一步提升多品类混流生产下的自适应能力。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出面向工业异常检测的完全免微调隐空间动态推理框架，结合熵奖励与注意力视觉注入，构思新颖。
实验充分度: ⭐⭐⭐⭐⭐ 在包含近 4 万道测试问答的 MMAD 权威基准及四大主流工业数据集上进行了全面评估，涵盖单样本、零样本与详细消融。
写作质量: ⭐⭐⭐⭐⭐ 论文结构严谨清晰，问题定义准确，数学推导与实验分析详实连贯。
实用价值: ⭐⭐⭐⭐⭐ 即插即用、无需训练即可将开源通用 MLLM 转换为超越 GPT-4o 的工业质检专家，工业落地潜力巨大。
综合评价: ⭐⭐⭐⭐⭐ 具备高度启发性的视觉语言模型测试时计算（Test-time Compute）与工业可解释异常分析代表作。