EGVLR: Evidence-Grounded Vision–Language Reinforcement for Anomaly Reasoning¶

会议: ECCV 2026
论文: ECCV 原文
领域: LLM推理
关键词: 工业异常推理、多模态大语言模型、强化学习、视觉定位、偏好优化

一句话总结¶

针对工业异常问答中多模态大模型常凭语言先验走捷径、导致答案正确但定位错误或对正常样本虚构缺陷框的问题，提出基于统一证据驱动诊断协议（EDDP）的四阶段强化学习框架 EGVLR，通过渐进式视觉证据微调、知识指引指令微调、几何-语义解耦偏好优化以及框引导分割渲染，实现了答案、定位与推理逻辑的全局一致性，显著降低了正常样本上的空间假阳性。

研究背景与动机¶

工业异常检测目前正逐步从传统的封闭式缺陷打分与像素热图回归，向可交互的工业异常理解与智能诊断演进。在传统工作流中，检测模型仅输出无语义的异常分数或粗糙的热力图，仍极度依赖人工复检员去判断缺陷种类、排查伪异常以及比对正常参考件。近期多模态大语言模型（MLLM）虽然展现出了多轮问答、缺陷辨识与跨图像比对的潜力，但在面对高精度的工业质检场景时暴露出致命的可靠性缺陷：工业瑕疵（如微小裂纹、焊点缺损、轻微压痕或异物污染）往往具有极高的稀疏性与局部微弱性，在整幅画面中仅占极少像素，且缺陷的判定强依赖于先验规则与正常基准件。

通用多模态大模型在海量网页图文上预训练，缺乏对精密工业空间证据与细粒度质检逻辑的对齐，导致其在面对异常诊断问题时极易依赖纯文本先验或形成“捷径推理”。这类失效并不单是选项答错，更多呈现为答案、定位与推理依据之间的“证据不一致性”：模型凭借语言模板蒙对了缺陷类别，给出的归一化边界框却完全没有覆盖缺陷区域；或者生成的推理文本在分析无中生有的划痕；更严重的是，当输入完全正常的工件图像时，模型往往在提问的诱导下强行画出虚假的缺陷框。在实际工业产线中，正常样本上的空间假阳性会引发大量的无效人工复核，直接摧毁质检系统的可用性与人机信任。

简单的监督微调（SFT）本质上仅是 token 级别的模仿学习，无法显式惩罚“正常答案搭配异常框”或“虚假证据导致盲目猜对”等结构性矛盾；而直接在通用基座上应用偏好优化又因缺乏统一协议而难以稳定收敛。本文的核心 idea 是：将工业异常诊断全过程统一到结构化的“证据驱动诊断协议（EDDP）”中，采用“无先验视觉证据预对齐 \(\to\) 工业领域指令内化 \(\to\) 几何与语义解耦的偏好强化（GS-DPO）”三阶递进训练，并在最终推理时交由通用分割后端完成框引导渲染，从根源上消除答案、定位与推理之间的逻辑撕裂与正常样本空间幻觉。

方法详解¶

整体框架¶

EGVLR 建立在统一的证据驱动诊断协议（EDDP）之上，该协议贯穿模型的所有可训练阶段，将多模态大模型的输出强制规范为四个结构化语义字段：视觉证据 <evidence>、诊断逻辑 <logic>、空间定位 <location> 和最终选项 <answer>。针对成对图像输入，框架严格锁定输入顺序规范：第一张图为待检查询图像，第二张图为同类别正常基准图像。在底层表征上，<location> 字段仅容纳基于 \([0, 1000]\) 归一化坐标系的边界框列表，遇到正常无损样本、验证诱饵区域或非空间问答时，严格输出空列表 <location>[]</location>，从而彻底消除网格编号、连续坐标与空值判断之间的语法歧义。

整个技术管线包含四个递进阶段：首先，通过渐进式视觉证据微调（PVE-FT）在纯视觉合成数据上建立对局部细粒度差异的空间定位与零假设标定能力；其次，通过知识指引指令微调（KG-IT）注入工业领域质检问答与对比逻辑；然后，利用几何-语义解耦偏好优化（GS-DPO）引入五通道强化奖励，惩罚证据逻辑与定位的自相矛盾；最后，在推理部署阶段通过框引导分割渲染（BGSR）将模型预测的精准候选框送入通用分割大模型（如 SAM3）生成密集掩膜，实现认知推理与像素渲染的优雅解耦。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入查询图 + 正常参考图<br/>遵循统一 EDDP 协议"] --> B["阶段一：渐进式视觉证据微调<br/>合成缺陷与网格对齐"]
    B --> C["阶段二：知识指引指令微调<br/>领域 QA 与对比逻辑内化"]
    C --> D["阶段三：几何-语义解耦偏好优化<br/>多通道 GRPO 强化学习"]
    D --> E["生成结构化诊断响应<br/>证据+逻辑+归一化框+答案"]
    E -->|非空候选框| F["阶段四：框引导分割渲染<br/>冻结 SAM3 生成像素掩膜"]
    E -->|空框 []| G["判定正常：不触发分割渲染"]

关键设计¶

1. 渐进式视觉证据微调：建立细粒度局部证据定位与零假设标定

针对通用 MLLM 对微小工业缺陷不敏感且易受语言先验干扰的痛点，该阶段构建完全脱离文本捷径的纯视觉合成对比任务。利用 CutPaste 补丁替换及 DTD 纹理扰动在正常工业图像上生成可控缺陷，记录下精确的真实掩膜、归一化边界框、查询图 \(3 \times 3\) 粗粒度网格索引以及局部子区域标签。由此程序化构造出包含 5 个子类的纯视觉问答家族：合成异常检测、网格定位、精细子区域辨析、带诱饵区域的局部验证以及无异常的零假设标定。针对正常样本和负向诱饵区域，监督目标强制规定为 <location>[]</location>。模型在此阶段仅利用自回归交叉熵损失 \(\mathcal{L}_{\mathrm{PVE}}\) 进行预训练，使视觉主干与坐标 token 在接触复杂行业语义前，先学会“有缺陷准确定位，无异常坚决输出空框”的视觉零假设习惯。

2. 知识指引指令微调：内化工业领域知识与参考对比逻辑

在完成底层视觉证据对齐后，第二阶段负责将模型从感知阶段过渡到认知决策阶段。KG-IT 融合了三类监督数据源：基于工业规程片段的领域专有 QA、单张正常样本的规范认知 QA、以及“待检图 vs 正常图”的成对对比诊断 QA，三者按 50:35:15 的混合比例进行联合指令微调。关键机制在于严格保持阶段一确立的 EDDP 协议格式完全不变；对于无需空间定位的纯理论问题或缺乏精确框标注的宏观样本，其 <location> 字段依然保留为 [] 并打上无空间奖励标签。这种统一的数据流设计消除了阶段转换中的表征漂移，使模型在掌握专业缺陷术语和严密对比推理的同时，保持格式与坐标生成的稳定性。

3. 几何-语义解耦偏好优化：消除推理矛盾与空间奖励黑客

SFT 阶段的 token 级别模仿无法惩罚“答案正确但框乱画”或“推导结论与所选选项相反”的隐式失效。GS-DPO 采用免 Critic 的 GRPO 强化学习框架，对每个查询采样一组 \(G\) 个候选回答，利用显式解耦的多通道奖励函数计算组内优势值。总奖励分解为格式分、答案分、几何框分、BGE 语义分和耦合一致性分五个部分：

\[R = \lambda_f R_{\mathrm{fmt}} + \lambda_a R_{\mathrm{ans}} + \lambda_{\mathrm{box}} R_{\mathrm{box}} + \lambda_{\mathrm{bge}} R_{\mathrm{bge}} + \lambda_{\mathrm{cpl}} R_{\mathrm{cpl}}\]

其中，几何奖励 \(R_{\mathrm{box}}\) 在异常样本上通过预测框与真值的 IoU/DIoU 计算并惩罚冗余多框，而在正常样本上若预测为空框则奖励 \(+1\)，否则施加 \(-1\) 惩罚；语义奖励 \(R_{\mathrm{bge}}\) 利用预训练的 BGE 文本编码器提取生成的 <evidence> 与 <logic> 向量，分别与预构建的正常/异常/领域先验原型向量库计算最大余弦相似度 \(s_N\) 与 \(s_A\)，以双曲正切函数 \(R_{\mathrm{bge}} = \tanh(\gamma(s_A - s_N))\) 平滑引导逻辑方向；最终的耦合奖励 \(R_{\mathrm{cpl}} = \mathbb{I}(a_{\mathrm{pred}} = a_{\mathrm{gt}}) \cdot \mathbb{I}(\mathrm{LocValid}) \cdot \mathbb{I}(\mathrm{SemValid})\) 仅在答案正确、几何定位有效（正常为空、异常重合有效）且推理语义方向完全自洽时发放。该设计彻底瓦解了单纯通过扩大预测框来钻营 IoU 奖励的“空间奖励黑客”现象。

4. 框引导分割渲染：认知推理与像素级掩膜解耦

为了向工业下游呈现像素级缺陷掩膜，BGSR 拒绝在 MLLM 内部直接拟合高维分割 token 或在推理端引入参数冗余。它将定位边界框作为认知层推理输出的最终物理接口：若 <location> 输出为空列表，则意味着系统判定工件完全无缺陷，直接中断渲染管线，零生成像素掩膜；若存在非空预测框，则将归一化坐标反算回原始图像分辨率，作为几何提示框输入外部冻结的通用高质量分割模型（如 SAM3）。这种模块化解耦不仅确保了 MLLM 专注打磨跨模态逻辑推理能力，同时避免了将分割后端的掩膜质量混淆为主干模型的推理能力。

实验关键数据¶

主实验¶

在权威工业异常多模态基准 MMAD（涵盖缺陷分类、定位、描述、成因分析等工业问答任务）上，基于 Qwen3-VL-8B-Instruct 主干的 EGVLR 在单样本（1-shot，带有正常参考图）设置下与前沿商用模型、开源多模态大模型及工业专用异常模型进行了全面对比。

模型	参数量	异常判别	缺陷分类	缺陷定位	缺陷描述	缺陷分析	工件分类	工件分析	平均准确率
GPT-4o	-	68.63	65.80	55.62	73.21	83.41	94.98	82.80	74.92
Gemini 2.5 Pro	-	83.07	73.86	67.20	79.97	86.27	94.88	83.08	81.19
Qwen2.5-VL-Instruct	7B	71.39	54.35	61.17	65.81	79.32	91.44	84.43	72.56
LLaVA-OneVision-1.5	8B	60.85	56.29	55.25	74.73	83.21	91.03	89.14	72.93
Qwen3-VL-Instruct (Base)	8B	69.75	59.34	59.08	73.54	81.29	90.30	89.07	74.62
AnomalyR1	7B	60.93	64.81	70.72	79.06	85.52	93.12	86.91	77.29
OmniAD	7B	68.80	78.80	75.50	67.20	86.40	96.00	86.40	79.90
JUDO	7B	64.51	72.17	75.95	84.38	87.76	94.24	86.07	80.73
EGVLR (本文)	8B	71.50	78.75	76.85	84.42	87.82	93.30	85.21	82.55

消融实验¶

消融实验分为训练阶段消融与 GS-DPO 奖励通道消融，指标包含平均准确率（Avg. Acc.）、缺陷定位准确率（Loc. Acc.）、格式合法率（Format）、正常样本图像级假阳性率（\(\mathrm{FPR}_{\mathrm{img}} \downarrow\)）以及正常样本平均虚构框数（\(\mathrm{FPBox} \downarrow\)）。

配置	Avg. Acc.	Loc. Acc.	Format (%)	\(\mathrm{FPR}_{\mathrm{img}}\) (%) \(\downarrow\)	\(\mathrm{FPBox} \downarrow\)	说明
阶段消融
Base MLLM (Qwen3-VL-8B)	74.62	59.08	58.7	42.6	0.78	原始基座模型，定位弱且格式遵从差
+ PVE-FT	77.84	71.90	94.6	29.4	0.47	引入纯视觉合成证据微调，大幅激活空间定位
+ PVE-FT + KG-IT	80.63	75.42	97.3	23.8	0.34	注入工业领域与对比 QA，任务认知显著提升
+ PVE-FT + KG-IT + GS-DPO	82.55	76.85	98.6	13.9	0.18	完整四阶段模型，假阳性与矛盾大幅削减
奖励通道消融
Answer-only GRPO	80.73	72.34	94.8	31.7	0.53	仅优化选项准确率，出现严重语言捷径
Standard GRPO (通用强化)	81.62	75.02	97.5	24.6	0.37	未解耦细分奖励，各指标次优
w/o box reward	80.41	71.72	98.2	30.5	0.49	去除几何框奖励，定位准确率剧烈下跌
w/o BGE rationale reward	81.86	75.91	98.4	20.7	0.31	去除 BGE 语义引导，推理逻辑漂移增加
w/o semantic coupling	81.94	76.18	98.3	19.3	0.28	去除耦合一致性奖励，答案-框脱节反弹
Full GS-DPO	82.55	76.85	98.6	13.9	0.18	五通道全解耦优化，取得综合最优表现

关键发现¶

阶段性互补性显著：从 Base 模型逐步加入 PVE-FT、KG-IT 到 GS-DPO，定位准确率从 59.08% 跃升至 76.85%，正常样本上的假阳性率 \(\mathrm{FPR}_{\mathrm{img}}\) 从 42.6% 暴跌至 13.9%，证明底层视觉证据对齐是承载高阶工业领域推理不可或缺的基石。
空间假阳性控制关键在于零假设标定与耦合惩罚：消融显示若缺少零假设标定或耦合奖励，模型会退化出“无论有无瑕疵均倾向于画框以骗取部分召回”的强化漏洞；解耦后的 GS-DPO 使得平均假阳性框数从 0.78 降至 0.18。
弥补了新基座的空间定位短板：原始 Qwen3-VL-8B 的原生定位准确率（59.08%）甚至落后于前代 Qwen2.5-VL-7B（61.17%），但在经 EGVLR 的证据强化训练后，最终定位指标反超达到 76.85%，验证了该框架对于多模态基座空间定位能力的有效重塑。

亮点与洞察¶

EDDP 统一协议规范：强制将多模态大模型输出分解为证据、逻辑、归一化框和选项四个明确字段，并将正常样本严格映射为 <location>[]</location>，为后续端到端奖励设计与下游零中断渲染提供了极其干净的接口。
五通道解耦奖励与语义原型引导：放弃单一奖励，巧妙引入 BGE 语义原型相似度 \(\tanh(\gamma(s_A - s_N))\) 与三元组指示函数乘积耦合奖励，既防止了通过盲目放大边界框进行空间欺诈，又抑制了逻辑与答案相悖的幻觉生成。
认知推理与像素渲染的分离架构：让 MLLM 专注于高阶多模态因果诊断与目标级框选，将精细 mask 交付给专业分割模型（SAM3），既保障了解释链条的高可读性，又规避了在语言模型内部繁琐适配密集掩膜的工程代价。

局限与展望¶

极端微小与低对比度瑕疵的漏检风险：作者坦承当缺陷处于亚像素级别或对比度极低、高度贴合固有工件纹理时，模型仍存在漏检概率。
密集多实例缺陷下的显著性偏差：在单张图像同时出现多种细微瑕疵时，模型倾向于仅定位最显著的一处，对于多实例缺陷的覆盖完整性有待提升。
基于嵌入相似度的语义判定局限：BGE 语义评分虽优于关键词匹配，但仍不具备完整的自然语言蕴含推理（NLI）能力，在面对极微妙的转折句或否定词时，对诊断逻辑的判定偶有失真。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 提出针对工业异常因果推理的统一 EDDP 协议与五通道解耦 GS-DPO 强化机制，思路极其清晰且极具工程实操价值。
实验充分度: ⭐⭐⭐⭐⭐ 在 MMAD 基准上提供了详实的领域指标、全面的逐阶段与逐奖励消融，并系统评测了假阳性率指标。
写作质量: ⭐⭐⭐⭐⭐ 逻辑闭环紧密，问题切中工业多模态大模型落地的核心痛点，符号规范与实验图表均十分过硬。
价值: ⭐⭐⭐⭐⭐ 为多模态大模型在工业质检、医疗病灶排查等要求高可靠、严防假阳性的关键垂直场景落地树立了标杆。