O-VAD: Industrial Video Anomaly Detection through Object-Centric Tracking and Reasoning¶

会议: ECCV 2026
论文: ECCV 2026 Poster
项目: https://o-vad.github.io/
领域: 视频理解
关键词: 工业视频异常检测、目标为中心状态追踪、免训练智能体、视觉语言模型、链式思维推理

一句话总结¶

针对工业视频中复杂物理变形与流程约束难以被全帧视觉语言模型捕捉的问题，本文提出了无需微调与特定领域先验的智能体框架 O-VAD，通过以目标为中心的状态轨迹追踪与六步层级认知推理，实现了高解释性、细粒度且开放域的工业异常检测与归因。

研究背景与动机¶

工业视频异常检测（IVAD）在智能制造与自动化质检中占据核心地位，其目标是在连续的工业操作视频中及时发现异常物体与失效事件。与常规监控或日常动作视频不同，工业场景具备三个极其严苛的物理特性：其一，工件在切削、冲压、加热或装配过程中会经历剧烈且合法的物理与功能状态形变；其二，生产流程受制于严格的几何拓扑、周期节拍以及物理定律，微小的接触错位或应力异常便预示着严重隐患；其三，产线操作员与质检工程师需要高度透明的语义归因与失效机理分析，而不仅仅是一个粗粒度的二分类警报。

传统视频异常检测方法主要遵循基于图像重构误差或基于正样本特征嵌入偏离的“单类别单模型”（one-class-one-model）范式。这类方案严重依赖目标类别的纯净正常样本进行充分训练，在动态排产、频繁换型的柔性制造场景中极易因分布偏移而失效，且输出的黑盒分数无法提供可操作的机理依据。近期涌现的前沿多模态大模型（VLM）虽然展现出了通用的开放域语义理解潜力，但在直接迁移至工业异常检测时遭遇了明显瓶颈：由于缺乏目标级别的细粒度时空状态表征，全帧层级的视频描述或特征融合往往忽略了局部的物理交互细节，导致模型在面对复杂的机械加压、微小穿孔或螺纹滑丝时，频繁退化为偏向“一切正常”的幻觉，将合法加工动作与失效结果混为一谈。

针对这一困境，本文没有选择依赖外部工艺文档注入或昂贵的特定领域监督微调，而是回归人类质检专家的直觉：将分析的核心单元从整幅画面下沉到具体工件上，通过追踪关键目标在时间轴上的物理状态演化序列来解耦合法工序与机械故障。核心 idea：构建“定位-追踪-推理”（ground→track→reason）的免训练智能体管线，以目标为中心建立时空 tubelet 并提取细粒度状态变化轨迹，再交由内化了常识物理逻辑的六步链式思维与后验视觉验证完成开放域异常诊断。

方法详解¶

整体框架¶

O-VAD 针对工业输入视频 $V = \{I_t\}_{t=1}^T$ 采取三阶段解耦处理管线：第一阶段通过多候选帧采样与概念级分割自动盘点并定位所有相关工件；第二阶段基于时空划分构建时空 tubelet，并在物理状态转变与破裂时结合空间临近与语义先验维持长程追踪，提取开放域状态演化事件；第三阶段将累积的目标状态轨迹导入受认知驱动的六步链式思维（CoT）推理链，判定工序动作与失效形态，最后通过置信度多重门控的后验视觉校验筛除虚警。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入工业视频序列<br/>V = {I_t}"] --> B["自动化目标定位<br/>多帧采样 + SAM3 盘点分割"]
    B --> C["目标为中心状态追踪<br/>CropFormer + SAM2 跨帧管线构建"]
    C --> D["时空图割与轨迹恢复<br/>空间临近度 + 语义一致性先验"]
    D --> E["开放域状态变化检测<br/>提取时空状态事件元组 e"]
    E --> F["认知异常推理<br/>六步链式思维解耦工序与失效"]
    F --> G["后验视觉校验<br/>双阈值多重门控抑制虚警"]
    G --> H["输出结构化异常报告<br/>类型 / 影响工件 / 帧段 / 因果归因"]

关键设计¶

1. 自动化目标定位：摆脱单帧盲区与人工标注 在许多装配与加工视频中，工件可能在起始帧处于遮挡、未进场或暗光状态。为确保关键对象零遗漏，系统首先在整段视频中跨时间均匀采样多幅候选关键帧 $\{I_{t_j}\}_{j=1}^{N_f}$。大语言模型对每个候选帧进行结构化资产识别，输出包含工件名称 $n_k$、材质与初始表观 $d_k$ 以及空间线索 $b_k$ 的元组。多帧资产经过跨时序去重合并为统一对象集合 $\mathcal{O}$，并在参考帧中由 SAM3 基于文本概念提示直接生成高质量初始掩码 $\mathcal{M}_1 = \{m_k^{(1)}\}_{k=1}^{|\mathcal{O}|}$，为后续跨时空追踪提供精确物理基底。

2. 基于物理先验的时空 Tubelet 追踪与断流恢复：应对工件形变与破碎 工业操作会导致物体剧烈形变、断裂或飞溅，常规多目标追踪模型极易丢失身份。O-VAD 结合 CropFormer 生成逐帧实体划分 $E_t = \text{CF}(I_t)$，并驱动 SAM2 沿时序前向延伸形成 tubelet 集合。当加工导致局部区域无法被已有轨迹覆盖（覆盖度低于设定阈值 $\tau_{\text{coverage}}$）时，自适应启动新 tubelet。对于断开或新兴的候选轨迹 $C$，算法设计了双重约束验证其是否为母体目标的延伸：第一，空间临近度度量起始帧重叠： $$S_{\text{prox}}(C, P) = \max_{j \in \{1,2,3\}} \frac{|c_s \cap m_s^j|}{|c_s|}$$ 第二，基于 Masked CLIP 特征表征评估深层材质与语义相似度： $$S_{\text{sem}}(C, P) = \max_{i < s,\, j \ge s} f(p_i, I_i) \cdot f(c_j, I_j)^\top$$ 只有双重指标同时超过门限的碎片与演化轨迹才被纳入有效延续集合 $\mathcal{V}$，完整捕获从挤压、破损到喷涌的动态过程。

3. 开放域状态变化检测：以自然语言结构化沉淀物理事件 针对目标对在时序过渡中的形态差异，VLM 接收经过掩码高亮渲染的双帧对输入，对目标的受力变形、材料溢出、表面擦碰及空间相对位移进行自由文本检测。与固定类别标签不同，算法将变化类型与原因均以开放域语言表征，沉淀为统一事件元组： $$e = (t_{\text{start}},\, t_{\text{end}},\, \textit{type},\, \textit{cause},\, \textit{desc},\, \textit{sev},\, k)$$ 其中涵盖起止帧段、自发原因、严重程度 $\textit{sev} \in \{\text{none}, \text{slight}, \text{moderate}, \text{severe}\}$ 及受累工件编号 $k$。这一结构化轨迹将原本难以量化的像素变化转化为了清晰的时序证据流。

4. 认知异常推理与后验视觉校验：解耦合法工序与假阳性抑制 接收到完整的时序事件流与视频概括后，VLM 按照人类质检逻辑执行六步认知链： - 流程理解（Process Understanding）：识别作业目的，将事件分流为预期工艺、潜在异常与正常噪声； - 细节观察（Observation）：锁定潜在异常工件的受累帧段与状态变化； - 工艺预期（Expectation）：明确该工位通过/失败的物理边界（如允许弹性压缩但不允许破裂溢流）； - 差异比对（Comparison）：甄别形变属于合法受力响应还是机械损伤； - 因果推断（Causation）：推断刀具磨损、压力过大或材料瑕疵等机理根因； - 分类与定级（Classification & Severity）：输出开放域缺陷类别与严重程度评级。推理输出的候选异常携带初始置信度 $c_{\text{orig}}(a)$。为杜绝语言模型在复杂场景下的过度推断，系统采用三段门控实施后验复验：置信度高于 $\tau_{\text{hi}}=0.8$ 的候选直接入选，低于 $\tau_{\text{lo}}=0.2$ 的直接剔除；处于中间过渡带的模糊项调取对应证据帧 $\{I_t\}_{t \in \text{evidence}}$ 再次比对，通过乘法门控修正最终置信度： $$c_{\text{final}}(a) = \begin{cases} c_{\text{orig}}(a) \cdot c_{\text{ver}}, & \text{若 verified 为 true} \\ c_{\text{orig}}(a) \cdot (1 - c_{\text{ver}}), & \text{若 verified 为 false} \end{cases}$$ 最终仅保留 $c_{\text{final}}(a) \ge \tau_{\text{conf}}=0.3$ 的实体异常，彻底过滤环境反光与弹性形变带来的伪异常。

一个完整示例¶

以机械爪夹持旋转塑料水瓶的实验场景为例： 1. 目标定位：系统自第一帧和关键采样帧中锁定工件 $k=1$（透明塑料水瓶，带白色瓶盖，内部盛水）以及执行部件（金属夹爪机械臂）。 2. 状态追踪：在 0–60 帧阶段，追踪器捕获夹爪持续对瓶身施压，记录为多次中度形变事件（moderate deformation）。至 60–70 帧，瓶身局部曲率突变并出现独立分离掩码，系统标记出现严重破裂形变与液体逸出（severe material_release）；70–80 帧瓶体残余液体持续排空，瓶身明显变瘪。 3. 认知推理：推理阶段首先确认工序为“密闭水瓶的翻转搬运作业”，预期夹爪力应保持在弹性形变极限内，瓶身应保持密封。对比显示 60–70 帧的液体喷出属于典型的“密封失效破裂”（loss of containment），而非弹性压痕。 4. 因果与校验：因果模块推断为主夹持力超标（overclamping）或夹爪硬质尖角集中受力刺破瓶壁；校验模块复核证据帧后确认液体外溢事实，最终输出高危等级材料异常（material_anomaly/loss_of_containment_leakage），准确定位在 60–80 帧。

实验关键数据¶

主实验¶

在三个具备不同物理交互特性的工业视频异常基准（包含 6,434 个物理交互视频的 Phys-AD、自动化移液场景的 LiquidAD 以及制造工序偏离基准 IPAD）上，O-VAD 与经典传统模型、前沿 VLM 及最新智能体框架进行了系统对比。

数据集	评测层级	指标	本文 (O-VAD*)	前沿 VLM (GPT-5*)	传统最佳 (S3R†)	智能体框架 (VERA†)
Phys-AD	Video	AUROC (%)	58.4	50.2	55.5	45.6
Phys-AD	Video	F1-Score	0.621	0.630	0.689	0.091
Phys-AD	Type	BERTScore	0.803	0.878	—	—
Phys-AD	Type	LLM-judge	0.595	0.580	—	—
LiquidAD	Video	AUROC (%)	69.2	46.5	65.1	53.4
LiquidAD	Video	Recall	0.948	0.462	0.616	0.000
LiquidAD	Frame	F1-Score	0.507	0.176	0.679	0.000
IPAD	Video	AUROC (%)	56.5	51.9	53.9	51.9
IPAD	Frame	Recall	0.477	0.119	0.166	0.000

注：* 代表免训练（training-free）方法，† 代表需要特定数据集有监督/无监督训练的方法。

在 Phys-AD 的 22 类细粒度物体评测中，O-VAD 在复杂多步物理交互场景展现出显著优势：齿轮（Gear）AUROC 达到 87.9%，机械锁（Lock）达到 78.0%，螺丝紧固（Screw）达到 70.4%，清洁滚筒（Sticky Roller）达到 81.1%，整体平均 AUROC 达到 58.4%，在 16 类工件上取得第一或第二名。

消融实验¶

在 Phys-AD 提取的 4 个代表性工件子集（涵盖连续表面异常的 Sticky Roller、流体溢流的 Liquid、局部机械装配的 Screw、柔性形变的 Rubber Band）上进行模块逐项剔除消融。

配置	Sticky Roller AUC	Liquid AUC	Screw AUC	Rubber Band AUC	整体表现与变化说明
O-VAD 完整模型	0.811	0.776	0.704	0.721	综合表现最佳，时空定位与属性解析最平衡
(a) 无视频全局描述 (w/o Caption)	0.564	0.742	0.731	0.590	滚筒与橡胶带 AUC 暴跌（-0.247/-0.131），全局行为语义对长程判别至关重要；螺丝因尺度极局部略有反弹
(b) 无状态追踪 (w/o State Tracking)	0.484	0.667	0.400	0.587	核心机制瓦解：前三类精确率/召回率/F1 完全归零，模型退化为盲目预测“全部正常”
(c) 无认知链推理 (w/o CoT Reasoning)	0.720	0.738	0.664	0.681	替换为普通 step-by-step 后 AUC 全面下滑 0.038–0.091，置信度校准与因果性变差
(d) 无后验视觉验证 (w/o Post-verifier)	0.633	0.718	0.622	0.714	滚筒场景 AUC 骤降 0.178，边界模糊与假阳性抑制能力显著受损

关键发现¶

状态追踪是整套架构的生命线：一旦移除 Stage 2 的对象级时空状态追踪，模型在粘性滚筒、液体移液和螺丝场景上的召回率直接崩溃至 0。单纯依赖全帧画面的 VLM 会陷入虚假繁荣——虽然语言连贯度（BERTScore）仍高达 0.867–0.947，但其内容全是在陈述“未发现异常”，丧失了工业质检的实质判别力。
全局语义描述呈现空间尺度异质性：视频级 Caption 在需要整体宏观作业认知的任务（如橡胶带脱落、滚筒打滑）中是关键锚点（缺失导致 AUC 下滑超 20%）；但在高度局部化、瞬时性的精密操作（如螺栓打孔错位）中，粗粒度描述反而带来干扰上下文，精细局部的状态追踪自身已足以胜任。
层级认知与后验校验形成双保险：六步思维链规范了从“合理解释”到“严苛失效判定”的标准，而后验视觉验证则有效拯救了大量置信度游离在 0.2–0.8 之间的边缘假阳性样本，大幅提升了实际产线报告的信噪比。

亮点与洞察¶

将连续视频解析解耦为状态演化图谱：摒弃传统将视频压缩为全局时空特征或单一文字摘要的做法，把工业制造抽象为离散目标的物理状态轨迹，在根本上契合了物理因果律与可解释性需求。
无需领域训练但超越微调模型：在完全不依赖正常样本分布学习的前提下，O-VAD 在 Phys-AD 上取得了 58.4% 的 AUROC，超越了在该数据集上微调过的 S3R（55.5%）和 MNAD（49.5%），展现出基础大模型在严谨提示与模块协作下的零样本威力。
可复用的多智能体多阶段架构：自动化多帧采样定位、带碎片恢复的时空管线追踪以及后验验证门控机制，可直接迁移至具身机器人操作评估、手术流程失误检测及复杂实验仪器监管等高精度交互任务中。

局限与展望¶

推理延迟与算力开销较高：由于引入了多目标检测（SAM3）、时空实体切分（CropFormer + SAM2）以及大模型多轮视觉交互，单视频分析耗时显著长于单次前向推理的传统网络，在超高帧率产线实时部署上存在压力。
对无肉眼表观差异的隐性缺陷无能为力：模型判定高度依赖视觉可观测的形变、溢流或位移。对于内部电磁退磁、电路断路或微观潜伏应力等无法反映在可见光图像中的故障，由于未注入领域专用仪器参数，模型难以察觉。
未来改进路径：探索面向物理检验的小样本上下文学习（Few-shot ICL），引入轻量级规格说明书（Specification Reference）引导，并针对长尾微小操作开发事件驱动型自适应抽帧机制以压缩延迟。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将工业视频异常解耦为目标为中心的状态变迁轨迹，构建了免微调的认知智能体管线]
实验充分度: ⭐⭐⭐⭐⭐ [在 Phys-AD、LiquidAD、IPAD 三大权威数据集开展从视频级、帧级到 22 类工件的详尽对比与消融]
写作质量: ⭐⭐⭐⭐⭐ [逻辑层层递进，对工业制造与物理因果的剖析极其透彻，图表支撑严谨]
价值: ⭐⭐⭐⭐⭐ [为制造业自动化质检、具身操作监控及高可信多模态故障排查提供了前瞻且实用的系统级范式]