CLUE-VAD: Structured Semantic Clues for Understanding Explainable Events in Video Anomaly Detection¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/4744
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/7292.pdf
项目: CLUE-VAD
领域: 视频理解
关键词: 弱监督视频异常检测、结构化语义线索、类别感知融合、片段归因、解释生成

一句话总结¶

CLUE-VAD 用动作、环境、物体三类文本线索组织视频证据，通过类别感知融合完成弱监督异常检测，再用片段注意力和线索条件化语言模型生成解释，在 UCF-Crime / XD-Violence 上取得 89.47% AUC / 88.24% AP，但不能据此宣称全面超越所有多模态检测器。

研究背景与动机¶

弱监督视频异常检测把长视频视为由多个片段组成的包，只依赖视频级监督学习何时发生异常，避免昂贵的逐帧标注。难点不仅在于异常片段稀少，还在于异常由上下文决定：同样的活动放在不同环境、涉及不同物体时，含义可能不同。一个整体视觉向量能够支持二分类，却很难回答究竟是哪类证据推动了判断。

VadCLIP 等方法引入视觉语言对齐，但场景级类别文本仍把多种语义因素压在一起；视觉专家混合方法可以拆分动作、背景等表征，却不天然提供语言层面的贡献归因；Holmes-VAU 等模型能生成自然语言解释，但一段流畅描述不等于明确指出了检测器依赖的证据。CLUE-VAD 的切入点是重构送入检测器的语义表示，而不是单纯增大解释模型或修改异常分数的平滑方式。

本文把每段视频描述成动作（Action）、环境（Environment）、物体（Object）三条线索，并进一步区分两种重要性：某类异常通常依赖什么线索，以及当前片段具体突出什么线索。核心 idea：先建立可按语义角色检查的证据接口，再学习类别相关的检测融合与片段相关的解释权重，让异常分数和文字解释共享结构化线索。

方法详解¶

整体框架¶

输入是未裁剪视频，输出包括时间上的异常分数、线索级解释，以及可选的自然语言事件描述。Witness 负责把画面变成三类语义证据；Detective 利用类别感知权重融合线索和视觉特征；Reporter 从片段线索中形成局部归因，并把线索表示送入多模态语言模型。

Detective 的类别权重是按类别存储的参数，不是针对每个片段重新预测的注意力；Reporter 才负责片段级变化。两者共享语义来源，但论文明确把标准化解释分数定位为事后分析，而不是替换训练中的标量异常分数。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["未裁剪视频"] --> Witness["Witness 语义取证"]
    Witness --> Detective["Detective 类别推断"]
    Witness --> Reporter["Reporter 片段解释"]
    Detective --> Score["类别与异常分数"]
    Detective --> Reporter
    Reporter --> Output["线索归因与可选<br/>自然语言解释"]

关键设计¶

1. Witness 语义取证：把整体描述拆成可独立编码的三条线索

预训练 InternVideo 2.5 对每段视频分别接受三个提示，描述主要活动、场景环境和涉及的实体。三条描述不是先写一段长 caption 再任意切开，而是按语义角色分别询问，减少主事件描述掩盖背景或物体的情况。冻结的 CLIP 文本编码器分别编码三条描述，冻结的 CLIP 视觉编码器同时提取片段关键帧的视觉表示。这样，后续模块既能操作具名语义通道，也能保留 caption 未覆盖的视觉信息。

这一步并不提供人工逐帧异常标签。文本来自预训练视频语言模型，其价值在于把视觉内容组织成可检查的证据，也意味着 caption 错误会成为下游输入。论文还用 LLaMA3 提取各线索的 top-k 关键词，按类别及正常/异常标签统计频率，观察不同线索是否承载有区分力的词汇；这项语义分析不能等同于已经验证了每个词对检测结果的因果贡献。

时间对齐存在必须保留的疑点：第 3 节 caption 管线写的是不重叠的 64 帧片段，第 4.1 节 Witness 却写每段 16 帧。缓存没有给出两种粒度之间的映射，因此不能擅自认定为某种采样或重复规则。可确认的是片段描述、三条文本嵌入与视觉嵌入需要对应；精确时间粒度仍需原始实现澄清。

2. Detective 类别推断：先判断事件类别，再查取该类别的线索权重

不同异常类别对语义角色的依赖不同，统一融合权重会掩盖这种差异。Detective 为每个类别维护动作、环境、物体三项可学习权重，经 softmax 归一化后，对三条文本嵌入分别缩放、拼接并投影，再拼接视觉嵌入。两层全连接评分器使用 ReLU 和 Sigmoid，输出片段异常分数。类别与三项权重构成 Case Log Embedding；这里的“日志”是可查取的类别参数表，不是检索历史视频案例的外部记忆库。

训练时可以按真实视频类别取权重，推理时则不能使用真实类别。为解决这个接口问题，论文增加视频级类别分类器：先将视觉嵌入与三条文本嵌入拼成片段 token，使用冻结的视觉显著性选择器选出 top-M 候选，再从中均匀采样 K 个片段。融合 MLP 对齐 token 后，Transformer 建模被选片段的关系，可学习注意力池化得到视频表示，带可学习缩放系数的余弦分类头预测类别。最终取概率最高的类别查权重，避免把整段长视频中大量无关片段平均进去；M、K 的具体值在当前缓存正文中未交代。

这一设计比固定拼接多了一个明确的语义选择机制，但也多了一个错误入口：若类别预测错误，后续会查到不合适的权重。论文的交互消融支持类别感知融合的有效性，却没有在所读正文中单独报告类别准确率或“真实类别查表对比预测类别查表”的差距。因此，不能把模块图中的训练/推理衔接直接视为误差传播已被解决。

3. Reporter 片段解释：局部注意力负责归因，线索 token 负责约束生成

类别先验不能解释同一视频内线索重要性如何变化。Reporter 对每条片段线索应用可学习线性变换、ReLU 和线索专属查询向量，再在三条线索之间做 softmax，得到当前片段的相对注意力。用这些权重对线索特征加权求和，得到局部融合表示并经过评分网络；随后按整段视频的分数均值和标准差做 z-score 标准化，以突出相对时间异常。这是视频内部的相对偏离，不是跨视频校准后的异常概率，也不能把注意力的大小解释为因果效应。

语言生成路径将融合的 CLUE 表示通过投影器映射到语言模型嵌入空间，作为前缀 token 注入输入序列，再用 LoRA 适配预训练模型。解释实验使用 InternVL2-2B，并在 UCFA 测试标注上评估生成文本。与仅把异常类别写进提示不同，这个路径让生成器接触结构化线索表示；自然语言解释可以只在选中的高异常片段上调用，不必逐段生成。

论文把最终结果表述为线索级分数与关键词级证据，并在图中展示具体词及其权重。不过，当前正文没有充分说明词级归因算法、解释微调数据构造、LoRA 配置，也没有完整展开两个分支与投影器的训练日程。可读公式与文字足以理解总体接口，但不足以复现一个精确的词级贡献计算程序；本笔记不补造这些缺项。

一个完整示例¶

以原文图 7 的 Explosion008 为例，Witness 需要从输入片段提取活动、环境和物体信息；Detective 给出的类别是 Explosion，于是检索该类别的线索融合权重并完成异常评分。Reporter 展示的三条证据为 Action: Smoke 0.34、Environment: Explosion 0.43、Object: Car 0.23，说明这个例子中环境线索的相对权重最高。这些数值是该图的定性实例，不是数据集平均权重。

随后语言模型生成围绕灰烟扩散的说明。原图中的输出也出现重复表述，因此这个例子同时展示了线索可见性和生成质量的边界：有了结构化输入，并不保证语言输出完全准确、完整或无重复。图中把 Smoke 放在 Action 下，也提醒读者三类语义角色并非天然严格互斥。

损失函数 / 训练策略¶

类别分类器使用 focal loss 缓解类别不平衡；异常检测使用 top-k MIL 排序目标，让异常视频中最高的 k 个片段分数均值高于正常视频中最高的 k 个分数均值。这里的 k 与类别分类器采样的 K 用途不同。训练依赖视频级监督，其中类别查表与类别分类损失还需要视频级类别信息，不能理解成整个框架只使用一个二元标签。

缓存中的公式 (10) 抽取损坏。下面仅按相邻文字与可见的单位间隔项重述排序机制，不声称是完整恢复的原式；P、N 分别表示异常视频和正常视频的片段集合，精确实现以原文或代码为准：

\[ \mathcal{L}_{\mathrm{MIL}}=\max\left(0,1-\operatorname{TopMean}_{k}(\{\hat{s}_t:t\in P\})+\operatorname{TopMean}_{k}(\{\hat{s}_t:t\in N\})\right). \]

注意力另有负熵正则，抑制过度集中于单条线索，以及相邻片段注意力差异的平方惩罚，减少突变。正文明确给出的组合目标为：

\[ \mathcal{L}_{\mathrm{total}}=\mathcal{L}_{\mathrm{MIL}}+\lambda_{\mathrm{AE}}\mathcal{L}_{\mathrm{AE}}+\lambda_{\mathrm{smooth}}\mathcal{L}_{\mathrm{smooth}}. \]

该总式不包含前述类别 focal loss，也没有给出解释生成损失。第 4.4 节同时提到用 MIL 训练片段解释机制，又强调注意力 z-score 分支仅用于事后解释；可以确认标准化分数不进入检测排序目标，但各可学习部分具体怎样联合或分阶段优化仍不够清楚。学习率、训练轮数、正则系数和上述采样参数不从通用经验补齐。

实验关键数据¶

主实验¶

原文表 1 的检测指标如下，均为百分数，越高越好。UCF-Crime 使用 AUC，XD-Violence 使用 AP；两列不能互相当作同一指标比较。

方法	UCF-Crime AUC (%)	XD-Violence AP (%)
VadCLIP	88.02	84.15
Ex-VAD	88.29	86.52
Holmes-VAU	88.96	87.68
LEC-VAD	89.97	88.47
π-VAD	90.33	85.37
CLUE-VAD	89.47	88.24

相对 Holmes-VAU，增益是 0.51 / 0.56 个百分点；但 LEC-VAD 在两列都更高，π-VAD 的 UCF-Crime AUC 也更高。因此，准确结论是在表中可解释 VAD 组内领先，而非所有 VAD 方法中的绝对最优。

消融实验¶

下表选择原文表 4 的交互消融和表 5 的模态分析。交互消融只在文本输入的 UCF-Crime 设置下比较，不能把 88.34 与多模态 89.47 的差值归因于交互结构变化。

实验范围	配置	UCF-Crime AUC (%)	XD-Violence AP (%)
文本交互	单层自注意力融合	86.89	未报告
文本交互	图消息传递融合	86.13	未报告
文本交互	两两线索交互	87.46	未报告
文本交互 / 文本模态	类别感知线索加权	88.34	87.77
模态	仅视觉	87.46	86.35
模态	文本与视觉融合	89.47	88.24

类别感知加权比两两交互高 0.88 个百分点；增加视觉输入相对文本单模态再提高 1.13 / 0.47 个百分点。文本和视觉因此有互补证据，但这些结果不等于每条 caption 都可靠。

解释生成采用 UCFA 测试标注；下表摘自原文表 3，保留原始小数尺度，不转为百分数。

方法	参数量	BLEU-4	CIDEr	METEOR	ROUGE
Video-LLaVA	7B	0.0310	0.0393	0.1398	0.2085
InternVL2	8B	0.0339	0.0713	0.1424	0.2158
CLUE-VAD	2B	0.0739	0.0423	0.1729	0.2762

关键发现¶

CLUE-VAD 的生成优势并非所有指标一致：CIDEr 低于 InternVL2。文本匹配指标提升也不是解释忠实性或因果归因正确性的直接证明。
原文表 6 报告在线检测侧合计 0.66 ms，解释生成 542 ms，在线总计 542.66 ms；caption 预生成的 59.57 ms 被排除在在线合计外。不能据此把 0.66 ms 当作从原始新视频开始的端到端实时延迟。
所读正文没有随机种子方差、统计显著性或完整超参数敏感性结果，小幅检测增益的稳定性仍需复验。

亮点与洞察¶

语义角色成为显式接口。 同一组动作、环境、物体通道既用于检测，又能用于检查解释依据，比生成一段难以追溯的文字更易分析错误来自哪类输入。
类别先验与片段变化分开建模。 前者描述异常类型通常依赖什么，后者描述当前片段突出什么；这种区分可以迁移到具有类别先验的长视频事件分析。
生成器是按需调用的后续模块。 轻量评分与较贵解释分开，有利于控制生成开销，但真正部署仍需把新视频的 caption 成本计入。

局限与展望¶

作者承认的输入依赖： 线索质量受 caption 模型限制，误识别可能一路传播到类别、异常分数和文字解释。当前片段级表达还难以分离同时活动或区域特定异常。
归因可信度缺少直接检验： 当前证据主要是权重可视化、定性例子和生成文本指标。可进一步做线索删除、反事实替换与视觉证据核验，检验高权重线索是否真正改变检测决策。
复现信息不完整： 64 / 16 帧粒度冲突、损坏公式、解释训练细节与分支优化关系均需澄清；本地缓存不含正文反复引用的附录，不能假装已读到相应补充设置。
类别硬选择与离线 caption 假设： 错误类别可能放大错误融合，在线成本也依赖预计算前提。可研究按类别概率软混合权重，并单独测量新流视频的完整时延；这些是笔记提出的方向，并非论文已验证结论。

评分¶

新颖性: 4/5。把类别语义先验、片段归因和生成接口连起来，创新在证据组织而非全新骨干。
实验充分度: 3/5。覆盖两套检测基准、交互与模态消融、解释生成，但忠实性验证和复现设置不足。
写作质量: 3/5。三个模块主线清晰，时间粒度与训练分支说明存在歧义，缓存公式也有损坏。
价值: 4/5。适合作为可解释视频分析的结构化基线，部署前仍需补做鲁棒性、校准和端到端时延评估。