Pistachio: Towards Synthetic, Balanced, and Long-Form Video Anomaly Benchmarks¶

会议: ECCV2026
论文: ECCV 原文
领域: 视频理解
关键词: 视频异常检测、视频异常理解、合成数据、类别平衡、长视频叙事

一句话总结¶

Pistachio 用场景约束故事线驱动连续视频生成，构建兼顾异常检测与文本理解的合成基准，暴露复杂正常行为和长时理解的困难，并在 CLIP-TSA 实验中以合成数据结合 10% UCF-Crime 训练数据超过仅用完整 UCF-Crime 训练集的结果。

研究背景与动机¶

视频异常检测（VAD）需要判断异常发生在什么时候，而视频异常理解（VAU）还要描述发生了什么及事件如何演变。这两个任务共享视频输入，却不共享全部标注需求：帧级异常标签无法替代事件描述和整段叙事。传统监控数据容易集中在少量固定场景，模型因而可能把背景与异常关联，而不是学会理解行为。扩大互联网采集规模也未必能解决问题，因为容易被上传和传播的事件更常出现，罕见环境风险和设备故障仍难覆盖。正常样本若主要是行走等简单动作，模型还可能将复杂但正常的交互当成异常。因此，更高的旧基准分数不必然意味着模型能应对新场景、移动视角或复杂正常活动。

构建更丰富的真实基准并不只是多找一些视频。稀有异常难以按需采集，主动重现危险事件也有现实约束，长视频又需要细致的时间边界和语义标注。当一段视频包含多个事件时，还必须区分局部发生的动作与整段视频的主要异常。视频生成模型提供了一个新的控制入口：先决定场景和事件，再合成视频，而不是被动接受网络素材的分布。不过，一条长提示直接生成整段视频容易遗忘要求，短片直接拼接又可能破坏人物、视角和事件连续性。合成数据的价值因此取决于能否把可控性转化为可核验的视觉内容，而不只是写出更丰富的提示词。

本文将故事线作为生成过程和语义标注之间的共同中间表示。场景决定什么异常合理，分段故事线决定事件如何推进，上一段的末帧则为下一段提供视觉起点。生成后仍需质量筛选和视觉核对，不能把提示中想发生的事直接当成画面里已经发生的事。核心 idea：通过场景约束、分段叙事与连续合成主动设计异常分布，再分别建立帧级检测标签和多粒度理解标注，使合成数据成为真实视频基准的可控补充。

方法详解¶

整体框架¶

Pistachio 提供的是数据构建流程和评测基准，而不是新的异常检测网络。输入为真实场景图片及人工定义的场景与异常配置，输出为合成视频、VAD 帧级标签和 VAU 文本描述。第 3.2 节从 COCO 2017 图片出发，第 4.1 节进一步说明加入 MIT Indoor Scenes 和网络基础设施图片，以补足室内、桥梁和隧道等场景。流程依次完成场景约束分配、分段故事线与连续合成、质量筛选，以及任务分离的标注与视觉校正。这四个环节分别控制事件是否合理、时间发展是否连贯、画面是否可用，以及标签是否反映生成结果。下游检测器只使用其评测协议要求的视频或特征，不需要在推理时重新运行数据生成流程。

VAD 部分包含 4,962 段视频、1,676,822 帧，原文报告为 29.11 小时、16 FPS，覆盖 6 类大场景与 31 类异常。表 1 给出的具体场景数量为 3,896，应与 6 个上位场景类别区分。 VAU 部分包含 1,385 段视频和 517,514 帧，同时提供事件级与视频级文本。长视频目标时长为 41 秒，短视频为 16 秒；这里的长时性是相对于短生成片段，不是小时级监控。

关键设计¶

1. 场景约束分配：让异常与初始画面相容

直接给任意图片随机分配异常，会产生场所不合逻辑或缺少必要主体的故事。作者先用视觉语言模型（VLM）将图片分到 6 个场景类别，另设 Other 类承接不匹配图片。这些场景覆盖商业娱乐场所、室内空间、户外自然环境、关键基础设施、工业施工区域和公共道路交通区域。每类场景对应一组人工定义的合理异常候选，而不是所有场景共用一个不受限制的标签池。 VLM 结合具体图片与场景候选，决定相应异常类型，随后调用该场景和异常对应的故事提示模板。例如，基础设施场景与自然环境场景允许的风险不同，这种限制在生成前就排除了部分语义冲突。

这种设计将类别覆盖从事后采样问题变成事前配置问题。正常故事也作为明确的生成目标，用于覆盖握手、上下车等复杂但正常的活动。这很重要，因为只有丰富异常而没有丰富正常样本，会鼓励模型将动作复杂度当作异常线索。作者强调类别分布更平衡，但正文没有给出每类配额、重采样规则或精确的平衡优化目标。因此，应理解为通过可控分配改善长尾覆盖，不能据此假定每类视频严格等量。同样，类别平衡并不等于人物属性、摄影风格或生成模型偏差都已消失。

2. 分段故事线与连续合成：同时约束事件推进和视觉衔接

负责理解图片和生成故事线的模型是 Qwen2.5-VL-32B-Instruct。一条长故事线拆成 7–8 个描述片段，短故事线拆成 2–3 个片段。每个片段不仅说明场景状态，还应描述当前发生的动作、视角和时间推进，让下一段承担新的事件步骤。这样的显式事件序列不同于只稍微改写前一个提示后要求模型继续播放。后者可能只是延续原有状态，未必真的执行计划中的新事件。故事线也不应只有异常瞬间，还需要正常活动、异常发生和后续反应形成可理解的前后文。

视频由 Wan 分段生成，第一段以原始场景图片为条件。生成下一段时，使用上一段的最后一帧作为图像条件，并输入下一段的事件描述。全部片段依次拼接，从而避免每一段都从独立图片重新开始。末帧传递解决的是相邻片段的视觉起点，分段文本解决的是下一步应该发生什么，两者缺一不可。作者将这种策略与直接长视频生成、首尾同帧循环、朴素故事串接进行定性比较。直接生成容易出现语义漂移和重影，强制回到初始帧则可能使动作不自然地加速或折返。这些失败分析说明设计动机，但没有对应的受控数值消融，不能量化各环节独立贡献。此外，局部连续不保证长期人物身份稳定，作者在局限章节承认仍可能出现细微外观变化。

3. 质量筛选：在视频生成后检查画面和事件逻辑

先规划正确事件，并不保证生成模型真的生成了正确视频。作者先用 VideoScore 对多个质量维度打分，剔除底部 5%，文中对应平均得分低于 3.98。这一自动步骤用于排除明显低质量候选，而不是直接证明异常标签准确。之后由人工检查异常是否符合现实逻辑、物体是否一致，以及是否出现突兀的视觉变形。相机角度、视点和光照也纳入检查，以减少画面虽然清晰却不像合理拍摄结果的样本。这种先自动后人工的安排把人工精力集中在初筛后的内容上。

第 4.1 节报告人工筛选约需 2 人天，正常视频接受率为 90%，异常视频接受率为 80%。这些数字描述筛选投入和接受情况，不是标签准确率或生成成功率的统一估计。生成阶段本身约使用 32 张 NVIDIA A100 80GB GPU 运行 20 天，说明可扩展不等于低算力成本。人工筛选也意味着整个基准并非完全无人参与。即便样本通过筛选，仍不能推导出不存在生成伪影，因为长期身份变化可能很细微。更合理的结论是该流程降低了显著质量问题，剩余域差异仍需用真实测试集检验。

4. 任务分离的标注与视觉校正：区分帧级真值和语义描述

VAD 的目标是异常在时间轴上的位置，因此原文明确采用人工标注来定义帧级真值。 VAU 则利用故事线中已有的局部事件描述，减少从空白开始人工撰写长文本的成本。这些事件描述同时是视频生成提示和事件级文本标注的基础。 Qwen3-8B 将局部事件信息汇总为整段视频摘要，使标注从局部动作上升到完整叙事。该汇总需要考虑事件顺序与上下文，不能只是把多条提示简单连接。随后，文中所称的 Qwen3-VL-32B Refiner 对照实际视频，修正摘要中的事实或时间错位。

视觉校正很关键：生成提示表达的是预期，视频生成器可能遗漏动作或改变细节。若不检查实际画面，理解模型可能因没有描述一个根本未发生的事件而被错误扣分。因此，事件文本提供可扩展的初稿，视觉复核负责降低文本与视频不一致的风险。 “无需人工标注”的贡献应限定在 VAU 文本生成流程，不能扩展到 VAD 标签或人工质量筛选。引言报告 35 段多异常视频，但图 3 的提取文本出现 36，具体数量存在原文或抽取层面的不一致。当前缓存没有补充材料中的完整划分和提示模板，不能补写精确训练测试数量或标注一致性统计。

损失函数 / 训练策略¶

本文没有提出新的训练损失，也没有描述对 Wan 或故事线模型进行专门训练。 VAD 对比中，可训练方法在 Pistachio 训练集学习，并在其测试集评估；视频特征采用预训练 I3D 或 ViT。 VADTree 是例外：它直接处理视频，依照原方法使用事件边界检测和视频语言模型，不做参数更新。这修正了表 2 标题笼统声称全部方法均训练的表述，应以第 4.4 节具体协议为准。检测指标为帧级 ROC-AUC 和 AP，分别反映跨阈值区分能力与精确率召回率表现。 VAU 将生成描述与参考描述进行语义匹配，并分别计算事件级、视频级 F1。正文说明语义相似度超过预设阈值才算正确，但没有给出阈值数值或完整匹配算法。其 F1 使用通常定义，下面只展开原文的调和平均含义，不是新增损失函数：

\[ F_1 = \frac{2PR}{P+R}. \]

这里 \(P\) 和 \(R\) 分别是该语义匹配协议下的精确率与召回率，不能把它等同于逐词匹配得分。因此，VAU 分数适合同协议下比较模型，不足以直接解读为现实事件被完整理解的概率。

实验关键数据¶

主实验¶

下表摘自原文表 2，第 10 页，均为 Pistachio 测试集的 Overall 帧级指标，单位为 %。可训练方法使用 Pistachio 训练集；VADTree 为免训练评估，不具有相同的域内训练条件。

方法	特征骨干	AUC	AP
RTFM	I3D	82.9	69.3
DR-DMU	I3D	81.5	71.5
MULDE	I3D	63.4	34.9
CLIP-TSA	ViT	80.9	57.3
PEL4VAD	ViT	83.7	71.0
Fed-WSVAD	ViT	83.2	71.9
VADTree	未列骨干	72.52	25.15

PEL4VAD 的总体 AUC 最高，而 Fed-WSVAD 的总体 AP 最高，两个指标的排名不能混为一谈。作者将部分低分归因于复杂正常行为与细粒度交互，但这些解释不是隔离变量后的因果证据。

消融实验¶

本文没有给出生成组件的定量消融；下表采用原文表 4，第 13 页的数据融合分析。检测器固定为 CLIP-TSA，所有结果均在 UCF-Crime 测试集评估，单位为 %。

训练数据配置	AUC	AP
仅 Pistachio	61.58	10.48
仅完整 UCF-Crime	82.56	21.62
Pistachio + 10% UCF-Crime	83.96	24.25
Pistachio + 30% UCF-Crime	86.19	28.44
Pistachio + 50% UCF-Crime	86.79	33.04

结合 10% 真实训练数据后，相比仅用完整真实训练集，AUC 提高 1.40 个百分点，AP 提高 2.63 个百分点。但表格称数据组合，正文又使用微调措辞，缓存不足以明确区分联合训练与顺序预训练后微调的具体日程。

关键发现¶

原文表 5，第 14 页，报告 VAU 的事件级与视频级 F1；下表保留代表性模型，数值沿用原表尺度。

模型	参数量	事件级 F1	视频级 F1	平均
InternVL3-1B	1B	28.25	23.04	25.65
Qwen2.5-VL-7B	7B	30.57	25.58	28.08
Qwen3-VL-8B	8B	28.14	26.65	27.40
InternVL3-8B	8B	32.56	25.65	29.11
InternVL3-14B	14B	32.29	26.49	29.39

InternVL3-8B 领先事件级，Qwen3-VL-8B 领先视频级，InternVL3-14B 的平均分最高，体现不同时间粒度的能力差异。表 3 第 12 页中，Pistachio 训练的 CLIP-TSA 在 Cosmos/Hailuo 上为 72.17/75.89 AUC。第 13 页跨生成器段落却给出 85.22/82.34 AUC，未清楚对应同一模型与配置，不能用这组正文数字替换表 3。联合训练也并非所有指标都最佳：表 3 的 MSAD AP 为 25.69，低于 Pistachio 单源 CLIP-TSA 的 54.24。

亮点与洞察¶

把故事线同时用作生成控制和标注起点，减少长视频语义描述从零开始的成本。视觉校正又承认“计划”和“观测”并不天然相同。
丰富正常行为与丰富异常类别同样重要。前者可以检验检测器是否仅把罕见或复杂动作当作异常，后者扩展事件覆盖。
数据融合结果比“合成数据完全替代真实数据”更有说服力。少量目标域数据能修正摄影风格与视角差异，同时保留合成样本的覆盖优势。

局限与展望¶

作者明确承认真实域差异：仅用 Pistachio 的 CLIP-TSA 在 UCF-Crime 上明显落后于目标域训练，不能直接替代低清固定监控数据。
局部末帧衔接不保证长期身份一致，生成视频中仍可能出现人物外观漂移；这限制了依赖长时身份跟踪的任务。
“平衡”不应被解读为无偏差。读者还应检查生成器风格、文本标注模型偏好，以及视觉校正是否引入同源模型优势。
新异常数量的措辞不统一：第 3.1 节明确列出 10 类，其他位置称近半或过半；多异常视频数量也存在 35/36 的冲突。
VAU 相似度阈值、完整数据划分与模型训练日程尚不能从本缓存恢复，影响精确复现；需要补充材料或正式实现进一步核验。
后续可增加独立人工语义核验、按异常类别报告迁移，以及对故事分段、末帧条件和 Refiner 做受控消融；这些是读者建议，不是本文已完成实验。

评分¶

新颖性: 4/5。将可控长视频生成、丰富正常行为与双任务标注结合成异常基准。
实验充分度: 3/5。覆盖多方法、真实域与跨生成器测试，但组件消融和协议细节不足。
写作质量: 3/5。流程与适用边界较清楚，部分计数、正文结论和表格数值不一致。
价值: 4/5。适合作为广覆盖异常研究与真实域适配的补充资源，不宜单独证明部署可靠性。