MEV: A Multi-Event Video Dataset for Long-Take Generation¶

会议: NeurIPS 2026
arXiv: 2610.38241
论文: https://mev-dataset.github.io/
代码: https://huggingface.co/datasets/MultiEventVideo/MEV
领域: 视频生成
关键词: 视频生成, 长镜头视频, 多事件数据集, 时间对齐标注, 视频基准评测

一句话总结¶

针对长镜头多事件视频生成缺乏细粒度时间边界与层级化描述的瓶颈，提出包含 8K+ 高清视频与 25K+ 事件片段的 MEV 数据集，构建全局-局部多粒度结构化标注管线及以事件为中心的 MEV-Eval 评测协议，并在此基础上微调 Wan2.1 实现连贯的长镜头事件过渡。

研究背景与动机¶

现实世界中的人类活动本质上是由离散且前后承接的动作单元构成的连续流。当视频生成模型从短片段、单一动作或多镜头剪辑走向复杂的多事件长镜头（Long-Take）叙事时，必须在维持单一连续机位视角的前提下，驱动主体经历一系列语义演进的动作转换。然而，现有的文本到视频（T2V）生成模型在处理多事件长镜头时，极易陷入严重的内容漂移、逻辑断裂以及视频运动停滞等问题。

这一瓶颈的根源在于现有视频数据集在时序监督信号上的系统性缺失。主流的大规模视频文本数据集多以几秒钟的短片段为主，缺乏丰富的复合动作；即便包含长视频，也往往充斥着密集的剪辑硬切，且文本描述停留在粗粒度的全局总结，未能提供动作起止的明确时间边界（Temporal Boundaries）以及光影、运镜等微观程序化细节。缺少非重叠原子事件与高精度时间区间的强监督，导致自回归生成或分治生成算法无法有效将局部事件提示词对齐到对应的时间片。

要打破多事件长镜头生成的质量上限，核心必须转向构建具备离散事件结构与过程级对齐的高质量真实世界视频基准。本文的核心 idea 是：构建以原子事件为离散单元的高清长镜头视频数据集 MEV，结合全局-事件双层级结构化描述与精准时间边界，提供过程驱动的强监督信号，并提出以事件为中心的 MEV-Eval 协议评估事件执行度与边界过渡连贯性。

方法详解¶

整体框架¶

MEV 的构建与应用管线涵盖数据清洗、基于规则的原子事件分割、多粒度层级化标注，以及基于时间对齐事件条件的长镜头模型微调与评测： 1. 数据收集与双阶段清洗：从高质量免版权素材库 MixKit 与 YouTube 收集 227K 候选视频，通过统计规则过滤坏帧与非自然伪影，再用 TransNet v2 剔除转场剪辑以锁定长镜头，结合 RAFT 光流和 Qwen3-VL-32B 排除复杂场景与无进展运动，得到 41K 高质量长镜头候选。 2. 规则引导的原子事件分割：确立以微观意图、交互对象和过程短语为核心的原子事件定义，通过三阶段标注与双重共识机制（时间差 \(\le 0.5\) 秒），由人类标注员与微调的 Qwen3-VL-32B 协作完成 8,016 篇视频、25,262 个非重叠事件片段的毫秒级边界标注。 3. 全局-局部层级化标注体系：在全局层面提取 8 类场景结构化属性与三种不同长度（20/80/200 词）的总结；在事件局部层面利用 Gemini 2.5 Pro 生成事件动作描述、14 类运镜类别及焦点转移说明、非互斥语义属性，并计算 VBench 视频质量评分，最终经由全量人工交叉审核修正。 4. 多事件生成适配与 MEV-Eval 评测：基于 Wan2.1-1.3B 扩散骨干，引入全局与时序双路交叉注意力及 ReRoPE 软位置编码构建 MEV-Wan，并提出覆盖执行准确率、时序排序、区间对齐和边界连贯性（EEA/EOA/TGA/BTC）的 MEV-Eval 协议。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["原始视频候选库 (MixKit + YouTube 227K)"] --> B["双阶段数据清洗与长镜头提纯<br/>统计硬阈值过滤 + TransNet v2 / RAFT / MLLM"]
    B --> C["规则引导的原子事件时序分割<br/>微观意图驱动 + 0.5s 双重共识 + SFT Qwen3-VL 预测"]
    C --> D["全局-局部层级化综合标注<br/>8类全局属性 + 3档粒度摘要 + 运镜/语义属性/VBench"]
    D --> E["MEV 数据集正式发布<br/>8,016 个高清长镜头 / 25,262 个非重叠事件"]
    E --> F["双路时序适配微调 MEV-Wan<br/>全局语义分支 + 局部时序分支 + ReRoPE 软位置偏置"]
    E --> G["MEV-Eval 事件中心评测协议<br/>VLM 裁判度量 EEA / EOA / TGA / BTC 指标"]

关键设计¶

1. 过程驱动的原子事件定义与规则引导时序对齐：从状态粗分到动作单元

传统动作理解通常将目标或场景状态稳定的较长区间划分为单一事件（例如将“开冰箱、取饮料、倒水、坐下”笼统视作“喝水”），这种粗粒度分割模糊了生成模型最关键的逐步程序化控制。MEV 转向过程驱动的原子事件定义，要求每个事件单元必须围绕单一微观意图、作用于相同的交互对象集合，并能由简短的自然语言过程短语明确表述。事件转移由意图切换、交互对象变更、功能性场景过渡、语义结果达成或显著动作停滞所触发。为杜绝边界歧义，标注协议严格贯彻四项经验合并规则：闭环连续动作若无停顿按连续性规则合并（如“伸手拿笔”与“书写”）；协同动作按协调性规则保持统一；纯镜头追踪不单独成段；谈话附带手势按伴随动作规则合并。标注流程采用三名标注员独立切分，仅当至少两人在容差阈值 \(\delta = 0.5\) 秒内满足 \(|t_1 - t_2| \le \delta\) 时方采纳边界。利用 5K 标注样本对 Qwen3-VL-32B 进行 LLM-only 监督微调（SFT）用于规模化自动预测，辅以全量人工核验，使得事件分割在边界 [email protected] 上达到 55.8%，显著压制过分割与漏分割。

2. 全局与事件局部解耦的层级化多粒度标注方案：兼顾全局风貌与局部动态

为克服单一 Prompt 无法同时表征宏观环境与微观动作演进的难题，MEV 建立了双层标注架构。在全局维度，系统记录涵盖物理背景（Background）、核心主题（Theme）、视觉风格（Style）、镜头景别（Shot Type）、主导运镜（Camera Movement）、光照环境（Lighting）、场景氛围（Atmosphere）以及主体外貌体征（Subject Profile）等 8 大持久属性，并提供 short (~20 词)、middle (~80 词) 与 long (~200 词) 三种不同密度的文本描述。在事件局部维度，每个切分区间独立标注详细过程文本、非互斥的离散语义属性（如进出画 has_appearance/disappearance、多人互动、环境及光照变化、活动类别），以及遵循 CameraBench 规范的 14 类离散运镜标签（平移、摇移、俯仰、旋转、变焦）与变焦对焦转移（Focus Shift）的自然语言阐释。标注借助 Gemini 2.5 Pro 的动作描述与机位敏感性生成初稿，并针对其在相机平移与旋转混淆（如 truck-left 与 pan-left）的系统性缺陷开展全量人工审计，人工纠偏率达 83.2%，确保了长镜头复杂多变控制信号的可靠性。

3. 双路交叉注意力与 ReRoPE 引导的多事件生成适配：解决长镜头过渡断裂

基于扩散模型 Wan2.1-1.3B，论文设计了 MEV-Wan 多事件适配架构以验证高质量边界标注的价值。网络在保留原有全局文本交叉注意力分支（输入全局 middle 描述维持场景和主体一致性）的同时，为 DiT 模块引入局部的时序交叉注意力分支，负责注入连续事件的局部 Prompt。为防止新分支初始扰乱预训练先验，时序分支输出经过 Tanh 激活的残差门控并以接近零值初始化。在时序位置编码上，MEV-Wan 引入 ReRoPE（Rescaled Rotary Positional Encoding），根据每个事件在训练视频中的实际持续时长按比例分配采样帧数，并基于事件起始与归一化时间戳施加软时序偏置，避免了硬切截断带来的画面突变，使模型学会沿时间轴平滑推进动作。

4. 以事件为中心的 MEV-Eval 评测协议：全方位检验多事件长镜头执行质量

通用的 VBench 综合指标偏向单片段画质与连续性，无法评估按指令顺序执行复合动作的能力。为此论文提出 MEV-Eval，以 Gemini 2.5 Pro 作为视觉语言裁判，在统一 Prompt 与时长约束下量化四项核心指标： - 事件执行准确率（EEA, Event Execution Accuracy）：计算 \(N\) 个事件中被正确视觉呈现的比例 \(\mathrm{EEA} = \frac{1}{N}\sum_{i=1}^N x_i\)，\(x_i \in \{0, 1\}\)； - 事件顺序准确率（EOA, Event Order Accuracy）：在所有事件对中统计满足时序先后关系的比例 \(\mathrm{EOA} = \frac{1}{\binom{N}{2}}\sum_{i<j}\mathbf{1}[e_i \prec e_j]\)； - 时序对齐准确率（TGA, Temporal Grounding Accuracy）：检验事件是否落在预设时间分配区间内 \(\mathrm{TGA} = \frac{1}{N}\sum_{i=1}^N g_i\)； - 边界过渡连贯性（BTC, Boundary Transition Coherence）：对相邻事件交界处的平滑度、主体/背景一致性进行 1-5 分打分并归一化：

\[\mathrm{BTC} = \frac{1}{5(N-1)}\sum_{i=1}^{N-1} b_i\]

人工评测验证表明，Gemini 裁判与人类共识一致率在 EEA/EOA/TGA 上分别达 0.82、0.76、0.73，BTC 的 Spearman 秩相关系数达 0.64，证实了该协议的客观与可靠性。

实验关键数据¶

主实验¶

在从 MEV 测试集中随机采样的 128 个提示词（5 次抽样平均）上，对比原始 Wan2.1-1.3B、自回归提示切换模型 LongLive、基于 UltraVideo-Long 均分切片微调的 Ultra-Wan，以及在 MEV 上全监督微调的 MEV-Wan：

方法	EEA ↑	EOA ↑	TGA ↑	BTC ↑
Wan2.1-1.3B	0.42	0.20	0.33	0.41
LongLive	0.47	0.39	0.46	0.58
Ultra-Wan	0.46	0.33	0.42	0.50
MEV-Wan (本文)	0.61	0.45	0.60	0.64

在通用视频画质（VBench 六大维度）评测中，各模型表现如下：

方法	主体一致性 ↑	背景一致性 ↑	时序闪烁 ↑	运动平滑度 ↑	美学质量 ↑	成像质量 ↑
Wan2.1-1.3B	0.954	0.949	0.989	0.991	0.585	61.674
LongLive	0.949	0.950	0.986	0.990	0.504	61.953
Ultra-Wan	0.936	0.956	0.990	0.987	0.557	63.328
MEV-Wan (本文)	0.960	0.959	0.990	0.991	0.590	64.924

消融实验与模型分析¶

针对事件切分与标注模型在事件计数误差与边界对齐精度上的对比评估：

模型	计数绝对误差 ↓	计数相对误差 ↓	边界 [email protected] ↑	边界 [email protected] ↑	边界 [email protected] ↑	片段 [email protected] ↑
Qwen3-VL-8B	1.24	0.41	40.2	37.4	38.7	35.4
Qwen3-VL-32B	0.86	0.29	50.4	45.6	47.9	46.5
Gemini 2.5 Pro	0.82	0.28	48.9	48.3	48.6	45.9
Qwen3-VL-32B (SFT)	0.59	0.20	56.8	54.9	55.8	53.4

双向视频-文本检索（CLIP4Clip, R@1）在多粒度文本特征下的增益：

输入文本组合	文本检索视频 (T2V)	视频检索文本 (V2T)	相比基线增益
Base (Short Caption)	81.8	84.1	基线
+ 事件级运镜描述	84.8	85.2	+3.0 / +1.1
+ 事件级动作描述	87.0	89.5	+5.2 / +5.4
+ 全局运镜描述	83.8	87.4	+2.0 / +3.3
+ 全局运镜 + 事件描述	85.9	86.9	+4.1 / +2.8

关键发现¶

时序对齐边界的绝对价值：Ultra-Wan 与 MEV-Wan 使用完全相同的 Wan2.1 底模和 MinT 适配架构，但 Ultra-Wan 基于连词（如 then, after）启发式推断并均匀划分时间片，而 MEV-Wan 采用人工核验的精准真实边界。结果显示 MEV-Wan 在 TGA（0.60 vs 0.42）和 EEA（0.61 vs 0.46）上大幅领先，证实了数据集中精确物理时间标注对于多事件条件扩散模型收敛的核心驱动作用。
画质与时序控制兼得：在 VBench 画质测试中，MEV-Wan 不仅没有因引入局域事件条件导致画面崩坏，反而取得了最高的成像质量（64.924）与主体一致性（0.960），表明连贯的长镜头数据对视频底模的特征表征同样具有正则化增益。
运镜识别是当前 VLM 的通用瓶颈：在评估原始 VLM 标注精度时，尽管语义属性识别准确率普遍高达 85%~96%，但相机运镜全集匹配准确率极低（LLaVA-Video 为 6.2%，Qwen3-VL-32B 为 10.0%，Gemini 2.5 Pro 为 22.0%），绝大多数模型极易将物理平移误判为机位转动，体现了全量人工审核校验的必要性。

亮点与洞察¶

从状态划分转向过程驱动的原子离散化：巧妙地将长镜头动作切分锚定在“单一微观意图 + 相同交互对象 + 简短过程短语”，并设定 0.5s 双人共识机制，化解了连续长视频中语义演变与局部切分模糊的天然矛盾。
双路条件解耦与 ReRoPE 平滑推进：在多事件生成时同时输入全局 middle prompt 与局域 event prompt，用接近零初始化的门控防止底模退化，并借助 ReRoPE 实现跨事件柔和过渡，为分治生成（Divide-and-Conquer）树立了实用工程范例。
MEV-Eval 填补事件级生成评测空白：区别于传统仅度量单帧质感和光流平滑度的 VBench，MEV-Eval 从执行、时序、对齐与过渡四大逻辑维度建立定量评测闭环，并被高一致性的人工校验所背书。

局限与展望¶

依赖人工复核导致扩展成本较高：当前最先进的 VLM 仍无法精准自动化判定三维运镜（83.2% 的机位标签需要人工纠偏）及毫秒级动作起止，大规模扩充数据量仍需可观的人力成本。
受限于单主体与长镜头场景偏置：为确保长镜头纯粹性，数据过滤排除了包含频繁切换景别、群体漫游及极端体育赛事的复杂素材，在超长多人物群戏生成上的泛化能力尚待验证。
评测仍需依赖闭源商业大模型：MEV-Eval 的全自动评测依赖 Gemini 2.5 Pro 作为裁判模型，未来需开发针对时序逻辑理解的轻量化开源评测模型以降低评估门槛。

评分¶

新颖性: ⭐⭐⭐⭐ [构建了以非重叠原子事件为中心的长镜头视频基准，提出全局-事件双层级标注与过程驱动离散化方案]
实验充分性: ⭐⭐⭐⭐⭐ [涵盖跨数据源双阶段提纯、多模型分割对比、检索增益、四维度 MEV-Eval 评测及 VBench 人工验证]
写作质量: ⭐⭐⭐⭐⭐ [概念阐释透彻，哲学与认知学动机充足，数据管线与实验设计逻辑极为严密]
实用价值: ⭐⭐⭐⭐⭐ [填补了多事件长镜头生成与评测数据集的学术空白，开源标注体系与微调方案对视频模型落地具有直接参考价值]