AVENUE: Audio-Video Editing, Understanding, and Evaluation¶
会议: NeurIPS 2026
arXiv: 2609.04253
OpenReview: https://openreview.net/forum?id=yhjWPeN5lp
代码: https://huggingface.co/datasets/AVENUE-dataset/AVENUE
领域: 视频生成
关键词: 音视频编辑、模态选择性控制、多模态基准、MLLM-as-a-Judge、跨模态干扰
一句话总结¶
针对现有音视频编辑基准类型受限且评测忽略“未目标模态保留”的问题，AVENUE 构建了涵盖 1,291 段视频与 7,957 条指令的大规模基准，并提出基于样本专属意图与保留约束的多模态评测体系，系统揭示了联合、串行与分离三种编辑范式在模态选择性控制上的本质缺陷。
研究背景与动机¶
随着多模态生成模型的快速演进，基于文本提示词的音视频联合编辑（AV Editing）正在从单一模态生成拓展至复杂的音画协同创作。然而，现实中的音视频编辑需求天然具备不对称的“模态选择性”（Modality-Selective Edit Scope）：给安静画面添加雷鸣声要求剧烈的声学变换而视觉画面必须丝毫不动；将写实视频转换为卡通风格需要彻底重绘画面而背景原声应当原样保留；唯有在降雪或换景等音画耦合场景下，视觉外观与环境声效才需要同步转变。模型必须仅凭目标提示词，自主推断哪些模态该改、哪些模态该留。
现有的音视频编辑研究在数据基准与评估体系两方面均存在显著盲区。在基准层面，以往工作（如 AvED、OAVE、VGG-Edit）规模狭小且仅支持音画强耦合的编辑类型（如发声物体替换），完全忽略了单向的纯音频或纯视频目标编辑，使得研究者无法衡量模型在单侧编辑时抑制跨模态干扰的能力。在评估层面，现有的自动化评测（基于固定 prompt 的 VLM/MLLM 评分或单模态嵌入对齐）呈现出“模态盲目（Modality-Blind）”与“样本泛化（Sample-Agnostic）”的双重缺陷：打分器仅考察生成内容是否宏观合理，既不核验非目标模态是否遭遇无端破坏，也缺乏细粒度的样本基准指示究竟哪些具体元素必须保持原样。
本文的核心切入点是打破“音视频编辑必须双流同变”的刻板设定，将编辑范围的选择性控制确立为音视频统一系统的核心度量。核心 idea：构建涵盖音频目标、视频目标和音画耦合三类范畴的多样化基准 AVENUE，并引入以“意图修改项（what_changed）”和“必须保留项（what_preserved）”双重标注锚定的样本级 MLLM 评测协议，对联合、串行与分离三类编辑范式展开系统诊断。
方法详解¶
整体框架¶
AVENUE 的整体框架分为两大部分：一是多阶段、类别感知的音视频编辑基准数据集构建管线；二是基于人类校验元数据指导、具备样本专属约束的多维度 MLLM 自动化评测框架。
在数据构建阶段，系统以 VGGSound 测试集为基础池，首先执行八大语义大类划分与严格的双阶段音画质检过滤（剔除静态画面、低相关性与密集遮挡）；接着利用多模态大模型结合类别约束模板合成细粒度编辑指令，并通过人类专家对修改与保留边界进行双重核验。在评测阶段，输入模型生成的编辑结果及原始素材，评测器根据预设的任务类型，结合对应样本的 what_changed 与 what_preserved 真实意图描述，从编辑准确度、模态选择性、感知质量与音画一致性四个正交维度计算得分。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["VGGSound 测试集视频"] --> B["类别感知指令生成与双阶段清洗<br/>语义/音画对齐初筛 + 人工复核"]
B --> C["AVENUE 基准数据集<br/>1291 视频 / 7957 指令 / 12 类编辑"]
C --> D["三种音视频编辑范式推理<br/>分离式 / 串行式 / 联合式"]
D --> E["样本特异性选择性评测<br/>what_changed 与 what_preserved 解耦打分"]
E --> F["四维诊断与范式对比报告<br/>编辑准确度 / 模态选择性 / 感知质量 / 音画一致性"]关键设计¶
1. 类别感知指令生成与双阶段清洗：建立高质量全谱系编辑基准
针对以往基准编辑类型单一的问题，AVENUE 制定了涵盖 3 种模态范围和 12 种细分操作的完备编辑分类体系：音频目标类（A1 非视觉声音添加、A2 声音移除、A3 声音替换、A4 强度/音高调整）；视频目标类（B1 属性/颜色变换、B2 风格迁移、B3 背景物体编辑）；音画耦合类（C1 场景/天气/时间改变、C2 动作改变、C3 发声物体替换、C4 情绪改变、C5 速率/速度改变）。为了防止生成违背现实逻辑的荒谬指令（例如要求自然风景做“动作改变”或乐器做“天气变换”），管线制定了 8 个语义类别的适用规则矩阵，利用多模态大模型依据当前音画内容定向产出具体指令。
数据清洗采用两阶段硬性指标过滤结合两道人工复核。第一阶段过滤音视频弱对应样本，要求 ImageBind 与 CLAP 相似度得分双双超过 0.3；第二阶段过滤编辑不兼容片段，包含 CLIP 帧间相似度 \(\ge 0.75\)（剔除多镜头拼接）、YOLOv8 限制画面密集人脸（5 帧以上检测到人数 \(\ge 3\) 则剔除）、主目标存在于至少 90% 帧（保证 ROI 连续），以及连续帧平均结构相似性 SSIM \(\le 0.85\)（剔除静止无动作死板视频）。通过清洗后由专家标注员人工复审画面与指令，并补充生成明确的 what_changed 与 what_preserved 文本对，标注者一致性达到 90.6% 原始同意率与 Gwet's AC1 = 0.865。
2. 样本特异性选择性评测：以 what_changed 与 what_preserved 解耦衡量控制边界
传统评测使用单一通用 prompt 询问模型“改得好不好”，无法区分“模型把该改的改好了，但把不该改的也破坏了”的失败情形。AVENUE 提出样本特异性（Sample-Specific）评测协议，将评估条件严格解耦为两个不相交的准则字段：代表意图修改的 what_changed 与代表刚性保留的 what_preserved，并驱动 Qwen3-Omni-30B 评测模型打分：
- 编辑准确度（Edit Accuracy, EA）：衡量目标模态内部是否精准达成了 what_changed 指定的编辑意图，打分区间为 1–5 分。
- 模态选择性（Modality Selectivity, MS）：专门衡量非目标模态是否忠实保持原始状态（例如在纯视频风格迁移时，原始音频背景与音调是否完全未受扰动）。该指标不采用模糊的主观打分，而是设计了 5 道通用保留二值检测问题（Yes/No）加 1 道基于 what_preserved 定制的情境二值问题，严格计算非目标模态的无损保留率。
- 感知质量（Perceptual Quality, PQ） 与 音画一致性（AV Consistency, AV-C）：前者仅向评测器输入编辑后的单一模态以防对比偏见，独立评测结果的自然度与画面/声音保真度（1–5 分）；后者联合输入双模态，度量视听觉在语义与时间节律上的跨模态对齐程度（1–5 分）。
3. 三大编辑范式建模与自提示保留基线测试
为了厘清不同架构设计对选择性控制的影响机理，论文形式化定义并测试了当前音视频编辑的三大范式。设源视频为 \(v\)、源音频为 \(a\)、文本编辑指令为 \(p\)，生成编辑结果记为 \(\hat{v}\) 和 \(\hat{a}\)： - 分离范式（Separate）：音视频模型完全解耦，独立单向编辑，满足 \(\hat{v} = f_V(v, p),\, \hat{a} = f_A(a, p)\)（代表模型：RAVE + ZETA 或 RAVE + SDEdit）。 - 串行范式（Sequential）：先完成视频生成，再以生成视频为条件引导音频合成，满足 \(\hat{v} = f_V(v, p),\, \hat{a} = f_A(a, \hat{v}, p)\)（代表模型：RAVE \(\rightarrow\) CAVE，以及纯 V2A 生成参考 RAVE \(\rightarrow\) MMAudio）。 - 联合范式（Joint）：双模态在共享或耦合潜空间中同步迭代更新，满足 \((\hat{v}, \hat{a}) = f_{AV}(v, a, p)\)（代表模型：AvED）。
为了确立模态选择性的“金标准零假设”，论文特意设立了“自提示保留（Self-Prompt Preservation / Null-Edit）”基线实验：输入与源视频内容完全一致的文本提示词（\(\mathrm{src} = \mathrm{trg}\)）。理论上理想模型输出应与原始音视频完全相同，任何偏离（无论是 V-CLIP / CLAP 还是 MS 掉点）都暴露了模型自发产生的跨模态扰动与内容破坏。
一个完整示例¶
以一段“小提琴演奏（Instruments 类）”片段为例，当评测系统施加不同类型指令时，各模块如何运转： 1. 输入指令：“把小提琴的声音音量调大，并加入微弱的琴弦泛音”（音频目标 A4）。此时数据集中 what_changed 为“小提琴音频响度增强并带有泛音效果”，what_preserved 明确约束“视频中演奏者的动作、背景、运弓姿态和画面色调必须完全不变”。 2. 模型生成：联合模型 AvED 倾向于过度保守，音频变化微弱（EA 偏低）；串行模型（RAVE \(\rightarrow\) CAVE）由于下游音频模型缺乏源音频锚定，甚至生成了不符合小提琴动作的杂音；分离模型（RAVE + ZETA）基于 DDPM 潜空间反转能够精准修改音轨。 3. 评测分流：Qwen3-Omni 接入原始与生成素材，针对视频侧调用 6 道模态选择性二值问询（如“画面背景是否有任何形变？”、“持琴姿势是否被修改？”），由于 RAVE 在无需改动视频时仍执行了扩散噪声迭代，导致视频被测出细微结构破坏，MS 录得扣分；同时音频侧对照 what_changed 打出 EA 分数，精准指出编辑泄漏。
实验关键数据¶
主实验¶
论文在 AVENUE 基准上对联合范式（AvED）、串行范式（RAVE \(\rightarrow\) CAVE、RAVE \(\rightarrow\) MMAudio）和分离范式（RAVE + ZETA、RAVE + SDEdit）进行了全面横向评测。所有分数均归一化至 100 分制。主实验首先考察单模态目标编辑下的编辑准确度、感知质量以及非目标模态的保留选择性（音频与视频侧分别检验）。
表 1（原论文 Table 3 & Table A6 综合）：单模态目标编辑性能评测（Cat. A 为音频目标，Cat. B 为视频目标）。在 Cat. A 中检验视频模态选择性（MS-Video，即不该变视频时视频保留程度）；在 Cat. B 中检验音频模态选择性（MS-Audio，即不该变音频时音频保留程度）。
| 编辑范式 | 评测模型组合 (Video + Audio) | 音频编辑准确度 EA (Cat. A) ↑ | 音频感知质量 PQ (Cat. A) ↑ | 音频保留选择性 MS-Audio (Cat. B) ↑ | 视频编辑准确度 EA (Cat. B) ↑ | 视频感知质量 PQ (Cat. B) ↑ | 视频保留选择性 MS-Video (Cat. A) ↑ |
|---|---|---|---|---|---|---|---|
| 分离范式 (Separate) | RAVE + ZETA | 79.7 | 88.2 | 93.0 | 79.1 | 69.5 | 86.2 |
| 分离范式 (Separate) | RAVE + SDEdit | 78.7 | 82.4 | 51.4 | 79.1 | 69.5 | 86.2 |
| 串行范式 (Sequential) | RAVE \(\rightarrow\) CAVE | 79.6 | 89.3 | 58.0 | 79.1 | 69.5 | 86.2 |
| 串行范式 (Sequential) | RAVE \(\rightarrow\) MMAudio | 75.8 | 89.5 | 39.7 | 79.1 | 69.5 | 86.2 |
| 串行范式 (Sequential) | ZETA \(\rightarrow\) AVIEdit | – | – | – | 65.0 | 73.9 | 84.6 |
| 联合范式 (Joint) | AvED | 64.1 | 87.7 | 97.5 | 77.3 | 53.2 | 87.5 |
表 2（原论文 Table 2）：自提示保留基准测试（Null-Edit 条件，目标提示词等于源提示词，要求原始音视频零改动无损输出）。
| 编辑范式 | 模型组合 (Video + Audio) | 视频选择性保留 MS-Video ↑ | 视频嵌入对齐 V-CLIP ↑ | 音频选择性保留 MS-Audio ↑ | 音频嵌入对齐 CLAP ↑ |
|---|---|---|---|---|---|
| 分离范式 | RAVE + SDEdit | 70.7 | 0.956 | 48.3 | 0.721 |
| 分离范式 | RAVE + ZETA | 70.7 | 0.956 | 76.3 | 0.859 |
| 串行范式 | RAVE \(\rightarrow\) CAVE | 70.7 | 0.956 | 58.7 | 0.736 |
| 串行范式 | Source \(v\) \(\rightarrow\) CAVE | – | – | 56.3 | 0.731 |
| 联合范式 | AvED | 76.3 | 0.995 | 85.0 | 0.886 |
表 3（原论文 Table 4）：MLLM 自动评测法官与人类评价的一致性检验（60 个编辑实例，260 对系统配对打分，13 名人类评估专家）。
| 评测法官模型 (MLLM-Judge) | 成对偏好一致率 (Pairwise Agreement) ↑ | 留一交叉一致率 (Leave-One-Out) ↑ | 肯德尔等级相关系数 Kendall \(\tau_b\) ↑ |
|---|---|---|---|
| 人类专家基准 (Human Reference) | 71.1% | 79.2% | 0.546 |
| Qwen3-Omni (本文主要采用) | 67.0% | 72.5% | 0.353 |
| Gemini-3.1-Pro | 66.2% | 73.6% | 0.440 |
| Gemini-3.6-Flash | 64.0% | 67.7% | 0.359 |
| Qwen2.5-Omni | 60.4% | 64.8% | 0.092 |
| Audio-Visual-Flamingo | 56.8% | 58.7% | 0.117 |
消融与深入分析¶
表 4（原论文 Table A5 & Figure 3 数据整合）：音画强耦合任务（Cat. C）细分类型编辑准确度（EA）及综合指标对比。
| 模型 | 场景改变 (C1) EA | 动作改变 (C2) EA | 发声物体替换 (C3) EA | 情绪改变 (C4) EA | 速度改变 (C5) EA | 全类别平均 AV-C | 全类别平均 PQ |
|---|---|---|---|---|---|---|---|
| RAVE + ZETA | 64.6 | 59.7 | 51.5 | 70.2 | 77.9 | 78.4 | 68.2 |
| RAVE + SDEdit | 63.4 | 62.1 | 54.1 | 73.9 | 82.9 | 78.6 | 66.5 |
| CAVE | 64.4 | 61.4 | 48.3 | 71.4 | 80.8 | 78.9 | 71.8 |
| AVIEdit | 39.2 | 60.4 | 50.5 | 39.2 | 77.0 | – | – |
| AvED (Joint) | 48.9 | 59.4 | 53.5 | 56.5 | 70.8 | 78.5 | 55.7 |
关键发现¶
- 联合范式的高保留率本质是“欠编辑”的假象：AvED 在自提示测试（Table 2）中获得了最高的保留率（MS-Audio 85.0、CLAP 0.886），在 Cat. B 中对音频的选择性保留也达到惊人的 97.5（Table 1）。然而，深入分析其 Cat. A 的实际编辑准确度发现，其 EA 仅为 64.1，远落后于分离范式（79.7）与串行范式（79.6）。这证明联合模型的高一致性和高保留度并非源于优秀的控制力，而是模型偏向于不对源信号进行实质性修改（Under-editing）。
- 音频模型底层机制是模态选择性的决定性瓶颈：在相同的 RAVE 视频前端下，音频侧采用基于潜空间反转（Inversion-based）的 ZETA 时，音频模态选择性高达 93.0；而采用高斯加噪去噪（Noise-based）的 SDEdit 暴跌至 51.4；采用纯端到端生成（Generative）的 MMAudio 则彻底崩塌至 39.7。更重要的是，在串行流水线中直接使用真实源视频（Source \(v \rightarrow\) CAVE）相比经 RAVE 篡改的视频（RAVE \(\rightarrow\) CAVE），音频指标几乎没有差别（EA 79.8 vs 79.6，MS 56.3 vs 58.0），证明上游视觉误差对音频保留的影响微乎其微，音频模型自身是否具备潜空间结构锚定才是关键。
- 不同范式在细分任务上呈现明显互补性：在需要精细局部控制的场景变化（C1）和情绪变化（C4）中，分离与串行方法由于各模态有独立专精模块而显著超越联合模型（C1 上领先 15 分以上）；然而在最为艰难、要求视听觉强同步更替的发声物体替换（C3）中，联合模型反转劣势取得最高的 EA（53.5）和 AV-C（70.5），体现了跨模态协同理解在复杂物理实体替换中的必要性。
- 跨模态时序定位（CMTG）是当前所有模型的共同死穴：在探索性的跨模态条件触发实验中（如“当猫打哈欠时加上汽车鸣笛”），所有模型的编辑准确度基本正常（70.0–87.0），但跨模态时序对齐得分全线崩溃至 20.0–28.6，证明当前音视频生成架构完全欠缺在毫秒级时序上响应跨模态因果事件的能力。
亮点与洞察¶
- 评测维度的“解耦认知”：论文首次将“该改的改得好（Edit Accuracy）”与“不该改的原样保留（Modality Selectivity）”在样本级实现严格解耦。这一视角打破了以往盲目依赖整体相似度或美学评分的局限，直击统一多模态编辑的核心痛点。
- 范式诊断的“去迷信化”：长期以来学术界普遍假设端到端联合训练（Joint paradigm）必然优于管道级串行或分离范式。本文通过扎实的数据证明，现存联合模型在绝大部分任务上均因欠编辑陷入局部最优，其在生成质量与细粒度属性修改上甚至显著落后于精心设计的级联反转流水线。
- 可复用的评测协议资产：引入 what_changed 与 what_preserved 作为 MLLM 的外部指导上下文（Context-Grounded Rubric），巧妙解决了大语言模型做打分法官时无法感知细微漏改、误改的幻觉问题，该设计对未来复杂多模态指令编辑评测具有普适启发。
局限与展望¶
- 指令生成的潜在模型偏见：基准的所有初始指令由单一模型 Gemini-3-Flash 结合模板合成，可能隐含其特定的语法习惯和逻辑偏好。尽管经过了严格的人工复核，但自动化流程中缺乏多样化的人类真实指令风格（例如祈使句或不完整口语 prompt）。
- 短视频范围限制：受限于底层 VGGSound 的片段时长，所有样本均在 10 秒左右。该基准无法检验多镜头切换、长程叙事流变和长时间跨度下的视听时序一致性。
- 跨模态因果与动作编辑欠缺：当前受测模型在 Action Change（C2）和发声物体替换（C3）上的绝对得分均低于 60 分，而在跨模态时序对齐（CMTG）上更是全军覆没。设计内生支持双向时间注意力与精细潜空间掩码交互的音视频统一编辑器是未来亟待突破的方向。
相关工作与启发¶
- vs AvED & OAVE: 早期音视频编辑基准（如 AvED、OAVE、VGG-Edit）样本量仅有数十到数百条，且仅关注发声物体替换等强耦合任务。AVENUE 扩展至 7,957 条指令、12 类操作，并首次将单向目标编辑纳入核心测试流。
- vs FiVE & IVE-Bench: 视频编辑基准如 FiVE、IVE-Bench 引入了 VLM-as-a-Judge，但完全处于无声的视觉纯态环境。AVENUE 将 MLLM-as-a-Judge 扩展至全模态（Omnimodal），利用 Qwen3-Omni 实现了听觉与视觉跨流联合裁决。
- vs RAVE & ZETA 等独立单模态编辑工具: 单模态工具虽然在自身领域具备强大的反转与保真度，但在音视频交互任务中由于互无通信，无法处理跨模态事件绑定。AVENUE 明确了单模态工具与联合模型的各自优劣边界，为混合架构设计提供了依据。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出音视频编辑中的“模态选择性控制”问题，并建立了完备的解耦评测协议与大分类基准。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 种范式、5 种主流系统以及 5 种 MLLM 评测法官的横向比对，包含 Null-edit、消融和跨模态时序探索，数据极为扎实。
- 写作质量: ⭐⭐⭐⭐⭐ 概念清晰，形式化定义精炼严密，动机与实验层层递进，批判性地指出了联合模型的欠编辑本质。
- 价值: ⭐⭐⭐⭐⭐ 填补了多模态音视频生成领域缺乏统一、公正、细粒度评估标准的空白，对推动实用可控的视听生成系统研发具有标杆意义。