JoVA: Unified Multimodal Learning for Joint Video-Audio Generation and Editing¶

会议: ECCV 2026
论文: ECCV 原文
项目主页: https://visual-ai.github.io/jova
领域: 音频/语音
关键词: 音视频联合生成, 音视频编辑, 原生联合自注意力, 唇形同步, 统一多模态学习

一句话总结¶

JoVA 提出了一个流线型的音视频联合生成与编辑统一框架，摒弃割裂的跨模态交叉注意力模块，改用原生联合自注意力与通道级条件注入，配合自适应局部嘴部流匹配损失，在单一模型中实现了高质量音视频生成、参考图引导合成以及指令驱动的音视频协同编辑。

研究背景与动机¶

近年来，AI 驱动的内容生成技术经历了从图像合成向高保真视频生成的跨越式演进，并迅速衍生出视频生成、音视频联合生成、指令驱动视频编辑以及特定唇形同步（talking heads）等多个前沿研究方向。然而，在现有研究格局中，这些任务大多处于严重割裂的状态。针对不同子任务，研究者通常需要专门设计异构的模型架构，或者在预训练骨干网络中插入复杂的外部多模态融合模块（例如额外的 cross-attention 层）以实现音画对齐。这种设计范式不仅大幅推高了系统复杂度与工程维护成本，而且由于新增对齐模块通常只能在规模相对有限的多模态数据上训练，极易破坏数十亿参数视觉骨干模型中固有的先验分布。

这种割裂局面的核心矛盾在于：真正的沉浸式多模态创作天然要求视觉与声音在生成和编辑时保持严格的时空协同，但现有统一多模态模型往往缺乏音频输出能力，而现存的音视频生成方法又大多依赖双分支加离散对齐层，且无法无缝迁移到复杂的图文音协同编辑任务中。此外，指令驱动的视频编辑如果简单采用 token 序列拼接来引入参考帧，会导致计算复杂度随视频长度急剧爆炸；同时，人体面部嘴部区域在全画幅中仅占据约 2.3% 的极小面积，常规全局扩散目标很难对微弱的唇形时序变化提供足够强的监督，使得音画脱节、唇形不同步成为多模态统一模型的顽疾。

本文的切入角度是：与其堆叠复杂的外部对齐与适配网络，不如将视频、音频与文本表征直接投影至统一的潜空间中，通过共享的 Transformer 联合自注意力机制实现无冗余的双向信息交互。核心 idea：通过原生联合自注意力（Joint Self-Attention）消除独立跨模态对齐层，对视觉参考采用通道级（Channel-Wise）条件拼接避免序列爆炸，并引入基于人脸关键点检测的自适应局部嘴部流匹配损失（Mouth-Area Loss），构建单架构下兼顾音视频高保真生成与精细化协同编辑的统一多模态扩散框架。

方法详解¶

整体框架¶

JoVA 构建在基于 Transformer 的扩散架构（以 12B 的 Waver 为基础）之上，通过流匹配（Flow Matching）目标进行端到端优化。输入端包含由 Wan2.1 VAE 提取的视频潜变量、由 MMAudio VAE 压缩的音频语谱图潜变量，以及由 T5-XXL 和 Qwen2.5-32B 联合编码的复杂指令与文本 Prompt。整个框架由视觉分支、音频分支与指令编码层协同构成，在 Transformer 骨干网络中直接拼接各模态 token 执行联合自注意力运算。

在时序对齐机制上，JoVA 引入 MMAudio 的时序对齐 RoPE（Rotary Position Embedding），在时序维度将音频和视频的旋转位置编码对齐锁定；对于编辑任务中的视觉参考条件，JoVA 采用通道级拼接加二值 Mask 投影方案，兼顾参考图与参考视频输入而不增加序列长度；而在监督层面，模型通过人脸关键点提取嘴部滑动窗口局部掩码，在语音生成样本上施加高权重嘴部流匹配损失以强化唇形同步。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态输入<br/>视频/图像参考 + 文本指令 + 目标噪声"] --> B["模态专用编码与通道注入<br/>Video VAE通道拼接 / MMAudio VAE"]
    B --> C["原生联合自注意力交互<br/>拼接音视频文本Token共享Transformer"]
    C --> D["时序对齐与多任务条件流匹配<br/>时序RoPE同步 + 统一Flow Matching"]
    D --> E["局部嘴部区域损失监督<br/>人脸关键点定位 + 嘴部掩码损失加权"]
    E --> F["联合音视频输出<br/>高保真同步视频帧与清晰语音/环境音"]

关键设计¶

1. 原生联合自注意力交互：彻底消除外部融合层与先验漂移

针对现有音视频模型依赖额外 cross-attention 层导致参数冗余、且容易破坏预训练视觉先验的问题，JoVA 采取参数复用与全模态原生共享计算的机制。在模型初始化时，音频分支直接复制预训练视频骨干网络的参数权重，从而承继强大的表征建模能力。在每一个 Transformer block 内，视频 token $\mathbf{h}_v$、音频 token $\mathbf{h}_a$ 与文本指令 token $\mathbf{h}_t$ 被直接沿序列维度拼接为一个统一的长序列，送入共享的自注意力层进行完全对称的双向交互： $$[\mathbf{h}'_v; \mathbf{h}'_a; \mathbf{h}'_t] = \text{JointAttn}([\mathbf{h}_v; \mathbf{h}_a; \mathbf{h}_t])$$ 这种设计不仅消除了新初始化跨模态对齐层的训练脆弱性，而且允许视频和音频在每一层都依据文本语义与对方的上下文实时调整去噪轨迹。配合时序对齐 RoPE，音频与视频 token 在时序演进上保持相同的坐标基准，从根本上保证了多模态语义交互的自然性。

2. 通道维条件注入与统一编辑机制：规避计算爆炸并统一生成与编辑

针对视频编辑中长序列视觉条件导致自注意力计算量二次方爆炸的痛点，JoVA 提出了模态差异化的条件整合策略。对于音频模态，由于音频潜变量序列长度极其紧凑（通常不到视频 token 长度的 1%），模型直接将参考音频 token 沿序列维度与目标噪声拼接，在几乎不引入计算开销的情况下提供丰富声学上下文。对于视觉模态，模型拒绝使用序列追加方式，而是将 Video VAE 编码后的视觉参考潜变量、去噪目标潜变量以及指示参考帧存在的二值 Mask（Mask 为 1 表示对应帧提供视觉参考，0 则以默认 padding 填充）在通道维度（Channel-wise）进行拼接，再经过一个轻量级 Projector 映射回模型隐藏层维度。这种设计使得单一模型能够无缝兼容文生音视频、参考图引导生成（I2V）以及音视频指令编辑（V2V+A2A），无需变更骨干架构即可精准保持未编辑区域的主体与背景一致性。

3. 局部嘴部区域流匹配损失：攻克微小区域唇形同步瓶颈

针对人体面部嘴部区域在全画幅中面积占比过小（仅约 2.3%）导致全局流匹配损失被全局背景主导、唇语容易失真的难题，JoVA 设计了一种兼顾普适场景与特定说话人同步的自适应损失加权机制。系统首先在原始视频帧上执行高精度的 2D 面部关键点检测定位嘴部区域边界框，随后通过比例空间缩放和滑动窗口时序下采样映射至 VAE 潜变量分辨率，生成精准的嘴部二值掩码 $\mathcal{M}$。最终训练目标为： $$\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{video}} + \mathcal{L}_{\text{audio}} + \lambda \mathcal{L}_{\text{mouth}}$$ 其中 $\mathcal{L}_{\text{mouth}}$ 仅在嘴部掩码区域计算速度场与真实速度的均方误差。更巧妙的是，权重 $\lambda$ 采取自适应开关策略：当训练样本属于人类语音对话场景时，启用 $\lambda = 5.0$ 强力拉紧唇音对齐；而当样本属于自然风光、环境音效等无语音场景时，自动置 $\lambda = 0$。这确保了在不损害自然环境音视频合成质量的前提下，实现极高精度的唇形同步。

4. 多领域 3M 数据集构建与自动化音视频编辑合成飞轮

针对多模态联合生成与编辑领域高质量配对数据匮乏的问题，JoVA 构建了包含约 300 万高质量样本的多领域训练语料库，涵盖自然环境音画（约 65 万条，占比 21.6%）、人类语音对话场景（约 100 万条，占比 33.2%）以及音视频协同编辑数据（约 136 万条，占比 45.2%）。对于编辑子集，作者构建了全自动数据飞轮：提取源视频首帧由 GPT-4o 生成图像编辑 Prompt，由 FLUX.1-Kontext-dev 生成编辑后的首帧；同时抽取原视频 Canny 边缘图保持运动结构，结合 GPT-4o 生成的视频编辑指令送入 Wan2.2-Fun-A14B-Control 生成编辑后的视觉流；音频流侧则通过 Qwen3 生成台词文本、Higgs-Audio 合成高表现力语音，并经唇形模块对齐后组合为高质量配对源-目标编辑样本，为模型赋予了强大的指令编辑遵循能力。

损失函数 / 训练策略¶

模型采用基于条件流匹配（Conditional Flow Matching）的训练范式。总目标函数包括全局视频流匹配损失 $\mathcal{L}_{\text{video}}$、音频流匹配损失 $\mathcal{L}_{\text{audio}}$ 以及针对语音样本的局部嘴部流匹配损失 $\lambda \mathcal{L}_{\text{mouth}}$： $$\mathcal{L}_{\text{video}} = \mathbb{E}_{t, \mathbf{v}_0, \mathbf{v}_1, \mathbf{C}} \left\| v_\theta(t, \mathbf{v}_t, \mathbf{C}) - u(\mathbf{v}_t | \mathbf{v}_0, \mathbf{v}_1) \right\|^2$$ $$\mathcal{L}_{\text{audio}} = \mathbb{E}_{t, \mathbf{a}_0, \mathbf{a}_1, \mathbf{C}} \left\| v_\theta(t, \mathbf{a}_t, \mathbf{C}) - u(\mathbf{a}_t | \mathbf{a}_0, \mathbf{a}_1) \right\|^2$$ $$\mathcal{L}_{\text{mouth}} = \mathbb{E}_{t, \mathbf{v}_0, \mathbf{v}_1, \mathbf{C}} \left\| \left( v_\theta(t, \mathbf{v}_t, \mathbf{C}) - u(\mathbf{v}_t | \mathbf{v}_0, \mathbf{v}_1) \right) \odot \mathcal{M} \right\|^2$$ 其中 $\mathbf{v}_t = t \mathbf{v}_1 + (1-t) \mathbf{v}_0$，流速度向量 $u(\mathbf{v}_t | \mathbf{v}_0, \mathbf{v}_1) = \mathbf{v}_1 - \mathbf{v}_0$。训练采用两阶段递进策略：第一阶段单模态预热音频分支，在文本到音频/语音数据上以 batch size 256、学习率 $1 \times 10^{-4}$ 训练 80K 步；第二阶段联合训练视频与音频分支，引入 3M 混合生成与编辑语料，以 batch size 32、学习率 $3 \times 10^{-5}$ 联合微调 100K 步。推理时使用权重为 10.0 的 Classifier-Free Guidance（CFG）。

实验关键数据¶

主实验¶

评估在作者自建的 JoVABench-Gen、JoVABench-Edit 以及权威公开评测集 Verse-Bench 上展开。主实验不仅对比了主流联合音视频生成模型（UniVerse-1、JavisDiT、Ovi、LTX-2、UniAVGen），还与以真实 Ground-Truth 音频为驱动条件的专门模型（Wan-S2V、Fantasy-Talking）进行了对齐测试。

下表展示了 JoVABench-Gen 上的综合对比数据：

模型类别	方法	唇形同步 LSE-C↑	语音识别 WER↓	音频质量 FD↓	音频KL散度 KL↓	声音好感度 CE↑	制作质量 PQ↑	动作强度 MS↑	美学评分 AS↑	身份一致性 ID↑
真实音频驱动	Wan-S2V	6.43	-	-	-	-	-	0.82	0.44	0.72
联合生成基准	UniVerse-1	1.62	0.37	1.04	0.83	3.68	4.39	0.43	0.42	0.82
联合生成基准	JavisDiT	1.04	1.08	1.15	0.64	3.36	4.76	0.20	0.44	0.30
联合生成基准	Ovi	6.41	0.23	0.75	0.66	5.00	5.77	0.94	0.41	0.75
联合生成基准	LTX-2	6.21	0.15	0.80	0.64	5.06	5.64	0.92	0.44	0.74
联合生成基准	UniAVGen	5.87	0.17	0.70	0.62	5.32	6.30	0.90	0.44	0.75
本文方法	JoVA (Ours)	6.70	0.19	0.67	0.64	5.40	6.49	0.97	0.48	0.78

在 JoVABench-Edit 编辑基准上，由于业界尚无同类联合音视频编辑模型，作者将顶尖视频编辑模型（Ditto、OmniVideo 等）与专业唇形编辑模型（Diff2Lip、Wav2Lip，且给基线直接输入真实 GT 音频）串联作为强基准对比：

级联基线系统	唇形置信度 LSE-C↑	唇形距离 LSE-D↓	帧间一致性 FC↑	语义一致性 IB-TV↑	图像多样性 IS↑	美学评分 AS↑	运动幅度 MS↑
Ditto + Diff2Lip	2.44	5.30	0.98	0.23	2.13	0.34	0.35
OmniVideo + Diff2Lip	4.07	5.50	0.98	0.19	3.03	0.35	0.71
Ditto + Wav2Lip	5.85	2.83	0.98	0.23	2.33	0.42	0.46
OmniVideo + Wav2Lip	4.86	1.75	0.97	0.18	2.27	0.37	0.63
JoVA (Ours)	5.88	1.66	0.98	0.21	3.21	0.47	0.66

消融实验¶

针对局部嘴部损失权重 $\lambda$ 的敏感性分析（在 JoVABench-Gen 上）：

嘴部损失权重 $\lambda$	唇形置信度 LSE-C↑	语音词错误率 WER↓	频域感知距离 FD↓	分布散度 KL↓	制作质量 PQ↑	美学评分 AS↑
$\lambda = 0.0$	1.39	0.17	0.67	0.63	6.44	0.48
$\lambda = 2.0$	6.53	0.18	0.67	0.62	6.47	0.46
$\lambda = 5.0$ (默认配置)	6.70	0.19	0.67	0.64	6.49	0.48
$\lambda = 8.0$	6.65	0.18	0.68	0.63	6.40	0.47

针对跨模态注意力融合架构的消融分析（相同容量、训练数据与迭代步数）：

多模态交互架构方案	唇形置信度 LSE-C↑	语音识别 WER↓	制作质量 PQ↑	美学评分 AS↑	身份保持 ID↑
串联 Cross-Attention (Ovi 风格)	6.51	0.24	6.25	0.48	0.75
并行 Cross-Attention (带线性适配层)	1.59	0.29	6.31	0.46	0.74
并行 Cross-Attention (不带线性层)	6.57	0.28	6.14	0.47	0.76
原生联合自注意力 Joint Self-Attn (本文)	6.70	0.19	6.49	0.48	0.78

关键发现¶

嘴部损失是唇形对齐的决定性因素：当 $\lambda=0.0$ 时，模型仅靠联合自注意力只能获得 1.39 的 LSE-C，处于完全不同步状态；引入嘴部损失（$\lambda=2.0$）后 LSE-C 暴增至 6.53，在 $\lambda=5.0$ 达到最优的 6.70。这证明对于画幅占比仅 2.3% 的微小区域，全局扩散损失存在严重的监督稀释现象。
原生联合自注意力全面超越显式交叉注意力：与新增交叉注意力层相比，共享参数的原生 Joint Self-Attention 不仅参数更少、无破坏预训练视觉先验之忧，而且在 LSE-C（6.70 vs 6.51）、WER（0.19 vs 0.24）以及生成质量 PQ（6.49 vs 6.25）上全线占优；带有额外线性投影层的并行交叉注意力反而将 LSE-C 骤降至 1.59，说明硬编码的投射矩阵破坏了跨模态对齐的连续性。
端到端联合编辑显著减少误差累积：在编辑任务中，JoVA 即使不依赖真实音频驱动，也击败了由多个先进模型串联构成的级联基线，实现了更优的 LSE-C（5.88）和最低的 LSE-D（1.66），并有效避免了级联流水线中身份漂移与画面突变问题。

亮点与洞察¶

大道至简的架构设计：证明了在扩散大模型时代，处理音视频多模态无需复杂的跨模态交互桥接网络，通过复制视频权重并直接使用原生 Joint Self-Attention 即可达成高水平的跨模态时空协同。
通道拼接巧妙消解序列爆炸：对于计算代价敏感的视频条件输入，采用通道维拼接配合二值掩码，将生成与编辑统一在同一维度空间内，优雅地平衡了条件信息承载力与注意力计算代价。
动态目标适配策略：嘴部流匹配损失在语音数据中开启、在自然环境音中置零的设计，成功兼顾了人物唇语的高度精确与自然音画的丰富多样性，展现了精细的多任务训练掌控力。

局限与展望¶

快速肢体运动与手部伪影：作者指出，当视频中出现极高速度的手部复杂运动时，生成的画面仍偶尔会出现手指变形与局部闪烁现象。
密集文字背景保持不佳：在包含丰富文字信息的复杂背景下执行指令编辑时，模型偶尔无法完全保全背景文字的拼写正确性。
自然场景音画编辑数据受限：目前联合编辑主要聚焦在人像与语音场景，主要原因是通用自然场景的成对音视频编辑数据难以规模化采集，未来有赖于更高阶的环境声视频合成管线扩展这一能力。

评分¶

新颖性: ⭐⭐⭐⭐☆ 优雅统一了音视频生成与编辑，原生联合自注意力与通道级 Mask 注入设计精巧。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3M 训练语料构建、自建双基准测试与公共集评测，消融实验直击架构核心。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰紧凑，图表详实，问题驱动与设计方案论证逻辑严密。
价值: ⭐⭐⭐⭐⭐ 为未来全模态（视觉-声音-指令）统一生成大模型提供了重要的架构与训练范式参考。

嘴部损失权重 \(\lambda\)	唇形置信度 LSE-C↑	语音词错误率 WER↓	频域感知距离 FD↓	分布散度 KL↓	制作质量 PQ↑	美学评分 AS↑
\(\lambda = 0.0\)	1.39	0.17	0.67	0.63	6.44	0.48
\(\lambda = 2.0\)	6.53	0.18	0.67	0.62	6.47	0.46
\(\lambda = 5.0\) (默认配置)	6.70	0.19	0.67	0.64	6.49	0.48
\(\lambda = 8.0\)	6.65	0.18	0.68	0.63	6.40	0.47