Native Audio-Visual Alignment for Generation¶

会议: NeurIPS 2026
arXiv: 2605.30073
OpenReview: https://openreview.net/forum?id=teLwLWInBc
代码: https://ernie-research.github.io/NAVA
领域: 音频/语音
关键词: 联合音视频生成, 原生音视频对齐, MMDiT, 上下文音色条件化, 分类器无关引导

一句话总结¶

针对联合音视频生成中双塔后验对齐割裂跨模态演化与完全统一三模态空间缠绕语义控制的痛点，NAVA提出以解耦外部上下文的原生音视频对齐架构，结合分层对齐后统一融合的MMDiT与语境音色条件化，以仅6.3B参数实现精准时序音画同步、高质视频生成与可控音色绑定。

研究背景与动机¶

音视频联合生成的目标是合成在时间上严格同步、在语义上高度协调的视觉画面与声学内容。与先生成视频后补配音或先生成音频后驱动画面的串行级联方案相比，联合生成能够在统一的去噪演化轨迹中联合建模视听相关性，有效降低模态间误差单向累积的风险。然而，现有开源体系架构主要局限于两种极端范式：一种是以 Ovi、LTX 和 MoVA 为代表的双塔架构，视频与音频分别在各自表征流中去噪，仅在网络后段或交错层中插入跨模态注意力进行后验对齐；另一种是以 daVinci-MagiHuman 为代表的完全统一三模态架构，将文本上下文、视频潜在 token 和音频 token 直接压入同一自注意力空间中联合建模。

双塔架构的后验对齐使得音频与视频潜变量在生成早期相互割裂，细粒度的音画动态协作和严苛的口型/瞬态冲击声同步严重依赖外置交互模块，难以从底层学习到内生的物理与时序一致性；而完全统一的三模态注意力机制虽然打通了全模态交互，却致命地将高层抽象文本语义条件与底层微观音画物理同步耦合在同一表征空间中，高维语义引导与像素/声学级别的时序匹配相互干扰，阻碍了专属视听同步表征结构的形成。此外，现有可控生成方案多将说话人音色作为全局偏置或外挂控制分支注入，难以在长序列或多说话人轮替场景中按片段精准指派音色。

面对上述两难困境，本文选择将视听联合生成的内部对齐与外部上下文语义引导显式解耦：在专属交互空间中优先确立音视频本生对齐，再将文本与参考音色作为外部上下文进行条件化交叉引导。核心 idea：采用“先对齐后融合（Align-then-Fuse）”的 MMDiT 架构解耦音视频内生对齐与外部上下文调制，并在提示词序列内引入语境音色条件化（Timbre-in-Context Conditioning）实现片段级说话人音色精准解耦绑定。

方法详解¶

整体框架¶

NAVA 的核心计算流程建立在上下文条件化的原生音视频对齐表征之上。输入视频与音频分别通过预训练的 Wan2.2-VAE 与 LTX2.3-VAE 编码为视觉潜变量与声学频谱潜变量，随后在去噪扩散主干中协同演化。主干网络整体包含 30 个 MMDiT 模块，结构由浅入深划分为前 10 层的分层对齐层（Hierarchical Alignment Layers, HAL）与后 20 层的统一融合层（Unified Fusion Layers, UFL）。在进入对齐空间时，由于视频潜变量与音频潜变量在时空分辨率及 token 生成率上存在物理差异，模型通过率感知旋转位置编码（RoPE）重缩放对齐时间轴。文本提示词与可选的参考说话人音色特征则通过语境音色条件化拼接入统一上下文序列中，作为外源条件通过交叉注意力注入去噪过程。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["输入：多模态潜变量<br/>(视频 VAE + 音频 VAE)"] --> B["率感知时间缩放<br/>RoPE 频率自适应对齐"]
    B --> C["分层对齐层 (HAL, 1-10层)<br/>模态解耦投影 + 视听联合自注意力"]
    D["上下文构建：文本提示<br/>+ 语境音色条件化 (TICC)"] -->|外部交叉注意力注入| C
    C --> E["统一融合层 (UFL, 11-30层)<br/>参数共享投影 + 紧凑联合协同去噪"]
    D -->|外部交叉注意力调制| E
    E --> F["条件因子化 CFG 引导<br/>(Δtext, Δalign, Δtimbre)"]
    F --> G["输出：同步视听内容<br/>(高保真音画与指定音色)"]

关键设计¶

1. 上下文解耦的原生音视频对齐机制：剥离语义混淆，构建内生对齐交互空间

针对双塔后验对齐协作不足与全三模态自注意力语义/时序纠缠的痛点，该设计在数学表征层面上重塑了联合生成的交互路径。传统全统一样式将音频 token $h_a$、视频 token $h_v$ 与上下文 token $c$ 并入单层自注意力 $[\tilde{h}_a, \tilde{h}_v, \tilde{c}] = \mathrm{SelfAttn}([h_a, h_v, c])$，使得宏观描述与毫秒级声学波形争抢注意力带宽。本文将其严格分解为两步：首先令音频与视频 token 在专属的无上下文空间中直接执行拼接自注意力： $$[h'_a, h'_v] = \mathrm{SelfAttn}([h_a, h_v])$$ 在此步骤中，注意力机制专注于捕获唇形运动与语音能量、打击瞬态与物体碰撞等底层事件的强共现关系。随后，外部上下文向量 $c$ 仅作为条件通过交叉注意力调制联合表征 $[\tilde{h}_a, \tilde{h}_v] = \mathrm{CrossAttn}([h'_a, h'_v], c)$。为了消解音频谱图与视频帧之间 token 采样率的不匹配，模型对音频 token 的 RoPE 基础角频率按视频-音频率比值进行标定缩放 $\theta_{\mathrm{rope}} = TR_v / TR_a$，使得两种模态在同一连续物理时钟下建立紧密的时间对应。

2. 先对齐后融合的 MMDiT 架构：由分流适配向紧凑共享平滑跃迁

针对音频频谱潜在特征与三维视频潜变量在特征分布与统计结构上的异质性难题，如果从网络第 1 层就直接强制共享全部投影权重，过早的参数同化会压制单模态表征能力，导致跨模态交互剧烈振荡甚至发散。NAVA 提出了 Align-then-Fuse 的递进架构：在前 10 层的分层对齐层（HAL）中，设置模态专属的线性投影层分别映射 $h_a$ 与 $h_v$，并在各自适配后再输入联合自注意力块中进行早期对应关系的平滑学习与表征拉近；当网络进入后 20 层的统一融合层（UFL）时，由于潜变量表征分布已被前序模块充分对齐，网络转换为模态共享的统一线性投影与 Transformer 块参数，驱使音视频潜变量在共享高维流形上进行紧凑的高效协同去噪。此举既避免了双塔流贯穿始终的参数冗余与后期割裂，又克服了过早强行共享引发的训练不稳定性。

3. 语境音色条件化（TICC）：利用提示词结构内嵌实现片段级多说话人解耦控制

传统语音或可控音画生成若引入说话人音色，通常依赖外挂的说话人编码器或独立网络分支注入全局 embedding，这使得在多角色对话或镜头频繁切换时无法向不同时间跨度的语音指定不同音色。NAVA 提出语境音色条件化（Timbre-in-Context Conditioning, TICC）。给定包含 $N$ 个语音片段 $\{\mathcal{S}_i\}_{i=1}^N$ 的文本提示词 $\mathcal{P}$，以及各片段对应的参考音频 $\mathcal{R}_i$，系统通过音色编码器抽取音色 token $\mathbf{s}_i = E_{\mathrm{tim}}(\mathcal{R}_i)$，随后用特殊定界符将文本语音跨度原位替换为复合语境结构： $$\mathcal{S}_i \rightarrow [\langle\mathrm{S}\rangle,\, \mathbf{s}_i,\, \mathrm{Text}(\mathcal{S}_i),\, \langle\mathrm{E}\rangle]$$ 替换后的扩充上下文序列 $\mathbf{c} = \mathrm{Augment}(\mathcal{P}; \{(\mathcal{S}_i, \mathbf{s}_i)\}_{i=1}^N)$ 直接送入主干的交叉注意力模块。网络在交叉注意力机制的驱动下，能够依据自然语言序列的相对位置将音色表征精准绑定到对应的发音片段上，无需修改主干网络或附加复杂的说话人分支，即可自然支持任意多说话人轮替与镜头间的组合式音色生成。

4. 结构化 Dropout 与条件因子化分类器无关引导（CFG）：细粒度调控生成属性

为了在推理阶段能够独立调节“提示词贴合度”、“音画同步严苛度”与“参考音色保真度”而无需重新训练，训练阶段在多任务混合训练中引入了两类结构化 Dropout：随机跨模态注意力掩码（以 20% 概率阻断视听交叉注意力，仅保留模态内自注意力）与随机音色上下文丢弃（以 20% 概率将音色 token 替换为空）。由此在模型内部构建了无条件、无视听对齐与无音色三类参照基线。在推理步 $t$，基于带噪潜在特征 $z_t$ 分别计算三个解耦的引导梯度方向： $$\Delta_{\mathrm{text}} = \mathbf{v}_\theta^{c, a, \tau}(z_t) - \mathbf{v}_\theta^{\varnothing, a, \tau}(z_t), \quad \Delta_{\mathrm{align}} = \mathbf{v}_\theta^{c, a, \tau}(z_t) - \mathbf{v}_\theta^{c, \varnothing, \tau}(z_t), \quad \Delta_{\mathrm{timbre}} = \mathbf{v}_\theta^{c, a, \tau}(z_t) - \mathbf{v}_\theta^{c, a, \varnothing}(z_t)$$ 最终速度预测量由三组系数独立加权组合：$\hat{\mathbf{v}}_\theta(z_t) = \mathbf{v}_\theta^{c, a, \tau}(z_t) + s_{\mathrm{text}}\Delta_{\mathrm{text}} + s_{\mathrm{align}}\Delta_{\mathrm{align}} + s_{\mathrm{timbre}}\Delta_{\mathrm{timbre}}$，实现了推理阶段对不同生成维度的精确解耦操纵。

损失函数 / 训练策略¶

NAVA 采用分阶段多任务渐进训练策略，在文本生音视频（T2AV）、图文生音视频（TI2AV）、纯文本生音频（T2A）、纯文本生视频（T2V）以及图文音频联合补全（TIA2AV）多种任务上进行统一流匹配训练。训练在 128 张 NVIDIA H100 GPU 上展开，使用 AdamW 优化器，学习率设为 $5 \times 10^{-5}$，有效全局批次大小为 512，训练 70K 步。第一阶段以 3:1 的高采样比例混合纯音频与音视频对数据，旨在在继承 Wan2.2-5B 强大视觉先验的前提下快速冷启动音频通路；第二阶段将比例调整为 1:2，引入全量音视频数据强化高保真声学与微观视听同步；第三阶段在精选的高质量多说话人对话、复杂运镜与动态动作数据上进行高质量微调。

实验关键数据¶

主实验¶

在 Verse-Bench 基准上与业界代表性的双塔范式（Ovi-1.1、MoVA、LTX-2.3）和全统一三模态范式（daVinci-MagiHuman）进行综合生成质量对比。在 Seed-TTS 上针对参考音色可控生成进行评测。

模型	参数量	分辨率	Sync-C ↑	Sync-D ↓	IB-Score ↑	视频质量 ↑	WER ↓	PQ ↑	FD ↓
Ovi 1.1	10B	720p	7.484	7.979	0.199	0.636	0.102	5.843	0.942
MoVA	18B (32B)	720p	7.289	7.808	0.269	0.603	0.126	7.233	0.922
daVinci	15B	540p	7.149	7.816	0.269	0.600	0.151	5.956	0.931
LTX 2.3	19B	512p	7.248	7.690	0.337	0.576	0.106	6.946	0.829
NAVA (本文)	6.3B	720p	7.791	7.566	0.313	0.659	0.099	6.861	0.833

在 Seed-TTS 英文子集上的音色控制实验（音画联合模型对比中）： - 专门音画基线 DreamID-Omni 取得 WER 31.76%、说话人相似度 35.7%； - NAVA 达到 WER 4.20%、说话人相似度 66.7%，甚至超越了纯音频语音模型 CosyVoice（60.9%）与 Qwen2.5-Omni（63.2%）。

消融实验¶

针对 Align-then-Fuse MMDiT 架构中 HAL（分层对齐层）与 UFL（统一融合层）模块配置的消融分析（Verse-Bench 评测）：

配置	参数量	Sync-C ↑	IB-Score (×100) ↑	视频质量 (×100) ↑	PQ ↑	WER ↓	说明
纯 UFL (0 HAL + 30 UFL)	5.0B	7.643	33.22	67.53	5.296	0.182	缺少早期模态解耦投影，直接强制全共享参数
完整 NAVA (10 HAL + 20 UFL)	6.3B	7.684	34.34	67.67	5.377	0.177	先模态对齐再统一紧凑融合，取得最佳综合平衡
纯 HAL (30 HAL + 0 UFL)	7.7B	7.030	30.91	66.62	5.347	0.167	全程模态独立参数投影，缺乏高层参数共享紧凑融合

条件因子化 CFG 的消融效果证明： - 引入对齐引导 $\Delta_{\mathrm{align}}$ 后，Sync-C 从 6.170 跃升至 7.791，Sync-D 偏移从 8.755 缩短至 7.566，IB 分数从 0.355 提升至 0.402，且视频质量保持在 0.659，WER 降低至 0.099； - 引入音色引导 $\Delta_{\mathrm{timbre}}$ 后，说话人相似度 ASV 从 65.5 提升至 66.7。

关键发现¶

Align-then-Fuse 架构的协同增益最大：直接全局共享参数（纯 UFL）由于忽略模态表征差异，音画同步性与语义一致性显著下滑；而全程保持模态解耦（纯 HAL）虽然保留了一定单模态音频纯净度，但参数冗余激增至 7.7B，且高层交互不够紧凑导致视听关联度与视频画质反而劣化。
参数效率优势极其突出：NAVA 仅用 6.3B 规模，击败了 10B 至 32B 的主流开源方案，在口型同步得分 Sync-C（7.791）和视频画质（0.659）上取得全场第一。
用户主观对比（GSB 协议）偏好显著：在 T2AV 任务上对阵 Ovi-1.1、LTX-2.3 和 daVinci 时，视听对齐维度的胜率分别高达 62.5%、65.0% 和 72.5%。

亮点与洞察¶

解耦外部上下文与内生对齐的架构范式：清晰界定了“物理时序同步”（音视频自注意力）与“高层语义引导”（跨模态上下文交叉注意力）的不同计算职能，根治了三模态全混合注意力带来的特征空间污染与优化冲突。
极简而优雅的语境音色条件化（TICC）：利用提示词天然具有的时间/语序先验，通过在自然语言中嵌入参考音色标记，不改动扩散主干即可原生支持多说话人对话分配与局部音色可控生成。
因子化条件引导（CFG）解耦推理旋钮：将对齐与音色信息作为差异分量因子化拆解，使得实际应用中可以自由旋钮化调节音画同步强弱与音色逼真度，具备极高的工程可控价值。

局限与展望¶

长尾复杂音效与高度复合声学场景仍有不足：在面对罕见动物叫声、高技巧乐器演奏、专业声乐歌唱以及极度嘈杂混合声学场景时，音色细节与频谱丰富度仍显单薄，依赖更广阔且精细标注的数据集补充。
潜变量 Tokenizer 层级尚未实现根本统一：目前模型仍依赖分离的视频 VAE 与音频 VAE，未来探索端到端联合视听分词器（Joint Audio-Visual Tokenizer）将是彻底释放跨模态潜力的演进方向。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙提出先对齐后融合与上下文解耦机制，TICC 提示词内音色绑定构思简洁而优雅。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 Verse-Bench、Seed-TTS 以及细致的 GSB 人工双盲实验与完整消融分析，证据确凿。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严谨，数学公式与动机表述高度自洽，架构图与图表设计精美。
价值: ⭐⭐⭐⭐⭐ 为开源社区提供了高性能、紧凑参数（6.3B）的音视频联合生成完整架构方案与可控音色实践。