Baton: Explicit Semantic Blueprints for Joint Video-Audio Generation¶

会议: NeurIPS 2026
arXiv: 2605.25195
OpenReview: https://openreview.net/forum?id=JMIXvPCjrz
代码: https://francis-rings.github.io/Baton
领域: 音频/语音
关键词: 音频视频联合生成、语义蓝图规划、多模态语言模型、扩散变换器、相对语义旋转位置编码

一句话总结¶

Baton 首次将显式语义规划解耦引入音视频联合生成，通过多模态规划器（VA-Planner）预先生成相互对齐的关键帧级感知蓝图，并配合相对语义 RoPE 解决非对称网格失配，彻底消除了复杂长程提示下双模态去噪轨迹的对抗漂移。

研究背景与动机¶

随着多模态生成技术的飞速演进，同时合成视觉动态与原声音轨的音视频联合生成已成为主流方向。与传统的“先生成无声视频再后置配音（post-hoc dubbing）”分步管线相比，联合生成在时空物理对齐与自然感知度上具备天然优势。然而，现有的开源音视频扩散模型（如 Ovi、LTX-2、MOVA、UniAVGen 等）在面对语义复杂的长程场景时表现极其脆弱——特别是包含多阶段复合动作、细粒度人机交互或多说话人交替对话的场景。

这种脆弱性的根源在于当前方案清一色依赖冻结文本编码器（如 T5 或 Qwen）提取的粗粒度全局文本嵌入来引导音视频扩散骨干（DiT）。全局文本向量将复杂的叙事指令压缩成扁平的静态表征，丢失了局部时空的细粒度语义，更无法建模动作与声音在时序上如何协同演化。在联合去噪过程中，视频与音频分支只能各自凭借模糊的全局信号孤立推演，导致两个去噪轨迹在长程推演中不可避免地背道而驰、产生“对抗性动态（adversarial dynamics）”。其在生成产物上的表征往往是灾难性的：人体肢体发生剧烈畸变、交互物体中途变色或凭空消失（例如运球时篮球消失）、以及音视频严重不同步或发音者错乱。哪怕引入大模型对提示词进行扩写润色，输出的依然是缺乏跨模态时序协调结构的全局文本向量，无法从机制上解决去噪轨迹漂移。

针对这一核心瓶颈，本文提出显式解耦“语义规划”与“扩散合成”两阶段。与其让扩散骨干在模糊信号下盲目去噪，不如在去噪启动前先由多模态大语言模型推演出一份详尽的跨模态执行计划。核心 idea：提出首个显式语义规划框架 Baton，利用多模态规划器（VA-Planner）在去噪前自回归生成相互对齐的音视频规划 token 作为关键帧级感知蓝图，并设计相对语义 RoPE（RS-RoPE）消除规划表征与扩散隐空间之间的时空网格失配，将双模态去噪轨迹牢牢锚定在共享的协调路标上。

方法详解¶

整体框架¶

Baton 的整体生成管线清晰地解耦为“语义规划”与“结构化引导去噪”两大核心阶段。给定包含视频提示 $T_v$ 与音频提示 $T_a$ 的用户指令，多模态规划器 VA-Planner 首先开展跨模态因果推理，自回归生成包含视觉和音频占位符的时序表征，再经由双语义对齐塔借助可学习 Query 与双向交叉注意力蒸馏出与预训练感知编码器空间对齐的连续规划 token。随后，这些规划 token 作为关键帧级语义蓝图被注入到双分支扩散骨干（DiT）中。为了让连续扩散隐变量精准检索到对应时空坐标的语义线索，相对语义 RoPE（RS-RoPE）将非对称的时空网格投影至统一相对坐标系，最终指导流匹配模型去噪还原出高质量的音视频序列。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["用户复合提示词<br/>[Tsys; Tv; Ta; Tv_tag; Ta_tag]"] --> B["VA-Planner 自回归推理<br/>因果注意力建立音画依赖"]
    B --> C["双语义对齐塔<br/>可学习 Query 跨模态蒸馏 + 时间戳 RoPE"]
    C --> D["相对语义 RoPE (RS-RoPE)<br/>3D/1D 非对称网格坐标对齐"]
    D --> E["双分支 DiT 级联跨注意力去噪<br/>文本全局先验 + 蓝图局部引导"]
    E --> F["输出高保真同步音视频<br/>24 FPS 视频 + 44.1kHz 音频"]

关键设计¶

1. VA-Planner：基于多模态大模型的自回归规划与结构化提示设计 现有的文本引导扩散模型缺乏时序因果推理能力，无法将复合动作分解为具有时间坐标的子事件。VA-Planner 采用参数可训练的多模态大语言模型（初始化自 Qwen3-8B），构建显式的结构化输入提示词： $$T_{\text{user}} = [T_{\text{sys}};\; T_{v};\; T_{a};\; T^{tag}_{v};\; T^{tag}_{a}]$$ 其中 $T^{tag}_{v} = \texttt{<|v\_start|>}; \texttt{<|img\_pad|>}\dots\texttt{<|img\_pad|>}; \texttt{<|v\_end|>}$ 包含 $N$ 个关键帧（按 $\text{FPS}=6$ 采样，每帧包含 $n_v$ 个空间 patch 占位符，共 $L_v = N \times n_v$ 个 token）；$T^{tag}_{a} = \texttt{<|a\_start|>}; \texttt{<|aud\_pad|>}\dots\texttt{<|aud\_pad|>}; \texttt{<|a\_end|>}$ 对应 $M$ 个 1 秒音频块（每块 $n_a$ 个 token，共 $L_a = M \times n_a$ 个 token）。模型采用多模态 RoPE 统一编码文本与音画位置。关键设计在于 token 的排列顺序：将视频规划区域 $T^{tag}_{v}$ 置于音频规划区域 $T^{tag}_{a}$ 之前。由于大语言模型的因果自注意力机制（causal masking），视频隐状态 $\bm{H}_v$ 依据完整文本生成，而紧随其后的音频隐状态 $\bm{H}_a$ 不仅能感知全部文本上下文，还能直接 attend 到先前生成的完整视频规划 $\bm{H}_v$。这一结构天然契合了现实世界中“声音依附并响应视觉事件”的自然物理因果依赖。

2. 双语义对齐塔：连续表征对齐与时间戳旋转位置编码 大模型生成的隐状态处于离散文本中心空间，若直接作为扩散引导不仅语义抽象，而且单向因果掩码导致视频分支完全无法感知音频约束。为此，Baton 设计了包含可学习查询向量 $\bm{Q}_v \in \mathbb{R}^{L_v \times D}$ 和 $\bm{Q}_a \in \mathbb{R}^{L_a \times D}$ 的双语义对齐塔，将其分别对齐至预训练冻结感知编码器（视觉为 SigLip2，音频为 WavTokenizer）的连续特征空间： $$\bm{H}^{sem}_{v} = \mathtt{SMLP}_{v}(\mathtt{CMAttn}_{a\rightarrow v}(\mathtt{CAttn}_{v}(\bm{Q}_{v},\bm{H}_{v}),\bm{H}_{a}))$$ $$\bm{H}^{sem}_{a} = \mathtt{SMLP}_{a}(\mathtt{CMAttn}_{v\rightarrow a}(\mathtt{CAttn}_{a}(\bm{Q}_{a},\bm{H}_{a}),\bm{H}_{v}))$$ 在模块内部，首先通过模态内交叉注意力提取特定模态语义，接着通过双向跨模态交叉注意力（$\mathtt{CMAttn}$）融合对端线索，打通了双向信息流。由于视频（$\text{FPS}=6$、空间 token 共享时间）与音频（时序连续展开）的时序密度完全异构，模型为跨模态注意力引入了基于真实物理秒数的时间戳 RoPE： $$\tau_{v}^{(i,j)} = \frac{i \cdot M}{N}, \quad \tau_{a}^{(m,j)} = m + \frac{j}{n_a}$$ 在计算 $\mathtt{CMAttn}$ 时将时间戳嵌入 Query 和 Key，迫使跨模态注意力在统一的物理时间轴上按邻近度聚集，使得最终输出的规划 token 成为一套时序严格自洽的联合蓝图。

3. 相对语义 RoPE（RS-RoPE）：异构非对称网格的时空坐标对齐 在去噪阶段，规划 token 需通过跨注意力注入 DiT。然而，3D VAE 压缩后的视频扩散隐变量 $\bm{z}_v$ 位于 $(T_v^l, H_v^l, W_v^l)$ 潜空间网格，而规划 token $\bm{H}^{dit}_v$ 位于 $(N, h_s, w_s)$ 语义网格，二者在时间、高度、宽度三个维度上的压缩比均不相同。若采用绝对位置编码或标准未重缩放的 RoPE，表征相同物理时空点的 token 会因索引不一致而发生注意力错位；若不加位置编码，注意力将退化为纯内容匹配，蓝图退化为无序向量袋。RS-RoPE 通过时空坐标缩放，将二者映射到统一的相对空间： $$\bm{p}_{v}^{q} = (i_t,\; i_h,\; i_w), \quad \bm{p}_{v}^{k} = \left(j_t \cdot \frac{T_v^l}{N},\; j_h \cdot \frac{H_v^l}{h_s},\; j_w \cdot \frac{W_v^l}{w_s}\right)$$ 在每个注意力头上施加分解的 3D RoPE： $$\mathtt{RoPE}_{3D}(\bm{h},\bm{p}) = [\mathtt{RoPE}(\bm{h}^{(t)}, p_t);\; \mathtt{RoPE}(\bm{h}^{(h)}, p_h);\; \mathtt{RoPE}(\bm{h}^{(w)}, p_w)]$$ 在音频侧则对时间轴施加相应的 1D 线性重标定 RoPE。RS-RoPE 赋予了跨注意力机制平滑的局部时空先验，使隐变量在去噪时能精确检索自身局部坐标对应的规划细节，同时保持长程结构稳定。

4. 级联跨注意力注入与三阶段渐进式训练课程 为了充分利用粗粒度全局文本先验与细粒度局部蓝图，Baton 采用级联注入机制：DiT 块中首先由文本跨注意力建立全局语义基调，再由视觉/音频跨注意力（$\mathtt{VCAttn}/\mathtt{ACAttn}$）注入局部蓝图，避免了直接拼接导致的注意力稀释。此外，为了克服直接联合训练导致的暴露偏差（exposure bias），Baton 构思了三阶段渐进式训练课程： - Stage 1（VA-Planner 预训练）：冻结感知编码器，MLLM 及其映射层以回归真实视频/音频特征为目标进行 L2 监督训练（$\mathcal{L}_{plan}$）； - Stage 2（DiT 语义适配）：冻结规划器，直接将真实的 SigLip2 和 WavTokenizer 特征输入 DiT 的跨注意力层，在 Flow Matching 目标下训练 DiT 适应连续感知特征接口； - Stage 3（联合微调）：串联规划器与 DiT，规划器冻结，DiT 接受规划器实际预测出的规划 token 作为条件继续微调，平滑适应推理时规划器的噪声分布，彻底消除接口分布漂移。

一个完整示例¶

以一段包含复合时序交互的测试指令为例：“一位篮球运动员持球突破变向过人，随后急停跳投出手，伴随球鞋摩擦声与篮球入网空心声，进球后向队友大声庆祝”。 1. 指令解析与蓝图生成：VA-Planner 在 10 秒跨度内（$N=60$ 个关键帧，$M=10$ 个音频块）自回归规划。在 $t \in [0s, 3s]$ 区间，视频规划 token 聚焦运动员运球俯身与脚步变向的空间 patch 特征，音频规划 token 同步生成高频橡胶摩擦地板的声学特征；在 $t \in [4s, 6s]$ 区间规划起跳与投篮动作，紧接着在 $t \approx 6.5s$ 规划清脆的球刷网声；在 $t \in [7s, 10s]$ 规划庆祝手势与人声说话人特征。 2. 时空坐标检索与去噪：扩散模型在第 $t$ 步去噪时，DiT 隐变量位于 $(T_v^l=24, H_v^l=40, W_v^l=72)$ 网格。RS-RoPE 将查询坐标 $(i_t=15, i_h=20, i_w=36)$ 与蓝图 key 坐标重标定后，该潜变量精准地仅对第 6.5 秒出手帧的篮网位置规划 token 分配高注意力权重。 3. 协同演化：视频分支生成篮球穿网形变的同时，音频分支在对应的潜变量帧生成丝网摩擦音，两分支轨迹受到同一蓝图约束，完全避免了传统模型中球投到一半变色、消失或球落地后 2 秒才发声的严重脱节问题。

损失函数 / 训练策略¶

Stage 1 阶段，VA-Planner 采用连续特征空间的均方误差回归损失监督规划 token： $$\mathcal{L}_{plan} = \sum_{t=1}^{N}\sum_{i=1}^{n_{v}}\|\bm{H}^{sem}_{v,(t,i)}-\bm{F}^{gt}_{v,(t,i)}\|_{2}^{2} + \sum_{m=1}^{M}\sum_{j=1}^{n_{a}}\|\bm{H}^{sem}_{a,(m,j)}-\bm{F}^{gt}_{a,(m,j)}\|_{2}^{2}$$ Stage 2 与 Stage 3 阶段采用流匹配（Flow Matching）目标优化 DiT 速度场预测 $\hat{\bm{v}}_\theta$： $$\mathcal{L}_{FM} = \mathbb{E}_{\bm{z}_{0}^{v/a},\,\bm{z}_{1}^{v/a},\,t}\left[\|\hat{\bm{v}}_{\theta}^{v}(\bm{z}_{t}^{v},\bm{z}_{t}^{a},t,\bm{c},\bm{F}_{v})-(\bm{z}_{1}^{v}-\bm{z}_{0}^{v})\|_{2}^{2} + \|\hat{\bm{v}}_{\theta}^{a}(\bm{z}_{t}^{v},\bm{z}_{t}^{a},t,\bm{c},\bm{F}_{a})-(\bm{z}_{1}^{a}-\bm{z}_{0}^{a})\|_{2}^{2}\right]$$ 模型在 150 万高质量音视频片段上以 bf16 精度、DeepSpeed ZeRO-3 进行分布式训练，三阶段学习率均保持 $1\times 10^{-5}$，各训练 10 个 epoch。

实验关键数据¶

主实验¶

评估在通用评测集 Verse-Bench 以及专为复杂语义推理设计的 100 条未见长视频测试集 Sem100 上进行。评测涵盖视频质量（美学质量 AQ、成像质量 IQ、动态程度 DD、主体一致性 ID）、音频质量（制作质量 PQ、内容可用度 CU、多说话人词错误率 M-WER）、音视频同步性（Sync-C、Sync-D、Synchformer 偏移 DeSync）及指令遵循准确率（P-Acc）。

模型	AQ↑	IQ↑	DD↑	ID↑	PQ↑	CU↑	M-WER↓	Sync-C↑	Sync-D↓	DeSync↓	P-Acc↑
Ovi (2025)	0.56/0.42	0.67/0.65	0.49/0.36	0.90/0.88	6.30/6.74	5.91/6.23	0.75/0.66	3.34/5.07	8.78/8.25	0.54/1.06	0.74/0.46
JavisGPT (2025)	0.34/0.28	0.45/0.38	0.30/0.32	0.32/0.45	5.37/5.12	4.77/5.06	4.76/3.96	0.65/0.69	11.27/12.34	1.16/1.18	0.43/0.25
UniAVGen (2025)	0.55/0.31	0.67/0.58	0.47/0.32	0.86/0.82	4.94/6.68	6.11/5.83	1.05/0.72	1.95/4.80	9.57/9.83	0.87/1.14	0.76/0.44
LTX-2 (2026)	0.53/0.48	0.66/0.65	0.71/0.38	0.92/0.91	6.54/7.14	6.01/6.91	0.64/0.58	3.77/6.26	8.16/7.72	0.27/0.97	0.85/0.62
MOVA (2026)	0.54/0.44	0.64/0.68	0.56/0.40	0.90/0.87	6.71/6.95	6.19/6.94	1.49/0.86	3.52/5.78	10.58/8.90	0.64/1.05	0.79/0.55
Baton (本文)	0.58/0.54	0.68/0.73	0.64/0.48	0.93/0.94	6.79/7.53	6.24/7.16	0.18/0.14	4.26/8.14	7.68/6.85	0.57/0.68	0.88/0.82

(注：表中数据以 a/b 形式呈现，分别对应 Verse-Bench / Sem100 评测结果)

消融实验¶

消融实验重点验证 VA-Planner 各模块设计、不同对齐目标、位置编码机制及模型缩放对最终生成质量（Sem100 评测集）的影响：

配置	AQ↑	PQ↑	CU↑	M-WER↓	DeSync↓	P-Acc↑	说明
Baton (完整模型)	0.54	7.53	7.16	0.14	0.68	0.82	Qwen3-8B + 双对齐塔 + RS-RoPE
w/o VA-Planner (即基线 Ovi)	0.44	6.88	6.45	0.62	0.98	0.51	移除规划器，仅用全局文本嵌入
仅规划 Token (无全局文本)	0.53	7.38	7.04	0.17	0.73	0.78	移除全局文本嵌入，仅保留蓝图
w/ 提示词扩写 (Prompt Enhance)	0.51	6.97	6.64	0.56	0.93	0.62	使用 Qwen3-235B 扩写文本后输入 DiT
w/ 冻结大模型 (Frozen LLM)	0.52	7.27	6.68	0.48	0.86	0.67	仅抽取冻结 Qwen3 隐状态输入 DiT
w/o 对齐塔 (w/o Tower)	0.48	6.92	6.53	0.45	0.78	0.69	移除双塔，视频规划对音频不可见
w/o 对齐塔时间戳 RoPE	0.42	6.57	6.24	0.68	1.05	0.44	移除对齐塔内部的连续时间戳编码
离散目标 (TA-Tok + 离散 WavTok)	0.47	7.16	6.85	0.32	0.81	0.68	规划目标改为离散 token 索引分类
统一模态 Token (Unified Tokens)	0.44	7.12	6.73	0.41	0.85	0.65	音视频混合交织成单一 token 序列
w/o 相对语义 RoPE (RS-RoPE)	0.40	6.42	6.15	0.65	1.08	0.46	跨注意力不加网格相对位置缩放
仅时序 RoPE (Temporal RoPE)	0.51	7.39	6.92	0.41	0.75	0.73	仅缩放时间轴，忽略空间网格差异
跳过 Stage-2 (直接联合微调)	0.49	7.26	6.73	0.40	0.82	0.75	DiT 跨注意力未接触真实干净感知特征

关键发现¶

复杂语义场景下的显著代差：在偏向单事件简单描述的 Verse-Bench 上，Baton 与竞争对手差距相对温和；但在需要多阶段因果推理的 Sem100 上，Baton 相对最强开源模型 LTX-2 实现了 P-Acc 提升 32%（0.82 vs 0.62）、M-WER 降低 76%（0.14 vs 0.58）、DeSync 降低 30%（0.68 vs 0.97）。M-WER 的剧烈改善直接证明了规划蓝图能够精确锁定“谁在什么时刻说什么”，彻底杜绝了多说话人场景下的语义混淆。
全局文本与局部蓝图的互补性：“仅规划 Token” 配置已能达到 0.78 的 P-Acc，证明局部蓝图是语义执行的核心驱动；而加入全局文本后进一步提升至 0.82，说明全局文本提供了宏观风格和叙事连贯性先验，二者级联配合效果最佳。
连续表征 vs 离散量化的优越性：将对齐目标由连续回归改为离散分类（TA-Tok + 离散 WavTokenizer）后，P-Acc 显著下跌 14 个百分点，M-WER 恶化超过一倍（0.32 vs 0.14），证实了连续感知特征保留的细粒度空间纹理与声学细节对扩散引导至关重要。
时空坐标对齐不可或缺：移除 RS-RoPE 会导致模型性能断崖式下跌至 0.46 P-Acc（甚至差于无规划器 baseline），原因在于无相对坐标约束时跨注意力退化为无序匹配，导致蓝图不仅未提供指引，反而注入了全局干扰；而仅有时序 RoPE 忽略空间分辨率非对称性，依然损失了 9 个百分点的准确度。

亮点与洞察¶

显式解耦“规划”与“合成”：首次在音视频联合生成中将需要复杂因果逻辑的“语义规划”分流给 MLLM，让扩散模型专注其所擅长的“感知细节去噪”，摆脱了让单一扩散架构同时承担高阶常识规划与密集像素重建的双重过载。
自然物理因果流驱动的自回归排列：利用大模型因果掩码机制，将视频占位符置于音频占位符之前，使音频生成天然以视觉事件为条件，极简且优雅地内化了现实物理世界中“声由形生”的因果律。
非对称时空网格的坐标重标定（RS-RoPE）：针对 3D 视频潜变量与 2D/3D 关键帧语义 token 之间压缩比不同导致的网格错位，提出了简单解析形式的跨模态相对坐标缩放，具有通用可复用性。

局限与展望¶

计算开销与推理时延增加：引入 Qwen3-8B 规划器使得单卡推理显存占用由 53.6GB 增加至 68.4GB（+28%），推理时间增加约 10-15 秒。虽然相比 MOVA 等超大模型依然高效，但在边缘端部署门槛较高。
固定时长与关键帧分辨率上限：目前蓝图设定为固定 10 秒及 $\text{FPS}=6$ 关键帧采样。若尝试扩展到长电影级视频（如数分钟），自回归生成更长规划序列将带来显著显存压力（消融表明 $\text{FPS}=12$ 时即触发 80GB 单卡 OOM）。未来可探索分层级、滑动窗口式自回归规划。
音频空间感建模仍显单一：目前规划蓝图在音频侧仅分配了 1D 时序结构，尚未建模立体声、空间双耳定位与声源在画面中的 3D 空间轨迹对齐。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出显式解耦规划与合成的音视频联合生成框架，设计了针对非对称网格的 RS-RoPE。
实验充分度: ⭐⭐⭐⭐⭐ 构建专门的复杂语义评测集 Sem100，涵盖多说话人、音视频同步、消融及与商业闭源模型详尽对比。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，图文对照清晰，动机分析一针见血。
价值: ⭐⭐⭐⭐⭐ 为开源社区攻克复杂交互与多人物长程可控音视频生成提供了极具说服力的新范式。