Unison: Harmonizing Motion, Speech, and Sound for Human-Centric Audio-Video Generation¶

会议: ECCV2026
论文: ECCV 官方页面
领域: 视频生成
关键词: 音视频联合生成、语音音效解耦、语义门控、跨模态同步、流匹配

一句话总结¶

Unison 将人物视频中的语音和音效分开生成，再用语义门控协调声学信息、用渐进式跨模态 forcing 学习音画互相引导，在自建留出测试集上改善音频质量和整体时间同步，但口型同步与视觉美学并未全面超过 LTX-2。

研究背景与动机¶

人物音视频生成并不是“有画面，再配一段声音”这么简单。一个人边唱歌边弹吉他时，口型应跟随歌词，手指应对应拨弦声，背景雨声又不能被歌声淹没。Ovi、UniAVGen 等联合生成模型已经能让视频和音频交换特征，Harmony 等工作进一步把交互细化到帧级，但语音与环境音仍常挤在同一条声学表示里。语音有稳定的音素结构、在人像场景里又十分突出，模型容易优先把话说清，却把短促的撞击、伴奏和背景声音弱化。

仅增加音视频交叉注意力还不能解决另一个问题：两个模态在同一噪声阶段训练时，彼此都可能缺乏可靠的时间线索。网络虽然“看见”了另一模态，却不一定必须利用它来确定嘴唇、手指与声学起音的对应。这里需要分别处理两种失配：声轨内部是语音和音效的竞争，声轨与画面之间则是运动和声音的时间对应；把二者统称为同步问题，会掩盖不同的失败原因。

Unison 因此保留预训练视频模型，把更主要的改造放在音频表示和联合训练方式上。它先给语音、音效独立的生成轨迹与监督，再允许受语义约束的信息交换；训练时逐步引入音画噪声不对称，让较干净的一侧成为另一侧可以依赖的条件。核心 idea：先让语音与音效各自有明确的建模责任，再通过受控声学交互和噪声不对称训练，把“听起来有层次”与“动作对得上声音”分别学好。

方法详解¶

整体框架¶

输入主要是描述场景、动作和环境声音的 caption，以及指定说话或唱词内容的 transcription；论文还评估了带图像条件的 TI2AV 和不带图像条件的 T2AV。视频分支采用 Wan2.2-5B，共 29 层；音频分支以 MMAudio 为基础、结合 Zipformer 支持语音，共 23 层。输出是人物视频以及与之协调的语音、音效内容，而不是人体骨架或动作标签。

两个分支通过帧级双向交叉注意力交换信息。局部对齐采用 3 帧窗口、步长 1，恢复时只保留中间帧表示，从而为当前帧保留邻近时间上下文。音频内部另有语音与音效两条轨迹，它们的交互不能与音视频之间的交互混为一谈：前者处理声学干扰，后者提供动作和声音的对应条件。

下图实线表示生成时的主要信息流，虚线表示训练监督或训练目标。渐进式跨模态 forcing 是训练机制，不是生成完视频以后再做一次同步修复。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["场景描述与台词<br/>音频噪声"] --> B["双流分解与监督"]
    B --> C["双向音频交叉注意力"]
    C --> D["语义条件门控"]
    V["视频噪声与条件<br/>Wan2.2 视频分支"] <--> E["帧级音画双向交互"]
    D <--> E
    E --> O["解码视频与音频"]
    T["训练音轨与视频<br/>Mel-Roformer 分离"] -.-> B
    E -.->|分支预测损失| F["渐进式跨模态 forcing"]
    T -.->|目标与噪声安排| F

关键设计¶

1. 双流分解与监督：让环境音不再只是语音的残余

语义引导协调策略（Semantic-Guided Harmonization Strategy，SGHS）的基础，是把音频潜变量保留为语音和音效两条时间对齐的序列。训练数据先经 Mel-Roformer 分离，再编码成各自的目标潜变量；两个分支分别接受流匹配监督。这样，“正确说出一句话”和“生成对应的吉他、雨声”有各自的学习目标，不必指望一个混合声轨损失自然地赋予两者合适权重。需要注意，这些目标来自分离模型处理过的音轨，不是人工录制的绝对干净声源，因此分离质量也会限制监督质量。

这里的解耦不是彻底隔离。若语音和音效永远独立生成，它们可能各自清晰却不像发生在同一个场景里；如果过早重新混成一条表示，又容易回到语音压制环境音的问题。后续模块因此保留两条轨迹的身份，只在网络内部交换信息。输入中的 caption 提供场景声学线索，transcription 提供具体语言内容，二者在语义上也承担不同职责。

2. 双向音频交叉注意力：共享上下文，但不抹掉声源身份

Bidirectional Audio Cross-Attention（Bi-ACA）让语音特征查询音效特征，同时让音效特征查询语音特征。经过这一步，网络沿序列维拼接两条序列，在共享 Transformer 中进行全局建模，再在模块出口拆回各自轨迹。这个“交互、合并、拆分”的循环，让歌声能感知伴奏的上下文，也让伴奏能利用歌声提供的节奏线索，而无需从一条已经混合的音频表示中反复辨认声源。

两条序列复用相同的旋转位置编码（RoPE）时间索引，使对应位置表示相同的时间；同时加入模态专属的可学习偏置，避免共享注意力把“同一时刻”误解为“同一种声音”。这些处理属于音频分支内部，与外部帧级音画交叉注意力互补：即使视觉条件相同，语音与音效仍可先互相提供声学先验，再与视频建立联系。

3. 语义条件门控：控制跨流注入，而不是直接调音量

无约束的交叉注意力可能把环境音的信息大量注入语音轨迹，破坏音素清晰度。Semantic-Conditioned Gating（SCG）先对 transcription 和 caption 特征分别做平均池化，得到语义向量，再由 MLP 和 sigmoid 产生两个门值。下面的关系在原文正文中可辨认，保留用于说明门值如何依赖文本条件：

\[ [g_{sp}, g_{sfx}] = \sigma(\mathrm{MLP}([c_s; c_a])). \]

其中，\(c_s\) 和 \(c_a\) 分别表示池化后的台词与场景描述特征，\(g_{sp}\) 和 \(g_{sfx}\) 分别控制进入语音与音效轨迹的交叉注意力更新。门值乘在跨流残差更新上，不是最终波形的音量旋钮；原始分支特征仍被保留，门也不要求像混音比例那样加起来等于 1。因此，“较小的语音门”应理解为少让音效特征扰动语音，不能直接解读成降低人声音量。

这一设计希望按内容决定共享程度：密集旁白应优先保护语言清晰度，音乐表演则可能需要更丰富的跨流交流。论文图 8 展示门值随网络深度、去噪进度和场景类别变化的趋势，但没有提供可直接复现的全部门控实现细节；这支持内容自适应的解释，并不足以建立某个门值与某种感知效果的一一因果关系。

4. 渐进式跨模态 forcing：让更可靠的模态成为条件

视频和音频分别采样训练时间步，因此可以出现“音频较干净、视频较嘈杂”，也可以出现相反情况。双向交叉注意力仍然承担信息交换，forcing 本身并没有另建一个教师模型；它通过提高更嘈杂分支的预测损失权重，鼓励该分支利用另一模态已经较可靠的结构。音频领先时重点优化视频预测，视频领先时重点优化音频预测，这种角色可随样本变化，而不是固定只能由音频驱动画面。

如果从训练开始就完全独立采样，两种噪声水平可能相差过大，领先方向也频繁切换，跨模态联系尚未建立就会遭遇不稳定条件。作者因此先同步热身，再逐步提高独立采样概率、将时间步差限制在 0.25 内，最后进入完全独立阶段；§3.3 对最后阶段的表述是不再限制解耦更新。方向相关损失重加权从第二阶段开始，引导强度设为 0.5。这里的“渐进”指训练课程，不意味着成片播放时声音逐步追上动作。

原文有值得保留的实现歧义：§3.1 的流匹配插值从噪声走向数据，而 §3.3 又使用“更小时间步更干净”的噪声约定；后者也没有完整说明与前者的变量换算。缓存中的式 (8)、(9) 运算符还存在缺失，因此这里不把猜补后的加权公式冒充原式。可确认的是三个分支采用流匹配预测损失，视频损失与两项音频损失按引导方向组合；复现时仍需核实时间步映射、独立采样概率曲线及最终阶段的约束范围。

一个完整示例¶

以“雨中弹吉他并唱出台词”为解释性示例，而非新增实验：caption 描述人物动作、吉他和降雨，transcription 指定歌词。音频的两条轨迹分别负责歌声与伴奏、雨声，Bi-ACA 让它们交换声学上下文，SCG 决定注入多少信息，避免为了营造雨声而损伤歌词清晰度。视频分支通过局部音画交互，让嘴唇、手指和这些音频线索相互对应。

在训练的一个音频较干净样本中，模型可以利用较清晰的歌声起止和拨弦声去预测视频；换成视频较干净的样本，则由嘴唇、手部运动帮助音频预测。推理时模型进行联合采样，并不要求用户额外提供 Mel-Roformer 分离得到的真值。论文还展示 A2V 和 V2A，即固定已给定的音频或视频、生成另一模态，但这些方向在正文主要是定性案例，不应等同于主表中的定量评测。

损失函数 / 训练策略¶

训练分两大阶段，而联合训练内部又有三个课程阶段，二者不能混淆。音频预训练使用 4 张 H100、batch size 96、学习率 0.0001，先进行 1,000 步线性热身，在 240,000 和 270,000 步按 0.1 系数衰减。联合训练使用 16 张 H100、batch size 32、学习率 0.00002、bf16 和 ZeRO-2；仅优化音频分支与融合模块，包括双向交叉注意力和层归一化，视频主干保持冻结。

联合阶段的同步热身、渐进解耦、完全独立占比分别为 0.3、0.4、0.3。音画训练数据约为 200 万片段、超过 3,000 小时，纯音频为 5,000 万片段、超过 130,000 小时，包含公开数据及内部语音数据。人脸检测与 SyncNet 过滤用于剔除音唇不匹配和画外音片段，因而质量收益也依赖数据筛选，不能只归因于网络模块。

推理采用 50 步流匹配采样、无分类器引导强度 6.0，输出 25 FPS 视频。正文没有提供完整的分辨率、时长、总训练步数与推理耗时组合，因此 5B 视频主干不能直接换算成系统总参数量或端到端效率优势。

实验关键数据¶

主实验¶

作者使用自建的 1,000 个留出样本，由 Gemini 提供标注，分别评估文本到音视频（T2AV）与文本和图像到音视频（TI2AV）。正文未给出这两种任务各自的样本数，也未提供足够信息核对统一计算预算；下表仅作同任务比较。数值来自原文表 1，保留原始量纲。

PQ 是 Audiobox-Aesthetics 的感知音质分数，越高越好；WER 是先分离人声、再用 Whisper-large-v3 识别得到的词错误率，越低越好。AV 为 ImageBind 音视频语义相似度；LSE-C 是 SyncNet 口型同步置信度；DS 是 Synchformer 评估的音画时间偏移指标，越低越好。正文没有充分说明 DS 的汇总和单位，不在此自行换算为毫秒。

任务	模型	PQ ↑	WER ↓	AV ↑	LSE-C ↑	DS ↓
TI2AV	Ovi	6.25	0.43	0.87	2.81	0.12
TI2AV	UniAVGen	6.18	0.33	0.81	2.89	0.15
TI2AV	MOVA	6.28	0.29	0.88	3.24	0.13
TI2AV	LTX-2	6.30	0.25	0.89	3.45	0.10
TI2AV	Unison	6.34	0.22	0.91	3.30	0.08
T2AV	Ovi	6.08	0.18	0.83	3.47	0.08
T2AV	LTX-2	6.12	0.11	0.81	3.62	0.07
T2AV	Unison	6.17	0.09	0.86	3.55	0.06

TI2AV 中相对 LTX-2，Unison 的 PQ 增加 0.04，WER 减少 0.03，DS 减少 0.02，但 LSE-C 从 3.45 降到 3.30。原表中的 LSE-D 同样是 LTX-2 更好（7.62 对 7.88，越低越好），视觉美学 VA 也是 LTX-2 更高（4.15 对 4.02）。因此优势主要是音频质量、语义一致性和整体时间偏移，不是每一种同步或画质指标都领先。

消融实验¶

下表合并原文表 2 的组件消融与表 3 的训练策略消融；两组实验不是一条逐项累加的训练过程。VA 来自 LAION 美学预测器，越高越好；完整模型对应渐进式 forcing（PF）。正文未单独交代消融测试子集的详细组成。

实验组	配置	VA ↑	PQ ↑	LSE-C ↑	DS ↓
组件，表 2	去掉 SGHS	3.99	6.12	3.08	0.15
组件，表 2	去掉 Bi-ACA	4.00	6.20	3.18	0.11
组件，表 2	去掉 SCG	4.01	6.21	3.22	0.10
组件，表 2	去掉跨模态 forcing	3.91	6.24	3.02	0.19
策略，表 3	始终同步 SyncOnly	3.90	6.10	3.12	0.17
策略，表 3	始终独立 IndepOnly	3.95	6.18	3.28	0.14
两组共同参照	完整模型 PF	4.02	6.34	3.30	0.08

去掉整个 SGHS 后 PQ 下降 0.22，是音频侧最大下降；去掉跨模态 forcing 后 DS 从 0.08 升到 0.19，是组件消融里最明显的同步退化。SGHS 是包含多个音频设计的总体策略，不应把其消融与子模块消融当成互不重叠的四项独立贡献。

关键发现¶

从始终独立采样切换到渐进课程，DS 从 0.14 降到 0.08，说明有效的不只是“两模态使用不同噪声”，还有引入这种差异的训练路径。
音频模块移除后 VA 只在 3.99 至 4.01 之间变化，而移除 forcing 后降至 3.91；这支持声学建模与音画训练各有侧重，但不是对冻结视频主干内部变化的直接测量。
用户研究使用 40 个样本、25 名参与者，共 1,000 次样本与参与者配对评价；平均名次越低越好。原文表 4 的关键结果如下，Gemini 一列属于额外模型评估，不能当作人类投票。

方法	口型同步 ↓	语音音效协调 ↓	动作音频对齐 ↓	Gemini 评分 ↓
LTX-2	1.74	1.95	1.89	2.05
Unison	1.86	1.55	1.92	1.68

原文用户研究段落称 Unison 的动作音频对齐最好，但表 4 中 LTX-2 的 1.89 优于 Unison 的 1.92，二者冲突。本笔记保留表中数值，不把文字结论强行改成一致，也不将缺少置信区间的小幅差异解释为显著优势。

亮点与洞察¶

先定义声源责任，再允许交互：分离监督让环境音有自己的训练目标，Bi-ACA 和 SCG 则避免独立生成变成缺乏共同场景的拼接。这比只在混合声轨输出端补一个协调损失更直接地干预表示结构。
跨模态依赖可以通过训练分布塑造：较干净模态提供更可靠上下文，较嘈杂分支承担更重学习任务。可迁移的重点是设计条件可靠性差异和课程，而不是把交叉注意力本身视作新的贡献。
同步需要拆开测量：口型置信度、整体时间偏移和语义相似度可能给出不同排名。该论文的结果尤其说明，听觉层次更好并不自动意味着唇音同步也最好。

局限与展望¶

作者披露的边界：正文没有独立局限性章节；作者说明训练包含内部语音数据，并表示代码和模型将在录用后公开，但所给全文未提供实际发布地址，不能据此声称已开源。
本文解读：复现信息不足：噪声时间步约定、最终阶段是否继续限制时间步差、门控细节和训练总预算仍需核对；5B 仅指视频主干，不能据此断言整个系统比 LTX-2 小近四倍。
本文解读：评测覆盖有限：测试集由作者构建且使用 Gemini 标注，没有充分披露任务拆分、语言分布、长视频、多人物或复杂遮挡结果。A2V、V2A 的展示也缺少对应的完整定量表。
本文解读：监督与指标有共同依赖：训练分流与 WER 评估都依赖 Mel-Roformer，人脸与 SyncNet 过滤偏向画面内可见说话人。后续应单独测量分离误差、画外音和多人交叠语音的影响，并报告人类评价的不确定性。

评分¶

新颖性: 4/5。将声源分流、语义门控与渐进式跨模态 forcing 组合成针对人物音视频的明确方案。
实验充分度: 3/5。主结果、组件消融、课程消融和用户研究齐全，但测试集与资源披露不足，部分结论和表格冲突。
写作质量: 3/5。两类失配问题划分清楚，但时间步约定和用户研究结论需要澄清。
价值: 4/5。为兼顾语音、环境音和动作同步提供可迁移思路，但尚不能据正文确定工程效率及复杂场景泛化。