CoSyncDiT: Cognitive Synchronous Diffusion Transformer for Movie Dubbing¶

会议: ECCV2026
论文: ECCV 原文
全文: 会议 PDF
代码: https://github.com/GalaxyCong/CoSyncDiT
领域: 音频/语音
关键词: 电影配音、视觉声音克隆、流匹配、隐式对齐、语义正则

身份核验：清单编号 3458、缓存官方链接和 PDF 首页标题一致，首作者为 Gaoxiang Cong；本缓存没有副标题变化。任务输出是语音而非图像，因此归入音频/语音。缓存未给出可核验的本文 arXiv ID，故不补写。

一句话总结¶

CoSyncDiT 将电影配音中的音色学习、口型节奏校准和文本对齐依次组织到流匹配 Transformer 中，再用帧级对比学习与 CTC 约束对齐，在 CinePile-Dub 零样本 Setting 2 上取得 47.24% 说话人相似度、7.53% WER 和 0.319 Sync-KL（原文表 5）。

研究背景与动机¶

电影配音不是从无声视频猜一句话，而是同时接收无声视频、指定台词和参考声音，生成既像参考说话人、又与画面口型同步的语音。StyleDubber、ProDubber 等方法预测音素时长，再将音素扩展到声学帧；这有利于读对词，却把连续语音节奏压到整数时长边界上。一些对比学习方法仍需外部强制对齐器提供时长区间，不能真正摆脱这套限制。

AlignDiT 改用隐式对齐，但把前缀参考音频、目标视频以及两段文本放入统一交叉注意力后，模型必须同时判断“这段声音属于谁”和“这一帧应读哪个词”。原文图 2 的 CTC 路径显示，参考音频区域可能激活目标文本，导致参考与目标边界泄漏。自由来源的参考片段与电影中强烈的韵律变化，会使这种干扰比受控录制场景更突出。

作者由此把问题从“增加视觉条件”改成“何时注入哪一种条件”：先建立声学风格与文本关系，再让口型校准节奏，最后检索正确语言上下文。核心 idea：让声学风格适配、细粒度视觉校准、时间感知上下文对齐按序工作，并在上下文输出与最终隐藏状态上分别监督时间和语义，减少参考声音对目标发音的干扰。

方法详解¶

整体框架¶

输入包含参考音频、目标无声视频和配音脚本，输出是目标语音的 mel 频谱。模型学习从高斯噪声到目标 mel 表示的向量场，推理时通过 ODE 积分完成生成；它不生成新视频，也不是完整的电影背景声重建系统。

声学和文本先组成统一先验，CoSyncDiT 随后按声学风格适配、细粒度视觉校准、时间感知上下文对齐的顺序处理特征。联合语义与对齐正则（JSAR）只在训练时提供监督：预训练 AV-HuBERT 音频分支给出帧级目标，台词给出 CTC 的语义目标。这里的“三阶段”是架构中的条件处理顺序，不是把 32 次 ODE 评估机械地划成三段。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    input["参考音频 + 台词<br/>噪声状态"] --> style["声学风格适配"]
    style --> visual["细粒度视觉校准"]
    video["无声视频<br/>口型编码与上采样"] --> visual
    visual --> context["时间感知上下文对齐"]
    text["ConvNeXtV2<br/>文本特征"] --> context
    context --> output["向量场预测<br/>ODE 积分生成 mel"]
    context -.-> jsar["联合语义与对齐正则<br/>仅训练"]
    teacher["音频帧目标 + 台词"] -.-> jsar

关键设计¶

1. 声学风格适配：先建立声音与语言先验，避免视觉过早干扰

训练时，二值时间掩码遮住目标 mel 区域，只保留可作为参考的声学上下文。文本使用两条扩展路径匹配 mel 长度：padding 路径保留完整语言内容，交叉注意力路径提供粗粒度时间先验。两路文本与掩码后的 mel 一起形成声学语义先验，再与当前带噪语音通过统一投影层融合。这里的 padding 并不等价于给每个词确定真实时长，精细对应关系仍由后续模块学习。

在此基础上，多头自注意力建立长程声学依赖，捕捉参考音色及其与文本的关系。时间自适应层归一化（Time-AdaLN）用当前流时间控制缩放、偏置和残差门控，随后 MLP 进一步处理特征。这一步刻意不接收原始视觉特征，避免尚未稳定的音色表示被口型节奏覆盖；表 6 中移除它后说话人相似度的大幅下降，是这一分工最直接的证据。

2. 细粒度视觉校准：把口型作为可控残差，而非另一段竞争上下文

预训练 AV-HuBERT 从裁剪后的嘴部视频提取口型特征，级联上采样将其时间分辨率对齐到目标 mel。上采样只统一特征网格，并不使用外部对齐器生成音素时长标签。视觉分支由此能够在声学帧尺度修正节奏，而不必先把每个音素固定到一段整数区间。

经过上采样的视觉表示通过零初始化的可学习门控，残差式地注入声学风格表示。原文将门控描述为逐层并受时间步条件控制：初始时视觉修正接近零，训练逐步学习何时、在哪些通道使用口型。其目的不是丢弃视频，而是让视频承担节奏校准职责，保留前面已经建立的声学风格；去掉该分支时 SPKSIM 几乎不变，Sync-KL 却明显变差。

3. 时间感知上下文对齐：以视听融合后的状态重新检索台词

完成口型校准的隐藏状态作为交叉注意力查询，ConvNeXtV2 文本编码器的表示同时作为键和值。这样，查询不再只代表带噪声学帧，而带有“当前声音状态与口型节奏”的信息，能够检索此刻应该发出的文本内容。交叉注意力安排在这些表示成熟之后，而不是让每一层都以统一方式过早混合参考声音和目标视觉。

Time-AdaLN 与时间控制的残差门控还使文本检索适应流状态：高噪声和接近目标语音的状态不必采用同样的对齐强度。图 2 的诊断来自 CTC 非空白 Viterbi 路径上的逐帧发射概率，不应误称为普通注意力热图；作者通过该可视化检查参考侧激活是否越过参考/目标边界。

4. 联合语义与对齐正则：分别约束“在哪一帧”与“读哪个词”

仅靠流匹配的重建目标，预测向量场可以在声学上合理，却仍发生时间错位。JSAR 对交叉注意力的中间上下文输出施加帧级 InfoNCE：将它与预训练 AV-HuBERT 音频分支的表示逐特征做 L2 归一化，同时间索引配对为正样本，其他索引为负样本。监督直接来自音频帧表征，不依赖强制音素边界。

下面按原文式 4 的文字定义规范化重写 InfoNCE；缓存中的公式字符顺序有损坏。\(N\) 表示展平后的帧数，\(\hat z_i\) 是上下文帧表示，\(f_i\) 是音频监督表示，温度 \(\tau=0.07\)。

\[ \mathcal{L}_{CL}=-\frac{1}{N}\sum_{i=1}^{N}\log\frac{\exp(\langle\hat z_i,f_i\rangle/\tau)}{\sum_{j=1}^{N}\exp(\langle\hat z_i,f_j\rangle/\tau)}. \]

语义约束则在最终流隐藏状态上接 CTC，鼓励保留台词内容，同时允许帧和文本长度不同。CTC 投影包含两个带 Mish 激活的时间下采样层，将 1,024 维隐藏特征映射到 2,547 维输出空间。两个监督位置不同：上下文输出负责帧对齐，最终隐藏状态负责可读性；这不是把同一对比损失换两个名字。

一个完整示例¶

以原文图 3 的台词 “I trust you, every day” 为示意，假设采用 Setting 2：参考声音来自同一人物的另一片段，口型来自当前无声镜头。模型先从参考片段获得音色与语言先验，而不是照搬它的停顿；随后当前镜头的口型残差调整说话节奏，上下文对齐据此检索当前台词。

训练时，同时间音频帧要求上下文不要整体前移或后移，CTC 要求最后仍读出台词。推理时不需要目标真实音频作为 JSAR 教师，使用学习好的向量场进行 32 次函数评估生成目标 mel。这里仅说明模块如何协作，不是论文额外报告的一条定量样本。

损失函数 / 训练策略¶

OT-CFM 使用直线路径 \(x_t=(1-t)x_0+tx_1\)，其中 \(x_0\) 是高斯噪声，\(x_1\) 是目标 mel，\(t\) 在 \([0,1]\) 均匀采样。按原文式 5 的 MSE 定义，其核心目标可规范化写为：

\[ \mathcal{L}_{fm}=\mathbb{E}_{t,x_0,x_1}\left[\left\|v_\theta(x_t,t,\mathcal{H}_m,\mathcal{X}_{lip},\mathcal{H}_{text})-(x_1-x_0)\right\|_2^2\right]. \]

模型联合使用流匹配、帧对比和 CTC 目标，但缓存正文没有交代完整的损失权重，不能默认三项等权。声学语义 CFG 使用联合条件、仅声学条件和无条件三类向量场；原文式 6 存在字符缺失，且未提供指导系数数值，因此这里不据损坏公式推断两个系数的精确作用归属。

实现采用 22 层、1,024 隐藏维和 16 个注意力头；统一投影为 712→1,024 维，ConvPosition 核大小 31、分组数 16。嘴部裁剪为 96×96，AV-HuBERT 输出 1,024 维，文本编码器为 4 个隐藏维 512 的 ConvNeXt V2 块，最终向量场为 100 维。

优化器为 AdamW，\(\beta_1=0.9\)、\(\beta_2=0.999\)，权重衰减 0.01、\(\epsilon=10^{-8}\)；随机遮挡连续 70%–100% 的 mel 帧。推理使用 Euler 求解器，32 次函数评估。缓存未报告学习率、批量大小、训练时长和独立的端到端延迟测试，不能由评估次数直接声称实时。

实验关键数据¶

主实验¶

CelebV-Dub 按官方划分使用 79,933 个训练样本与 213 个测试样本。Setting 1 用目标真实语音作参考；Setting 2 用同一说话人的另一片段作参考。CinePile-Dub 是域外电影测试，模型只在 CelebV-Dub 训练，同时测试未见声音与视频，不能把它理解为在电影测试集微调后的结果（原文表 1、4、5）。

WER 由 Whisper-large-V3 识别计算，越低越好；SPKSIM 是 WavLM-TDNN 说话人嵌入相似度，EMOSIM 是 Emotion2Vec 情绪嵌入余弦相似度，均越高越好。DNSMOS 是质量预测器评分，不是人工 MOS；Sync-KL 是时长散度代理，越低越好，只有生成与真实语音总时长相近时才可作同步证据。

数据集 / 设置	方法	SPKSIM (%) ↑	WER (%) ↓	EMOSIM (%) ↑	Sync-KL ↓	DNSMOS ↑	来源
CelebV-Dub / 1	AlignDiT	59.71	9.48	84.54	0.402	3.45	表 2
CelebV-Dub / 1	CoSyncDiT	65.21	4.29	84.61	0.392	3.46	表 2
CelebV-Dub / 2	AlignDiT	49.49	13.18	79.70	0.413	3.47	表 3
CelebV-Dub / 2	CoSyncDiT	53.44	6.39	80.29	0.381	3.47	表 3
CinePile-Dub / 零样本 2	AlignDiT	43.82	23.92	72.53	0.355	3.33	表 5
CinePile-Dub / 零样本 2	CoSyncDiT	47.24	7.53	70.12	0.319	3.39	表 5

不能将结果写成全面领先：CelebV-Dub Setting 2 的 InstructDub WER 为 5.64%，低于本文 6.39%；CinePile-Dub 零样本 Setting 1 的 InstructDub WER 为 4.61%，低于本文 5.59%（表 3、4）。而零样本 Setting 2 中本文 EMOSIM 70.12% 低于 AlignDiT 的 72.53%，优势是整体折中，不是每个指标都最佳。

消融实验¶

以下统一在 CelebV-Dub Setting 2 上评估，数字来自原文表 6。

配置	SPKSIM (%) ↑	WER (%) ↓	Sync-KL ↓	对应影响
完整模型	53.44	6.39	0.381	基准
去掉声学风格适配	19.64	6.84	0.385	音色保持明显受损
去掉细粒度视觉校准	53.25	6.40	0.419	同步受损大于发音
去掉时间感知上下文对齐	52.75	7.39	0.446	同步散度升幅最大
去掉整个 JSAR	51.30	8.72	0.431	发音和同步共同退化
去掉语义一致性	52.34	8.39	0.392	主要损害发音
去掉时间一致性	51.37	6.58	0.425	主要损害同步

关键发现¶

去掉声学风格适配使 SPKSIM 下降 33.80 个百分点；去掉上下文对齐使 Sync-KL 增加 0.065。这支持“音色先建立、口型与文本后校准”的分工，但不能把单个消融当成认知机制的实证。
表 7 提供独立视觉同步指标：Setting 2 的 CelebV-Dub LSE-C/LSE-D 为 6.54/7.85，AlignDiT 为 6.44/7.92；CinePile-Dub 为 5.13/9.26，对照为 5.05/9.33，方向一致但增幅有限。
表 8 的人工评价抽取 50 个 CinePile-Dub 片段，采用 1–5 分、0.5 分步长：本文 MOS-N 为 4.04±0.09、MOS-S 为 4.01±0.10，AlignDiT 为 4.02±0.11、3.97±0.12。区间重叠，不能据均值领先宣称统计显著。

亮点与洞察¶

将多模态融合问题落实到注入顺序和监督位置。视觉残差校准与末端文本检索各有职责，比单纯叠加交叉注意力更容易通过消融定位失败来源。
同一套 JSAR 将时间约束放在上下文、语义约束放在最终隐藏状态。对其他条件语音生成任务，可借鉴这种按错误类型选择监督位置的思路，但需要验证帧级教师是否可靠。

局限与展望¶

原文没有单独的局限节。复现信息方面，缓存未明确 CinePile-Dub 测试规模、损失权重、学习率、训练预算和人工评分者数量；补齐这些信息比仅公布架构更重要。
Setting 1 直接使用目标真实语音作为参考，是较有利的条件；Setting 2 与域外评测更接近实际配音。现有结果不证明跨语言台词、任意多人重叠对白或背景音混合生成能力。
Sync-KL 有总时长接近这一前提，视觉同步指标虽补充了证据，但提升较小。应增加严重遮挡、侧脸和非同内容参考等分层分析，而不是把总体均值当成所有镜头都可靠。
语音克隆需要参考声音的授权与身份保护；这是应用层风险分析，不是论文已经实现了同意验证或水印机制。

评分¶

新颖性: 4/5。围绕参考/目标干扰重组条件注入与正则位置，但并非新的流匹配理论。
实验充分度: 4/5。覆盖两种参考设置、域外电影、组件消融及主客观同步，仍缺预算与分层鲁棒性报告。
写作质量: 4/5。问题、图示与消融呼应清楚，缓存公式损坏及部分设置细节缺失影响复现。
价值: 4/5。提供可借鉴的配音条件融合方案，部署价值仍需授权、速度与复杂对白验证。