OmniDance: Multimodal Driven Dance Video Generation with Large-scale Internet Data¶

会议: ECCV 2026
论文: ECCV 2026
代码: https://github.com/AMAP-ML/OmniDance
领域: 视频生成
关键词: 音乐驱动舞蹈、多模态控制、扩散 Transformer、课程学习、无分类器引导

一句话总结¶

OmniDance 用约 30 万段互联网舞蹈视频和相互配合的音乐注入、课程训练、分模态采样策略，将 Wan2.2-TI2V-5B 扩展为统一的文本/音乐/联合驱动舞蹈视频模型，在 CIPE-Dance 测试集上提升整体质量与控制能力，但联合输入并不保证每项指标都最好。

研究背景与动机¶

让参考图中的人物随音乐跳舞，并不是把说话头像模型的运动范围放大即可。舞蹈既需要手臂、躯干和下肢协调，也要将节拍、速度与音乐能量变化转成全身运动，同时保持人物身份、服装和背景稳定。已有两阶段方法先从音乐预测二维关键点或三维 SMPL 参数，再生成画面，因而依赖中间姿态表示的可靠性；遮挡、复杂位移以及三维监督成本都会限制可学到的动作范围。通用视频基础模型具有更强的视觉先验，却主要接受文本和图像训练，不会因为增加一个音频输入就自然理解音乐与舞蹈的关系。

数据与条件融合因此是同一个问题的两面：没有足够多的自然舞蹈视频，模型难以学到动作变化；没有清晰的条件分工，新增音乐分支又可能破坏已有文本控制和外观质量。作者将文本视为舞种、编舞意图与关键姿态等全局语义的载体，将音乐视为节奏、速度与能量变化等局部时序线索的载体。这种划分是用来指导结构和训练的设计假设，而不是证明文本只含低频、音乐只含高频的严格信号分解。任务目标也不是要求三种输入永远同时存在，而是在同一个生成器里支持文本加图像、音乐加图像以及三者联合输入。

为此，论文先用逐级筛选和面向编舞的描述构建 CIPE-Dance，再在模型深度、训练阶段和采样进度三个维度安排音乐的引入。前两者让音乐逐渐成为可用的运动条件，后者决定一次生成中何时更依赖语义、何时更强调节奏。核心 idea：保留文本/图像基础模型作为语义与外观锚点，让音乐通过深层增强、由易到难的训练和后段相对增强的引导参与舞蹈生成，而不是同时、等强度地争夺所有表示。

方法详解¶

整体框架¶

OmniDance 的输入始终包含参考图像，另外可提供文本、音乐或二者；输出是保持参考人物外观的舞蹈视频。 TI2V、MI2V、MTI2V 分别对应这三种条件组合，因此“音乐单独驱动”不代表不需要人物图像。系统以 Wan2.2-TI2V-5B 的潜空间视频生成器为基础，使用 umT5-XXL 编码文本、MERT 编码音乐，并通过新增交叉注意力将音乐特征送入 DiT。参考图像与视频潜表示由基础模型的三维 VAE 处理，最终通过 VAE 解码得到像素视频；训练并不需要先预测一条显式骨架序列。

下面将离线数据构建、模型适配和实际采样放在同一图中，箭头表示依赖关系，并不表示每次推理都要重新筛选数据或训练。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        A["互联网舞蹈视频"] --> B["编舞感知数据构建"]
        B --> C["音乐文本渐进分工"]
        C --> D["锚定式课程训练"]
        D --> E["分模态时变引导"]
        F["参考图像<br/>文本或音乐或二者"] --> E
        E --> G["舞蹈视频<br/>VAE 解码与滑窗延展"]

关键设计¶

1. 编舞感知数据构建：把网络视频变成可控生成的监督

CIPE-Dance 从约 500 位舞蹈创作者的公开视频出发，创作者粉丝数要求超过 50K，视频发布时间限制在 2018 年之后。原视频被切成 5 秒、16 FPS 的片段，初始得到约 630k 段，然后依次经过视觉质量、参考清晰度、舞蹈内容、单舞者和场景稳定性筛选。第 6 页正文给出的视觉门槛是 IQ 高于 60.00、AQ 高于 50.00；图 2 的门槛标注与正文对调，因此这里按正文记录，不把图中文字当作另一套已经验证的参数。第一帧将成为生成参考图，参考清晰度检查专门去除看不清人物、背向镜头或缺少面部线索的样本；舞蹈检查则排除说话、摆姿势和基本静止的视频。这些条件直接服务于生成任务：参考图必须能提供身份线索，训练目标必须确实包含动作，而非只具有“舞蹈相关”的场景语义。

难以直接判断“只有一个舞者”时，流水线改为查找群舞、跟跳画中画和镜面反射等具体负例，再排除突变场景及剧烈相机抖动。按第 3.1 节的具体说明，参考、舞蹈与单舞者检查使用 Qwen3-VL-2B，场景稳定性使用 Qwen3-VL-8B；不能把所有困难过滤一概写成同一个大模型。保留数据再由 Qwen3-VL-8B 从身体动态、编舞内容、表现力、镜头呈现和整体外观五方面独立描述。这样，文本不仅告诉模型“有人跳舞”，还描述动作部位、舞种词汇、表现意图、取景方式和服装环境，使文本分支先学到可落地的舞蹈语义。最终数据约 300k 段、超过 400 小时，覆盖超过 30 种舞蹈；这些是论文报告的规模，并不等同于独立核验过的数据发布状态。

2. 音乐文本渐进分工：在深层逐步放大音乐残差

基础模型共有 30 个 DiT 块，每块原本包含自注意力、文本交叉注意力和前馈网络，新增的音乐交叉注意力位于文本条件处理之后。音乐特征来自 MERT，其产生的残差更新不会在所有块中以同一强度加入，而是乘以随层深增加的系数。根据第 9 页式 (3) 的机制，深度系数可单独写为：

\[ s_\ell=\left(\frac{\ell}{L}\right)^\gamma,\qquad L=30,\quad\gamma=1.5. \]

其中 \(\ell\) 为块编号，\(L\) 为总块数；每层音乐交叉注意力的残差在加入潜特征前乘以 \(s_\ell\)。浅层因此较少被新音乐分支扰动，文本更容易先确定总体动作布局；深层音乐贡献增大，用来细化节奏相关的运动变化。该设计是软缩放而非硬切分：浅层仍能接收音乐，深层也没有删除文本分支。所谓“分工”并不是先生成文本视频、再由第二个生成器修补音乐，而是在同一个 DiT 的不同深度改变条件贡献。

这种做法利用了基础模型已有的由粗到细表示，但是否有效必须通过干预检验。表 2 中反转深度安排后 BAS 降至 0.234，低于正常安排的 0.287，支持“音乐较强地进入深层”这一具体选择，而非笼统支持任何层间调度。用 Wav2Vec2.0 替代 MERT 也会降低节拍对齐，却提升若干外观指标，说明音乐表示的选择与优化目标有关，不能只凭画面好看判断是否学会随音乐跳舞。

3. 锚定式课程训练：先学舞蹈文本，再学联合条件，最后允许缺少文本

Stage I 只训练 TI2V，音乐分支冻结，先将通用生成器适配到舞蹈描述与画面的对应关系。这一阶段不是训练新的文本描述器，而是使生成模型更可靠地响应数据集中的动作和编舞描述，从而为后续音乐学习提供语义锚点。 Stage II 同时保留 TI2V 与 MTI2V 任务，音乐在文本已能解释动作的情况下进入模型；保留 TI2V 也持续约束原有能力，而不是把全部训练立即切换到音频。新增音乐残差投影采用零初始化，新参数使用线性学习率预热，使尚未学好的音乐分支在训练开始时不会大幅改变基础模型输出。

Stage III 才同时训练 TI2V、MTI2V 和 MI2V，让模型在缺少文本时也必须从音乐中组织舞蹈。这一步的作用是减少对文本提示的依赖，而不是删除文本能力；同一模型最终可以在三种模式间切换。论文将该阶段描述为联合优化全部相关参数，但没有给出足够细的参数组清单或三任务采样比例，不能据此补写具体冻结策略或混合概率。三个阶段共同维持的是同类视频生成目标，变化在于条件组合和训练顺序，而非引入一个被报告为显式节拍奖励的新损失。

4. 分模态时变引导：后段提高音乐的相对影响，而非绝对权重

推理时分别构造无文本/音乐、仅文本以及文本加音乐的预测，并组合条件增量；参考图像仍然保留。将第 10 页式 (7) 的 MTI2V 分支以简写重述如下，\(v_0\) 表示无文本和音乐的速度预测，\(v_T\) 表示仅文本，\(v_{TM}\) 表示文本加音乐：

\[ v_{\mathrm{MTI2V}}=v_0+\lambda_t(\tau)(v_T-v_0)+\lambda_m(\tau)(v_{TM}-v_T). \]

第二个差分是在保留文本的条件下增加音乐的效果，而不是另取一个音乐单条件预测与无条件预测相减。 TI2V 只使用文本相对无条件的增量，MI2V 则使用音乐单条件相对无条件的增量，因此缺失模态有明确的采样路径。这里 \(\tau\) 表示采样过程的推进，不与训练中加噪时间的方向混为一谈。实际设置为文本引导从 5 降到 1，音乐引导从 4 降到 2；两个绝对系数都下降，但文本下降更快，所以后段音乐的相对影响更大。这解释了论文“早期文本、后期音乐”的含义，也避免将定性描述误写成音乐 CFG 从小到大增长。

长视频采用 Wan 风格滑动窗口，将当前片段最后一帧作为下一个窗口的参考图像，重复生成短片段。它提供的是逐段延展能力，并没有单独给出全局编舞规划器；仅靠末帧传递也不能保证长时间身份、节奏和动作叙事不漂移。

损失函数 / 训练策略¶

基础训练采用流匹配：在真实视频潜表示与高斯噪声之间构造线性路径，训练 DiT 预测该路径的目标速度，并最小化速度预测误差。本地文本中的式 (1)、式 (2) 排版损坏，因此这里保留可由正文确认的训练含义，不擅自补写加噪方向或完整条件下标。 VAE 在时间、高度、宽度方向分别按 \((4,16,16)\) 压缩，音乐和文本作为条件进入潜空间生成过程，解码器恢复最终视频。第 11 页报告 Stage I、II、III 分别训练 5k、5k、10k 步，批量大小为 32，使用 AdamW，学习率为 \(1\times10^{-5}\)。训练分辨率为 \(704\times1280\)，长度写为 77 帧，并概括为 5 秒、16 FPS；这里保留原文口径，不把 77 帧强行改写为整整 80 帧。推理采用 40 个流匹配采样步；完整训练约需 32 张 H20 运行 70 小时，每张显存约 80GB。推理时单张 H20 生成一段标称 5 秒视频，TI2V/MI2V 约需 4.5 分钟，MTI2V 约需 7.2 分钟，显存约 40GB。

实验关键数据¶

主实验¶

数据来自 CIPE-Dance 随机留出的 100 个片段，作者说明它们不参与训练；评估设置见第 7、11–12 页，主结果见第 11 页表 1。 IQ、SC、MS 分别衡量图像质量、主体一致性和运动平滑度；BAS 是音乐节拍与运动节拍的对齐分数，越高越好，但不等价于整体编舞质量。运动 FID 使用 ViTPose 提取的二维关键点计算特征分布差异，\(\mathrm{FID}_k\) 对应运动动力学特征，越低越好；它不是基于真实三维动作捕捉的误差。 OC 衡量文本与视频整体一致性；MI2V 的评估文本简化为“a person is dancing”，因此其 OC 与详细文本任务的语义约束并不完全相同。

条件 / 方法	IQ ↑	SC ↑	MS ↑	FIDk ↓	BAS ↑	OC ↑
TI2V / Wan2.2-TI2V-5B	64.66	90.10	98.08	19.15	0.252	12.11
TI2V / OmniDance	67.74	90.16	99.24	13.55	0.259	12.53
MI2V / Hallo2	64.09	90.77	97.05	16.49	0.244	11.85
MI2V / OmniDance	65.61	92.63	98.09	17.55	0.293	12.40
MTI2V / OmniDance	67.77	94.34	99.22	13.97	0.287	13.08

TI2V 相对基础模型的 FIDk 从 19.15 降到 13.55，但 MI2V 的 FIDk 17.55 并不优于 Hallo2 的 16.49。联合输入带来更好的主体一致性与 OC，却没有超过 MI2V 的 BAS；应将它理解为不同质量维度的组合改善，而非全面支配所有单模态结果。 Hallo2 经过全身掩码适配和微调，论文另有 WAN-S2V、Echomimic-V3 的直接推理对比，训练适配条件并不统一，不能把全部差距都归因于结构。

消融实验¶

以下合并第 14 页表 2 的结构消融与表 3 的训练/推理消融，全部为 MTI2V；按表题引用，正文结构消融段落将表号写成表 3 是交叉引用错误。 AQ 为审美质量；“统一 CFG”表示文本和音乐共用从 5 降到 3 的引导权重。

来源 / 配置	AQ ↑	SC ↑	MS ↑	BAS ↑	OC ↑
表 2、3 / 完整模型	55.76	94.34	99.22	0.287	13.08
表 2 / 去掉深度缩放 MTPS	54.18	90.61	93.74	0.257	12.53
表 2 / 反转深度安排 MTPS (R)	52.31	89.89	95.98	0.234	12.37
表 2 / MERT 换为 Wav2Vec2.0	56.10	95.72	98.64	0.241	12.78
表 3 / 去掉 Stage I	52.92	92.74	94.88	0.239	11.72
表 3 / 去掉 Stage II	51.38	94.61	98.11	0.293	12.71
表 3 / 统一 CFG	53.27	93.96	96.84	0.279	13.22

关键发现¶

去掉深度缩放使 MS 从 99.22 降到 93.74，说明该设计不仅影响对拍，也影响动作连续性；反向安排的结果进一步支持调度方向的重要性。
去掉 Stage I 同时损害质量和对齐，而去掉 Stage II 的 BAS 反而达到 0.293、AQ 却降到 51.38，体现了保留语义/视觉锚点的必要性，而非每阶段都提升所有指标。
分模态 CFG 相比统一 CFG 改善 BAS 和 MS，却使 OC 从 13.22 变为 13.08；结果支持多目标取舍，不能宣称其在文本一致性上也占优。

亮点与洞察¶

数据过滤围绕生成时的参考图与单舞者假设设计，而不是只做通用视频质量筛选。尤其是镜面反射和画中画排除，减少了“一张参考图应该驱动谁”的监督歧义。
在网络深度、课程阶段和采样进度上采用一致的条件分工思路，是本文比单纯添加音频交叉注意力更完整的贡献。消融检验了其中多个选择，但没有把这套分工提升为普遍规律。
保留 TI2V 作为音乐接入过程中的锚定任务，使新增模态的学习不必以放弃原有能力为前提。表中同步与外观的相反变化也提醒读者，单一节拍分数不足以选择模型。

局限与展望¶

作者明确承认尚不支持实时生成，单段分钟级延迟使实时互动受限；文末提出长视频生成与蒸馏结合的方向，但没有给出已完成的加速结果。
测试集只有随机留出的 100 段，未说明按创作者、歌曲或原始视频隔离，也未报告置信区间。因此不能据此确认跨人物、跨音乐和跨来源的泛化强度。
训练筛选偏向单人、清晰正面参考和稳定场景，对群舞、背身起始、遮挡及强镜头运动的适用性没有得到充分验证；滑窗扩展也缺少长时定量结果。
二维关键点指标可能受到姿态估计误差影响，自动编舞描述也未附完整人工准确率审计。原文另有门槛标注、表号和帧数口径问题，复现时应核对实现，不能由笔记替作者确定。

评分¶

新颖性: 4/5。数据、模型深度、课程与采样协同设计清晰，单个技术组件本身并非全新。
实验充分度: 3/5。三任务结果及结构/策略消融较完整，但测试规模、基线适配差异和长视频验证限制了结论范围。
写作质量: 3/5。主线明确，实际 CFG 系数与“相对增强”需要仔细区分，若干图文和表号细节影响复现阅读。
价值: 4/5。对将音乐条件接入强视频基础模型有直接参考意义，但尚未解决实时性和复杂多人场景。