V2M-Zero: Zero-Pair Time-Aligned Video-to-Music Generation¶

会议: NeurIPS 2026
arXiv: 2603.11042
OpenReview: https://openreview.net/forum?id=SnU3xpuCox
论文: https://arxiv.org/abs/2603.11042
项目主页: https://genjib.github.io/v2m_zero/
领域: 音频/语音
关键词: 视频配乐、文本音乐生成、事件曲线、整流流、零配对迁移

一句话总结¶

提出首个无需任何视频-音乐配对数据训练的时序对齐视频配乐生成框架 V2M-Zero，通过在单模态预训练特征空间中提取帧间相似度并构建标准化的事件曲线，解耦时间节奏与音乐语义，仅微调单模态文本音乐流匹配模型即可在推理时无缝接入视频事件曲线，实现高保真度与强泛化的精准音画同步。

研究背景与动机¶

视频背景音乐自动生成（Video-to-Music, V2M）在短视频创作、影视制作、游戏互动及品牌营销广告中具有极为广泛的应用价值。创作者对于配乐的核心诉求不仅是音乐风格或情感氛围与视频内容相符，更严苛要求音乐在微观时间维度上与画面的关键动态高度同步——例如在转场瞬间爆发重拍打击，或在人物舞蹈、动作高潮处精准卡点。然而，现有的文本生成音乐（Text-to-Music, T2M）前沿模型虽然能够通过自然语言指令生成高音质、结构完整的音频，却普遍缺乏细粒度的时间控制接口；创作者不得不反复通过耗时费力的人工手工剪辑手段拉伸或裁切音频，以使其勉强贴合画面节拍。

为了让音乐具备时序对齐能力，近年涌现的 V2M 方法大多依赖从互联网抓取的大规模视频-音乐配对数据集进行跨模态端到端联合训练。然而，这种强耦合训练范式面临着难以克服的现实瓶颈：一方面，受版权法限制，商业上获取高质量且合法合规的音画成对数据极其昂贵繁琐；另一方面，互联网野生视频中的配乐混音质量参差不齐，且视觉表征与音乐音频特征纠缠过深，导致模型极易对特定训练域过拟合，在遇到域外画面风格时音频保真度和对齐精度断崖式下跌。另一条技术路线尝试借助多模态大模型（MLLM）先为视频打标推导音乐 prompt，再调用预训练 T2M 生成，但静态文本 prompt 天然无法描述毫秒级的密集时间变化曲线与节奏重音，依然无法解决时间同步难题。

这背后的核心矛盾在于：跨模态音画时间同步的本质是匹配“何时发生多大幅度的动态变化”（when and how much change occurs），而不是“画面与声音具体是什么语义内容”（what changes）。尽管视觉画面与音乐旋律在语义内容上异构悬殊，但二者在各自模态内部的时序变化拓扑上共享着高度一致的自相似性结构与突变规律。基于这一关键洞察，本文提出了无需任何成对视频-音乐数据的零配对（zero-pair）框架 V2M-Zero。核心 idea：通过单模态编码器提取相邻时间步特征相异度构建模态无关且标准化的事件曲线（Event Curves），将其作为连续相对时间引导信号轻量微调文本音乐流匹配模型；推理时将音乐事件曲线零样本替换为视频事件曲线，并配合解耦的自然语言提示，实现无需任何成对训练数据的精准时间对齐视频配乐。

方法详解¶

整体框架¶

V2M-Zero 的核心设计思想是“语义与时序解耦”以及“单模态训练、跨模态推理替换”。在训练阶段，模型仅使用带有文本标注的高质量已授权纯音乐数据，完全不接触任何视频。首先通过神经音频自编码器将立体声音乐波形编码为连续潜变量，同时利用冻结的预训练音乐编码器提取特征序列，计算相邻时刻的余弦相异度，经过 Z-score 标准化、重采样和时间平滑处理后生成一维音乐事件曲线（Music-Event Curve）。接着，将该事件曲线作为额外通道与扩散潜变量拼接，输入基于 Diffusion Transformer（DiT）的整流流（Rectified Flow）模型进行轻量级微调。

在推理阶段，面对给定的无声输入视频，系统分流处理：一方面利用冻结的视觉特征编码器逐帧提取视觉特征，并通过完全相同的数学流程提取视频事件曲线（Video-Event Curve），直接作为条件替换原本的音乐事件曲线；另一方面，通过基于大语言模型的多模态提示词生成流水线（Vibe 架构）从视频画面与语音转录中提取高层语义风格描述（流派、配器、情绪基调）。最后，冻结的流匹配 DiT 模型在二者联合制导下通过解常微分方程（ODE）合成高质量音频潜变量，并经由音频自编码器解码输出完美时间同步的立体声配乐。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    subgraph Training["训练阶段：纯音乐单模态微调（零视频数据）"]
        direction TB
        M_Wave["立体声音乐波形"] --> M_VAE["神经音频自编码器"] --> Latent_x["音乐连续隐变量 x0"]
        M_Wave --> M_Enc["预训练音乐编码器<br/>MusicFM 特征提取"] --> M_Curve["单模态事件曲线提取<br/>帧间相异度 + Z-score + 平滑"]
        M_Text["真实音乐文本描述 c"] --> DiT_Train["整流流 DiT 模型训练<br/>通道拼接注入事件曲线"]
        Latent_x --> DiT_Train
        M_Curve --> DiT_Train
    end

    subgraph Inference["推理阶段：零配对跨模态事件曲线替换"]
        direction TB
        V_In["输入目标视频"] --> V_Enc["预训练视觉编码器<br/>DINOv2 / CoTracker 空间池化"]
        V_In --> V_Vibe["Vibe 多模态提示生成<br/>Whisper ASR + Gemma-4B 总结"]
        V_Enc --> V_Curve["视频事件曲线提取<br/>帧间相异度 + Z-score + 平滑"]
        V_Vibe --> Text_Prompt["高层语义提示词 c<br/>情绪 / 流派 / 配器控制"]
        V_Curve --> Swap["零样本替换曲线条件"]
        Swap --> DiT_Infer["冻结权重的 DiT<br/>96 步 ODE 速度场数值求解"]
        Text_Prompt --> DiT_Infer
        DiT_Infer --> Audio_Dec["音频自编码解码器"] --> Gen_Music["时间精确对齐的背景配乐"]
    end

关键设计¶

1. 模态同构事件曲线构建：以帧间自相异度刻画局部动态突变 现有跨模态生成方法通常依赖对比学习或投影层强行拉近视频和音频的语义嵌入，但两者的底层特征分布相去甚远，极易丧失时间精度。本文认识到，视频中的画面剪辑（Scene Cut）、动作起伏以及音乐中的节拍重音（Beat Onset）、乐器切奏，在各自模态的强预训练特征空间中均直接体现为相邻时间步之间的剧烈变化。给定音乐特征序列 $\mathbf{f}_m \in \mathbb{R}^{d_m \times l_m}$ 或空间平均池化后的视频帧特征序列 $\mathbf{f}_v \in \mathbb{R}^{d_v \times l_v}$，统一计算相邻特征向量之间的余弦相似度： $$s^k = \frac{\mathbf{f}^k \cdot \mathbf{f}^{k+1}}{\|\mathbf{f}^k\|\,\|\mathbf{f}^{k+1}\|},\quad k=1,\dots,l_f-1$$ 进而定义相异度序列 $a^k = 1 - s^k$ 并构成序列 $\mathbf{A} = \{a^k\}$。数值越高，代表高层特征空间中局部突变越强烈。这种设计等价于提取全自相似矩阵（Self-Similarity Matrix）的对角线相邻带，将复杂的模态内容投射为纯粹的时间突变几何信号，构建了跨模态对齐的同构桥梁。

2. 跨模态分布间隙消除：样本级标准化与 Hann 窗时序平滑 直接将视频相异度曲线代入音乐模型会遭遇分布偏移，因为视觉特征与音频特征的绝对相异度幅值范围和基线偏移截然不同。为消除模态间隙，V2M-Zero 引入了三步标准化操作。首先，对每个样本序列 $\mathbf{A}$ 进行独立的均值方差归一化： $$\bar{a}^k = \frac{a^k - \mu(\mathbf{A})}{\sigma(\mathbf{A})}$$ 使曲线仅承载“相对突变强度”，剥离掉绝对能量与平均动态；绝对能量与曲风则完全交由自然语言提示掌控。随后，通过线性插值将序列长度重采样至与音频扩散潜变量时间步长一致的 $l$。最后，采用 Hann 窗核进行时序卷积平滑： $$\mathbf{e} = \text{Smooth}(\text{Resample}(\bar{\mathbf{A}}, l)) \in \mathbb{R}^l$$ 平滑核大小构成了关键的设计权衡：过小的核无法滤除模态特有的高频噪声，导致音频质量下降；过大的核则会抹平关键节拍突变点，损害对齐精度。实验标定核大小为 31（约 1 秒窗长），在保持精确节拍对齐的同时最大化音频听感保真度。

3. 极简通道拼接的条件流匹配微调：参数高效的解耦流建模 在模型整合方面，不同于跨注意力机制（Cross-Attention）可能带来的复杂交互与计算开销，V2M-Zero 采取参数极为经济的通道拼接方案。将平滑后的 1D 事件曲线 $\mathbf{e} \in \mathbb{R}^{1 \times l}$ 作为第 $d+1$ 个通道直接拼接在音频潜变量 $\mathbf{x}_t \in \mathbb{R}^{d \times l}$ 上： $$\widetilde{\mathbf{x}}_t = [\mathbf{x}_t, \mathbf{e}] \in \mathbb{R}^{(d+1) \times l}$$ 这一改动仅需对 DiT 的线性输入投影层扩充 2048 个参数，其余主干架构完全复用。在微调训练中，流匹配模型学习将高斯噪声 $\boldsymbol{\epsilon}$ 沿着由文本条件 $\mathbf{c}$ 和音乐事件曲线 $\mathbf{e}_m$ 联合引导的确定性直线轨迹输运至数据潜变量 $\mathbf{x}_0$。推理时，在参数完全冻结的前提下，将 $\mathbf{e}_m$ 直接替换为目标视频提取出的 $\mathbf{e}_v$，模型便顺理成章地将视频的动态突变点解读为音频节拍与声学事件的触发信号。

4. 多模态视频提示词提取流水线：视听双通道语义生成 为了提供与时序解耦的高层音乐属性（情感、风格、流派、配器），系统集成了 Vibe 多模态提示词生成管线。对于输入视频，首先利用 Whisper ASR 模型提取人声对白与解说词文本，捕获叙事语境与情感暗线；同时按帧采样视频并调用 Gemma-4B 视觉语言模型生成画面描述，再通过 Gemma-4B 进行跨帧摘要，凝练出紧凑的场景概括；最后将对话文本与视觉摘要共同输入大语言模型，推荐出最适配当前视频场景的专业音乐生成 Prompt。消融实验证明，底层语义提示词对 LLM 选型不敏感，保证了系统对多样化复杂场景的极强普适性。

损失函数 / 训练策略¶

模型采用连续时间潜空间整流流（Rectified Flow）目标函数进行轻量微调。给定真实音乐潜变量 $\mathbf{x}_0 \sim \mathcal{P}_D$ 和标准正态分布采样的高斯噪声 $\boldsymbol{\epsilon} \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$，时间步 $t \in [0, 1]$ 沿线性插值路径构造中间态 $\mathbf{x}_t = t \boldsymbol{\epsilon} + (1 - t) \mathbf{x}_0$。网络 $f_\theta$ 以拼接后的状态 $\widetilde{\mathbf{x}}_t = [\mathbf{x}_t, \mathbf{e}_m]$、文本嵌入 $\mathbf{c}$ 及时间步 $t$ 为输入，预测目标速度场 $\boldsymbol{\epsilon} - \mathbf{x}_0$： $$\min_{\theta} \;\mathbb{E}_{\mathbf{x}_0, \boldsymbol{\epsilon}, t, \mathbf{e}_m, \mathbf{c}} \left\|\, (\boldsymbol{\epsilon} - \mathbf{x}_0) - f_\theta(\widetilde{\mathbf{x}}_t, \mathbf{c}, t) \,\right\|_2^2$$ 微调在约 2.5 万小时已授权纯乐器音乐-文本对上进行，仅需 4–8 张 A100 GPU 训练 2–4 天（累计 192–768 GPU 小时）。优化器采用 AdamW，学习率设为 $10^{-4}$，并引入 10% 概率的条件丢弃（Condition Dropout）以支持无分类器引导（Classifier-Free Guidance, CFG）。在推理阶段，使用欧拉求解器进行 96 步数值采样求解 ODE 反向速度场。

实验关键数据¶

主实验¶

评估涵盖电影配乐、综合多模态与舞蹈卡点三大基准：OES-Pub（115 个公共电影片段，约 30 秒）、MovieGenBench-Music（527 个各类视频片段，约 10 秒）以及 AIST++（20 个专业街舞视频，涵盖 10 种舞种）。对比方法包含基于配对网络数据训练的代表性基线 M2UGen、GVMGen、MTCV2M、VidMuse、AudioX，以及基于 LLM Prompt 的无配对方法 SONIQUE。

数据集	方法	配对数据量	FAD / FAD* ↓	CLAP ↑	SCH ↑
OES-Pub (影视长片段)	M2UGen	36.7h	6.67	0.07	0.35
	GVMGen	147h	6.25	0.18	0.35
	MTCV2M	147h	5.44	0.20	0.37
	VidMuse	18,000h	10.40	0.16	0.40
	AudioX	15,793h	7.46	0.19	0.33
	SONIQUE	0h	6.80	0.09	0.27
	V2M-Zero (本文)	0h	4.95	0.23	0.61
MovieGenBench (综合生成视频)	M2UGen	36.7h	5.84	0.02	0.24
	GVMGen	147h	3.96	0.06	0.48
	MTCV2M	147h	4.02	0.16	0.29
	VidMuse	18,000h	2.98	0.04	0.47
	AudioX	15,793h	2.82	0.08	0.30
	SONIQUE	0h	6.47	0.16	0.21
	V2M-Zero (本文)	0h	2.68	0.18	0.58

注：OES-Pub 音频包含环境音杂音，因此 FAD* 使用纯音乐参考集 SongDescriber 计算；MovieGenBench 使用标准 FAD。SCH（Scene Cut Hit）评估视频转场前后 ±100ms 内音乐重音击中率。

在紧密运动节奏对齐的 AIST++ 街舞数据集 上，针对专业舞蹈配乐基线对比结果如下：

方法	配对训练约束	节拍覆盖度 (BCS) ↑	节拍击中率 (BHS) ↑	F1 综合分 ↑	时间偏差 (TD) ↓
CMT	专用符号/配对	0.3368	0.1515	0.2090	21.74
CDCD	图像-音乐对比扩散	0.4233	0.2151	0.2852	19.25
LORIS	节拍跟踪条件	0.3721	0.3371	0.3537	17.80
MDM	动作潜扩散	0.3798	0.4185	0.3982	22.96
Text Inv.	文本逆映射优化	0.4761	0.4398	0.4572	20.34
V2M-Zero (本文)	零配对通用模型	0.5818	0.6274	0.5856	12.24

消融实验¶

1. 编码器架构选择（在 OES-Pub 上评估）

训练音乐编码器	推理视频编码器	FAD* ↓	CLAP ↑	SCH ↑
AVSiam (双模态共享)	AVSiam	4.52	0.19	0.35
VAE (重建隐空间)	V-JEPA 2	5.13	0.18	0.41
VAE (重建隐空间)	DINOv2	4.77	0.16	0.31
MusicFM (自监督语义)	V-JEPA 2	5.02	0.18	0.48
MusicFM (自监督语义)	DINOv2	4.95	0.23	0.61

2. 核心模块与平滑核大小消融（OES-Pub）

模型配置 / 平滑核大小	FAD* ↓	CLAP ↑	SCH ↑	说明
纯文本基线 (w/o 事件曲线)	3.63	0.23	0.35	无法实现画面转场卡点
核大小 9 (~0.7 秒)	8.17	0.22	0.61	噪声过多，音质显著劣化
核大小 31 (~1.0 秒，本文默认)	4.95	0.23	0.61	最佳平衡点，保留突变且音质好
核大小 63 (~5.0 秒)	3.12	0.23	0.27	过度平滑，转场对齐急剧退化

关键发现¶

零配对全面超越强监督配对模型：V2M-Zero 在没有使用任何视频-音频配对训练集的情况下，在所有三个基准的所有指标上均超越了最强配对基线（包括在 1.8 万小时配对数据上训练的 VidMuse）。时序同步指标 SCH 提升幅度高达 21%–52%，街舞节拍 F1 提升达 28%。在 1403 票的众包盲测中，本方法在音乐质量与时序对齐两个维度均获得 60%–78% 的显著胜率。
配对训练的过拟合陷阱：在成对互联网数据上训练的 VidMuse 和 AudioX 表现出明显的域敏感性——在真实电影（OES-Pub）上音质 FAD 较差（VidMuse 为 10.40），但在生成视频（MovieGenBench）上反弹，说明成对端到端跨模态学习极易陷入数据偏置；而 V2M-Zero 解耦了时序与内容，表现出跨视频域的稳健一致性。
时序平滑的音画权衡机制：平滑核大小决定了连续音质与离散卡点的平衡。适度的时序平滑滤除了视觉单模态特有的微小抖动高频噪声，使事件曲线更贴近音乐声学包络；但过度平滑会抹除节拍特征，使模型退化为纯文本引导状态。

亮点与洞察¶

本质化的认知视角转变：打破了过去必须依赖跨模态对齐网络或昂贵配对视频音频来学习配乐的惯性思维，深刻指出“时序对齐是对齐何时变化，而非对齐内容是什么”。将视频和音乐映射为单模态自相异度曲线，用纯几何拓扑信号连接了两个差异巨大的物理模态。
零额外微调的推理时即插即用泛化：不仅可以在零配对训练的 DiT 模型上工作，还在公开的开源音频控制模型 Stable-Audio-ControlNet 上验证了零样本迁移可行性（仅用视频事件曲线替换 RMS 能量曲线，SCH 便从 0.28 跃升至 0.38），证明了事件曲线作为通用跨模态时序接口的通用价值。
低成本、商业合规与快速部署：完全摆脱了网络盗版视频-音乐配对爬取与清洗的法律风险与工程代价，仅用 2.5 万小时合规授权纯音乐数据和 192–768 GPU 小时微调即可达到学术与实用前沿，极大地降低了 V2M 模型的研发门槛。

局限与展望¶

宏观音乐乐句与段落级调性的动态适应不足：当前多模态提示词生成管线为整段视频生成全局单一的自然语言 Prompt，难以反映长视频中段落结构切换（如从紧张追逐到温馨平静）时的配乐配器与调性渐变。虽然附录探索了 5 秒分块提示词方案，但系统级支持宏观音乐叙事仍有待进一步深入。
自动评估指标与人类审美感知的微观脱节：附录深入分析发现，基于事件曲线分布的 Fréchet 距离（M、M+V、M-V）与人类的主观审美评价相关性极弱；人类更关注转场瞬间等稀疏显著点的强烈听觉冲击，而非密集时间序列的全局相似。未来需要开发更契合人类音乐感知特性的新型评估基准。
极端复杂多目标交互的视觉节拍提取难度：虽然在单人街舞（AIST++）中 CoTracker 等点追踪器能提取极佳动作轨迹，但在复杂群戏、多主体混乱运动或极其微弱的镜头运动下，依靠简单的空间平均池化提取的 DINOv2 差异曲线可能含有噪声，需要更智能的显著性前景时序聚焦机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆性提出“零配对”理念，以单模态自相异度事件曲线作为跨模态时序通用桥梁，立意极为深刻巧妙。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖影视长片段、综合视频与街舞三大基准，辅以 1403 票严谨多重检验众包主观盲测与深入的编码器、平滑窗消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑推进层层递进，从哲学视角（When vs What）到具体技术消除模态间隙阐述得行云流水，附录分析坦诚深入。
价值: ⭐⭐⭐⭐⭐ 彻底扫清了商业合规配对数据匮乏的行业痛点，微调成本低廉且具备跨骨干迁移能力，实用落地潜力巨大。