UniFlow-Audio: Unified Flow Matching for Audio Generation from Omni-Modalities¶

会议: NeurIPS 2026
arXiv: 2509.24391
代码: https://wsntxxn.github.io/uniflow_audio
领域: 语音与音频
关键词: 流匹配、统一音频生成、全模态、非自回归生成、双重融合

一句话总结¶

UniFlow-Audio 提出了首个基于流匹配的非自回归统一全模态音频生成框架，通过解耦双重融合机制与逐块注入设计，在单一模型内同时统一时间对齐与非时间对齐等 7 项音频生成任务。

研究背景与动机¶

近年来，以语音合成（TTS）、文本生成音频（T2A）、音乐生成（T2M）及音效合成为代表的音频生成技术取得了突破性进展。然而，传统研究范式普遍针对特定单一任务设计定制化模型，割裂了真实物理世界中声音模态的内在关联与共性规律。尽管近来出现了 UniAudio 和 AudioX 等试图构建统一音频生成模型的先驱工作，但整体领域仍面临显著的建模范式割裂：UniAudio 采用自回归（AR）语言模型范式，依赖离散音频编解码器（Audio Codec）与串行自回归自注意力，在推理速度与生成质量上面临固有瓶颈，且训练需消耗高达 16.5 万小时的庞大数据；而基于扩散/流匹配的非自回归（NAR）统一模型（如 AudioX）则完全局限于非时间对齐的粗粒度声学任务，无法胜任需要显式变长时长对齐的语音合成与精准音视频同步。

造成这一割裂的核心症结在于音频生成任务内在的时间对齐（Time-Aligned, TA）约束差异。语音合成（TTS）、歌唱合成（SVS）、语音增强（SE）、超分辨率（SR）以及视频生成音频（V2A）等 TA 任务具有严格的输入输出时序对应关系（如音素到帧的单调映射、去噪/超分的逐帧对齐）；而文本生成音频（T2A）与文本生成音乐（T2M）等 NTA 任务则不存在局部的时序对应，文本仅从全局语义层面对整段声景进行描述。现有的非自回归扩散与流匹配模型要么采用纯 Cross-Attention 机制（在 TA 任务上丧失时序精确定位能力），要么采用纯输入拼接机制（无法泛化到无时序对应的文本条件），始终缺乏能在统一骨干网络内调和两类对齐特性的通用生成架构。

为了打破自回归离散建模的低效与非自回归任务割裂的局限，本文探索了基于连续流匹配（Flow Matching）的统一 NAR 全模态音频生成范式。核心 idea：基于输入输出的时序强弱约束将全模态音频任务划分为时间对齐（TA）与非时间对齐（NTA）两大类，构建具备解耦虚拟嵌入的逐块双重融合（Dual-Fusion）流匹配骨干网络，通过时长适配器与特征加权平衡实现跨模态、跨任务的统一非自回归并行音频生成。

方法详解¶

整体框架¶

UniFlow-Audio 的整体架构由四大核心子系统组成：波形变分自编码器（Waveform VAE）、多模态内容与任务指令编码器（Content & Instruction Encoding）、统一时长适配器（Duration Adapter），以及核心的双重融合流匹配 Transformer 骨干网络（Dual-Fusion Flow Matching Transformer）。

整个处理流水线如下：输入的全模态数据（文本、音素/MIDI、退化音频、视频帧）首先经由各自的预训练编码器映射为连续特征向量，并与文本形式的任务指令嵌入（Task Instruction）通过交叉注意力融合，生成携带任务意图的特征表示；接着，时长适配器预测整段音频片段时长 \(d_c\) 以及逐单元序列时长 \(d_s\)，对 TA 任务显式扩展出时间对齐特征序列；随后，包含自注意力、时间对齐特征残差加和、全局非对齐特征交叉注意力的双重融合 Transformer 块在每个网络层协同作用，逐步拟合流匹配的速度场向量；最终，去噪后的连续音频隐变量送入波形 VAE 解码器，直接重构出 24 kHz 高保真波形。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["全模态输入<br/>文本/音素/MIDI/音频/视频"] --> Enc["模态特定编码器 + 任务指令融合<br/>提取连续内容表示 C 与指令嵌入 I"]
    Enc --> Dur["时长适配器与序列展开<br/>预测片段时长与逐帧对齐时长"]
    Dur --> DiT["双重融合流匹配 DiT 骨干<br/>逐块注入时间对齐与非对齐条件"]
    DiT --> Out["波形 VAE 解码器<br/>多尺度卷积并行重构 24kHz 音频"]

关键设计¶

1. 解耦双重融合机制：彻底隔绝时序对齐与全局语义特征的跨任务干扰

在多任务统一骨干网络中，单纯使用交叉注意力难以捕捉强时间对齐任务中严密的帧级对应关系，而简单的时序加和拼接则无法处理文本等无对齐关系的全局条件。为此，UniFlow-Audio 设计了双重融合（Dual-Fusion）机制，在每一个 DiT Block 内部对音频隐变量 \(A\) 实施分层注入。具体而言，隐变量经过流匹配时间步 \(\tau\) 调制的自注意力后，首先通过逐点加和直接融入经过时长展开的时间对齐特征 \(C_T^I\)：\(A \leftarrow A + C_T^I\)；紧接着，再通过交叉注意力接入未展开的粗粒度语义特征 \(C^I\)：\(A \leftarrow \text{Attn}(A, C^I, C^I) + A\)。

然而，多任务混合训练时若简单让所有分支同时激活，会导致模型在不同任务间发生灾难性串扰。例如，在 NTA 任务中，强制展开的时序特征实际上充当了伪噪声，而 TA 任务过强的局部偏置会破坏全局语义的理解。本文的关键设计在于引入可学习的解耦虚拟嵌入（Learnable Dummy Embeddings）：当模型执行 TA 任务时，交叉注意力分支中的 \(C^I\) 被自动替换为固定的虚拟占位符；反之，当执行 NTA 任务时，逐点加和分支中的 \(C_T^I\) 被替换为对应的虚拟嵌入。消融实验证明，这种显式的条件解耦机制完全消除了模态冲突，使单一模型在两类极端任务上均达到顶尖性能。

2. 统一时长适配与逐块逐层注入：保障时序控制精度与深层特征交互

为了在非自回归架构下支持任意长度与不同对齐要求的音频合成，模型构建了统一的时长适配模块。该模块并行预测片段级总时长 \(d_c \in \mathbb{R}^+\) 与序列级局部时长 \(d_s \in (\mathbb{R}^+)^L\)。对于 TTS 与 SVS，序列时长对应每个音素对应的隐变量帧数，通过对隐特征 \(c_i^I\) 复制 \((d_s)_i\) 次构建与音频潜变量完全等长的时间对齐序列 \(C_T^I\)；对于语音增强（SE）和视频生成音频（V2A），输入与输出的帧率比例固定，\((d_s)_i\) 设为固定的常数比例系数；对于 NTA 任务，\(d_s\) 则退化为固定常数。

此外，与此前许多非自回归语音模型仅在网络最底层做一次性输入拼接（Input Fusion）不同，UniFlow-Audio 提出了逐块注入（Block-Wise Fusion）结构。由于交叉注意力在每个 DiT Block 都有深层梯度回传，若仅在底层输入端拼接时间对齐特征，其前向影响力会被深层交叉注意力快速稀释。UniFlow-Audio 将对齐特征 \(C_T^I\) 持续作用在全部 12-24 层 DiT Block 中，确保高阶隐变量在演化全程均受到严密的时间对齐几何约束。

3. 任务平衡采样与自适应无分类器引导：化解数据量失衡与噪声敏感性冲突

在全任务混合训练中，数据规模的天然极化十分显著：在覆盖的 7 项任务中，TA 任务占据 5 种，且文本生成音乐（T2M）的数据规模高达近 6000 小时，而歌唱合成（SVS）仅有 30 小时。常规的轮询或随机采样会导致时间对齐任务严重过载，使得模型退化并忽视全局语义控制。为此，本文设计了任务平衡数据采样策略（Task-Balanced Sampling），显式将 NTA 任务在 batch 内过采样（T2M 上采样 3 倍，T2A 上采样 2 倍），从而在训练动态中保持 TA 与 NTA 两大范式的梯度平衡。

在推理阶段，无分类器引导（CFG）的效用在不同任务上呈现截然相反的特性。在 T2A、T2M、TTS 等生成式任务中，调大引导权重 \(w\) 能强化文本条件对齐，减少幻觉（采用 \(w = 5.0\)）；但在语音增强（SE）与超分辨率（SR）等恢复类任务中，输入条件本身即包含大量背景噪声或低通截断失真。加大 CFG 权重会同步放大条件中的有害噪声，导致 PESQ 指标从 2.91 暴跌至 1.75。UniFlow-Audio 针对这一特性提出了自适应引导策略：在恢复类任务中彻底停用 CFG（\(w=1.0\)），仅在纯生成任务中启用大权重 CFG，从根本上兼顾了生成创造力与保真恢复精度。

一个完整示例¶

以一段包含视频画面的“击打架子鼓”音效生成任务（V2A）为例： 1. 编码阶段：输入视频剪辑抽取为连续视频特征序列，经由冻结的 CLIP 提取视觉特征，并与文本指令“生成与视频动作同步的高保真音效”通过 Content Adapter 交叉融合得到带有任务指令标记的向量 \(C^I\)。 2. 时长与对齐：视频帧率与目标音频 VAE 潜变量序列存在严格的恒定比例（例如 1:N），Duration Adapter 输出固定的扩展因子，将视觉特征重复拉伸至目标音频长度，生成时间对齐特征 \(C_T^I\)。 3. 流匹配去噪：标准高斯噪声隐变量 \(z_1 \sim \mathcal{N}(0, I)\) 从 \(\tau=1\) 向 \(\tau=0\) 积分演化。在每一个 DiT Block 中，音频隐变量在自注意力后直接加上具有动作节拍时序的视觉特征 \(C_T^I\)，而此时跨任务交叉注意力的输入被替换为 Dummy Embedding，避免冗余语义干扰精准节奏。 4. 波形重构：最终流匹配积分得到的干净音频隐变量 \(z_0\) 经由波形 VAE 解码器一步上采样为 24 kHz 音频，鼓槌落下的瞬间与底鼓爆破音实现毫秒级精准同步。

损失函数 / 训练策略¶

UniFlow-Audio 的训练目标由流匹配速度场损失与时长预测损失联合构成。流匹配损失 \(\mathcal{L}_{\text{FM}}\) 引导模型速度场 \(v_\theta\) 拟合最优输运直线轨迹：

\[\mathcal{L}_{\text{FM}} = \mathbb{E}_{\tau, z_0, z_1} \big\| v_\theta(z_\tau, \tau, C^I, C_T^I) - (z_1 - z_0) \big\|^2\]

其中时间步 \(\tau \in [0, 1]\)，插值潜变量 \(z_\tau = (1 - \tau) z_0 + \tau z_1\)。时长预测损失包含片段总时长与序列对齐时长：

\[\mathcal{L}_{\text{dur-clip}} = \mathbb{E} \| d_c - \hat{d}_g \|^2, \quad \mathcal{L}_{\text{dur-seq}} = \mathbb{E}_i \| (d_s)_i - (\hat{d}_s)_i \|^2\]

为了防止时长预测梯度对 DiT 生成骨干产生扰动，模型对时长损失的梯度施加了梯度缩放系数 \(\lambda = 0.1\)。训练采用 AdamW 优化器，学习率设为 \(5 \times 10^{-5}\)，Warmup 步数 10K，总训练步数 400K。训练时对条件特征以 20% 概率进行随机 Dropout 掩码以支持 CFG。

实验关键数据¶

主实验¶

论文在涵盖 7 大任务的公开基准上对 UniFlow-Audio（Large 847M）与各领域的 SOTA 专属基线模型进行了客观与主观评测，总训练数据仅为 7.7K 小时公开音频。

任务	评测基线 (Baseline)	客观指标 (Baseline)	客观指标 (UniFlow-Audio)	主观评分 (Baseline)	主观评分 (UniFlow-Audio)
TTS (LibriTTS)	NaturalSpeech 2	WER: 9.94% / SIM: 34.8	WER: 3.09% / SIM: 55.8	MOS: 2.72 / SMOS: 3.43	MOS: 3.79 / SMOS: 3.21
SVS (M4Singer)	DiffSinger	F0-RMSE: 0.144 / SA: 58.0%	F0-RMSE: 0.147 / SA: 59.9%	MOS: 4.26 / SMOS: 4.43	MOS: 4.05 / SMOS: 4.31
T2A (AudioCaps)	AudioLDM 2	FD: 21.8 / CLAP: 0.476	FD: 17.2 / CLAP: 0.476	OVL: 3.57 / REL: 3.48	OVL: 3.41 / REL: 3.54
T2M (MusicCaps)	MusicGen	FD: 29.5 / CLAP: 0.245	FD: 27.1 / CLAP: 0.241	OVL: 3.45 / REL: 3.08	OVL: 3.37 / REL: 3.09
SE (VoiceBank)	DOSE	PESQ: 2.50 / STOI: 0.931	PESQ: 2.91 / STOI: 0.944	MOS: 3.43	MOS: 4.76
SR (VCTK)	AudioSR	LSD: 1.75	LSD: 1.49	MOS: 3.58	MOS: 4.19
V2A (VisualSound)	DiffFoley	IB: 22.7 / SYNC: 922	IB: 28.6 / SYNC: 1145	OVL: 2.80 / SYNC: 2.94	OVL: 3.61 / SYNC: 3.55

同时，论文评估了不同模型规格（Small: 208M, Medium: 395M, Large: 847M）在全任务上的扩展表现：

模型配置	可训练参数量	TTS (WER↓)	SVS (SA↑)	T2A (FD↓)	T2M (FD↓)	SE (PESQ↑)	SR (LSD↓)	V2A (IB↑)
单任务前人基线	专有架构	9.94	58.0	21.8	29.5	2.50	1.75	22.7
UniFlow-Audio Small	208M	3.23	56.6	19.7	26.2	2.60	1.58	25.5
UniFlow-Audio Medium	395M	3.03	58.4	17.8	26.6	2.72	1.53	26.5
UniFlow-Audio Large	847M	3.09	59.9	17.2	27.1	2.91	1.49	28.6

消融实验¶

基于 UniFlow-Audio Small 规格进行的模型架构与采样策略消融结果如下表所示：

配置设置	TTS (WER↓)	SVS (SA↑)	SE (PESQ↑)	SR (LSD↓)	V2A (IB↑)	T2A (FD↓)	T2M (FD↓)	说明
UniFlow-Audio Small	3.23	56.6	2.60	1.58	25.5	19.7	26.2	完整模型（双重融合+解耦Dummy）
w. cross attention	27.6	55.0	1.10	2.42	24.5	30.1	37.2	纯交叉注意力注入全部特征，TA任务严重崩溃
w. double fusion	3.42	56.9	2.65	1.58	25.5	22.3	30.5	不使用 Dummy Embedding，TA与NTA任务发生干扰
w. input fusion	42.0	41.8	1.07	1.59	13.7	20.9	28.7	仅在输入首层拼接对齐特征，TA时序控制严重失控
w/o. balanced sampling	3.30	56.5	2.54	1.53	26.0	22.9	27.9	移除平衡采样，NTA任务数据曝光不足显著掉点

关键发现¶

双重融合与解耦虚拟嵌入是决定成败的根本设计：如果全部采用传统的 Cross-Attention（如 AudioLDM 2 式架构），TTS 的词错误率直接从 3.23% 飙升至 27.6%，SE 的 PESQ 从 2.60 跌落至 1.10；而如果不引入 Dummy Embedding（即 double fusion 配置），NTA 任务（T2A 的 FD 从 19.7 恶化至 22.3，T2M 的 FD 从 26.2 恶化至 30.5），证实了时序噪声污染机制的存在。
逐块逐层残差注入不可或缺：若仅在首层采用 Input Fusion，语音与视频任务的 WER 剧增至 42.0%，IB 相似度从 25.5 跌至 13.7，表明深层 Transformer 需要连续的显式时序约束来指导流动轨迹。
小模型展现惊人的跨任务泛化效率：仅含 208M 可训练参数的小模型，在少于 8K 小时公开数据训练下，几乎在全部 7 个任务上均完胜此前单任务专用基准。这表明多任务统一流匹配学习到了跨领域的底层声学结构共享表征。

亮点与洞察¶

提出 TA/NTA 二元时序对齐分类视角：从物理时序依赖维度解构全模态音频生成任务，提炼出统一非自回归建模的核心冲突，为后续通用多模态音频生成奠定了理论与架构基准。
巧妙的解耦虚拟嵌入（Dummy Embeddings）机制：在统一骨干网络内保留统一拓扑结构的同时，通过零计算代价的条件置换消除了时序对齐与全局语义特征间的梯度串扰。
揭示了 CFG 在恢复与生成任务上的相悖行为：系统性实验指出，无分类器引导虽然能提升纯生成任务的提示词遵循度，但在语音增强与超分辨等带噪声条件任务中会加剧输入伪影放大，给出了恢复任务禁用 CFG 的实用准则。

局限与展望¶

未覆盖双重条件输入的复合任务：当前框架主要处理单模态输入到单模态音频输出，未针对声音转换（Voice Conversion，需同时输入源语音与目标音色音频）等多条件交织任务进行适配。
零样本跨任务泛化未探索：受限于模型体量（最大 847M）与训练任务集，尚未验证其是否具备类似大语言模型突现出的 Zero-Shot 新任务自适应能力。
多音轨与复杂声景分离生成受限：目前聚焦于单声道单音轨端到端生成，针对带背景伴奏的影视级混音或多声部独立控制生成仍待扩展。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从时间对齐视角用流匹配统一全模态 TA 与 NTA 音频生成任务。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7 大任务、多尺度模型变体、细致的主客观实验与严谨的架构消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，方法动机推导自洽，实验分析透彻。
价值: ⭐⭐⭐⭐⭐ 为开源社区提供了高效、低训练成本且性能强劲的非自回归统一音频生成基座。