AudioCALM: Continuous Autoregressive Language Modeling for Universal Audio Generation¶

会议: NeurIPS 2026
arXiv: 2606.23080
OpenReview: https://openreview.net/forum?id=rta7h4O2eL
论文: https://arxiv.org/abs/2606.23080
代码: https://AudioCALM-Project.github.io
领域: 音频/语音
关键词: 通用音频生成、连续自回归语言建模、Flow Matching、块因果注意力、非对称专家混合

一句话总结¶

AudioCALM 提出连续自回归语言建模（CALM）范式，通过流匹配预测头将自回归下一个 token 预测拓展至连续音频潜空间，并引入块因果 AR-Flow 注意力与非对称专家混合（A-MoME）架构，一举统一语音、音效与音乐的高保真端到端生成。

研究背景与动机¶

通用音频生成致力于在单一统一模型中同时合成语音（TTS）、环境音效（T2A）与音乐（T2M）。长期以来，该领域被三类割裂的范式所主导：基于离散神经音频编解码器的自回归语言模型（如 VALL-E、UniAudio）受限于量化码本的信息瓶颈，难以高质量重建复音音乐与复杂高频环境音；级联式架构（如 CosyVoice 2、MaskGCT）先由语言模型生成语义标记再交由扩散或流匹配模块合成声学波形，但割裂了端到端联合优化；非自回归流匹配模型（如 Stable Audio Open、Audiobox）虽然保真度极高，却失去了自回归天然的上下文连贯生成能力，且必须依赖外部时长预测器指定合成长度。构建兼具高保真度、端到端优化、自回归上下文建模以及自然可变长度生成的统一模型始终困难重重。

更深层的核心矛盾在于联合训练多类音频任务时存在的「文本-音频局部与全局不对称性」。语音合成要求极其严格的局部时序对齐，文本转录片段精确对应到具体音频时间跨度，依赖尖锐局部的文本-音频注意力；而音效与音乐生成仅由全局粗粒度标题描述整体语义，依赖弥散分布的全局注意力。在统一骨干网络中简单混训会导致严重的跨模态干扰——语音任务严苛的时序对齐需求会强势挤占并破坏非语音音频所依赖的弥散注意力模式，实验表明将语音加入混训会使音效与音乐生成的 FAD 恶化超过 35%，这种容量挤占在模态间是非对称的。

为了化解保真度与统一建模的结构矛盾，并彻底消除跨模态注意力竞争，本文提出连续自回归建模方案。核心 idea：将大语言模型的离散预测头替换为极轻量的流匹配速度场预测头，搭配块因果 AR-Flow 注意力实现连续潜变量流式生成，并在数据层引入统一步长描述重构、在架构层引入专供语音的残差专家（A-MoME），以非对称容量分配精准化解局部与全局对齐冲突。

方法详解¶

整体框架¶

AudioCALM 基于预训练自回归大语言模型（Qwen3-1.7B）骨干网络构建。输入文本序列与来自冻结连续音频 VAE 的连续潜变量序列拼接成统一的图元流。在每个音频位置，轻量级流匹配头替换传统的 Softmax 分类层，直接预测整流流（Rectified Flow）的漂移速度场；同时引入块因果 AR-Flow 注意力掩码，在块间保持严格自回归因果因果依赖，在块内则允许流匹配去噪步骤进行双向注意力交互，从而天然支持任意长度的高保真音频流式解码。针对局部与全局文本对齐不对称性，骨干网络采用非对称模态专家混合（A-MoME）层：音效、音乐与文本共享自注意力及基础 FFN，而仅对语音 token 挂载并行的残差语音专用 FFN，使非语音推理完全零额外计算开销。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["多模态条件输入<br/>文本提示 / 说话人嵌入"] --> B["统一下一步块预测格式<br/>长描述重构与特殊定界符"]
    B --> C["连续流匹配隐空间映射<br/>线性投影与时间步注入"]
    C --> D["块因果 AR-Flow 注意力<br/>块间严格因果 + 块内双向交互"]
    D --> E["非对称模态专家混合 A-MoME<br/>共享骨干 + 语音独享残差 FFN"]
    E --> F["轻量流匹配头与停止预测头<br/>欧拉积分去噪与动态截断"]
    F --> G["高保真连续音频潜变量<br/>iSTFT VAE 解码为 44.1kHz 音频"]

关键设计¶

1. 连续流匹配隐空间映射：消除离散码本信息瓶颈与端到端阻断 传统自回归音频语言模型依赖多码本残差矢量量化（RVQ），在低比特率压缩时造成严重的高频泛音丢失与相位失真。AudioCALM 采用连续自回归语言建模（CALM）范式，完全废弃离散 Softmax，直接在连续潜变量 $x_i \in \mathbb{R}^C$ 上建模。在输入端，通过线性投影 $\phi_{\text{in}}$ 将加噪潜变量 $x_i^{(t)}$、可学习位置编码 $p_i$ 与正弦时间步编码 $\tau(t)$ 相加得到模型输入 $e_i^{(t)}$；在输出端，零初始化的单层线性投影头 $v_\theta(h_i) = \phi_{\text{out}}(h_i)$ 直接输出潜空间中的整流速度场。采用 Logit-Normal 分布采样时间步 $t = \sigma(u)$（其中 $u \sim \mathcal{N}(0, 1)$），令去噪难度最高的时间步 $t \approx 0.5$ 获得最大采样概率。训练时最小化速度场均方误差： $$\mathcal{L}_{\text{FM}}(\theta) = \mathbb{E}_{x, c, u, \epsilon} \left[ \frac{1}{|\mathcal{N}|} \sum_{i \in \mathcal{N}} \| v_\theta(h_i) - (\epsilon_i - x_i) \|_2^2 \right]$$ 由于 clean 前缀与 $t=0$ 处的潜变量经过完全相同的 $\phi_{\text{in}}$ 映射，模型在推理时能够无缝复用已去噪块的 KV 缓存，彻底打通了连续高保真生成与自回归扩展的界限。

2. 块因果 AR-Flow 注意力机制：兼顾跨块自回归生成与块内流匹配去噪 自回归生成要求严格的因果掩码以支持流式缓存与无上限长度推演，而流匹配去噪必须在当前生成块内具备全双向感受野以联合优化各帧潜变量。针对该结构矛盾，AR-Flow 设计了一种块因果注意力掩码（Block-Causal Mask）：文本 token 仅单向注意前序文本；已提交的 clean 音频潜变量单向注意所有文本和先前音频；处于当前去噪块的 noisy 潜变量则可双向注意块内所有伴随 noisy 潜变量，同时因果注意全部文本与先前提交的历史 clean 音频。为了避免训练时多块切分造成的串行性能惩罚，提出单趟教师强制训练格式（Single-pass Packed Sequence），将完整的 clean 目标音频与加噪音频序列拼接成 $[c, x_{1:L} \mid \tilde{x}_{1:L}^{(t)}]$，使右半部分加噪 token 严格只能注意自身块之前的 clean 前缀和同块内部，既保持了标准语言模型高效的并行训练吞吐，又保证了训练与推理阶段注意力感受野的数学一致性。

3. 非对称模态专家混合（A-MoME）：按需分配容量解决局部与全局对齐冲突 针对语音的强局部对齐（逐字逐句对应）和音效/音乐弱全局对齐（整段语义覆盖）之间的注意力干扰，若采用传统的对称式 MoE（为每个模态均分配独立 FFN），不仅会导致参数量膨胀，更忽略了冲突的本质是非对称的（语音侵蚀非语音，但非语音不侵蚀语音）。A-MoME 保持多头自注意力、层归一化和主前馈网络 $\text{FFN}_{\text{shared}}$ 在所有模态与文本间完全共享，仅在语音位置并联挂载一个零初始化的残差前馈网络 $\text{FFN}_{\text{speech}}$： $$\text{FFN}_{\text{A-MoME}}(h) = \begin{cases} \text{FFN}_{\text{shared}}(h) + \text{FFN}_{\text{speech}}(h), & m(h) = \texttt{speech} \\ \text{FFN}_{\text{shared}}(h), & \text{otherwise} \end{cases}$$ 该设计基于样本来源元数据进行确定性路由，无任何门控路由开销；在非语音推理时完全旁路专用专家，计算复杂度保持不变；同时使语音的局部紧密时序对齐需求由残差分支承载，彻底解放了共享主干网络捕捉全局音频声学场景的能力。

4. 统一步长描述重构与暴露偏差正则化：消除提示语义漂移与自回归误差累积 在数据表征上，利用多模态音频大模型（Gemini 3 Pro）对全部音频语料进行离线长文本重标，提取音色、声学混响、配器、调性与时序声学事件等细粒度声学属性，语音样本则显式保留 <spoken>...</spoken> 定界符包裹的字面转录；训练时按 50% 概率交替采样原始短描述与重构长描述，使模型自然适应简略与详尽提示。在推理自回归误差控制上，针对前序块去噪微小误差向后传播累积的暴露偏差（Exposure Bias），引入两重训练正则化：一是在 clean 前缀嵌入中注入随块位置线性递增的微小高斯扰动（$\sigma_{\text{clean}} = 0.1$），模拟真实自回归 KV 缓存漂移；二是向流匹配目标引入尺度为 $\gamma_{\text{exp}} = 0.1$ 的随机扰动并据此计算速度目标，强力提升模型从非完美历史潜变量中自主恢复的能力。

损失函数 / 训练策略¶

模型总损失函数包含流匹配速度场损失 $\mathcal{L}_{\text{FM}}$ 与轻量级停止预测头（Stop Head）的二值交叉熵损失 $\mathcal{L}_{\text{stop}}$： $$\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{FM}}(\theta) + \mathcal{L}_{\text{stop}}(g_{\text{stop}})$$ 停止预测头 $g_{\text{stop}}: \mathbb{R}^H \to (0, 1)$ 建立在 clean 隐状态上，在每条音频末尾 $K_{\text{stop}} = 10$ 个 token 窗口内以线性递增目标（$0 \to 1$）进行监督，推理时通过阈值 $\tau_{\text{stop}} = 0.95$ 实现 token 级别的精细终止截断。模型在 8 张 A800 GPU 上采用 FSDP 进行 300k 步混合精度训练，全局批次约为 64k tokens，学习率采用 2000 步线性预热后保持 $1 \times 10^{-4}$，并引入 10% 描述词 dropout 用于无分类器引导（CFG 比例设为 3.0，每块去噪步数设为 24 步欧拉积分）。

实验关键数据¶

主实验¶

在 LibriTTS、SeedTTS-eval、AudioCaps 和 Song-Describer 基准上，AudioCALM 与单模态最优专精模型（Modality-specific SOTA）及统一音频生成模型（Unified Baselines）展开系统性对比。

表 1：文本转语音（TTS）零样本生成性能评估

模型类型	模型	LibriTTS WER ↓	LibriTTS SIM ↑	LibriTTS MOS ↑	SeedTTS (en) WER ↓	SeedTTS (en) SIM ↑	SeedTTS (en) MOS ↑
专用专精模型	F5-TTS	0.033	0.616	3.85 ± 0.08	0.018	0.648	3.78 ± 0.09
专用专精模型	CosyVoice 3.0	0.022	0.697	3.96 ± 0.07	0.015	0.695	3.88 ± 0.08
统一生成模型	UniAudio	0.120	0.265	3.30 ± 0.11	0.113	0.363	3.22 ± 0.12
统一生成模型	UniMoE-Audio	0.078	0.361	3.52 ± 0.09	0.019	0.573	3.72 ± 0.08
统一生成模型	UniFlow-Audio	0.032	0.570	3.50 ± 0.10	0.058	0.573	3.45 ± 0.10
统一生成模型	Ming-omni-TTS	0.025	0.553	3.82 ± 0.08	0.013	0.633	3.80 ± 0.07
本文统一模型	AudioCALM (Ours)	0.020	0.668	4.02 ± 0.06	0.011	0.672	3.95 ± 0.07

表 2：文本转音效（AudioCaps）与文本转音乐（Song-Describer）性能评估

模型类型	模型	音效 FAD ↓	音效 CLAP ↑	音效 MOS-Q ↑	音效 MOS-T ↑	音乐 FAD ↓	音乐 CLAP ↑	音乐 MOS-Q ↑	音乐 MOS-T ↑
专用专精模型	AudioLDM 2-Large	5.36	0.22	3.25 ± 0.10	3.10 ± 0.11	–	–	–	–
专用专精模型	TangoFlux	2.70	0.36	3.82 ± 0.07	3.85 ± 0.08	–	–	–	–
专用专精模型	Stable Audio Open	4.13	0.25	3.65 ± 0.08	3.45 ± 0.09	2.23	0.32	3.95 ± 0.07	3.85 ± 0.08
专用专精模型	MusicGen-Large	–	–	–	–	5.28	0.19	3.65 ± 0.08	3.45 ± 0.10
统一生成模型	UniAudio	6.64	0.13	3.20 ± 0.11	2.95 ± 0.13	11.25	0.06	2.80 ± 0.14	2.65 ± 0.15
统一生成模型	UniMoE-Audio	–	–	–	–	3.71	0.22	3.80 ± 0.08	3.60 ± 0.09
统一生成模型	UniFlow-Audio	4.22	0.35	3.62 ± 0.08	3.80 ± 0.08	6.39	0.15	3.45 ± 0.10	3.25 ± 0.11
统一生成模型	Ming-omni	2.46	0.27	3.85 ± 0.07	3.60 ± 0.09	7.98	0.07	3.25 ± 0.11	2.92 ± 0.13
本文统一模型	AudioCALM (Ours)	1.95	0.37	3.98 ± 0.06	3.95 ± 0.07	2.02	0.36	3.99 ± 0.06	3.92 ± 0.07

消融实验¶

为验证非对称干扰假设及各核心组件贡献，在固定 Qwen3-1.7B 骨干下进行单模态与联合训练消融（表 3）。

表 3：核心模块及训练范式消融实验（语音 LibriTTS / 音效 AudioCaps / 音乐 Song-Describer）

实验配置	描述说明	语音 WER ↓	语音 SIM ↑	音效 FAD ↓	音效 CLAP ↑	音乐 FAD ↓	音乐 CLAP ↑
专精单模态训练	仅训练语音（架构同 b）	0.022	0.628	–	–	–	–
专精单模态训练	仅训练非语音（架构同 b）	–	–	2.45	0.34	2.55	0.30
(a) 离散基线	离散 Token 自回归（无流匹配头）	0.040	0.560	4.50	0.22	4.80	0.20
(b) 连续自回归基线	连续 AR + 流匹配头 + 原始转录/标题	0.024	0.620	3.30	0.30	3.45	0.26
(c) 描述风格重构	(b) + 长文本描述重构数据	0.023	0.625	2.70	0.33	2.85	0.29
(d) 对称式 MoME	(c) + 3 模态对等专家（参数加倍）	0.022	0.660	2.30	0.35	2.40	0.33
(e) AudioCALM 完整模型	(c) + A-MoME（仅语音残差专家）	0.020	0.668	1.95	0.37	2.02	0.36

关键发现¶

非对称挤占效应（Asymmetric Crowd-Out）获得实证：对比单模态与配置 (b) 可以发现，将非语音数据混入语音模型，语音指标基本无损（WER 0.022 → 0.024，SIM 0.628 → 0.620）；但将语音混入非语音模型，音效 FAD 显著由 2.45 恶化至 3.30（+34.7%），音乐 FAD 剧增由 2.55 恶化至 3.45（+35.3%），CLAP 分数大幅下滑 10%–13%。这证实了强局部对齐对全局注意力产生了单向压制。
连续流匹配头是全模态质量跨越的最关键因素：由 (a) 切换至 (b)，语音 WER 从 0.040 锐降至 0.024，音效 FAD 从 4.50 改善至 3.30，音乐 FAD 从 4.80 改善至 3.45。证明量化码本的信息损失是限制全模态音频表现的根本瓶颈，直接采用连续隐空间自回归能跨越式弥补缺陷。
按需非对称设计完胜无脑对称堆叠：(e) 仅为语音分配一个残差 FFN，参数增量与推理延迟远低于 3 模态对称复制的 (d)，但在所有 6 项指标上全面碾压 (d)（音效 FAD 1.95 vs 2.30，音乐 FAD 2.02 vs 2.40）。这表明遵循任务内在属性的非对称设计比机械匹配模态数量更加高效。

亮点与洞察¶

离散向连续的自回归范式迁移：用极轻量的单层线性流匹配头完美替代 Softmax 概率分布预测，将大语言模型对上下文的强大长程建模优势完整嫁接至连续物理潜空间，为统一大模型拓展连续模态提供了标准模板。
单趟解耦的 AR-Flow 训练技巧：通过巧妙的序列拼接 $[c, x \mid \tilde{x}]$ 和因果/块内双向注意力掩码设计，把耗时的大尺度块状流式训练压缩为单次前向传播，彻底化解了流式生成与并行预训练之间的吞吐矛盾。
结构化破解模态注意力竞争的 A-MoME：敏锐捕捉到语音“强时序局部性”对音效/音乐“弱时序全局性”的单向降维挤占，创新提出非对称残差专家，用极低的计算开销实现多模态统一模型在各单模态上反超专精模型的突破。

局限与展望¶

语言与领域覆盖受限：目前训练仅覆盖英文语音和公开音效/音乐数据集，尚未支持多语言语音合成、带歌词的人声演唱（Singing Voice Generation）以及更罕见的环境物理交互声学事件。
极长序列一致性尚待检验：尽管 AR-Flow 具备可变长度与自回归延展能力，但对于数分钟以上的超长音乐或复杂连续多幕故事声景，长期结构连贯性、调性维持与动态截断的自适应能力仍有提升空间。
潜在滥用风险与真实性防伪：高保真零样本声音克隆与拟真环境音效存在假冒欺诈与生成音视频虚假信息的社会风险，未来需要配套水印机制与合成音频溯源检测技术。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次成功构建统一语音、音效、音乐的高保真连续自回归流匹配框架，提出 AR-Flow 与 A-MoME。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖三模态多基准评测、客观与主观 MOS 实验，消融实验严谨剖析非对称挤占效应。
写作质量: ⭐⭐⭐⭐⭐ 动机清晰，问题定义深入，实验论证环环相扣，图表呈现规范详实。
价值: ⭐⭐⭐⭐⭐ 为通用多模态音频生成开辟了摆脱离散编解码器束缚的自回归全新路径。