DELTA-TTS: Adapting Autoregressive Model into Diffusion Language Model for Text-to-Speech¶

会议: NeurIPS 2026
arXiv: 2607.04140
代码: https://github.com/slpr-lab/DELTA-TTS
领域: 音频/语音
关键词: 语音合成, 离散扩散语言模型, 自回归适配, 参数高效微调, 双向注意力

一句话总结¶

DELTA-TTS 提出了首个将预训练自回归（AR）语音合成模型适配为离散扩散语言模型（dLLM）的轻量化框架，仅冻结基座并训练约 15% 参数的 LoRA 与 Conformer 卷积模块，配合置信度优先解码与时间偏移调度，在仅 585 小时 LibriTTS 微调下超越 CosyVoice3 基座，并将离散 token 生成速度提升 3.3 倍。

研究背景与动机¶

近期基于自回归（AR）语言模型架构的零样本语音合成系统（如 CosyVoice、VALL-E、Llasa 等）取得了逼真的语音表现，它们将连续音频离散化为语音 token 并通过预训练大语言模型进行从左至右的条件因果预测。然而，因果逐 token 生成在语音场景面临两项根本缺陷：其一是推理延迟与序列长度严格成线性增长，相较于文本，语音 token 帧率通常达 25–50 Hz，漫长的序列使得自回归 forward 次数极其庞大；其二是严格单向的上下文依赖强制模型在完全没有未来声学语境的情况下对早期 token 做出决定性提交（early commitment），而局部预测偏差极易随着时间步级联放大，最终演化为重复发音、漏字或崩坏等幻觉（hallucination）。

非自回归（NAR）扩散模型或流匹配方法虽然具备并行生成能力，但通常需要数千乃至数万小时的多语言多说话人语音数据从头训练，训练算力代价极其昂贵。尽管文本领域已探索通过掩码扩散持续预训练将 AR 模型转为离散扩散模型（dLLM），但在语音领域直接套用文本适配方案却面临严重的对齐劣化——语音相邻离散 token 之间存在极强的短程声学相关性，直接引入双向注意力反而冲淡了局域声学归纳偏置。

本文的核心洞悉在于：在 TTS 任务中，目标文本全程完整可知，时间轴上的从左至右单向解码从来不是必要条件；真正决定生成稳定性的并非时间先后，而是预测置信度的高低。核心 idea：通过冻结 AR 基座并仅引入轻量 LoRA 与局部卷积分支，将自回归 TTS 重构为双向离散掩码扩散模型，并借助置信度驱动的逆时间偏移解码策略，先确定高置信度锚点 token，再利用前后文双向语境消解低置信度困难位置，以极低适配代价实现高质量并行语音合成。

方法详解¶

整体框架¶

DELTA-TTS 旨在保留已有预训练 AR TTS 系统（如 CosyVoice3）优秀音色复现与声学生成能力的前提下，将其非自回归化。整个适配过程完全冻结基座语言模型（Qwen2.5-0.5B）、语音离散 tokenizer（25 Hz 语义 token）以及下游流匹配声码器（Flow-Matching Decoder），仅在基座 Transformer 模块上引入可训练适配参数。

模型输入沿用 CosyVoice3 的统一序列排布：拼接指令、提示文本、目标文本、提示语音以及目标语音 token。在训练阶段，提示语音 token 保持完整可见以保留说话人身份特征，仅对目标语音 token 按照随机掩码率 \(t\) 施加离散掩码；自回归因果下三角注意力掩码被完全替换为全双向注意力掩码。在推理阶段，目标语音序列初始化为全掩码状态，模型在固定的 \(T\) 次迭代内以并行去掩码（parallel unmasking）逐步恢复全部 token。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入上下文与掩码语音序列<br/>文本提示 + 语音提示 + 掩码目标序列"] --> B["双向自注意力与 LoRA 适配<br/>解禁双向语境，低秩调整 QKVO 投影"]
    B --> C["Conformer 风格局部卷积分支<br/>深度可分离卷积注入短程声学连续性"]
    C --> D["自回归转移对齐训练<br/>1/t 损失加权与 Next-Token 预测偏置"]
    D --> E["时间偏移置信度解码<br/>按置信度由高到低分批去掩码与锚点扩散"]
    E --> F["下游冻结流匹配声码器<br/>将离散语义 Token 并行渲染为高保真音频"]

关键设计¶

1. 双向注意力与模块级 LoRA 适配：平滑打通未来时序语境

自回归 TTS 模型天然受限于因果因果掩码，早期 token 预测时注意力盲区覆盖了整个后方音频与文本映射路径。DELTA-TTS 直接将自注意力矩阵拓展为全双向可见，使每一个目标 token 无论处于序列何处，都能无死角感知全局目标文本、提示音色特征以及前后伴随的语音 token。为避免破坏预训练语言模型在大规模多语言语音预训练中习得的先验知识，基座参数全部被冻结，仅在每个 Transformer 层的自注意力（Q, K, V, Out）与 FFN（Gate, Up, Down）投影矩阵中外挂秩 \(r=64\)、缩放因子 \(\alpha=128\) 的 LoRA 适配层。LoRA 仅需学习如何消化新增的双向注意力模式，相较于先前文本领域适配方法需要复杂的掩码渐进退火（mask annealing），DELTA-TTS 无需任何退火机制即可稳定收敛。

2. Conformer 风格局部卷积模块：补充短程声学局域归纳偏置

将因果自注意力切换为全双向注意力后，自注意力机制在全序列范围内平均分配关注力，缺乏对相邻近邻时域帧的强归纳偏置。在 25 Hz 采样率下，相邻离散语音 token 具有高度声学冗余性与强局域音素过渡特征；缺乏局域约束会导致文本-语音注意力图变得弥散（blurred），严重损害生成清晰度。DELTA-TTS 在每个 Transformer block 后以残差旁路形式插入 Conformer 风格的卷积模块，该模块包含卷积核尺寸 \(k=31\) 的深度可分离卷积（Depthwise Conv）、门控线性单元（GLU）及 Swish 激活函数。大感受野的一维卷积在特征层级显式执行局域平滑与特征混合，与双向自注意力的全局交互形成正交互补，成功恢复并强化了文本与语音之间的严格对角对齐。

3. 自回归转移操作与 \(1/t\) 加权掩码扩散目标：复用预训练预测习惯并聚焦困难边界

标准掩码离散扩散通常要求模型在第 \(i\) 个位置的隐状态预测第 \(i\) 个位置的目标 token；然而预训练自回归基座在海量语料上训练的是经典的 Next-Token 预测机制，即基于前 \(i\) 个位置的特征预测第 \(i+1\) 个 token。为了最大限度重用 AR 基座的生成先验，DELTA-TTS 引入位移操作（shift operation），让第 \(i\) 个位置的隐状态输出负责预测第 \(i+1\) 个目标 token。对于长度为 \(L\) 的目标序列，掩码率 \(t \in (0, 1)\) 随机采样，训练损失定义为基于掩码扩散证据下界（ELBO）推导出的加权交叉熵：

\[\mathcal{L}(\theta) \triangleq -\mathbb{E}_{t, \mathbf{s}_0, \mathbf{s}_t} \left[ \frac{1}{t} \sum_{i=1}^L \mathbf{1}[\mathbf{s}_t^i = \mathrm{M}] \log p_\theta(\mathbf{s}_0^{i} \mid \mathbf{c}, \mathbf{s}_t) \right]\]

权重因子 \(1/t\) 在低掩码率（\(t\) 趋近于 0）时给予更大的损失惩罚。这强迫模型在绝大多数上下文已经恢复的清澈语境下，以极高置信度精确预测少数残余的困难 token，与后续多步迭代解码的渐进过程形成数学自洽。

4. 逆时间偏移解码调度：从高置信度锚点到低置信度语境解析

在推理阶段，若采用均匀的去掩码步长，模型在早期高度不确定的全掩码状态下被迫提交过多未决 token，重新陷入类似自回归的误判级联风险。DELTA-TTS 引入时间偏移参数 \(\mu < 1\)（默认取 \(\mu=0.3\)），定义前 \(n\) 步（共 \(T\) 步，默认 \(T=16\)）的累积去掩码比例为：

\[c_n = \frac{\mu \cdot (n/T)}{1 + (\mu - 1) \cdot (n/T)}\]

第 \(n\) 步的去掩码决策数量为 \(k_n = \lfloor c_n L \rfloor - \lfloor c_n-1 L \rfloor\)。在该调度下，前期迭代仅释放极少数 token，并严格挑选 Top-p 采样中预测概率最高的位置进行固化（如静音、明显音素起始等容易确定的片段）；这些优先落盘的高置信度 token 瞬间转化为双向语境中的“时空锚点”，为后续周围更复杂的声学过渡位置提供坚实的局部与全局参考；大部分困难的决策被自然推迟到后半程丰富语境中完成，彻底打破了从左至右时间链条的强制束缚。

损失函数 / 训练策略¶

基座与参数规模：以 CosyVoice3（Qwen2.5-0.5B）为基座，基座参数约 494M 全部冻结，新增 LoRA 参数 35M、Conformer 卷积模块参数 59M，可训练参数总量仅 94M（约占基座 15%）。
训练数据与算力：仅在开源 LibriTTS 纯英文语料库（约 585 小时）上微调，单张 NVIDIA A100 即可完成，采用 bfloat16 混合精度与 AdamW 优化器，学习率 \(1 \times 10^{-4}\)，线性预热 2000 步，累计批大小为 16 条音频。
长度推断：推理时目标语音 token 长度采用 OmniVoice 的经验推断规则，由参考提示音频的字符时长比乘以目标文本加权字符数估算得到。

实验关键数据¶

主实验¶

在 Seed-TTS test-en（1088 条样例，Whisper-Large-V3 评测 WER）及 LibriSpeech-PC test-clean Subset B（1127 条样例，Faster-Whisper-Large-V3 评测 WER）上，DELTA-TTS 与代表性自回归及非自回归主流系统全面对比：

模型类型	系统名称	模型参数量	训练数据量	Seed-TTS WER (%) ↓	Seed-TTS SIM ↑	LibriSpeech-PC WER (%) ↓	LibriSpeech-PC SIM ↑
真实语音	Ground-truth	–	–	2.14	0.734	2.23	0.69
AR 基线	CosyVoice (0.3B)	0.3B	170K h	4.29	0.609	3.59	0.66
AR 基线	CosyVoice2 (0.5B)	0.5B	170K h	2.57	0.659	–	–
AR 基线	Spark TTS	0.5B	100K h	1.98	0.573	–	–
AR 基线	FireRedTTS2	1.5B	1400K h	1.95	0.665	–	–
AR 基线	Llasa (1B)	1.0B	250K h	3.22	0.572	–	–
AR 基线	CosyVoice3 (Backbone)	0.5B	1000K h	2.02	0.692	1.95	0.69
NAR 基线	MaskGCT (50 NFE)	1.1B	100K h	2.62	0.714	2.72	0.69
NAR 基线	E2 TTS (32 NFE)	0.3B	100K h	2.19	0.710	2.95	0.69
NAR 基线	F5-TTS (32 NFE)	0.3B	100K h	2.00	0.647	2.42	0.66
本文方法	DELTA-TTS (16 步)	0.5B+94M	0.585K h	1.75	0.688	2.17	0.69

消融实验¶

在 Seed-TTS test-en 上对 DELTA-TTS 各核心设计及对照组进行递进式消融评估：

实验配置 / 策略	可训练参数	WER (%) ↓	SIM ↑	UTMOS ↑	设计说明 / 效果变动
朴素转化 (LoRA, 无卷积, 均匀调度)	35M	3.01	0.574	4.04	初始基准，文本对齐严重发散
+ 时间偏移调度 (\(\mu=0.3\))	35M	2.59	0.586	4.05	延迟未决位置，WER 下降 0.42%
+ Conformer 卷积模块 (\(k=31\))	94M	1.61	0.584	4.09	引入短程归纳偏置，WER 显著降至 1.61%
+ 提示语音条件注入 (真实长度)	94M	1.63	0.686	4.01	注入说话人特征，音色相似度激增 (+0.102)
DELTA-TTS 完整模型 (规则推断长度)	94M	1.75	0.688	3.97	实际端到端设置，综合表现最优
容量对齐对照组：仅 LoRA (\(r=160\), 无卷积)	88M	2.13	0.576	4.02	参数量相近但无卷积，WER 明显较差 (2.13% vs 1.61%)
非转化对照组：LoRA 因果自回归微调	35M	1.87	0.687	3.98	相同数据因果微调，收益有限且无法加速
全参数全量微调 (Full fine-tuning)	494M	1.97	0.680	4.01	585 小时数据不足以支撑 494M 全量训练出现过拟合
知识蒸馏 (KD from CosyVoice3)	94M	2.37	0.591	4.05	蒸馏上限被教师锁死，落后于直接离散扩散转化

关键发现¶

推理加速与长度可扩展性：在 Token 生成阶段，DELTA-TTS 固定 16 步迭代实现了 0.144 的 RTF，较 CosyVoice3 原生的 0.475 实现 3.3 倍提速。更重要的是，音频越长，加速比越惊人：在 0–3 秒短句上加速比为 2.08 倍，而在 5–10 秒长音频上加速比飙升至 4.46 倍。端到端计入下游流匹配声码器后，Batch 1 下整体系统依然获得 2.71 倍端到端加速。
幻觉与极端崩溃率归零：在 5440 次跨随机种子测试中，原 CosyVoice3 因误差累积出现 5 次句子完全脱靶（WER \(\ge 80\%\)）和 7 次严重失真（WER \(\ge 50\%\)），最差单句 WER 达到 100%；而 DELTA-TTS 严重崩溃次数为 0，最差单句 WER 截断在 64%。错误类型分析表明，代表重复性幻觉的插入错误（Insertions）锐降 47.9%。
对角对齐锐度大幅提升：注意力探测显示，DELTA-TTS 将文本-语音对角对齐的注意力集中度（\(\pm 1\) 字符窗口内）较因果基座提升了 8.8%，且深层网络自发学会了关注尚未读到的“未来文本”，这是单向因果 AR 在架构上根本不可能具备的特性。
架构通用性验证：该适配方法在无需改动超参的情况下成功迁移至 50 Hz 高帧率模型 Llasa-1B（WER 从 3.72% 降至 3.13%）以及 CosyVoice2（WER 从 2.50% 降至 2.31%），证明该方案与基座架构高度解耦。

亮点与洞察¶

突破时间顺序约束的哲学转化：将“逐时序预测”升维为“置信度优先解码”，利用离散掩码扩散形式将未决困难决策推后，用已确定的高置信度 token 作为双向锚点。这一设计巧妙利用了 TTS 任务中“全文先验已知”的天然优势，从根本上消除了自回归早期误判导致的单向误差扩散。
声学局域先验与双向注意力的正交解耦：自注意力负责全局语义与远距离音色建模，Conformer 深度卷积负责高频近邻连续性平滑。两者结合用仅 59M 的卷积参数换取了巨幅对齐改善，算力性价比与架构合理性极高。
工业落地的轻量转换范式：无需重训庞大的预训练大模型或重新搜集数万小时数据，仅需 585 小时开源语音与单卡 A100，即可将现存自回归大模型资产低成本“非自回归化”，兼收质量与并发性能。

局限与展望¶

语音长度强依赖外部启发规则：目前生成语音的目标 token 长度依赖基于字符速率的经验规则估算（OmniVoice 规则），若遇到语速骤变或特殊停顿时可能产生轻微韵律拉伸或截断。未来可引入轻量化的端到端时长预测模块。
语种泛化范围尚需拓展：当前验证实验仅在纯英文 LibriTTS 上完成，尚未在大规模多语言、多方言语料上进行全局微调验证。
强化学习后训练拓展潜力：由于去掩码过程完全基于离散 token 概率采样，未来可天然接入以 WER 或说话人相似度为奖励信号的强化学习（RL/DPO）对齐，进一步压榨生成上限。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性打通 AR 语音大模型向离散掩码扩散（dLLM）的高效转换，颠覆了语音逐帧从左至右生成的思维定势。
实验充分度: ⭐⭐⭐⭐⭐ 包含两大主流评测集、主客观 MOS 评价、消融控制组、分布尾部极端崩溃率分析以及多基座泛化验证。
写作质量: ⭐⭐⭐⭐⭐ 论证脉络清晰严密，从信息论与置信度角度清晰解释了自回归早期盲测的数学硬伤与解决方案。
价值: ⭐⭐⭐⭐⭐ 为整个工业界大模型语音合成的推理加速与去幻觉提供了极低成本且高可靠的改造范式。