Ready to Speak: Aligning LLMs for TTS-Friendly Text Generation¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/naver/tts-friendly-gen
领域: 音频/语音
关键词: 语音合成, 文本转语音, 偏好对齐, 语音助手, 可解释奖励模型
一句话总结¶
本文将大语言模型面向文本转语音(TTS)的友好文本生成形式化为多目标偏好对齐问题,提出基于可解释特征加权的 FaST 框架与启发式-回环评测体系,使 LLM 原生输出开箱即用且高度可听的口语化文本,在 10 样本低数据约束下显著优于黑盒奖励模型与提示工程,且消除了后处理文本规整带来的显著延迟。
研究背景与动机¶
当前大语言模型(LLM)主要通过书面文本与人类偏好数据完成预训练及对齐微调,其生成结果虽然语法严谨、逻辑完整且信息丰富,但往往充斥着不适宜口头播报的表层书面特征。在现实语音助手与人机对话系统中,LLM 输出通常直接接入下游文本转语音(TTS)模块;然而,未规整的输出中普遍存在的缩写词、符号、数学方程式、原始网址(URL)、邮箱地址以及紧凑的数字标记(如金额、时钟点数与分数),极易导致下游 TTS 引擎在前端发音转换时产生机械乱读、拼读停顿或断句失真,严重破坏听觉感知与交互流畅度。
传统级联语音交互管线通常在 LLM 与 TTS 引擎之间引入独立的文本规整(Text Normalization)后处理模块,通过微调小模型或提示工程将书面文本重写为口语展开形式。但这种设计存在根本性矛盾与系统代价:首先,后处理规整显著增加了端到端系统的流式首包与尾包延迟,且必须等待完整句子甚至整个段落生成完毕才能介入改写;其次,后处理模块紧密绑定特定 TTS 引擎的词表切分与特定规则,架构臃肿且推断计算成本倍增;最后,简单通过下游改写还存在篡改关键信息或漏改的风险,难以在消除生硬书面格式的同时兼顾事实准确性与任务帮助性。
与其在生成后修修补补,不如让生成模型自身具备原生口语化生成意识。本文从源头重构生成管线,直接将面向下游播报的文本生成建模为多目标偏好对齐任务。核心 idea:将 TTS 友好型文本生成形式化为兼顾可读性与任务帮助性的偏好对齐问题,引入基于轻量可解释特征打分与权重学习的 FaST 框架替代高维黑盒奖励模型,结合自动特征挖掘与极低样本偏好采样,使大模型原生生成无需后处理即可被任意 TTS 引擎流畅播报的口头文本。
方法详解¶
整体框架¶
本文提出的 TTS 友好型生成对齐管线主要针对级联式语音交互系统(LLM \(\to\) TTS),其核心目标是让生成模型在保持原本意图响应能力的前提下,天然规避破坏合成效果的文本特征。整体框架由四个紧密协作的阶段组成:基于双语/双领域偏好数据的特征自动挖掘(Feature Discovery)、基于冻结大语言模型的特征维度逐项打分(Feature-wise Response Scoring)、基于 Bradley-Terry 似然最大化的轻量奖励模型参数学习(Feature Weight Learning),以及基于拒绝采样微调的迭代采样对齐(Sampling and Tuning Alignment)。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["偏好数据集<br/>CORA / Recipe 配对样本"] --> B["特征自动挖掘<br/>LLM提取对比特征描述"]
B --> C["特征维度打分<br/>冻结LLM打分函数"]
C --> D["特征权重学习<br/>FaRM轻量线性标量优化"]
D --> E["采样微调对齐<br/>拒绝采样微调 RFT"]
E --> F["TTS友好型原生输出<br/>低延迟直接接入任意TTS"]
关键设计¶
1. 特征自动挖掘与无参数冻结打分:拆解多维度可解释口语先验
针对传统强化学习或偏好微调中黑盒奖励模型(RM)过参数化、在小样本下极易过拟合且丧失可解释性的痛点,本文首先采用自动特征挖掘机制提取决定文本是否适宜朗读的显式语言学属性。具体而言,系统直接向通用 LLM 输入领域偏好元组,要求模型总结出全局区分“可播报(chosen)”与“书面生硬(rejected)”文本的 \(F\) 个高阶特征(实验设定 \(F=40\))。这些特征涵盖了缩写密度(abbreviation_density)、口头数字展开(use_of_spelled_out_numbers)、书面数字符号排版(use_of_numeric_formatting)、外部链接重定向(external_referral)以及自然对话语气(natural_conversational_tone)等。随后,对于每个样本的提问 \(x\) 与候选回复 \(y\),系统利用预定义的特征函数 \(\phi_f(x, y) \in [1, 5]\) 独立打分。所有特征函数直接通过提示工程驱动冻结的 LLM 判定,评分过程中不涉及任何反向传播和梯度更新,既解耦了特征提取与参数学习,又赋予了对齐机制高度透明的归因能力。
2. 轻量特征感知奖励模型(FaRM):极小参数空间下的帕累托权衡优化
在得到候选文本在各特征维度上的打分向量后,本文构建了轻量化的特征感知奖励模型(FaRM)。不同于参数量庞大的传统神经判别器,FaRM 将输入对 \((x, y)\) 的总标量奖励严格定义为各特征评分与对应权重的线性组合:
其中 \(\lambda_f\) 是赋予第 \(f\) 个特征的唯一可学习标量权重,整个奖励模型仅包含 \(F\) 个参数(在本文配置中仅为 40 个可训练浮点数)。参数学习在成对偏好集上采用标准的 Bradley-Terry 偏好似然目标进行优化:对于给定选优样本 \(y_w\) 与弃优样本 \(y_l\),通过梯度上升最大化 \(\sigma(R_{\text{FaRM}}(x, y_w) - R_{\text{FaRM}}(x, y_l))\) 的对数似然。这一设计使模型在仅有 10 个样本的极低数据分布下即可迅速收敛且不易坍塌,同时直观显式地学到了正负奖励权衡。例如在咖啡店助手场景下,口语表达与数字拼写特征被赋予了显著的正权重(如 \(+0.33\)),而书面格式缩写、紧凑数字符号和外部 URL 则被自动赋予强负权重(如 \(-0.50\) 和 \(-0.32\)),从而在奖励函数内部原生平衡了文本实用性与 TTS 友好度。
3. 拒绝采样微调(RFT)与偏好对齐落地:兼顾生成效率与流式低延迟
完成 FaRM 权重拟合后,系统进入迭代采样与策略微调环节,将学到的 TTS 友好偏好固化至生成基座大模型(实验采用 Qwen3-4B 与 SmolLM3-3B)中。在每次对齐迭代中,策略模型针对输入提示词并发采样生成多条候选文本;FaRM 随后依据各特征打分及其线性权重对所有候选回复进行全局重排序,选出综合得分最高的优选样本。最终,模型采用拒绝采样微调(RFT)在筛选出的高奖励样本子集上执行有监督更新。相比于两阶段串联的“生成-文本规整(Text Normalization)”系统,基于 RFT 优化后的模型在推断阶段无需等待文本全部产出后进行二次调用,而是从首个 token 起即原生采用口语化表述(例如将 $3.45 自动表达为 three dollars and forty-five cents),完全省去了外置后处理模块的双倍推断延迟。
损失函数 / 训练策略¶
- FaRM 奖励权重优化目标:基于 Bradley-Terry 偏好模型,在数据集 \(\mathcal{D} = \{(x, y_w, y_l)\}\) 上极大化交叉熵对数似然: $\(\mathcal{L}_{\text{FaRM}}(\{\lambda_f\}) = -\sum_{(x, y_w, y_l) \in \mathcal{D}} \log \sigma \left( \sum_{f=1}^{F} \lambda_f \left( \phi_f(x, y_w) - \phi_f(x, y_l) \right) \right)\)$ 采用 L-BFGS 或梯度下降优化,学习率设为 0.1,最大迭代 500 次。
- 策略模型微调(RFT):在 FaRM 判定的最优回复集合 \(\hat{y} = \arg\max_y R_{\text{FaRM}}(x, y)\) 上执行标准自回归负对数似然微调: $\(\mathcal{L}_{\text{RFT}}(\theta) = -\mathbb{E}_{(x, \hat{y})} \left[ \sum_{t=1}^{|\hat{y}|} \log P_\theta(\hat{y}_t \mid x, \hat{y}_{<t}) \right]\)$ 训练采用 AdamW 优化器,学习率设为 \(1.41 \times 10^{-5}\),批大小为 16,外循环迭代 5 轮,每轮迭代内微调 5 个 epoch。
实验关键数据¶
主实验¶
论文在两个新构建的专用基准上进行了系统评测:面向多轮口语对话的咖啡点单助手数据集 CORA(共 262 条,划分 5 折,单折含 100 训练 / 81 验证 / 81 测试),以及基于 Cooking RecipeNLG 改建的步骤描述数据集 Recipe(共 300 条,单折含 100 训练 / 100 验证 / 100 测试)。实验包含启发式 TTS 友好度(Heuristic, 1–5 分)、基于 TTS\(\to\)ASR 回环管线转录的字符错误率(CER)与词错误率(WER),以及基于 LLM 裁判的任务帮助性(Helpfulness, 1–5 分)。表 1 展示了基于 Qwen3-4B 基座在全量 100 样本及 10 样本低资源场景下的主要生成对比。
| 方法 / 模型 | 训练样本数 | CORA: Heur ↑ | CORA: CER ↓ | CORA: WER ↓ | Recipe: Heur ↑ | Recipe: CER ↓ | Recipe: WER ↓ |
|---|---|---|---|---|---|---|---|
| Oracle (Gold Reference) | - | 4.838 | 0.051 | 0.260 | 4.799 | 0.044 | 0.228 |
| Zeroshot (Base Qwen3-4B) | 0 | 3.836 | 0.228 | 0.523 | 3.763 | 0.170 | 0.420 |
| Prompting (TTS-rules) | 0 | 3.999 | 0.206 | 0.478 | 4.324 | 0.123 | 0.349 |
| DPO | 100 | 4.010 | 0.141 | 0.377 | 4.079 | 0.117 | 0.297 |
| FaST (本文方法) | 100 | 4.648 | 0.077 | 0.297 | 4.512 | 0.066 | 0.253 |
在推断延迟与外置规整模块对比中,FaST 单步生成在两数据集上耗时分别为 1.6 秒和 4.4 秒,而级联外置文本规整方案(PolyNorm)耗时分别高达 3.4 秒和 8.5 秒(延迟增加约 100%),证明了原生对齐在生产环境中的效率优势。
消融实验¶
针对极低资源数据约束(仅 10 条标注偏好样本),表 2 评估了传统过参数化神经奖励模型(RM)与轻量特征奖励模型(FaRM)在判别准确率上的表现,并给出了生成阶段去除各组件的消融及字数敏感度表现。
| 实验配置 / 奖励机制 | 训练集大小 | CORA 偏好预测 Acc ↑ | Recipe 偏好预测 Acc ↑ | 生成 TTS 友好度 (Heur) | 说明 |
|---|---|---|---|---|---|
| 传统 RM (4B 参数) | 100 (全量) | 0.996 | 0.998 | 4.12 | 具备较高二分类能力但易过拟合 |
| FaRM (40 参数) | 100 (全量) | 0.984 | 0.914 | 4.73 | 泛化到生成时指导性更强 |
| 传统 RM (4B 参数) | 10 (极低样本) | 0.871 | 0.946 | 3.88 | 样本极少时判别率大幅下滑 |
| FaRM (40 参数) | 10 (极低样本) | 0.960 | 0.941 | 4.65 | 小样本鲁棒性优异,参数量极小 |
| FaST (默认长文本) | 100 | - | - | 4.73 | 平均输出长度 434.6 字符 |
| FaST (\(\lambda_{\text{conciseness}}=0\)) | 100 | - | - | 4.74 | 消除负长度惩罚,长度降至 335.6 字符 |
关键发现¶
- 低数据场景下 FaST 表现出极其优异的样本效率:在仅有 10 个训练样本时,标准 SFT 与黑盒 RM 指导的强化学习(GRPO/RFT)由于样本极度匮乏,策略发生严重退化;而 FaST 仅需学习 40 个标量权重,在 CORA 上的偏好判别率稳定保持在 0.960,在 Recipe 上同样保持生成质量稳定。
- 提示工程无法替代显式对齐:单纯在 prompt 中追加详尽的 25 条 TTS 友好书写规范(Prompting 基线)虽略微提升了启发式指标,但在面对复杂的数值、计量单位与日期时,LLM 极易违背系统指令,无法可靠消除书面缩写。
- 自动化启发式指标高度吻合人类真实听感:在 Prolific 平台招募 14 名母语听众执行的双盲 MUSHRA 主观听觉测试中,FaST 平均得分达 68.3,显著优于 DPO(55.9,配对 Wilcoxon 检验 \(p=0.003\))和 Prompting(51.4,\(p=0.001\));同时启发式评分与人类打分的整体斯皮尔曼秩相关系数达 \(\rho = +0.84\)(\(p \ll 0.001\)),证明所设计的规则代价函数可作为极其廉价可靠的离线代理。
亮点与洞察¶
- 将口语化规整内化至 LLM 生成源头:以往工作将文本转语音视为纯声学或独立后处理工程,本文将“适宜播报”提升为对齐层面的显式学习目标,打破了传统“生成-规整”级联的延迟瓶颈。
- 可解释特征驱动的轻量对齐范式:用 40 个维度的语言学特征与线性 Bradley-Terry 替代 40 亿参数的端到端黑盒判别模型,不仅使对齐策略完全透明白盒化,而且在极少标注样本下展现出极强的抗过拟合能力。
- 可复用的跨任务启发式代理评测链:构建了“正则风险统计 \(\to\) 紧凑 TTS 合成 \(\to\) ASR 转录回环 \(\to\) 字符/词错误率”全自动评测流水线,为后续语音语言模型(SpeechLLM)和对话系统的离线自动化测评提供了高效模版。
局限与展望¶
- 模型输出存在冗长倾斜(Verbosity Bias):由于偏好语料中 TTS 友好的样本通常使用拼写完整的英文单词替代紧凑数字与缩写,导致模型自动学到了将“简短”与“书面/低劣”绑定的负权重。虽可通过人工置零 \(\lambda_{\text{conciseness}}\) 抑制长度,但更精细的字数自适应惩罚仍待进一步自动化。
- 语种与任务领域覆盖有限:当前验证主要覆盖英文的咖啡店客服与菜谱烹饪两个特定领域,尚未拓展至富含专业术语的医疗、法律以及多语言代码切换场景。
- 尚未直接接入端到端全双工架构:研究基于当前工业界主流的文本级联架构(LLM \(\to\) TTS),对于直接输入输出音频 token 的端到端语音大模型,如何在潜空间隐式对齐口语化表述仍是未来探索方向。
相关工作与启发¶
- vs PolyNorm (Wong et al., 2025) 等文本规整后处理方法:PolyNorm 依赖额外的少样本 LLM 在输出端进行两阶段重写,引入了双倍的时间开销与推断显存占用;本文通过原生偏好对齐使 LLM 在第一阶段直接生成口语就绪文本,将交互延迟降低 50% 以上。
- vs Speechworthy 偏好微调 (Cho et al., 2024):Cho 等人聚焦于宽泛的语音适宜性,但在人工标注中混淆了帮助性与可听度维度;本文通过 explicit 解耦的特征函数与独立的 LLM-Judge,首次实现了任务帮助性与 TTS 友好度的独立量化与多目标帕累托前沿分析。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 首次将 TTS 友好型文本生成完整形式化为多目标偏好对齐,创新性地引入特征感知奖励模型解决语音文本落地痛点。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖正则启发式评分、TTS-ASR 回环错误率、大模型帮助性裁判与 MUSHRA 双盲人类听力评测,交叉印证充分严密。
- 写作质量: ⭐⭐⭐⭐⭐ 动机阐述清晰,数学符号与系统框架对应规整,特征权重消融深入。
- 价值: ⭐⭐⭐⭐⭐ 为端到端低延迟语音助手架构优化提供了全新范式,开源数据集与代码具有高实用价值。