SpokenUS: A Spoken User Simulator for Task-Oriented Dialogue¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/holi-lab/SpokenUS
领域: 对话系统
关键词: 任务型对话, 用户模拟器, 语音对话, 轮次控制, 插话机制
一句话总结¶
针对传统任务型对话用户模拟器缺乏真实语音行为且端到端语音大模型缺乏轮次主动权与任务约束的问题,本文构建了包含四类语音行为的大规模对话数据集 SpokenTOD,并提出了基于独立轮次决策头的全双工任务型语音用户模拟器 SpokenUS。
研究背景与动机¶
构建鲁棒的智能语音助手需要系统在面对真实人类口语交互的各种不完美性时依然具备准确完成任务的能力。然而,真实口语交流中充斥着跨轮次槽位填充(如分块念出长数字串并中途修正)、言语不流利(填充词、停顿、自我修复)、情绪起伏以及中途打断插话(barge-in)等现象。为了在不耗费巨额人力成本的前提下评估和训练语音助手,用户模拟器(User Simulator, US)成为必不可少的工具。然而,现有的 LLM 用户模拟器几乎完全基于纯文本,即使外挂 TTS 模块,也只能在接收到完整助手回复后被动发声,无法在助手说话中途插话,丢失了关键的交互动力学特征。
另一条路线是利用近期兴起的端到端全模态/全双工语音大模型(Omni Models)。这类模型虽然支持端到端语音交互,但存在两大根本缺陷:一是架构上缺乏显式的轮次控制机制,无法针对打断、抢话等轮次转换边界提供稳定的决策监督;二是它们没有针对任务型对话(TOD)进行目标接地,由于底层预训练对齐偏向“提供帮助的助手”,容易出现角色遗忘甚至倒戈扮演助手的现象,且倾向于在开局前两轮全盘倾倒所有槽位信息(front-loading),完全违背人类循序渐进暴露信息的认知模式。更严重的是,社区长期缺乏涵盖多样口语行为的大规模标注口语任务型对话数据集。
本文的切入角度是:通过系统性的口语行为增强流水线,将现有富标注的文本任务型对话数据无缝转化为口语交互语料,并在模拟器端解耦流式监听、轮次决策、脚本预规划与条件化语音合成三个阶段。核心 idea:通过构建涵盖跨轮槽位、插话、不流利与情绪的千小时口语对话数据集 SpokenTOD,并设计结合独立轮次预测头(Turn-Taking Head)与两阶段生成的 SpokenUS,使模拟器既能像真实人类一样动态决定打断时机并渐进释放槽位,又能精准锚定对话目标以严苛评测语音助手的鲁棒性。
方法详解¶
整体框架¶
SpokenUS 的核心目标是在多轮任务型交互中以贴近真人的语音行为推进预定目标。模型输入包含用户目标与画像、历史轮次的交错图文语音序列、以及当前助手正在流式输出的语音 token。整个推理与交互过程被划分为三个严格解耦的时序模式:流式监听模式(Listening Mode)负责监控助手语音并由独立的轮次控制头判定是否插话或等待轮次结束;一旦触发发言,系统切入预规划模式(Pre-scripting Mode),通过文本头自回归生成带有情绪和不流利标记的显式转录文本;最后在发声模式(Speaking Mode)中,利用语音头以自回归方式生成离散语音 token,并通过流匹配与声码器合成最终语音。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入:用户目标、画像与交互历史"] --> B["阶段1:流式监听与轮次判定<br/>线性时序衰减加权监控助手流式 Token"]
B -->|检测到 Barge-in 或 Turn-end| C["阶段2:显式转录预规划<br/>生成含情绪与不流利标记的结构化文本"]
C --> D["阶段3:离散语音合成与声学渲染<br/>CFM 流匹配与 HiFi-GAN 声码器解码"]
D --> E["输出:高自然度任务型口语交互语音"]
关键设计¶
1. 口语任务型对话数据增强流水线:在富文本语料上建模四类真实口语行为
为了解决口语任务型语料稀缺且真实录音难以大规模采集的问题,本文提出了一套与数据集无关的口语行为增强流水线。流水线基于 ABCD、EmoWOZ、SGD 与 Taskmaster 四大经典任务型对话语料,统一抽取出结构化目标 \(G=(T, S)\) 与槽位跨度,依次注入四类口语行为:首先是跨轮次槽位(Cross-Turn Slots),将长字母数字串(电话号码、邮箱等)分块呈现,并按经验错误率(\(P_{\text{error}}=0.20\))注入自发修复子对话;其次是插话打断(Barge-in),涵盖错误纠正、澄清询问与效率确认三类动机以及隐式、直接与解释型三类表述方式,在 25% 的交互轮次中将助手原话截断并插入打断;第三是言语不流利(Disfluency),根据基于词数长度 \(L\) 的指数概率模型 \(P(\text{disfluent} \mid L) = 1 - b^L\)(其中词级流利度基数 \(b=0.9453\))判定是否注入不流利,并在槽位词周边窗口内集中注入填充停顿([FP])、话语标记([DM])、编辑词([EDIT])、重复([REP])、修正([COR])和重启动([RST]);最后是情绪韵律(Emotion),标注七类任务情感状态,并通过 Qwen3-TTS 配合 542 名涵盖四大口音群体的音色池合成 1,034 小时语音。
2. 独立轮次控制头与线性近时加权:微秒级决策插话与轮次收尾
针对全模态模型缺乏主动轮次抢占能力的核心缺陷,SpokenUS 在骨干网络最后一层隐状态上接入了一个专用的轮次预测分类头(Turn-Taking Head)。在监听模式下,助手语音以 25 Hz 的离散 token 流式输入。为了防止单 token 波动引发误报,模型对历史 token 的预测概率施加线性时间衰减加权(Linear-Recency Weighting),赋予越近的 token 更高的置信度权重:
$\(P_{\text{act}} = \sum_{i=1}^W w_i \cdot \text{Softmax}(H_{\text{assistant}}^{(i)} W_{\text{turn}})\)$
分类头在三类行为上做判别:继续倾听(listen)、截断插话(barge-in)与轮次结束(turn-end)。在监督信号设计上,助手轮次中除最后 6 个 token(约 240 ms,贴近人类神经反应生理时延)被赋予 turn-end 或 barge-in 标签外,其余全部标注为 listen。一旦模型输出非 listen 决策,即刻截断助手音频并转入后续生成。
3. 显式转录引导的两阶段语音生成:兼顾对话可解释性与声学丰富性
端到端纯音频模型往往存在槽位信息在内部隐表征中被遗漏或扭曲的黑盒风险。SpokenUS 采用“文本预规划 \(\to\) 语音合成”的两阶段解耦生成机制。当轮次头触发发言时,文本头自回归生成被 <BOT> 和 <EOT> 包裹的转录本。该转录本首词强制为情绪标记(如 <|dissatisfied|>),并在正文中保留交错的不流利符号(如 [FP], [COR])。随后,语音头从 <BOA> 开始,以该结构化文本隐状态为条件,自回归预测 CosyVoice3 分词器生成的 6,561 个离散语音 token 直至 <EOA>。生成的离散语音 token 最终送入条件流匹配(Conditional Flow Matching, CFM)扩散模型与 HiFi-GAN 声码器,并以说话人画像参考音频进行零样本克隆,确保了情绪韵律与言语卡顿在声学层面的一致落地。
损失函数 / 训练策略¶
SpokenUS 基于 Qwen2.5-3B 初始化,并采用两阶段训练策略。第一阶段在纯文本化的 SpokenTOD 全量对话数据上微调 3 个 epoch,使基座模型充分掌握任务型对话的目标追踪、状态转移与槽位填充规则。第二阶段冻结助手端,仅在用户端利用多任务联合目标微调 12,000 步: $\(\mathcal{L} = \mathcal{L}_{\text{text}} + \mathcal{L}_{\text{speech}} + \mathcal{L}_{\text{turn-taking}}\)$ 其中 \(\mathcal{L}_{\text{text}}\) 与 \(\mathcal{L}_{\text{speech}}\) 为自回归预测文本与离散语音 token 的交叉熵损失,\(\mathcal{L}_{\text{turn-taking}}\) 为三分类轮次决策的交叉熵损失。声学端的 300M 参数 CFM 与 HiFi-GAN 则独立在 SpokenTOD 用户语音子集上分别训练 30k 步。
实验关键数据¶
主实验¶
主实验在 SpokenWOZ 测试集的 100 个固定任务目标上进行闭环评估,对比了 5 款主流开源全模态端到端大模型。评估指标包括目标对齐率(Goal Alignment, GA)、槽位匹配率(Slot Match Rate, SMR)、人类平均主观意见分(Human MOS,涵盖自然度 N、流式对话交互 C 与口语行为真实度 S)、文本-语音对齐词错误率(WER)以及基于 WavLM 的说话人一致性余弦相似度(SIM)。
| 模型 | 音频训练量 | GA ↑ | SMR ↑ | MOS (Avg) ↑ | WER ↓ | \(\text{SIM}_{0,i}\) | \(\text{SIM}_{i-1,i}\) |
|---|---|---|---|---|---|---|---|
| 人类参考 (Human) | — | 1.00 | 1.00 | 3.67 | — | 0.84±.07 | 0.88±.04 |
| 大规模全模态模型 | |||||||
| Qwen2.5-Omni-7B | ∼3M hrs | 0.80 | 0.97 | 3.03 | 10.53 | 0.97±.03 | 0.96±.04 |
| GLM-4-Voice-9B | ∼700K hrs | 0.33 | 0.79 | 2.32 | 15.33 | 0.94±.04 | 0.96±.03 |
| Qwen3-Omni-30B-A3B | ∼20M hrs | 0.93 | 0.99 | 3.18 | 15.05 | 0.95±.03 | 0.95±.04 |
| 同量级对比模型 | |||||||
| Qwen2.5-Omni-3B | ∼3M hrs | 0.36 | 0.93 | 2.34 | 15.09 | 0.90±.04 | 0.92±.03 |
| InteractiveOmni-4B | ∼465K hrs | 0.59 | 0.89 | 2.63 | 15.68 | 0.95±.03 | 0.94±.04 |
| SpokenUS (3B, 本文) | ∼1K hrs | 0.82 | 0.99 | 4.06 | 11.36 | 0.93±.02 | 0.92±.03 |
消融与压力测试分析¶
为了探究 SpokenUS 真实口语行为对主流语音助手的实际挑战难度,论文在级联型(ASR + LLM + TTS)和端到端音频助手的最终槽位追踪 F1(Final Slot F1)上进行了压力测试;并测试了轮次控制头在流式音频下的事件触发准确率。
| 模拟器输入配置 | 助手: GPT-4.1-mini (Text) | 助手: GPT-4.1-mini (Cascaded) | 降幅 (\(\Delta\)) | 助手: Qwen2.5-Omni-7B (Audio) |
|---|---|---|---|---|
| Qwen2.5-Omni-3B | 86.8 | 83.1 | ↓ 3.7 | 60.1 |
| SpokenUS (本文) | 73.8 | 49.5 | ↓ 24.3 | 56.1 |
| 轮次头预测类别 | 正确触发 (Correct) | 提前抢话 (Early) | 决策混淆 (Confused) | 遗漏未触发 (Missed) |
|---|---|---|---|---|
| 轮次正常收尾 (Turn-end) | 66.0% | 10.4% | 16.4% | 7.2% |
| 打断插话 (Barge-in) | 58.6% | 18.0% | 11.0% | 12.4% |
关键发现¶
- 小数据量下的极高任务遵循度:仅使用约 1,000 小时合成音频训练的 SpokenUS 实现了 0.82 的目标达成率,不仅远超同量级的 Qwen2.5-Omni-3B(0.36)和 InteractiveOmni-4B(0.59),而且接近 7B 级别的全模态模型(0.80)。这证明先在文本上进行任务型对话知识注入、再联合多任务训练的策略能极大降低对海量语音数据的依赖。
- 符合人类认知节奏的槽位释放机制:分析表明,现有的全模态模型倾向于在对话前两轮倾泻绝大多数槽位,而 SpokenUS 和人类真实录音一样,呈现出平缓上升的线性累积披露曲线。即使通过 Prompt 显式约束全模态模型每轮仅释放一到两个槽位,基线模型依然会过早饱和。
- 对现有语音助手的巨大现实挑战:当使用 SpokenUS 产生的声音对主流级联式助手进行压力测试时,助手的槽位 F1 发生了高达 24.3 个百分点的剧烈断崖式下跌(86.8 \(\to\) 49.5),而基线全模态模拟器仅导致 3.7 个百分点的下降。这证实了常规助手极度脆弱,无法有效应对停顿自修复与插话。
亮点与洞察¶
- 解耦式流式轮次决策架构:通过引入与文本、语音生成头并行的独立 Turn-Taking Head,模型无需等待助手全句结束即可在 240 ms 窗口内主动决策插话,打破了传统语音模拟器只能在轮次结束后被动响应的结构枷锁。
- 数据驱动的口语行为低成本重构:构建的 SpokenTOD 流水线能够零门槛扩展到任意成熟文本对话数据集,用 Qwen3-32B 配合严格的语言学概率模型(如 Shriberg 长度分布)精准控制错误率与情感标记,实现了合成口语与真实录音相当的自然度。
局限与展望¶
- 语种与复杂声学物理环境限制:目前数据与模型均局限于英语场景;且合成语音由纯净环境 TTS 生成,尚未包含混响、环境底噪、远场拾音失真或网络丢包抖动等复杂现实信道噪声。
- 重叠发声建模的缺失:当前模型在插话时会硬性截断助手语音并直接开始预规划生成,尚未支持说话人双向完全重叠发声(Simultaneous Speech / Full-duplex Overlapping)以及笑声、咳嗽等副语言声学特征。
相关工作与启发¶
- vs. 传统基于文本的 TOD 用户模拟器 (如 Agenda-based US / TDM-LLM):传统方法局限于文本符号交互,即使级联 TTS 也无法建模时间维度的即时抢话(Barge-in)与实时声学情绪交互;SpokenUS 实现了端到端的多模态轮次自适应。
- vs. 通用端到端全模态大模型 (如 Qwen2.5-Omni / GLM-4-Voice):通用全模态大模型没有面向任务型对话的状态管理机制,极易角色倒错化身为提供服务的 Assistant,且倾向于在开头单轮堆砌所有需求;SpokenUS 强约束了任务型目标与渐进式多轮交互策略。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出针对任务型口语对话的全双工语音用户模拟器及完整的四类口语行为数据生成流水线。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖闭环交互对齐率、人类主观盲测、ASR/TTS 交叉对齐、流式轮次判决时机与对多种语音助手的对抗性评测。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰,系统各模式的时序流转与数据增强规范交代详尽。
- 价值: ⭐⭐⭐⭐⭐ 为语音助手和车载/家居语音 Agent 的对抗测试与端到端自动化演进提供了极为稀缺的高保真口语评测沙盒。