MultiTalk: Scaling Full-Duplex Speech Models to Long, Multi-Party, Bilingual Conversation¶
会议: NeurIPS 2026
arXiv: 2609.36903
代码: https://github.com/cuhk-mmlab/MultiTalk
领域: 音频/语音
关键词: 全双工语音对话、多方交互、长上下文、双语对话、Moshi架构
一句话总结¶
本文提出 MultiTalk 体系，构建了 57.6k 小时多方双语全双工语音合成数据引擎与包含长时程真实评测的 MultiTalkBench，在不改动 Moshi 双流架构的前提下实现了长时程、多角色、中英双语的端到端稳健全双工交互。
研究背景与动机¶
端到端全双工语音大模型（如 Moshi、GLM-4-Voice、Step-Audio 等）将传统的 ASR → LLM → TTS 串行管线折叠为统一的流式自回归架构，大幅降低了交互延迟，让机器对话初步具备了拟人化的流畅度。然而，现有的开源全双工模型几乎全部针对单人对单人（Dyadic）的短时交互进行训练与评测。一旦将这些系统推向真实的会议讨论、家庭聚餐、多人教学或迎宾导览等实际部署场景，系统便面临长时程交互鲁棒性差与多方会话机制缺失的双重困境。
造成这一困境的核心症结在于数据与评测尺度的双重结构性匮乏。在训练数据侧，公开的多人会议语音语料（如 AMI、AliMeeting 等）总量仅数百小时，且主要为远场 ASR 和说话人日志设计，缺乏用于编解码器帧级（Codec-frame level）全双工建模的并行音轨；各家全双工系统不得不依赖私有数据或闭源单双人合成语音。在评测基准侧，现有的长音频基准多为被动式单向听力测试，而前沿的全双工基准（如 Full-Duplex-Bench、MTalk-Bench）则全部局限在单人对单人的短对话轮次中，无法评估模型在多人交谈中对不同发言对象的身份归因、话轮抢占、长期实体追踪与发言角色把控。
面对长上下文与多人场景交织带来的交互语义复杂性，本文并未盲目修改底层双流框架，而是选择从数据生成引擎与系统化评测切入。核心 idea：通过构建可控对话动力学与并行音轨的自动化数据引擎生成 57.6k 小时双语多方合成语料，并搭建以真人真实会议为底座的 MultiTalkBench 评测基准，仅凭两阶段渐进式训练便将原生双流 Moshi 全面升级为长时程多方双语全双工对话模型。
方法详解¶
整体框架¶
MultiTalk 围绕长时程、多角色、中英双语全双工对话展开闭环构建，其核心管线包含自动化合成数据引擎、两阶段模型训练策略以及评测基准 MultiTalkBench。在数据引擎侧，系统首先通过双阶段符号级脚本规划生成结构化的多人对白与细粒度声学交互控制标记，随后由多说话人情感 TTS 渲染出多声道独立音轨，并利用强制对齐生成毫秒级时序监督信号。在模型侧，保持 Moshi 经典的时序-深度 Transformer 双流架构不变，将所有非目标参与者的语音混合为用户输入流，使模型在单声道输入中直接学习多说话人解耦与全双工轮替。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多维度对话种子库<br/>情感 / 知识 / 角色 / 职业"] --> B["双阶段符号脚本合成<br/>世界模型规划 → 对话细节生成"]
B --> C["四层结构化质量过滤<br/>格式 / 话轮长度 / 角色闭包 / 内容质量"]
C --> D["零样本语音合成与多声道装配<br/>IndexTTS2渲染 + 动态重叠/静音插入"]
D --> E["词级别强制时间对齐<br/>MFA 生成毫秒级 Inner Monologue 标记"]
E --> F["两阶段渐进式全双工训练<br/>MultiTalkPT 双语预训练 → MultiTalkFT 多方微调"]
F --> G["MultiTalkBench 全面评测<br/>General / Multi-Party IQ / Role / Participation"]关键设计¶
1. 双阶段符号脚本合成与精细声学交互协议：精准解耦世界设定与多方动态
为了生成具备真实人类多人交谈特性的对话文本，数据引擎将生成过程拆解为宏观规划与微观实现两个相继的 LLM 调用。第一阶段构建全局“世界模型”，固定参与者人数（2 至 9 人，典型为 3 人）、目标总轮次（50 至 300 轮）、场景描述段落以及封闭的角色清单，将每个角色的身份、性格和交互准则固定，严格防止单 prompt 生成中常见的种子文本原样复制或角色漂移。第二阶段在固定设定的约束下展开对话细节生成，并严格执行三大类约束：在话轮长度上强制规定 60% 短轮次（1-15 词）、30% 中轮次（15-40 词）和 10% 长轮次，严禁连续长发言；在交互协议上显式建模四类行为——夹带在发言间的回应反馈（Backchannels）、带破折号的突发言语打断（Interruption）、相邻轮次的叠音交织（Overlapping speech），以及携带明确时间区间的显式静音标记 \(\{ \text{speaker}=\text{silence}, \text{text}=[Xs] \}\)。这种显式静音机制确保在声学合成时产生真实的物理静音，避免紧密拼接导致模型丧失沉默与倾听能力。
2. 零样本多声道语音装配与时序对齐：构建帧级对齐的多角色并行音轨
生成的对白由零样本多说话人语音合成模型 IndexTTS2 进行逐轮次声学渲染。为了打破说话人音色与特定语义文本之间的虚假关联，系统构建了按性别划分的中英提示音色库，在每个对话生成任务中对音色池进行无放回随机抽取并赋予各个角色，使得下游全双工模型必须依赖声学特征而非文本偏置来识别说话人身份。对于每个非静音轮次，根据脚本中预测的情感向量控制合成语调与语速；静音轮次则直接发射对应时长的纯零值波形。在多声道装配环节，助手角色独占 Channel 0，所有其他参与者按非自重叠约束依次混合。装配器引入跨说话人间隙自适应压缩策略：正常交替话轮之间插入 0.2 至 0.6 秒的自然重叠，被打断的话轮则制造 1 至 2 秒的竞争性叠音。最后，借助 Montreal Forced Aligner (MFA) 提取助手端发言的词级精确时间戳，作为 Moshi 架构中 Inner Monologue 文本流的严格对齐监督。
3. 双语与多方解耦的两阶段训练方案：在不变架构下激活长程多人多语能力
为了严格验证数据本身的有效性，研究团队完整继承了 Moshi 的双流神经网络结构，不增加额外的说话人分离头或多音轨输入接口，而是将所有多方会话的背景用户统一混入单一的用户音频流中。训练过程分为两个阶段：第一阶段在包含 54.4k 小时中英文长对话的 MultiTalkPT 上进行双语预训练（采样权重配置为 60% 英文与 40% 中文），以此解锁中文语音感知与表达能力，并在用户流上引入自回归预测辅助损失；第二阶段在包含 3.2k 小时的 MultiTalkFT 上进行多方会话专项微调，模型在带有复杂系统提示与多角色声学特征的多方语料上集中参数容量，快速习得在嘈杂多发言人环境中过滤无关对话、准确响应呼唤目标以及辨识会话焦点的多方交互本能。
损失函数 / 训练策略¶
模型采用全参数 AdamW 优化器与 One-Cycle 学习率调度策略。全局 Batch Size 固定为 21 小时音频，预训练阶段在 MultiTalkPT 上执行 5,000 步，峰值学习率为 \(3 \times 10^{-5}\)；微调阶段在 MultiTalkFT 上精细微调 200 步，时间维度 Transformer 峰值学习率降至 \(2 \times 10^{-6}\)，深度 Transformer 降至 \(4 \times 10^{-6}\)。
训练目标由助手输出流与用户流的多任务损失联合构成。对于 Moshi 助手流，首个码本的交叉熵损失权重乘数为 100，其余非语义码本权重为 1.0；文本预测头的填充词元损失权重设为 0.2，句子结束符填充权重设为 0.6。为了促使模型隐式感知并追踪用户状态，用户音频流码本同样施加联合监督，其总损失缩放系数为 0.5，并在前 500 个优化步内进行线性预热以保持预训练权重的稳定性。此外，在用户通道中实时混入采样自 DNS-Challenge 的远场声学环境噪声，提升现实录音鲁棒性。
实验关键数据¶
主实验¶
评估在包含 104 个平均时长 32.6 分钟、基于真实会议录音构建的 MultiTalkBench 上进行。被测模型扮演指定参与者，生成内容由强基座 LLM 结合说话人角色进行全面裁判。各维度得分均为 0-100 标度。
| 模型 | 参数量 | General (通用交互) | Multi-Party IQ (多方智商) | Role-cond. (角色契合) | Final Score (综合总分) | EN 得分 | ZH 得分 |
|---|---|---|---|---|---|---|---|
| Moshiko-7B (Backbone) | 7B | 4.96 | 2.41 | 6.62 | 4.66 | 7.82 | 0.36 |
| PersonaPlex-7B | 7B | 2.76 | 1.71 | 3.10 | 2.52 | 4.27 | 0.14 |
| Qwen3-Omni-30B | 30B MoE | 6.93 | 2.81 | 5.08 | 4.94 | 4.54 | 5.49 |
| MiniCPM-o-4.5 | 9B | 16.35 | 9.00 | 7.81 | 11.05 | 7.25 | 16.23 |
| Moshi-MTB (本文) | 7B | 18.73 | 8.56 | 12.16 | 13.15 | 10.87 | 16.27 |
| Human (人类基准) | - | 80.53 | 64.18 | 61.51 | 68.74 | 68.35 | 69.28 |
消融实验¶
针对微调数据规模、会话时长分布、参与者规模以及端到端交互延迟等关键设计进行消融与细粒度分析：
| 实验配置 / 变量划分 | 核心指标表现 (Final Score / 交互指标) | 结论说明 |
|---|---|---|
| MultiTalkFT 比例: 0% (纯预训练) | Final Score: 7.95 | 仅做双语预训练时多方交互能力明显受限 |
| MultiTalkFT 比例: 50% (1.6k 小时) | Final Score: 11.78 | 增加多方对话数据带来稳定单调提升 |
| MultiTalkFT 比例: 100% (3.2k 小时) | Final Score: 13.15 | 完整多方微调获得最佳性能 (+65.4%) |
| 等规模 800h：纯 3 人会话子集 | Final Score: 8.30 | 缺乏多样人数混合会损害通用适应性 |
| 等规模 800h：纯短对话子集 | Final Score: 9.55 | 缺乏长时程训练样本降低了上下文连贯性 |
| 评测时长划分：< 30 分钟样本 | Final Score: 21.23 | 较短长程对话中模型表现显著优于超长时程 |
| 评测时长划分：≥ 30 分钟超长样本 | Final Score: 12.07 | 展现长上下文语音对话的极大挑战空间 |
| 实时交互响应起始延迟 (Onset Latency) | Moshi-MTB: 870 ms (vs. Moshiko: 782 ms) | 保持亚秒级全双工极速起呼响应 |
| 打断静音停止延迟 (Stop Latency) | Moshi-MTB: 2230 ms (vs. Moshiko: 5475 ms) | 用户打断时停止喋喋不休的速度提升超 2 倍 |
| 旁侧交谈忽略率 (Side-conv. Ignoring) | Moshi-MTB: 98.8% (vs. Moshiko: 92.0%) | 极强抑制无关背景多人交谈的误触发介入 |
关键发现¶
- 多方交互能力受训练数据分布制约，而非纯粹参数量大小：30B 参数的 Qwen3-Omni 在 Multi-Party IQ 和 Role 维度上仅分别取得 2.81 与 5.08 分，甚至大幅落后于 7B 的 Moshi-MTB。这证明即使基础语言模型极其强大，若没有全双工多方语音交互语料的系统性注入，模型依然无法理解多人交谈中的话轮流转机制。
- 中文能力实现质的跃迁且完全无损英文：Moshi-MTB 将原生仅支持英文的 Moshiko-7B 的中文得分从 0.36 提升至 16.27（提升超 45 倍），同时其英文得分亦从 7.82 稳步提升至 10.87 (+39.0%)，充分验证了双语联合预训练与特定比例采样的无损扩展特性。
- 更优越的全双工话轮管理与抗干扰鲁棒性：在声学交互行为指标上，Moshi-MTB 的打断停止延迟缩短了 59%（从 5.4 秒降至 2.2 秒），同时对非目标用户的侧向交谈忽略率达到 98.8%，有效解决了语音助手在多人嘈杂环境中“听见声音就抢话插嘴”的顽疾。
亮点与洞察¶
- 合成全双工数据闭环的规模化可行性：通过将世界模型规划、精细声学交互标记与多说话人零样本 TTS 深度串联，首次将高成本、难以采集的帧级多方长程对话数据扩充到 57.6k 小时量级，解决了该领域长期以来的数据瓶颈。
- 架构不变即可解耦复杂声学交互：无需在模型架构层面强行堆叠显式的说话人分离模块或复数通道接口，仅通过对单路用户混音施加预测监督和针对性多方微调，7B 级别的双流模型即可在隐空间内学会说话人追踪与按需介入。
- MultiTalkBench 确立了长时多方评测的新标尺：摆脱了以往被动听音频或双人短指令交互的狭隘范式，把被测系统嵌入平均 32.6 分钟的真实会议多角色场景中，以极高的自动化评委与人类相关系数（\(\rho \approx 0.90\)）为业界提供了可靠基准。
局限与展望¶
- 合成语音与真实声学环境仍存域间鸿沟：训练数据全部由零样本 TTS 渲染并结合算法混音生成，缺乏现实房间中复杂的混响、非线性空间声场衰减以及复杂的交叠共振，未来需探索声学场景仿真与更逼真的对话式合成。
- 距人类交互天花板仍有巨大提升空间：尽管 Moshi-MTB 领先现有开源模型，但其在 MultiTalkBench 上的总分（13.15）与人类参考上限（68.74）之间仍存在显著差距，尤其是在长跨度信息整合（2.89 vs 63.94）与争议裁决协调（0.96 vs 40.62）上亟需更强的推理与记忆支撑。
- 模型体量扩展与更多语种支持：当前仅在 7B 级别骨干网络上进行了验证，未来可将该数据生成与训练方案推广至更大参数规模（如 14B/32B）的双流全双工架构，并拓展至除中英以外的多语种交互。
相关工作与启发¶
- vs Moshi (Défossez et al., 2024)：Moshi 开创了基于 Mimi 编解码器与 Inner Monologue 的自回归双流全双工范式，但其仅支持单人英语短对话；本文在继承其极简双流架构的基础上，通过大规模多方双语数据与阶段性训练，将其拓展为支持长时程多人交互的双语系统。
- vs MiniCPM-o-4.5 / Qwen3-Omni：现有大型流式多模态模型通常依赖半双工时分复用或显式交互门控（is_listen），在面对多人混杂发言时容易出现角色混乱与打断误判；本文证明通过多方合成流式数据的针对性微调，纯自回归架构在说话人追踪和组感知能力上均能达到或超越更大体量的通用基线。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性攻克端到端全双工语音在长时程、多方交互与双语三大交织维度的难题。
- 实验充分度: ⭐⭐⭐⭐⭐ 兼顾 57k 小时大数据生成、真实长会议 benchmark 搭建、细致消融及人类一致性相关性验证。
- 写作质量: ⭐⭐⭐⭐⭐ 问题定义直击痛点，实验设计与数据分析层次分明且论证严密。
- 价值: ⭐⭐⭐⭐⭐ 开源的超大规模合成数据引擎与 MultiTalkBench 将极大推动开源全双工多模态智能体的发展。