SimulS2ST-Omni: Data-Efficient Streaming Speech-to-Speech Translation via Explicit Trajectory Supervision¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://hasaki321.github.io/SimulS2ST-Omni.demo/
领域: 音频/语音
关键词: 流式语音同传、语音大语言模型、显式轨迹监督、两流架构、低资源数据效率
一句话总结¶
提出两流 Thinker–Talker 架构与显式文本-语义编码联合轨迹监督机制,仅用约 2,000 小时合成配对语音数据,在长语音同传与句子级基准上达到与顶级闭源系统相当的翻译质量与超低延迟。
研究背景与动机¶
实时跨语言语音到语音同传(Streaming S2ST)要求模型在极具挑战性的低延迟约束下,对无边界的连续源语音流进行增量式理解、语义规划与高质量目标语音生成。传统的级联系统(ASR + MT + TTS)由于各模块间固有的流水线等待时延与逐级误差累积,难以在真实同传场景中达到令人满意的时延-质量权衡;而端到端语音大语言模型(SLMs)近年来虽在离线句子级场景展现出惊人能力,但在长流式场景下仍举步维艰。现有的流式 S2ST 系统大多严重依赖超过 40,000 小时的大规模合成配对音频监督,或者依赖极其复杂且昂贵的强化学习与专家对齐策略(如 Hibiki、LiveInterpret 2.0),使得低资源条件下的长流式语音同传成为学术界与工业界长久以来未攻克的核心瓶颈。
造成这一数据饥渴困境的根源在于流式语音生成中内在的两大结构性阻碍。其一,长流式同传本质上是一个隐式路径决策问题(Latent Path Problem),模型必须在不完全的源语音前缀下自主决策读(read)、等(wait)与写(write)动作;文本级流式系统可以通过自回归文本轨迹监督规避外部策略模块,但语音生成却要求对高密度声学语义编码(acoustic semantic codes)做出不可撤回且具有严格时间敏感性的物理提交。其二,统一自回归解码器(unified decoder)在有限数据下难以兼顾源端跨模态理解、目标语言文本规划与稠密声学编码预测这三类目标,表征需求之间的相互干扰会导致严重的模态冲突,迫使模型在语言推理能力与语音保真度之间不可调和地妥协。
面对高昂的配对数据成本与统一解码器的优化冲突,本文另辟蹊径:既然文本大语言模型已具备成熟的序列流式规划能力,语音生成应当作为其规划结果的下游保真渲染,而非相互抢占容量。核心 idea:提出显式文本-编码联合轨迹监督(Joint Text-Code Trajectory Supervision),将词对齐与声学编码单调化绑定为统一的离散读写轨迹,配合解耦语言推理与声学合成的两流 Thinker–Talker 架构,仅用约 2,000 小时配对数据即实现了长流式语音同传的高效稳定训练。
方法详解¶
整体框架¶
SimulS2ST-Omni 的端到端流程由前置的流式轨迹离线构建与在线的两流自回归生成两部分构成。系统输入连续的源端语音流 \(X\),输出目标语言语音波形 \(Y_{\text{wav}}\)。首先,通过预训练语音分词器 \(Q\) 将目标音频离散化为高语义压缩比的声学语义编码 \(Y_{\text{code}} = Q(Y_{\text{wav}})\);随后,离线挖掘模块通过跨语言词对齐与单调化投影,建立每个目标词及其声学编码在源语音中的最早可提交时刻,切分为离散时间块构成的监督轨迹 \(\tau\)。在模型架构上,系统采用 Thinker–Talker 两流解耦设计:Thinker 专注理解源语音特征并自回归规划目标文本与语义隐藏状态,Talker 接收 Thinker 的输出并并行/增量生成对应的声学编码,最终送入冻结的 Flow Matching 声学校正器与 Vocoder 后端合成连续平滑的语音波形。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
InAudio["连续源语音流 X"] --> Enc["语音编码器<br/>提取连续声学表征"]
subgraph DataPipeline["轨迹监督准备"]
direction TB
FA["强制对齐与跨语词对齐<br/>SimAlign 提取源-目标边界"] --> TrajBuild["单调化与分块打包<br/>构建文本-编码联合轨迹 τ"]
end
Enc --> Thinker["Thinker 语言推理流<br/>自回归生成目标文本及隐状态 Hθ"]
TrajBuild -.->|教师轨迹监督| Thinker
Thinker --> Talker["Talker 声学解码流<br/>条件化预测稠密声学编码 Ycode"]
TrajBuild -.->|时间块边界对齐| Talker
Talker --> CodecFM["冻结 Flow Matching 与 Vocoder<br/>利用上下文平滑还原连续目标语音"]
CodecFM --> OutWave["低延迟流式目标语音 Ywav"]
关键设计¶
1. 跨语言单调化联合轨迹构建:解决语音不可撤回提交与流式读写策略缺乏直接监督的问题
流式同传需要在源语音尚未完结时提前输出目标内容,而语序倒装(Inversion)常导致目标词对齐到较后的源端时间点,引发不可逆的过早提交错误。针对这一难题,作者利用强制对齐(Forced Alignment)与跨语言词对齐工具 SimAlign,精确定位目标词 \(y_i\) 所对应的源端词 \(x_{a(i)}\) 的结束时间戳 \(t_{a(i)}\)。为了消除倒装引发的非单调跃迁,系统强制实施单调化递推更新: $\(\tilde{t}_i = \max(\tilde{t}_{i-1}, t_{a(i)}), \quad \text{其中 } \tilde{t}_0 = 0\)$ 每个目标词 \(y_i\) 及其切分所得的离散声学编码片段均继承该单调化时间戳 \(\tilde{t}_i\)。接着,按预设的固定步长(如 1 秒)将源音频离散划分为若干块 \(c\),将落在该时间区间内的目标文本和声学编码聚合成块级元组 \((Y_{\text{text}}^c, Y_{\text{code}}^c)\)。若当前源块内无新到达的目标内容,则标记为等待块(Wait Step);若包含目标内容,则标记为写入块(Write Step)。这一设计将原本需要强化学习探索的隐式流式决策直接具象化为离散因果分类路径,无需复杂的外部语音发射控制器。
2. Thinker–Talker 两流解耦因子分解:缓解统一步长解码器内部的模态表征冲突与算力浪费
在统一单解码器(Dec-only)架构中,词表被迫扩展容纳 16,384 个语音 token,使得单一大模型必须同时承担高层语言逻辑理解与底层稠密声学 token 自回归建模,造成严重的模态表征干扰;且解码全量声学 token 需调用完整的 3B 主干网络,导致吞吐率暴跌。本文将块联合后验概率进行两流因子分解: $\(p(Y_{\text{text}}^c, Y_{\text{code}}^c \mid C_c) = p_\theta(Y_{\text{text}}^c \mid C_c) \cdot p_\phi(Y_{\text{code}}^c \mid C_c, Y_{\text{text}}^c, H_\theta)\)$ 其中 \(C_c\) 表示当前块上下文(已消费的源语音前缀及已生成的历史文本与编码),\(H_\theta\) 为 Thinker \(\theta\) 在生成目标文本时产出的隐藏状态序列。两流解耦使得 3B 规模的 Thinker 仅需以低词率自回归规划离散文本并提供语言骨架,而轻量级 0.4B 的 Talker \(\phi\) 专职接收 \(H_\theta\) 并快速预测声学编码。这一设计彻底阻断了稠密声学信号对语言理解空间的污染,大幅削减了推理计算量(RTF 显著降低)。
3. 跨块滑动音频上下文拼接:消除分块语音生成中的边界拼接失真与音色断裂
由于流式场景下模型只能逐块输出离散声学编码并通过 Flow Matching 与 Vocoder 还原波形,直接对单个独立块进行声学合成会导致严重的边界能量突变、爆音(clicks)以及块与块之间音色和语速不连贯的失真。为此,模型在送入 Flow Matching 声学后端时,显式保留了前序 4 秒的源语音音频和最近生成的 2 秒历史目标语音音频作为提示上下文(Prompt Context)。通过历史上下文引导流匹配求解过程,有效平滑了块边界的频谱能量过渡,保证了整段长语音同传过程中音色的一致性与韵律自然度。
损失函数 / 训练策略¶
模型采用三阶段渐进式训练方案: 1. Stage 1(热身阶段):冻结预训练的 Thinker(基于 Qwen2.5-Omni),初始化 Talker 模块并重设 DualCodec 的 16,384 维嵌入层与输出头,仅使用多语 TTS 数据(约 8.9 万小时)对 Talker 开展 2 个 epoch 的全参数预热,建立稳固的文本-编码映射基础。 2. Stage 2(多任务联合预训练):在 Thinker 上挂载 LoRA 适配层(rank=32),与 Talker 联合训练。数据由 ASR、S2TT、MT、TTS 与 S2ST 五项任务混合构成,采样比例严格控制为 \(0.2:1:0.5:1:1.5\)(总计约 117 亿 token,配对 S2ST 数据仅占 2,104.8 小时)。 3. Stage 3(流式轨迹微调):合并前阶段 LoRA 权重,挂载较小秩的 fresh LoRA(rank=8),冻结词表嵌入与预测头。在经过归一化逆序率(NIR)严格筛选的流式轨迹多任务数据集上训练 1 个 epoch。为使单一检查点自适应任意推理延迟档位,训练中引入延迟倍率采样 \(m \in \{1, \dots, 12\}\),采用线性衰减概率 \(\tilde{w}_m = \max(a - b(m-1), 0)\) 前置偏向低延迟数据,将连续 \(m\) 个源端数据块融合成单步读取,实现全时延范围的鲁棒泛化。
实验关键数据¶
主实验¶
在代表真实同传场景的 RealSI 句子级与长文本基准,以及 CVSS-T 离线基准上评测。主要考察翻译准确率(BLEU / ASR-BLEU)、延迟指标(LAAL / StreamLAAL)与语音音色/韵律(SIM-O / AutoPCP)。
表 1:CVSS-T 离线 S2ST 性能对比 (对比代表性 MLLM 与专用离线 S2ST 系统,统一协议评测)
| 模型类别 | 模型 | 参数量 | ASR-BLEU (En→Zh) | ASR-BLEU (Zh→En) | Text-BLEU (En→Zh) | Text-BLEU (Zh→En) | A.PCP (En→Zh) | SIM-O (En→Zh) |
|---|---|---|---|---|---|---|---|---|
| MLLM | GPT-4o | — | 25.42 | 31.64 | — | — | 2.66 | — |
| MLLM | Qwen-Omni2.5 | 7B | 8.04 | 22.66 | 34.85 | 24.39 | 1.90 | — |
| S2ST | Seamless-expressive | 1.7B | 23.70 | 15.89 | 25.45 | 16.67 | 2.73 | 0.42 |
| S2ST | UniSS (Q) | 1.5B | 32.04 | 24.72 | 32.95 | 25.51 | 2.71 | 0.40 |
| Ours | Dec-only (基线) | 3B | 27.12 | 23.41 | 31.59 | 24.90 | 2.96 | 0.45 |
| Ours | Thinker–Talker | 3B | 31.12 | 25.18 | 33.73 | 26.41 | 2.70 | 0.35 |
表 2:RealSI 流式同传 S2ST 在不同时延档位下的 ASR-BLEU 对比 (延迟档位 \(m2 \sim m6\) 对应不同源端块聚合粒度,对比 SOTA 闭源商业同传系统 LiveInterpret 2.0)
| 评测类型 | 翻译语向 | Ours m2 | Ours m3 | Ours m4 | Ours m5 | Ours m6 | LiveInterpret 2.0 |
|---|---|---|---|---|---|---|---|
| 句子级 (Sentence) | En→Zh | 24.21 | 25.01 | 25.54 | 25.92 | 26.32 | 29.09 |
| 句子级 (Sentence) | Zh→En | 19.55 | 21.07 | 22.47 | 22.94 | 23.47 | 22.19 |
| 长文本流式 (Doc) | En→Zh | 26.58 | 28.42 | 29.69 | 30.04 | 29.73 | 29.33 |
| 长文本流式 (Doc) | Zh→En | 22.40 | 22.62 | 24.37 | 26.53 | 25.60 | 26.80 |
消融实验¶
表 3:配对 S2ST 数据预算削减对 RealSI 句子级 ASR-BLEU 的影响 (贪婪解码,探究辅助多任务与配对数据占比对两流和单流架构的依赖)
| 语向 | 架构 | 配对 S2ST 预算 | m1 (超低延迟) | m2 | m3 | m4 (中等延迟) |
|---|---|---|---|---|---|---|
| En→Zh | Thinker–Talker | Full (2k 小时) | 17.30 | 21.49 | 23.02 | 24.04 |
| En→Zh | Thinker–Talker | 10% (约 200 小时) | 15.50 | 20.00 | 21.49 | 23.47 |
| En→Zh | Thinker–Talker | 10% 无辅助任务 (w/o aux) | 9.47 | 18.46 | 21.12 | 21.90 |
| En→Zh | Dec-only | Full (2k 小时) | 12.70 | 14.98 | 15.61 | 17.44 |
| En→Zh | Dec-only | 10% (约 200 小时) | 13.02 | 14.07 | 15.38 | 16.52 |
| En→Zh | Dec-only | 10% 无辅助任务 (w/o aux) | 12.96 | 13.97 | 14.22 | 15.93 |
| Zh→En | Thinker–Talker | Full (2k 小时) | 12.49 | 16.88 | 17.55 | 18.78 |
| Zh→En | Thinker–Talker | 10% (约 200 小时) | 9.76 | 15.57 | 17.53 | 18.59 |
| Zh→En | Thinker–Talker | 10% 无辅助任务 (w/o aux) | 8.45 | 14.62 | 16.91 | 18.24 |
| Zh→En | Dec-only | Full (2k 小时) | 10.88 | 12.94 | 14.01 | 15.45 |
表 4:轨迹质量过滤(NIR)在 RealSI 长文本流式 S2TT 上的有效性消融
| 语向 | 采样过滤策略 | m1 (BLEU) | m2 (BLEU) | m3 (BLEU) | m4 (BLEU) |
|---|---|---|---|---|---|
| En→Zh | 随机采样 (RANDOM) | 4.59 | 24.86 | 26.22 | 26.54 |
| En→Zh | NIR 过滤 (NIR) | 21.14 | 26.44 | 28.00 | 28.53 |
| En→Zh | NIR + 线性调度 (NIR+LINEAR) | 22.26 | 26.94 | 28.19 | 28.33 |
| Zh→En | 随机采样 (RANDOM) | 3.56 | 14.55 | 17.32 | 17.08 |
| Zh→En | NIR 过滤 (NIR) | 11.98 | 18.42 | 19.89 | 21.73 |
| Zh→En | NIR + 线性调度 (NIR+LINEAR) | 12.83 | 18.83 | 20.40 | 21.63 |
关键发现¶
- 两流解耦架构具备极强的数据利用效率:当配对 S2ST 数据缩减 90%(从 2k 小时锐减至仅约 200 小时)时,只要保留 ASR/S2TT/MT 等辅助多任务预训练,Thinker–Talker 在各时延档位下的性能下降仅有 0.5~1.8 个 BLEU,依然远超配对数据充足的统一单解码器。
- 统一解码器存在无法逾越的模态冲突瓶颈:Dec-only 模型即便消耗了 Thinker–Talker 两倍以上的 GPU 训练时限(双分支 LoRA 热身),其流式 ASR-BLEU 仍显著落后 6~8 个点;更重要的是,去除辅助多任务对 Dec-only 几乎没有影响,证明其性能上限受困于单一主干中语言规划与稠密编码生成的容量挤占,无法有效吸纳多任务监督。
- 单调性过滤(NIR)是低延迟稳定的生命线:若不采用基于 NIR 的语序难度分级过滤,模型在 \(m=1\) 的极低延迟档位下发生灾难性崩塌(En→Zh BLEU 从 22.26 骤降至 4.59),原因在于非单调的长程语序倒装迫使模型在缺少源端信息时强行猜测,导致不可挽回的过早提交(Premature Emission)。
亮点与洞察¶
- 显式轨迹统一了文本规划与声学提交的时序排布:传统方法常需为语音端单设发射决策网络(emission controller),极易出现文本已规划但语音不敢发或提前抢发的失步现象;本文将声学编码绑定至单调化词边界,将复杂的隐式读写决策转化为离散监督任务,优雅且易收敛。
- Thinker–Talker 实现智能与速度的双赢:3B 的 Thinker 负责高质量语言推理,0.4B 的 Talker 负责声学编码输出。这种解耦不仅消除了模态冲突,更使得生成每一帧音频的计算复杂度大幅降低,实测计算感知延迟(LAAL_CA)与实时率(RTF)远优于参数相同的单一解码器。
- 可复用的通用设计启示:任何涉及“高层语义推理”与“底层稠密表征生成”的多模态序列任务(如实时视听对话、同步动作驱动数字人),都应优先考虑两流解耦,而非盲目将连续物理 token 直接塞入单一 LLM 的大词表中。
局限与展望¶
- 语言覆盖受限:目前验证仅局限于中文和英文双向,在语序倒装更剧烈或形态学更复杂的语言对(如德语、日语、阿拉伯语)上的泛化性仍有待验证。
- 合成配对数据的真实口译拟合偏差:训练用的配对语音由 OmniVoice 语音克隆合成,缺乏真实人类同传中普遍存在的犹豫、自我修正、语速弹性调整以及信息压缩策略。
- 声学解码器非完全原生流式:当前后端的 Flow Matching 依赖 4s/2s 的跨块上下文拼接,虽能缓解爆音,但尚未实现完全因果的原生流式生成,计算延迟仍有优化空间。
相关工作与启发¶
- vs LiveInterpret 2.0 / Hibiki: 现有工业级与代表性学术流式 S2ST 系统依赖 4 万小时以上的大规模配对音频或复杂的在线强化学习;本文证明通过高质量单调化轨迹挖掘与两流架构,仅需 2k 小时甚至 200 小时合成数据即可在同等时延下逼近甚至超越其翻译保真度。
- vs InfiniSST: InfiniSST 探索了纯文本流式同传的 LLM 轨迹建模;本文成功将这一范式延伸至语音端,首次攻克了高密度不可逆声学语义编码与文本统一对齐提交的难题。
- vs SeamlessStreaming: Seamless 依赖专门的语音端 UnitY 单元预测与外部策略网络;本文依靠 LLM 自身的序列因果推理机制统一完成了内容翻译与发射时机决策,系统更精简且长文本上下文稳定性更强。
评分¶
- 新颖性: ⭐⭐⭐⭐ [创新性地将显式单调化轨迹监督拓展至文本-声学编码联合空间,并论证了两流解耦对消除模态冲突的本质意义]
- 实验充分度: ⭐⭐⭐⭐⭐ [评测全面覆盖句子级/长文本、理想延迟/计算感知延迟(LAAL_CA)、RTF、多 ASR 评测引擎、人工 MOS 及 LLM-as-judge]
- 写作质量: ⭐⭐⭐⭐⭐ [动机叙述极其深刻,实验对照组设计周密严谨,图表清晰直观]
- 价值: ⭐⭐⭐⭐⭐ [为学术界在极度缺乏数万小时双语配对语音的严苛约束下,训练高质量长流式语音同传系统开辟了切实可行且极度高效的技术路线]