SimulS2ST-Omni: Data-Efficient Streaming Speech-to-Speech Translation via Explicit Trajectory Supervision¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://hasaki321.github.io/SimulS2ST-Omni.demo/
领域: 语音与音频处理
关键词: 流式同声传译, 语音到语音翻译, 显式轨迹监督, 双流架构, 数据高效性
一句话总结¶
提出 SimulS2ST-Omni 框架,通过显式构建“文本-声学离散语义单元”联合提交轨迹,配合解耦语言规划与稠密声学预测的 Thinker–Talker 双流架构,仅依靠约 2,000 小时合成配对语音数据即可实现高质量、低延迟的长音频流式语音同声传译。
研究背景与动机¶
跨语言实时沟通高度依赖能够在严格低延迟约束下将连续源语音翻译为高质量目标语音的同声传译(Streaming S2ST)系统。传统的级联系统包含流式语音识别(ASR)、机器翻译(MT)与语音合成(TTS)多个独立组件,不仅存在固有延迟瓶颈,各模块间的错误累积还会严重削弱译文质量;而早期的端到端流式架构往往依赖 CTC 对齐触发器、变换器(Transducer)或单调注意力等句子边界切分启发式规则,难以直接扩展至长篇连续无界流。近年来,基于语音大语言模型(Speech Language Models, SLMs)的端到端方案如 Hibiki 和 LiveInterpret 2.0 展现出强大潜力,但它们极度依赖极其庞大的人工标注配对音频(通常超过 4 万小时)或复杂的专家对齐强化学习策略,使得在低资源配对监督下实现长音频流式 S2ST 成为学术界尚未攻克的瓶颈。
这种数据瓶颈背后存在两大深层结构性矛盾。首先,长音频流式翻译本质上是一个部分可观测的隐式决策路径问题,模型必须在无显式逐步监督的情况下自主决定读(Read)、等(Wait)、写(Write)动作;现有基于轨迹监督的流式方法仅针对离散文本输出设计,一旦直接迁移至连续不可撤销且对时间极其敏感的离散声学语义代码(Acoustic Semantic Codes),缺乏显式对齐指导的决策极易引发音画不同步与发音崩溃。其次,端到端模型需要同时掌握源端语音理解、目标文本规划与稠密声学单元预测三种表征需求相互冲突的子任务;若采用统一解码器(Unified Decoder)将离散声学编码简单拼接至词表由单自回归头统一生成,稠密声学预测的高频梯度会剧烈干扰大模型的语言学推理能力,导致译文语义崩塌。
本文的切入角度是:将流式决策策略显式固化为确定性的监督路径,并在模型底层结构上解耦语言推理与声学合成。通过利用现成且充裕的单模态与弱配对数据生成高质量联合提交轨迹,无需复杂闭环强化学习或额外发射控制器即可约束流式时序。核心 idea:显式构建文本与声学语义单元同步提交的流式联合轨迹,结合多任务辅助预训练与解耦语言规划和稠密声学预测的 Thinker–Talker 双流架构,仅用约 2k 小时配对数据即可实现与闭源顶级系统相当的长音频流式同声传译。
方法详解¶
整体框架¶
SimulS2ST-Omni 旨在通过块级别(Chunk-wise)的提交轨迹驱动模型在流式读取源语音的同时自回归输出目标文本与离散语义编码,最终经冻结的声学流匹配(Flow Matching)与声码器还原为自然语音。方法整体分为三个阶段:首先利用大规模单模态及弱多模态数据完成模块预热与多任务预训练,随后在通过单调性过滤构建的离散轨迹上完成流式微调。在推理阶段,系统维护动态 KV 缓存与跨块声学上下文,以统一的检查点支持多档延迟(通过调整延迟倍率 \(m\))的流式生成。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["输入:连续源语音流 X"] --> Step1["文本与音频对齐<br/>强制对齐 + SimAlign 提取跨语言边界"]
Step1 --> Step2["离散轨迹构建<br/>单调化边界 + 目标编码分段与 1s 块聚合"]
Step2 --> Filter["单调性感知的轨迹过滤<br/>NIR 逆序率分桶与 ASR 严格内容质检"]
Filter --> TT["Thinker–Talker 双流解耦架构<br/>Thinker 规划文本 + Talker 预测稠密语义编码"]
TT --> Stage3["三阶段多任务渐进训练<br/>TTS预热 → 多任务联合预训练 → 流式轨迹微调"]
Stage3 --> Out["输出:流式目标文本与 Flow Matching 合成目标语音"]
关键设计¶
1. 离散轨迹构建:隐式等待决策向显式联合提交路径的转化
流式 S2ST 面临的核心难点在于模型无法自主稳定学习何处等待、何处发射不可撤销的语音编码。为了消除对外部复杂决策控制器或闭环强化学习的依赖,本文将流式生成形式化为块级因果联合提交过程 \(\tau = \{(Y_{text}^c, Y_{code}^c, g_c)\}_{c=1}^C\)。首先对语音到文本样本 \((X, Y_{text})\) 进行双向音素级强制对齐获得词级别时序边界,随后利用 SimAlign 计算跨语言词对齐 \(\hat{A}\)。若目标词 \(y_i\) 对齐至源端词 \(x_{a(i)}\),则定义源端结束帧 \(t_{a(i)}\) 为发射 \(y_i\) 所需的最早源前缀边界。为防止局部语序颠倒破坏流式因果性,对时间边界进行递推单调化处理:
$\(\tilde{t}_i = \max(\tilde{t}_{i-1}, t_{a(i)}), \quad \tilde{t}_0 = 0\)$
接着将目标语音 \(Y_{wav}\) 用冻结分词器 DualCodec 量化为离散语义单元序列 \(Y_{code}\),并按目标词边界切片。最后将具有相同 1 秒固定源端块间隔的文本与音频编码聚合,形成联合决策步:没有新增内容的块作为隐式 <wait> 步,含有内容的块作为联合 <write> 步,使模型在单自回归框架下直接学习端到端读写节拍。
2. 单调性感知的轨迹过滤:合成数据语序倒装与幻觉噪声的消除 由于训练集中的成对 S2ST 数据依赖跨语言机器翻译与 OmniVoice 跨语言克隆合成,不可避免地包含大量跨语言结构冲突或合成发音错误。为避免低质量轨迹破坏模型的低延迟决策边界,本文引入了基于归一化逆序率(Normalized Inversion Rate, NIR)的难度分桶策略。设对齐序列为 \(\hat{A} = [\hat{a}_1, \hat{a}_2, \dots]\),\(I_{\hat{A}}\) 为该序列的逆序对数,NIR 定义为: $\(\text{NIR} = \frac{2 I_{\hat{A}}}{|\hat{A}|(|\hat{A}| - 1)} \times 100\%\)$ NIR 越低代表语序单调性越强、时序重排难度越小。与完全随机采样(其集中在 NIR \(\approx 0\) 的简单样本导致模型泛化不足)不同,本文采用分层采样策略,按困难权重 \(\{0.1, 0.3, 0.4, 0.2\}\) 与长度权重 \(\{0.1, 0.5, 0.4\}\) 显式保留 10% 高逆序率样本以增强跨语言重排鲁棒性。在此基础上,使用 Qwen3-ASR-1.7B 与 Whisper-large-v3 针对合成音频进行交叉校验,施加中文 5% 和英文 7% 的严格错误率硬过滤,过滤掉超过 20% 的劣质样本,彻底阻断了幻觉噪声向离散声学编码流的传递。
3. Thinker–Talker 双流解耦架构:模态表征冲突与预测瓶颈的消除 单自回归解码器基线(Dec-only)将 16,384 个声学编码加入语言模型词表中,在块内先吐出文本再吐出声学编码。实验证明,这种方式让统一的大模型同时承担长程跨语言语义推理与稠密声学特征建模,两者表征梯度的剧烈冲突严重损伤了语义忠实度。为此,本文采用双流因子分解: $\(p(Y_{text}^c, Y_{code}^c \mid C_c) = p_\theta(Y_{text}^c \mid C_c) \, p_\phi(Y_{code}^c \mid C_c, Y_{text}^c, H_\theta)\)$ 其中 Thinker \(\theta\)(3B 参数)专注于源端语音理解与目标文本规划,Talker \(\phi\)(0.4B 轻量 Transformer)则在 Thinker 的隐藏状态 \(H_\theta\) 与对齐的目标文本词嵌入条件引导下,专门负责局部稠密声学单元的预测。该架构将重型的跨语言认知与局部的声学渲染彻底解耦,不仅彻底避免了模态干扰,还将推理生成过程中的实际运算实时率(RTF)降低了一倍以上。
4. 渐进式多任务融合训练:低资源 S2ST 的泛化锚定 在仅有 2,104.8 小时配对 S2ST 数据的极度匮乏环境下,端到端学习容易出现时序塌陷。本文设计了三阶段训练策略:Stage 1 冻结 Thinker,仅使用 8.9 万小时单模态 TTS 数据对 Talker 进行预热(Dec-only 基线则采用双分支 LoRA 预热并融合);Stage 2 引入包含 ASR、S2TT、MT、TTS 与 S2ST 的多任务联合训练,采样比设为 \(0.2 : 1 : 0.5 : 1 : 1.5\),对 Thinker 插入 LoRA rank 32 协同更新,将 Talker 隐空间与 Thinker 充分对齐;Stage 3 冻结底座,为两模块挂载 fresh LoRA(rank 8),在轨迹多任务数据上进行流式微调。训练时引入随机延迟倍率采样 \(m \in \{1, \dots, 12\}\),使单个检查点即可无缝适配从细粒度(1s 块)到宽窗口(12s 块)的全延迟谱系。
损失函数 / 训练策略¶
模型在各阶段均采用标准的自回归交叉熵极大似然目标。以流式轨迹监督微调(Stage 3)为例,在给定块因果前缀 \(C_c = (X_{1:g_c}, Y_{text}^{<c}, Y_{code}^{<c})\) 的条件下,Thinker 和 Talker 联合优化块因子化对数似然损失: $\(\mathcal{L} = - \sum_{c=1}^C \left[ \log p_\theta(Y_{text}^c \mid C_c) + \log p_\phi(Y_{code}^c \mid C_c, Y_{text}^c, H_\theta) \right]\)$ 全套训练在 8 张 A800 GPU 上完成。优化器选用 AdamW,Talker 在 Stage 1 预热学习率从 \(4 \times 10^{-4}\) 衰减至 \(4 \times 10^{-5}\),Stage 2 学习率从 \(1 \times 10^{-4}\) 衰减至 \(2 \times 10^{-5}\),Stage 3 采用 \(3 \times 10^{-5}\) 衰减至 \(2 \times 10^{-6}\) 的线性预热余弦衰减。在推理侧,为了消除分块 Flow Matching 合成带来的跨块接缝爆音与不连贯性,音频生成时额外保留前 4 秒源音频与前 2 秒已生成音频作为提示上下文(Prompt Context)。
实验关键数据¶
主实验¶
在离线 S2ST 基准 CVSS-T 以及真实场景下的长音频/句子级流式基准 RealSI 和 ACL60/60-dev 上进行了严格评测。在离线基准上,Thinker–Talker 架构在同等 3B 参数下全面压制 Dec-only 统一基线,逼近 7B 级别大模型表现;在流式评测中,即便面对商业闭源顶尖系统 LiveInterpret 2.0,也取得了极为接近的翻译质量。
表 1:离线 S2ST 跨语言评测(CVSS-T 基准)
| 模型类别 | 模型 | 参数量 | ASR-BLEU ↑ (En→Zh) | ASR-BLEU ↑ (Zh→En) | Text-BLEU ↑ (En→Zh) | Text-BLEU ↑ (Zh→En) | A.PCP ↑ (En→Zh / Zh→En) | SIM-O ↑ (En→Zh / Zh→En) |
|---|---|---|---|---|---|---|---|---|
| MLLM | GPT-4o | — | 25.42 | 31.64 | — | — | 2.66 / 2.58 | — / — |
| MLLM | Qwen-Omni2.5 | 7B | 8.04 | 22.66 | 34.85 | 24.39 | 1.90 / 1.92 | — / — |
| MLLM | Step-Audio 2 mini | 7B | 32.81 | 25.35 | — | — | — / — | — / — |
| 端到端 S2ST | Seamless-m4t-v2-large | 2.3B | 20.86 | 22.25 | 20.75 | 22.60 | 2.43 / 2.67 | 0.26 / 0.11 |
| 端到端 S2ST | Seamless-expressive | 1.7B | 23.70 | 15.89 | 25.45 | 16.67 | 2.73 / 2.76 | 0.42 / 0.34 |
| 端到端 S2ST | UniSS (Q) | 1.5B | 32.04 | 24.72 | 32.95 | 25.51 | 2.71 / 2.75 | 0.40 / 0.42 |
| 本文基线 | Ours (Dec-only) | 3B | 27.12 | 23.41 | 31.59 | 24.90 | 2.96 / 2.75 | 0.45 / 0.59 |
| 本文主模型 | Ours (Thinker–Talker) | 3B | 31.12 | 25.18 | 33.73 | 26.41 | 2.70 / 2.64 | 0.35 / 0.45 |
表 2:RealSI 真实场景流式 S2ST 翻译质量(ASR-BLEU)与闭源商业基线对比
| 评估粒度 | 方向 | 模型 / 档位 (m2) | 档位 (m3) | 档位 (m4) | 档位 (m5) | 档位 (m6) | LiveInterpret 2.0 (闭源) |
|---|---|---|---|---|---|---|---|
| 句子级 (Sent) | En→Zh | 24.21 | 25.01 | 25.54 | 25.92 | 26.32 | 29.09 |
| 句子级 (Sent) | Zh→En | 19.55 | 21.07 | 22.47 | 22.94 | 23.47 | 22.19 |
| 长音频 (Doc) | En→Zh | 26.58 | 28.42 | 29.69 | 30.04 | 29.73 | 29.33 |
| 长音频 (Doc) | Zh→En | 22.40 | 22.62 | 24.37 | 26.53 | 25.60 | 26.80 |
(注:Ours 均采用 num_beams=4 轨迹解码配置,从 m4 档位开始长文档 En→Zh 翻译指标全面反超 LiveInterpret 2.0。)
消融实验¶
为了严格检验数据过滤、辅助多任务数据支撑以及成对配对数据预算的极限,论文在 RealSI 和 ACL60/60-dev 上进行了系统消融。
表 3:RealSI 长音频流式数据质量与采样策略消融(Stream-side BLEU)
| 评测方向 | 轨迹构建与采样策略 | 延迟档位 m1 | 延迟档位 m2 | 延迟档位 m3 | 延迟档位 m4 |
|---|---|---|---|---|---|
| En→Zh | RANDOM (随机采样未过滤) | 4.59 | 24.86 | 26.22 | 26.54 |
| En→Zh | NIR (单调性过滤 + 均匀采样) | 21.14 | 26.44 | 28.00 | 28.53 |
| En→Zh | NIR + LINEAR (线性加权采样) | 22.26 | 26.94 | 28.19 | 28.33 |
| En→Zh | NIR + GAUSSIAN (高斯加权采样) | 22.08 | 26.91 | 27.60 | 27.90 |
| Zh→En | RANDOM (随机采样未过滤) | 3.56 | 14.55 | 17.32 | 17.08 |
| Zh→En | NIR (单调性过滤 + 均匀采样) | 11.98 | 18.42 | 19.89 | 21.73 |
| Zh→En | NIR + LINEAR (线性加权采样) | 12.83 | 18.83 | 20.40 | 21.63 |
| Zh→En | NIR + GAUSSIAN (高斯加权采样) | 11.95 | 17.78 | 19.87 | 21.46 |
表 4:RealSI 句子级配对 S2ST 数据预算削减消融(ASR-BLEU,Greedy 解码)
| 方向 | 模型架构 | 配对 S2ST 数据比例 | 延迟 m1 | 延迟 m2 | 延迟 m3 | 延迟 m4 |
|---|---|---|---|---|---|---|
| En→Zh | Talker | Full (100% ~2k小时) | 17.30 | 21.49 | 23.02 | 24.04 |
| En→Zh | Talker | 10% 配对数据 (~200小时) | 15.50 | 20.00 | 21.49 | 23.47 |
| En→Zh | Talker | 10% 配对数据 (移除辅助多任务) | 9.47 | 18.46 | 21.12 | 21.90 |
| En→Zh | Dec-only | Full (100%) | 12.70 | 14.98 | 15.61 | 17.44 |
| En→Zh | Dec-only | 10% 配对数据 | 13.02 | 14.07 | 15.38 | 16.52 |
| En→Zh | Dec-only | 10% 配对数据 (移除辅助多任务) | 12.96 | 13.97 | 14.22 | 15.93 |
| Zh→En | Talker | Full (100%) | 12.49 | 16.88 | 17.55 | 18.78 |
| Zh→En | Talker | 10% 配对数据 | 9.76 | 15.57 | 17.53 | 18.59 |
| Zh→En | Talker | 10% 配对数据 (移除辅助多任务) | 8.45 | 14.62 | 16.91 | 18.24 |
| Zh→En | Dec-only | Full (100%) | 10.88 | 12.94 | 14.01 | 15.45 |
| Zh→En | Dec-only | 10% 配对数据 | 10.29 | 12.82 | 14.16 | 15.12 |
| Zh→En | Dec-only | 10% 配对数据 (移除辅助多任务) | 10.24 | 11.68 | 13.83 | 15.12 |
关键发现¶
- NIR 过滤是低延迟稳定的生命线:若不采用基于 NIR 的单调性轨迹筛选(表 3),在严格低延迟档位 \(m=1\) 下系统性能发生灾难性坍塌(En→Zh BLEU 从 21.14 跌至 4.59,Zh→En 从 11.98 跌至 3.56);这是由于未对齐与剧烈语序颠倒的合成噪声强迫模型在信息不足时盲目早射,毁掉了流式决策。
- 辅助多任务是极低配对预算的锚定支柱:当配对 S2ST 数据预算削减 90%(仅剩 200 小时)时,只要保留 ASR/S2TT/MT 辅助预训练,Talker 模型的 ASR-BLEU 表现极其平稳(在 m3 上仅微降约 1.5 点);但若同时抽离辅助多任务数据,m1 档位立即暴跌近 8.0 ASR-BLEU。
- 解耦结构对多模态冲突的天然免疫:与 Thinker–Talker 相比,Dec-only 无论配对数据多寡、是否保留辅助多任务,其上限被死死限制在 17 ASR-BLEU 以下;即使提供完整的辅助数据,统一解码器也因内部表征冲突而无法有效吸收多任务收益,证明解耦设计是端到端流式语音翻译不可或缺的底层支柱。
亮点与洞察¶
- 将连续不可撤销语音发射降维为单调离散联合轨迹:巧妙利用 SimAlign 词对齐与强制时间边界的递推单调化,将语音发射与文本生成天然对齐捆绑为联合读写步骤,无需训练额外的流式发射决策器或复杂的闭环强化学习。
- 以非对称计算解耦化解多模态认知与渲染冲突:大参数量(3B)Thinker 专注于长程跨语言语义推理,小参数量(0.4B)Talker 局部自回归生成声学单元;这一非对称设计不仅消除了语义与声学梯度的相互干扰,更在硬件上大幅削减了流式长音频的计算实时率(RTF)。
- 通用可复用的流式训练范式:通过在训练期引入随机采样的延迟倍率 \(m\),使得单套模型检查点可同时承载从超低延迟(1秒 chunk)到高质量高延迟(多秒 chunk)的全时延推断需求,无需为不同延迟各训一个模型。
局限与展望¶
- 语种覆盖局限于中英双向:受限于高质量多模态开源对齐资源,当前验证仅覆盖了中文与英文互译,在语序颠倒更剧烈或形态学更复杂的低资源语种上的泛化能力尚待验证。
- 合成目标语音与真实口译习惯存在差距:成对训练数据源于单向 TTS 跨语言克隆合成,缺乏真实同传场景中口译员特有的信息压缩、句法重构以及停顿策略。
- 下游声学合成器未完全流式原生化:目前后端采用的分块 Flow Matching 声学模型并非原生因果流式架构,在极短分块拼接处偶尔会出现微小的瞬态咔嗒声(Click)与音色抖动,未来需要向原生流式扩散/流匹配模型演进。
相关工作与启发¶
- vs LiveInterpret 2.0: LiveInterpret 依赖多达数万小时标注与强化学习对齐,属于大规模工程闭源体系;本文通过确定性轨迹监督与多任务辅助迁移,在仅使用约 2,000 小时合成音频的前提下,在 RealSI 长音频评测中逼近甚至局部反超了其 ASR-BLEU。
- vs SeamlessStreaming: SeamlessStreaming 依赖特定的单调注意力机制与端到端声学预测,对超参数敏感且长音频容易失调;本文将决策显式固化为离散轨迹,配合轻量 Talker 实现了更优的长文本上下文延续性与显著降低的流式延迟。
- vs InfiniSST: InfiniSST 探索了大语言模型在纯文本流式翻译上的轨迹机制;本文在此基础上攻克了连续且不可撤销的声学代码发射难题,成功将轨迹监督拓展至端到端流式语音到语音的宏大领域。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出显式文本-离散声学单元联合提交轨迹并成功应用于流式 S2ST,打破了流式同传严重依赖强化学习与大规模配对数据的困局。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖离线 CVSS-T、句子级与长音频 RealSI、ACL60/60-dev,补充了计算感知延迟(CA)、RTF、种子复现性、双 ASR 校验以及人工 MOS/VIP 裁判。
- 写作质量: ⭐⭐⭐⭐⭐ 论文逻辑推导丝丝入扣,图表详实严谨,消融实验针对痛点步步推进。
- 价值: ⭐⭐⭐⭐⭐ 极大降低了高性能流式端到端同传系统的训练门槛与数据成本,对低资源交互式语音翻译产品化具有重大指导价值。