跳转至

Speaking While Listening: A Survey and Empirical Audit of Full-Duplex Spoken Dialogue Systems

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/MM-Speech/DuplexSurvey
领域: LLM推理
关键词: 全双工语音对话, 决策状态机, 交互本体, 架构层级, 认知差距

一句话总结

本文针对全双工语音对话系统(FD-SDS)术语混乱与机理模糊的瓶颈,提出 L0–L3 架构层级、T×I×R 交互本体与五状态决策有限状态机三大统一框架,并通过统一基准独立实测与跨系统审计揭示了架构可行性与实际行为严重脱节的“实现差距”(Realization Gap)。

研究背景与动机

自 2024 年 5 月 OpenAI 展示 GPT-4o 的低延迟自然打断能力以来,全双工语音对话(Full-Duplex Spoken Dialogue Systems, FD-SDS)迅速从工业级特种能力演进为语音大模型产品的基线期待。在此背景下,学术界与工业界涌现出如 Moshi、MinMo、OmniFlatten、SyncLLM、LSLM 及 FireRedChat 等十余个竞相宣称具备“全双工”能力的代表性系统。然而,“全双工”这一术语在现有文献中被赋予了差异极大的内涵:从检测到语音即打断停顿的外部模块化调度器、单序列扁平化交错生成的自回归解码器,到读取 LLM 隐状态做流式预测的双脑结构,均被笼统冠以“全双工”之名。现有综述通常将设计空间粗暴地塌缩在单一维度上(例如级联 vs. 端到端,或工程化 vs. 学习型),既无法厘清系统决策究竟发生在模型栈的哪一层,也无法规范全双工交互所涵盖的具体事件边界,更无法描述系统在交互进行中的逐帧动态演进。

这一乱象的核心矛盾在于概念框架的缺位与评估协议的异构性,使得系统间的真实交互覆盖度、延迟响应机制与崩溃模式被严重遮蔽。许多声称具有全双工能力的系统,在纸面结构上完全支持双向语音并发,但在实际测试中却暴露出致命缺陷——例如在用户发出简短附和确认(Backchannel)时误判为强行抢权打断(Barge-in)而骤然沉默,或在面对非目标用户环境语音(Third-party speech)时发生严重注意力转移。此外,由于各模型技术报告采用非标准化的私有基准与互不相通的测试设定,社区无法分辨模型的不良表现究竟是源于架构瓶颈、训练数据缺失,抑或是评测构造本身的固有偏置。

本文的切入视角是为全双工语音对话建立正交、多维的形式化分类学与严格的实证审计标准。研究团队并不停留于抽象概念定义,而是提出三个层层咬合的框架:定标决策位置的 L0–L3 架构层级、穷举交互形态的 \(T \times I \times R\) 交互本体,以及追踪逐刻动态转移的五状态决策状态机(IDLE/LISTEN/SPEAK/WAIT/DUAL)。结合在统一协议 Full-Duplex-Bench (FDB) v1.5 下对开源主流模型的独立实证测试,本文将架构能力与训练数据分布严密串联。核心 idea:通过 L0–L3 决策层级、三维交互本体与五状态有限状态机建立全双工语音系统的形式化分类体系,首次以独立基准实测厘清“架构所能支持”与“模型实际习得”之间的实现差距(Realization Gap),确立了训练数据单元覆盖度是约束当前全双工行为核心瓶颈的论断。

方法详解

整体框架

本文提出的研究体系并非单一的孤立算法,而是由三个互为支撑的形式化框架以及一套端到端实证审计方法构成的闭环体系。首先,L0–L3 架构层级回答了“全双工决策在系统栈的哪一层发生”,追踪决策点由外部调度器逐步深入至潜变量表征的演进路径;其次,\(T \times I \times R\) 交互本体通过时间关系、用户意图与系统响应三元组分解交互空间,并提炼出检验系统真实全双工能力的 6 个严苛测试单元(Acid-Test Cells);接着,五状态决策有限状态机将系统运行刻画为 5 个状态与 11 个原子转移构成的状态图,将宏观交互类型精确拆解为具体转移路径;最后,通过架构可达性(E1)、原始报告(E2)与独立实测(E3)的三级证据链,深入剖析系统在真实测试下的能力边界与数据瓶颈。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["语音对话输入与交互场景"] --> B["L0–L3 架构层级<br/>判定双工决策发生位置"]
    B --> C["T × I × R 交互本体<br/>正交时空/意图/动作空间解耦"]
    C --> D["五状态决策有限状态机<br/>5状态与11个原子转移追踪动态演进"]
    D --> E["实现差距与数据瓶颈审计<br/>E1/E2/E3证据链与FDB统一评测"]
    E --> F["L3 表征级双向流式前沿假说"]

关键设计

1. L0–L3 架构层级:决策位置与执行粒度的正交解耦

以往研究常常混淆“模型在哪里做决策”与“决策多快生效”,导致分类标准割裂。本文构建了 L0 至 L3 的四级架构拓扑: - L0 模块级(Module-level):双工决策由 LLM 外部的独立调度器完成(典型如 FireRedChat、FlexDuo、X-Talk、SoulX-Duplug)。外部 VAD、端点检测(EoT)与对话管理器协同监控音频,直接控制生成器的打断或启动,模型本身为半双工。 - L1 隐状态级(Hidden-state-level):决策由读取主干 LLM 隐状态 \(h_t\) 的外置预测头(Sidecar Predictor)给出(如 MinMo、Freeze-Omni,以及非双工的 Qwen2.5/3.5-Omni Thinker-Talker)。主干保留丰富语义,轻量预测头做出实时流式判断。 - L2 Token 级(Token-level):双工逻辑直接编码在自回归离散序列之中(如 Moshi、LSLM、OmniFlatten、SyncLLM、Covo-Audio 等)。序列本身融合了用户与助手的双路音频 token,打断表现为特定 token 预测或静音 token 翻转。 - L3 表征级(Representation-level):双向流共享连续隐空间,尚未有已发布系统实现。用户输入直接在连续潜空间内原生地扰动生成动力学。

该层级进一步指出,架构层级代表决策深度,而“执行粒度”(Execution Granularity:连续流式、帧级、块边界或事件触发)是与其正交的时间标注。例如同属 L2 的 Moshi 在 80ms 帧级触发,而 SyncLLM 受限于 160–240ms 的块边界(Chunk-bounded),DuplexMamba 则受制于 2–3s 的长切片,揭示了处于同一架构层级并不等于具有相同的流式实时性。

2. T × I × R 交互本体与六大酸试测试单元:交互事件的严格三元组分解

针对传统评估将打断泛化为单点二元测试的问题,本文将全双工交互瞬时切片解构为 \(T \times I \times R\) 笛卡尔积正交空间: - 时间关系 \(T\)(Temporal):涵盖顺序轮流 \(T_1\)(Sequential)、零静音衔接 \(T_2\)(Latched)、局部重叠 \(T_3\)(Overlap)、持续并发 \(T_4\)(Concurrent)及双向静音 \(T_5\)(Silence)。 - 用户意图 \(I\)(Intent):扩展了言语行为理论,定义信息传递 \(I_1\)(Information)、简短倾听附和 \(I_2\)(Backchannel)、中途纠错 \(I_3\)(Repair)、强行夺权 \(I_4\)(Floor-claim)、主动让权 \(I_5\)(Floor-yield)、非流利停顿 \(I_6\)(Disfluency/Hesitation)及非目标第三方背景声 \(I_7\)(Third-party)。 - 系统响应动作 \(R\)(Response):包含继续发言 \(R_1\)(Continue)、停止并倾听 \(R_2\)(Stop)、等待观望 \(R_3\)(Wait)、发出附和声 \(R_4\)(Backchannel)、忽略杂音 \(R_5\)(Ignore)与主动发起 \(R_6\)(Initiate)。

在 210 个标称组合中,本文提炼出 6 个直击系统软肋的“酸试单元”(Acid-Test Cells): 1. 标准轮替 \((T_1, I_1, R_6)\):半双工基线; 2. 零间隔衔接 \((T_2, I_1, R_6)\):极度考验端点预测延迟; 3. 协作式打断 \((T_3, I_4, R_2)\):用户夺权,系统需在约 200ms 内迅速停顿; 4. 系统说话时的用户附和 \((T_3, I_2, R_1)\):用户仅做肯定提示,系统必须保持朗读而不得中断,是当前工业系统的首要误判点; 5. 第三方旁人干扰 \((T_3, I_7, R_5)\):需依赖声学声纹或语义门控滤除非目标交谈; 6. 犹豫长静音 \((T_5, I_6, R_3)\):用户语法未闭合时的拖长音,系统需保持等待而非过早插话。

3. 五状态决策有限状态机(FSM):状态轨迹与转移机制的形式化

为了形式化描述系统动态演化,本文构建了由 5 个状态与 11 个单步转移构成的状态机 \(S = \{\text{IDLE}, \text{LISTEN}, \text{SPEAK}, \text{WAIT}, \text{DUAL}\}\): - 状态集合中创新性地引入了 WAIT 状态(系统在自身轮次中暂停以监测用户语义犹豫)与 DUAL 状态(双向音频处于并发并具备相互融合集成)。 - 转移由触发条件 \((T_i, I_j)\) 和动作响应 \(R_k\) 共同标定,写作 \(s \xrightarrow{(T_i, I_j) / R_k} s'\)。 - 11 个关键转移分为三大家族:启动转移(\(\tau_1: \text{IDLE} \to \text{LISTEN}\), \(\tau_2: \text{IDLE} \to \text{SPEAK}\));轮流交接转移(\(\tau_3: \text{LISTEN} \to \text{SPEAK}\), \(\tau_4: \text{LISTEN} \to \text{WAIT}\), \(\tau_5: \text{WAIT} \to \text{SPEAK}\), \(\tau_6: \text{WAIT} \to \text{LISTEN}\), \(\tau_7: \text{SPEAK} \to \text{IDLE}\));以及全双工独有的核心重叠转移(\(\tau_8: \text{SPEAK} \to \text{DUAL}\), \(\tau_9: \text{DUAL} \to \text{LISTEN}\) 夺权让位, \(\tau_{10}: \text{DUAL} \to \text{SPEAK}\) 吸收附和保持发音, \(\tau_{11}: \text{DUAL} \to \text{SPEAK}\) 过滤非相关第三方语音)。

半双工系统将 \(\tau_8\) 粗暴实现为退化到 LISTEN,无法分流 \(\tau_9\)、\(\tau_{10}\) 与 \(\tau_{11}\);而真正的双向交互正是依托这组重叠转移在 DUAL 瞬时状态下的正确解耦。

4. 实现差距诊断与三级证据审计:数据瓶颈驱动的行为制约

本文严谨确立了三级证据体系:(E1) 架构可达性(设计是否允许)、(E2) 原论文自述指标(文献声称)、(E3) 独立受控复测(统一评测套件统一计分)。通过在 Full-Duplex-Bench (FDB) v1.5 下对主流开源模型实施涵盖 498 个成对测试场景的独立实测,研究揭示出系统纸面结构与实际行为之间的深刻“实现差距”(Realization Gap): - 尽管 Moshi、OmniFlatten 与 Fun-Audio-Chat 均同属 L2 架构、具备原生并发处理机制,但在面对 \(T_3 \cdot I_2 \cdot R_1\)(附和继续)时,Fun-Audio-Chat 与 Covo-Audio-Chat 能保持在 95.9% 和 98.0% 的高概率恢复主线输出,而 Moshi 却有高达 95.9% 的概率误判并掐断自身发音(成功恢复率仅 4.1%),出现了约 24 倍的巨大行为差距。 - 通过对公开人类双路交互语料(Fisher、CANDOR、MagicData-RAMC、Easy Turn、HumDial Track 2)的单元覆盖度审计,证实公开语料中严重缺乏持续并发对话 \(T_4\) 与第三方语音 \(T_3 \cdot I_7\),而工业私有语料凭借客服等业务场景拥有超出公开数据 1–2 个数量级的两路密集重叠标注。这证实了:在 L0–L2 范畴内,全双工系统行为天花板是由训练语料的三元组单元覆盖度直接决定的,而非由架构选择决定。

损失函数 / 训练策略

论文系统归纳了当前主流 L1/L2 全双工大模型的四阶段收敛训练范式: 1. 通用文本预训练(General Text LLM Pre-training):复用大规模开源或商用文本基座(如 Qwen、LLaMA、GLM),赋予模型语言理解与世界知识储备。 2. 语音理解对齐(Speech-to-Text Alignment, ASR Target):通过大规模单路语音转录数据,将语音编码器或离散语音 Token 投射到主干语言模型的表征空间中。 3. 语音合成对齐(Text-to-Speech Alignment, TTS Target):训练模型自回归预测语音离散 Codec 或连续声学单元,打通流式生成通道。 4. 双工交互对齐(Duplex Interaction Alignment):在双流时间同步对话语料(Type-C Data,如 Fisher 或合成两路对话)上进行多任务监督微调,采用特定策略消除对人工微观标注的依赖: - 启发式自标注机制(如 MinMo 引入的正态采样时延规则及打断标签); - 静音占位符增广(如 OmniFlatten 引入的 silent_speech_token,显式建模单路等待与抑制); - 时间锚点标记(如 SyncLLM 在固定块边界插入 [S0]/[S1] 时间同步 Token)。 部分前沿系统在阶段 4 之后引入基于会话交互质量奖励的强化学习(RL),进一步优化轮流切换与中断决策的平滑度。

实验关键数据

主实验:FDB v1.5 行为测试集独立受控评测(E3 级别)

评测采用官方发布的 Full-Duplex-Bench v1.5 行为测试套件,共包含 498 个配对音频测试场景:200 例打断、98 例附和、100 例非指向对话(Talking to others)、100 例背景人声(Background speech)。由固定 Prompt 的 GPT-4o 裁判裁决模型在音频重叠时是否发生重定向。打断任务以响应打断内容为成功(C_RESPOND),而后三类干扰任务均以不被打断、保持原回应为成功(C_RESUME)。

系统名称 架构层级 打断响应率 (%)
\((T_3, I_4, R_2)\)
附和继续率 (%)
\((T_3, I_2, R_1)\)
旁人对话抗扰率 (%)
\((T_3, I_7, R_5)\)
背景语音抗扰率 (%)
\((T_3, I_7, R_5)\)
Covo-Audio-Chat L2 Token级 81.0 98.0 40.0 11.0
Fun-Audio-Chat L2 Token级 71.5 95.9 7.0 9.0
Moshi L2 Token级 61.0 4.1 14.0 7.0
Mini-Omni2† L2 Token级 36.7 85.6 56.6 30.6

(†注:Mini-Omni2 评测完成 493/498 例,因 5 例无解码输出单独标注列出)

严格打断响应延迟评测(Strict Stop-latency, E3 级别)

论文摒弃了以往 FDB 仅计算重叠时长而非反应时间的漏洞,提出严格打断延迟指标:\(\text{Strict Stop-latency} = t_{\text{speech\_stop}} - t_{\text{interruption\_onset}}\)。为排除模型在打断前已处于静音状态带来的虚假快速反应,设计了严苛前置筛选规则:打断前 500ms 内活跃语音帧 \(\ge 40\%\) 且前 100ms 内 \(\ge 60\%\) 方为有效候选(Eligible)。在 2 秒窗口内若未停止,则记为右删失(Censored)。

评测系统 架构层级 / 机制 总候选 有效样本 (Elig.) 停顿例数 (Stop) 删失例数 (Cens.) 停顿成功率 (%) P50 中位数延迟 (ms) P90 延迟 (ms)
Moshi L2 并行流 Token 级 200 61 59 2 96.7% 341 1000
Freeze-Omni L1 隐状态 Sidecar 200 64 49 15 76.6% 897 1708
DuplexCascade L0 模块外置级联参考 200 15 11 4 73.3% 612 1263

关键发现

  • 附和处理能力呈现悬崖式断层:相同架构层级(L2)的系统在附和继续响应率上表现出高达 24 倍的差距(Covo-Audio-Chat 98.0% vs. Moshi 4.1%)。这充分证明能否区分附和与抢权并非由多流自回归架构本身天然赋予,而完全取决于交互微调阶段的数据分布与策略对齐。
  • 第三方非目标人声是全行业的通用死穴:所有系统在面对背景旁人人声时的过滤恢复率均处于 7%–40% 的极低水平,系统在用户与旁人交谈时极其脆弱。这与公开训练语料缺乏非目标声源直接吻合。
  • 决策位置不等于物理落地延迟:L2 的 Moshi 凭借 12.5Hz 的连续帧级推演实现了 P50 341ms 的敏捷制动;而 L1 的 Freeze-Omni 因判定头绑定在块边界(Chunk=4,约 160ms 步长),中位延迟被拖长至 897ms;L0 级联系统受限于模型生成队列清空与重置耗时,有效发音比例极低(仅 15 例合规),延迟离散度大。

亮点与洞察

  • 提出交互本体与决策状态机的严密映射:首次建立起 \(T \times I \times R\) 交互单元与 FSM 转移方程 \(\tau_1 \sim \tau_{11}\) 之间的可证明对应关系,使得负面案例可以精准归因到“系统缺失了某一条特定转移路径(如缺失了 \(\tau_{10}\) 附和自循环)”,摆脱了以往“模型有时不全双工”的泛化模糊定性。
  • 确立“数据瓶颈假说”(Data-Bottleneck Thesis):在 L0–L2 范围内确立了理论界限:架构设计决定了系统状态可达性的天花板(Gain),而训练语料的交互单元覆盖度决定了其实际交互能力能释放几成(Ceiling)。这一发现为开源社区指明了补齐数据鸿沟(如 HumDial Track 2 对 \(T_3 \cdot I_7\) 的针对性补全)的核心路线。
  • 揭示前沿 L3 架构演进的三大理论支柱:前瞻性地指出消除离散 Token 边界的表征级全双工可行路径,梳理了连续潜变量自回归(如 MAR、CALM)、JEPA 双流预测联合建模与基于世界模型状态机映射的三大潜在技术演进方向。

局限与展望

  • 受控实测的模型覆盖度受限:由于大量工业界前沿模型(如商用 GPT-4o、闭源版 MinMo 等)未开放权重或推流式推理接口,E3 独立复测仅能在当前可完整复现的有限开源模型中展开,部分对比仍须依赖 E2 级别原报告数据。
  • 测试音频语种与环境的局限:现有基准音频约 95% 集中在英文电话或网络会议清晰声学环境下,缺乏工业级中文多麦克风降噪阵列与高混响复杂噪声场景的标准评测资产。
  • 缺乏因果影响探针(Causal-Influence Probe):当前打断延迟测试仍无法完全区分“实质全双工(Substantive FD)”与“伪全双工(Apparent FD)”——块交替模型(如 SyncLLM)可能依靠快速打断退避在延迟榜单上刷出亮眼分数,但其内部生成过程并未真正结合用户中途输入的语义表征。开发因果影响测试是下一代基准的关键方向。

相关工作与启发

  • vs. WavChat (Ji et al., 2024):WavChat 沿用传统的“级联 vs. 端到端”单一粗粒度轴线划分语音模型;本文建立了 L0–L3 决策点层级与 \(T \times I \times R\) 细粒度时空意图三维解耦,给出了精确的模型机理定位。
  • vs. Chen & Yu (2025):Chen & Yu 聚焦于“工程化 vs. 学习型”对比;本文通过 FSM 五状态模型将系统动态演化形式化,并直接通过跨系统基准实测揭示了学习型内部的“实现差距”。
  • vs. Full-Duplex-Bench (Lin et al., 2025b–2026b):FDB 提供了极具价值的打断与附和评测场景,本文则为其提供了扎实的形式化分类学支撑,重构了严格打断响应延迟评估协议,消除了重叠时长冒充响应延迟的漏洞。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次建立统一的 L0–L3 决策层级、交互本体与状态机形式化体系,彻底终结了全双工术语乱象。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 2018–2026 年十余个系统全景脉络,兼备深度开源全量模型受控评测与公开语料全要素覆盖度审计。
  • 写作质量: ⭐⭐⭐⭐⭐ 概念界定极其清晰严密,理论框架与实证数据环环相扣,图表详实且极富启发性。
  • 价值: ⭐⭐⭐⭐⭐ 为语音交互大模型迈向真全双工实时连续交互树立了里程碑式的指南与研究基石。