Decoupling Conversational Dynamics in Full-Duplex Spoken Models through Reinforcement Learning¶

会议: NeurIPS 2026
arXiv: 2607.07148
OpenReview: https://openreview.net/forum?id=Xv1Cz6907L
领域: 音频/语音
关键词: 全双工语音对话、强化学习、对话动态性解耦、GRPO、轮次控制

一句话总结¶

针对全双工语音模型中交互动态性与复杂推理能力之间的退化矛盾，本文提出强化学习框架 DuplexPO，将“何时说话/让步”的实时边界决策与“说什么”的语义内容解耦，在保留通用推理与指令遵循能力的同时显著提升了打断让步、轮次转换与反馈应答质量。

研究背景与动机¶

全双工口语对话系统（Full-Duplex Spoken Dialogue Models）因支持“边听边说”而成为下一代人机语音交互的核心范式。与传统的半双工轮流发话（Turn-based）系统相比，全双工模型能够实时处理用户的输入音频流，在极低延迟下自发生成倾听反馈（Backchanneling），并在用户中途插话（Barge-in）时迅速停止发声释放话语权。然而，现有全双工模型在展现出更自然的交互节奏的同时，普遍面临着严重的智能退化难题：在复杂推理、逻辑推导以及严格指令遵循基准测试中，全双工模型的表现显著落后于传统的半双工对标模型。

这种交互动态性与模型智能之间的权衡并非不可调和，其根本原因在于现有建模方式将“说什么（语义生成）”与“何时说（时间节奏与发言权控制）”耦合在同一个监督自回归目标中。从建模机制上看，长程逻辑推理依赖于稳定、结构化的多步自回归解码轨迹；而全双工交互则要求模型实时捕捉高度碎片化、快速演变的上下文，做出诸如沉默、插话、打断或退让的局部时间离散决策，这容易破坏长程上下文依赖。从数据分布上看，常规全双工监督微调（SFT）高度依赖如 Fisher 等自然口语闲聊语料，这类对话充斥着无目标的日常口语碎语，与结构化、有逻辑的智能助手目标产生严重的分布漂移。

解开这一死结的关键在于认识到：全双工对话动态性本质上是一个实时的发言权控制决策策略，无需强行通过模仿闲聊语料的完整文本来重新学习。只要将优化边界严格收敛在对话节奏发生关键切换的局部时间窗口，利用强化学习对发言边界做细粒度信用分配，就能在完全保留预训练/指令微调助手语义能力的同时习得极佳的实时交互节奏。本文的核心 idea 是：将全双工语音模型中“何时发声/让步”的时间决策策略与“说什么”的语义内容解耦，在长对话中抽取动态关键局部窗口，通过因子化对话动态性奖励（FCDR）与组归一化策略优化（GRPO）定向对齐实时发言权控制，在不牺牲长程推理与指令遵循的前提下实现流畅自然的双工交互。

方法详解¶

整体框架¶

DuplexPO 将全双工对话动态性的学习形式化为基于统一时间网格的实时决策策略优化。在流式语音交互中，用户音频特征流与智能体决策序列以固定帧率推进（帧步长 $\Delta = 0.08$ 秒，即 12.5 Hz），智能体在每一步根据因果历史预测离散交互状态（如静音、发言、开始轮次或放弃轮次）。

整个优化管线并不在全量多轮对话中盲目展开端到端更新，而是包含三个核心流向：首先从长对话中筛选并裁剪出包含轮次切换、应答反馈与插话让步的“动态关键窗口（Dynamics-Critical Windows）”；其次，智能体在窗口内自回归采样多条局部交互续写轨迹，并通过“因子化对话动态性奖励（FCDR）”在事件级别对发声提前/滞后、应答位置及让步时延进行定量评分；最后，基于组内候选样本的奖励分布计算优势并使用 GRPO 算法更新策略模型，同时通过参考模型 KL 散度约束防止策略漂移。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["长篇多轮双工对话数据<br/>Fisher / Seamless 语料"] --> B["动态关键窗口采样<br/>提取轮次切换/反馈/插话区间"]
    B --> C["窗口内多分支 Rollout 采样<br/>保持前序历史 Teacher-Forced"]
    C --> D["因子化对话动态性奖励 (FCDR)<br/>启动/反馈/让步/正则四项因子"]
    D --> E["组相对策略优化 (GRPO)<br/>组内优势归一化与 KL 散度约束"]
    E --> F["双工策略更新与流式音频合成<br/>保留指令推理能力并提升交互节奏"]

关键设计¶

1. 动态关键窗口采样：聚焦发言边界以隔离语义干扰

全双工对话中的轮次转移与反馈决策往往由响应点附近的局部韵律、语调停顿等瞬态声学特征主导，而非整段对话的平均分布。如果在整段数十秒的对话上无差别计算强化学习目标，巨大的探索空间不仅会导致信用分配极其模糊，还会迫使模型去拟合低信息密度的闲聊语言风格，破坏已有的指令遵循能力。

DuplexPO 在标注的发言段前后定义了局部动态关键窗口 $W_i = (s_i, e_i, g_i, h_i, c_i)$。设真实标注的人类发言区间为 $[a_i, b_i)$，离散化目标发言区间为 $[g_i, h_i) = [\lfloor a_i/\Delta \rfloor, \lfloor b_i/\Delta \rfloor)$。采样窗口在标注段前引入前置提前量 $L$（训练设为 1.0 秒），在段后引入后置缓冲量 $B$（训练设为 2.0 秒），并实施边界防重叠裁剪： $$s_i = \max(e_{i-1}, \lfloor (a_i - L)/\Delta \rfloor), \quad e_i = \min(\lfloor (b_i + B)/\Delta \rfloor, \lfloor (a_{i+1} - L)/\Delta \rfloor, T)$$ 在执行 Rollout 采样时，$s_i$ 之前的全部因果历史均保持 Teacher-Forced 冻结，模型仅在 $[s_i, e_i)$ 窗口内部自发采样离散交互动作（如 <BOS> 启动说话、<EOS> 停止发声、PAD 保持倾听），确保策略梯度严格限定在发言时机决断点。

2. 因子化对话动态性奖励（FCDR）：事件级可解释细粒度信用分配

粗粒度的序列级对齐奖励（如纯对话整体偏好打分）难以精准指导模型在具体哪一帧应当开始或停下。为此，本文设计了因子化对话动态性奖励（Factorized Conversational Dynamics Reward, FCDR），根据事件元数据 $c_i$ 动态激活对应的显式奖励分量： $$R_{\mathrm{FCD}}(W_i, \hat{\mathcal{S}}_i) = \lambda_{\mathrm{on}} m_{\mathrm{on}}^i R_{\mathrm{on}}^i + \lambda_{\mathrm{bc}} m_{\mathrm{bc}}^i R_{\mathrm{bc}}^i + \lambda_{\mathrm{off}} m_{\mathrm{off}}^i R_{\mathrm{off}}^i + \lambda_{\mathrm{reg}} R_{\mathrm{reg}}^i$$ 其中 $\hat{\mathcal{S}}_i$ 为模型在窗口内发声的帧集合，$\hat{g}_i = \min \hat{\mathcal{S}}_i$ 为预测的发言起始点，$\tau_i = \Delta(\hat{g}_i - g_i)$ 为起始时间偏差（$\tau_i < 0$ 代表抢话过早，$\tau_i > 0$ 代表反应迟钝迟滞）。 - 轮次启动奖励 $R_{\mathrm{on}}^i$：采用非对称高斯衰减函数 $\mathbb{I}[\hat{\mathcal{S}}_i \neq \emptyset] \exp\left(-\frac{\tau_i^2}{2\sigma_{\mathrm{on}}(\tau_i)^2}\right)$。由于人耳对抢话插话的容忍度远低于轻微迟滞，设计中对早于真实起始点的情况施加了更陡峭的方差惩罚 $\sigma_{\mathrm{on}}$； - 倾听反馈奖励 $R_{\mathrm{bc}}^i$：设目标短反馈区间为 $\mathcal{B}_i$，当模型的反馈发声帧落在合理区间内时给予完全奖励，偏离时随时间距离 $d(t, \mathcal{B}_i)$ 指数衰减 $\mathbb{I}[\hat{\mathcal{S}}_i \neq \emptyset] \max_{t\in\hat{\mathcal{S}}_i}(\mathbb{I}[t\in\mathcal{B}_i] + \mathbb{I}[t\notin\mathcal{B}_i] e^{-\alpha d(t,\mathcal{B}_i)})$，防止短反馈抢夺主发言权； - 打断让步奖励 $R_{\mathrm{off}}^i$：当检测到用户 Barge-in 强行打断时，惩罚模型在允许宽限期后继续霸占话语权的持续帧长 $\ell_i$，形式为 $-\mathrm{clip}\left(\frac{\max(0, \ell_i - \ell^*)}{H_{\mathrm{off}}}, 0, 1\right)$； - 模式正则项 $R_{\mathrm{reg}}^i$：惩罚无端抢话、未触发事件、异常长反馈等预设的有害交互模式。

3. 基于组相对优势的策略优化（GRPO）：免 Critic 的稳定边界分布学习

在局部离散决策网格中，传统 DPO 仅抽取同一个窗口中最高分与最低分轨迹构建二元偏好对，极易丢弃中间梯度的细微排序信息，难以稳定学习敏感的让步决策。DuplexPO 采用组相对策略优化（GRPO）目标，对每个局部窗口 $W_i$ 独立采样 $K=4$ 条候选轨迹，在组内计算归一化优势值： $$A_{i,k} = \mathrm{clip}\left(\frac{r_{i,k} - \mu_i}{\sigma_i + \epsilon}, -5, 5\right)$$ 通过组内均值 $\mu_i$ 与标准差 $\sigma_i$ 归一化，模型无需额外训练参数庞大的 Critic 价值网络。策略仅对窗口内部采样的 Token 进行梯度反传，并配合系数为 $\beta=0.2$ 的参考策略 KL 散度惩罚： $$\mathcal{L}_{\mathrm{GRPO}} = \mathcal{L}_{\mathrm{policy}} + \beta \mathcal{L}_{\mathrm{KL}}$$ 这种组优势归一化机制能高效利用全部分布信息，使模型在面对用户突发插话时能果断释放 <EOS> 停止信号，并在轮次转移点自如释放 <BOS> 发声冲动。

损失函数 / 训练策略¶

系统基础架构以 Qwen2.5-7B-Instruct 为语言主干，音频端接入 600M 参数的 Parakeet 流式编码器与 1024 维模态适配器，语音合成后端使用流式 CosyVoice 2。训练划分为四个阶段： 1. 预训练阶段：利用 530K 小时文本转双人伪对话合成语音，通过语音续写任务建立全双工流式理解与双向发声基础； 2. 监督微调（SFT）阶段：基于 70K 小时指令问答、真实 ASR-QA 及合成打断数据（用户插话后赋予 8-token 即约 0.64 秒反应延迟强制截断输出 <EOS>）建立有帮助的助手语义能力； 3. DuplexPO 强化学习阶段：冻结预训练编码器，在由 Fisher（24.6K 样本）与 Seamless（43.1K 样本）提取的高价值动态窗口中，采用 AdamW（学习率 $1\times 10^{-5}$，100 步预热后逆平方根衰减，64 张 A800 GPU）仅对窗口内的边界交互 Token 进行 GRPO 优化； 4. 语音合成微调阶段：冻结全部上游模型，仅对流式 TTS 模块进行音频拟合。

实验关键数据¶

主实验¶

实验在 Fisher、Seamless 评测集以及考察真实复杂非流畅与中途返场的 Full-Duplex-Bench v3（FDB-v3）上评估对话动态性；并在八项权威学术基准（Llama Questions, WebQuestions, TriviaQA, SDQA, AlpacaEval, CommonEval, OpenBookQA, MMSU）上评估模型智能能力。

数据集 / 评测维度	指标	DuplexPO (本文)	SFT Baseline	SFT Dynamics	Moshi (开源标杆)	表现分析
Fisher 轮次切换	起始误差 MAE (s) ↓	0.69	0.98	1.14	1.99	绝对误差降低 0.29s，大幅领先开源模型
Fisher 轮次切换	启动率 Init Rate (%) ↑	100.0	97.8	97.1	87.7	完美捕捉每一次发言机会
Fisher 轮次让步	让步率 Yield Rate (%) ↑	98.7	92.1	78.9	76.5	用户抢话时让步极其果断
Fisher 倾听反馈	反馈让步 Yield (%) ↑	100.0	57.1	57.1	66.7	杜绝反馈短语演变为霸占话语权
Seamless 轮次	起始误差 MAE (s) ↓	1.03	1.22	1.34	2.16	复杂 QA 对话下时延对齐更精准
Seamless 轮次切换	启动率 Init Rate (%) ↑	98.0	91.8	79.7	80.1	显著超越 SFT 对照组
Seamless 倾听反馈	反馈启动 Init (%) ↑	99.5	92.2	83.2	76.2	及时自然地给出听者反馈
FDB-v3 鲁棒交互	轮次延迟 Latency (s) ↓	0.24	7.33	14.24	0.44	响应延迟压低至 240ms，打破保守等待
FDB-v3 鲁棒交互	语音打断率 VIR (%) ↓	5.0	8.0	4.0	12.0	在超低延迟下依然维持极低误打断
FDB-v3 鲁棒交互	让步率 Yield (%) ↑	100.0	64.8	93.3	71.9	遇真实用户打断 100% 优雅退让

在模型综合智能方面，DuplexPO 完全没有发生全双工模型常见的灾难性能力退化，全面维持甚至略微增强了指令与推理能力： - 事实知识问答：LlamaQ 达到 75.3%（SFT Baseline 72.0%，Moshi 54.5%）；TriviaQA 达到 49.9%（Baseline 48.1%）； - 口语指令遵循（VoiceBench）：AlpacaEval 获得 3.68 分，CommonEval（真人真实口语）达到 3.74 分（SFT Baseline 分别为 3.43 与 3.48）； - 语音理解与复杂推理：OpenBookQA 准确率达到 73.7%（SFT Baseline 72.2%，Moshi 仅 25.9%）；MMSU 口语多任务推理达到 56.2%（SFT Baseline 54.9%，Moshi 24.0%）。

消融实验¶

消融实验围绕奖励建模形式（FCDR vs 神经奖励模型 NRM）、偏好优化目标（GRPO vs DPO）以及窗口超参数敏感性展开对比。

训练配置 / 变体	评测集	起始 MAE (s) ↓	轮次启动率 (%) ↑	轮次让步率 (%) ↑	反馈让步率 (%) ↑	打断 VIR (%) ↓	打断让步 (%) ↑
DuplexPO (完整模型, FCDR + GRPO)	Fisher	0.69	100.0	98.7	100.0	–	–
替换为神经奖励模型 (NRM, SoulX 教师)	Fisher	1.22	96.4	81.6	50.0	–	–
替换为 DPO 优化目标 (仅首尾极值)	Fisher	0.81	100.0	93.6	71.4	–	–
DuplexPO (完整模型, FCDR + GRPO)	Seamless	1.03	98.0	93.6	93.3	–	–
替换为神经奖励模型 (NRM, SoulX 教师)	Seamless	1.32	84.5	67.6	74.0	–	–
替换为 DPO 优化目标 (仅首尾极值)	Seamless	1.00	95.1	77.8	84.7	–	–
DuplexPO (完整模型, FCDR + GRPO)	FDB-v3	–	–	–	–	5.0	100.0
替换为神经奖励模型 (NRM, SoulX 教师)	FDB-v3	–	–	–	–	4.0	93.3
替换为 DPO 优化目标 (仅首尾极值)	FDB-v3	–	–	–	–	4.0	93.3

关键发现¶

纯 SFT 拟合口语动态会导致严重退化：SFT Dynamics 在全量数据上联合微调后，各项动态性指标甚至显著落后于未经动态数据微调的 SFT Baseline（Fisher 轮次让步从 92.1% 暴跌至 78.9%，FDB-v3 延迟飙升至 14.24 秒）。这证实纯监督学习强行拟合口语散乱语料会导致严重的欠拟合与保守化退让，无法学出果断的发声策略。
商用模型与传统双工模型的“延迟-打断”两难困境被打破：如 GPT-Realtime、Gemini Live 等商用系统通常采用极保守的端点检测策略，以 1.5s~3.8s 的高延迟换取低打断；而开源端到端模型（Moshi/PersonaPlex）虽然做到了全时倾听但打断率高达 12%~15%。DuplexPO 凭借对局部声学停顿与语调特征的学习，将延迟压低至 0.24 秒的同时将 VIR 控制在 5.0%，兼具极速响应与绅士礼让。
显式 FCDR 奖励显著优于黑盒神经奖励模型：将显式设计的 FCDR 替换为基于流式状态预测器（SoulX-Duplug）生成的软标签神经奖励时，模型在多项指标上出现明显掉点（Fisher 反馈让步从 100% 跌落至 50%）。原因在于神经教师提供的粗粒度状态转移标签缺乏明确的时间惩罚边沿，容易干扰 SFT 已学到的微观声学特征对应关系。
前置时间窗口对策略敏感度起决定性作用：窗口消融显示，前置时间 $L$ 的延长会导致强化学习平均奖励剧烈下降，而后置缓冲时间 $B$ 的变动对奖励影响极小（在 0.02 以内），这证明发言权决策强依赖于发声发生前几百毫秒的瞬态声学预期，过长的探索窗口会稀释关键信用。

亮点与洞察¶

解耦思想直击全双工核心痛点：精准指出全双工模型“智商下降”并非由并发流结构所致，而是因为将语义内容生成与发言时序控制混在同一目标中；将其解耦为局部离散决策策略，为多模态智能体演进提供了清晰范式。
压制意图分析（SIR/SRR）定量揭示了模型内部机理：提出被压制意图率与释放比例指标，发现 SFT 模型内部实际上已经具备发言 <BOS> 或停顿 <EOS> 的表征冲动（SIR 约 11%），但表层分类器阈值无法果断输出动作；DuplexPO 并未盲目增加发言频率，而是精准地在具有潜在线索的位置释放了超过 70% 的正确脉冲。
注意力权重的良性转移：注意力热图分析表明，相较于 Moshi 超过 70% 注意力被锁死在 <BOS> 初始位置的“注意力黑洞”现象，DuplexPO 将注意力分散到近期上下文、真实文本及 PAD 占位符状态上，极大增强了模型对输入音频实时动态的敏锐感知。

局限与展望¶

局限性：因子化奖励基于预设的时间距离与静态规则，未充分融合对话的高级语用语义（例如某些修辞停顿可能被误判为放弃话语权）；同时，目前的对齐数据主要依赖人工对齐标注，跨语言文化及不同交谈风格（如激进辩论 vs 礼貌倾听）的个性化适应能力尚未展开评测。
展望：未来可探索将大语言模型的上下文语义预期与毫秒级声学韵律特征联合建模，并在更长对话视界上自适应调节不同说话人风格偏好的动态策略。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 明确定义并攻克了全双工口语模型中的“智能-动态”两难权衡，提出的解耦时间窗口强化学习框架理念清晰且极富洞察力。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 Fisher、Seamless、FDB-v3 等多源全双工基准，同时评测 8 项综合智能与口语推理测试，并包含细致的人工与 LLM-as-a-Judge 对比及消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，数学建模清晰完备，对内部机理（注意力机制、意图压制与释放）的剖析深入透彻。
价值: ⭐⭐⭐⭐⭐ 为解决全双工多模态语音智能体从“玩具级闲聊”迈向“专业高智商口语助手”提供了极具可操作性的标准优化范式。