Overcoming State Inertia in Full-Duplex Spoken Language Models via Activation Steering¶

会议: NeurIPS 2026
arXiv: 2606.11386
OpenReview: https://openreview.net/forum?id=Uly2PDh7XI
领域: 音频/语音
关键词: 全双工口语模型, 状态惯性, 激活引导, 感知向量, 打断理解

一句话总结¶

针对全双工口语大模型在用户打断时因内部表征滞留生成态而漏听输入首词的“状态惯性”病症，本文通过 Logit Lens 揭示了生成态与感知态的动态调节机制，提出首词敏感的零缓冲诊断基准，并设计了一种无需微调的感知向量即时激活引导方案，大幅恢复了打断理解能力。

研究背景与动机¶

在人机语音交互中，传统的半双工口语模型依赖严格的轮次边界，无法在发声的同时接收用户反馈，导致对话僵硬且缺乏实时互动感。近年来，全双工口语大模型（FD-SLM，如 Moshi、PersonaPlex 与 Raon-SpeechChat）通过双路架构同时处理用户输入音频流与模型输出流，使得系统具备了边听边说、即时插话（backchanneling）以及自然打断的能力。然而，尽管这些模型展现出令人兴奋的双向交互潜力，其内部隐藏表征究竟如何协调“听”与“说”这两种截然相反的行为，在机制可解释性层面始终缺乏深入探索。

更关键的矛盾在于，真实对话中重叠语音极为频繁，当用户在模型持续发声时突发打断，模型本应瞬间将注意力切换至用户的新输入。然而实测发现，当前全双工模型往往无法察觉打断初期的关键信息，导致后续回答答非所问或产生严重的事实幻觉。这种现象极其类似于人类听觉认知中的“发声诱发听觉抑制”（speech-induced suppression）——即自身发声运动会暂时抑制大脑听觉皮层的反应敏锐度，导致外部输入的感知延迟。在神经网络内部，这体现为模型在突发上下文切换时，表征状态无法即时跳出先前的生成轨道。

为了克服这一机制瓶颈，本文深入探索了全双工口语模型的内部表征动力学，发现模型在聆听与发声时分别对应着“感知态”与“生成态”，并在突发打断时表现出可量化的“状态惯性”。核心 idea：通过解耦表征流向构建刻画状态跃迁的感知向量，在突发打断起始时刻实施无须微调的轻量激活引导，促使模型瞬间克服状态惯性并恢复对打断首词的注意力捕获。

方法详解¶

整体框架¶

全双工口语大模型在每个离散时间步 $t$ 同时接收用户音频离散标记 $u_{\mathrm{audio}}^{(t)}$、前一时间步的模型音频标记 $m_{\mathrm{audio}}^{(t-1)}$ 及文本标记 $m_{\mathrm{text}}^{(t-1)}$，并在对话历史上下文 $c^{(t)}$ 的条件下自回归生成当前步的模型输出： $$(m_{\mathrm{audio}}^{(t)}, m_{\mathrm{text}}^{(t)}) \sim M_{\theta}(\cdot \mid u_{\mathrm{audio}}^{(t)}, m_{\mathrm{audio}}^{(t-1)}, m_{\mathrm{text}}^{(t-1)}, c^{(t)})$$ 本文整体技术流水线涵盖内部状态分析、诊断基准构建以及在线激活引导三个相互紧扣的环节：首先利用 Logit Lens 投影隐层表征，提出生成亲和度与感知亲和度，揭示模型在聆听时优先预测用户流、发声时优先预测自身流的流特定（stream-specific）预测规律，并确诊打断时的状态惯性；进而构建严格剔除声学缓冲的零缓冲诊断基准（ZBB），定位首词语义丢失问题；最终在推理阶段通过语音能量检测捕捉打断起点，在线向指定 Transformer 中间层注入感知向量并线性衰减，实现零训练开销的感知状态瞬间唤醒。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["双路音频流输入<br/>用户打断与模型生成并发"] --> B["打断起始点检测<br/>基于能量的语音活动检测"]
    B --> C["内部表征状态解耦与亲和度量化<br/>跟踪生成亲和度与感知亲和度时序跃迁"]
    C --> D["零缓冲诊断基准构建<br/>首词语义定位与打断理解诊断评测"]
    C --> E["基于感知向量的即时激活引导<br/>在线注入差分均值感知向量并线性衰减"]
    E --> F["隐层状态与注意力恢复<br/>跨时间步注意力回溯首词关键表征"]
    F --> G["即时打断响应生成<br/>准确识别打断主语并输出文本/语音"]

关键设计¶

1. 内部表征状态解耦与亲和度量化：量化全双工模型听讲协同与状态惯性

传统语言模型只服务于单一文本序列的预测，而全双工模型需要持续平衡外部音频的理解与自生音频的合成。为了观测内部表征的职能分配，作者借助 Logit Lens 将各层隐状态 $h^{(t)} \in \mathbb{R}^d$ 通过反嵌入矩阵 $W_{\mathrm{unembed}}$ 投影至词表空间，解码出虚预测分布。惊人的定性发现表明：在模型静默聆听阶段，其中间隐层并非空转，而是在积极前瞻预测用户即将说出的下一个词（如听到 "explain" 会解码出 "why"、"how"；听到 "their" 会解码出 "own"、"pro"）；而在模型发声阶段，隐层则严格锁定于自身生成序列。

为了将这一观察转化为连续指标，作者基于首个神经音频编解码码本（承载核心声学语义信息）定义了生成亲和度 $\mathcal{S}_{\text{gen}}(t)$ 与感知亲和度 $\mathcal{S}_{\text{perc}}(t)$： $$\mathcal{S}_{\text{gen}}(t) = \frac{1}{2}\left(P(m_{\mathrm{audio}}^{(t)} \mid h^{(t)}) + P(m_{\mathrm{text}}^{(t)} \mid h^{(t)})\right), \quad \mathcal{S}_{\text{perc}}(t) = P(u_{\mathrm{audio}}^{(t+1)} \mid h^{(t)})$$ 通过对比正常轮转与突发打断的亲和度轨迹，作者首次从机制层面确诊了“状态惯性”（State Inertia）：在无打断情境下，用户开口时模型几乎在 1 个时间步内即跃升至高感知亲和度；而在模型正在长篇大论时遭遇打断，其内部表征滞留在生成态，感知亲和度需要延迟 7–8 个时间步（约 0.6 秒）才能艰难爬升，且生成亲和度往往持续滞留多达 20 个时间步（近 2 秒）。这种内部状态跃迁的严重滞后，直接导致打断起始阶段的信息被物理性遗忘。

2. 零缓冲诊断基准构建：精确捕获打断首词语义丢失的评估协议

现有的全双工基准（如 Full-Duplex Bench、FD-bench）侧重宏观轮次控制或端到端延迟，且其打断语句通常包含 "Hold on"、"Wait" 等前导填充词或寒暄语。这类声学缓冲天然掩盖了模型最初 0.6 秒的感知盲区，导致模型即便状态切换迟钝，也能依靠后续主干词拼凑出合理回复。为了精准击中状态惯性的下行破坏力，作者构建了 Zero-Buffer Benchmark（ZBB）。

ZBB 的核心设计准则是将最关键的语义主语直接置于打断句的绝对第一位，采用严格的三段式模板：主语 + 事实描述 + 确认反问（例如 "Submarine flies in the clouds, right?"）。为了保证评估的严谨性与排他性，基准为 50 个高频常识实体分别构建一正一反两条事实对照样本（共 100 条 zero-buffer 查询），并通过开源高质量 TTS 合成语音输入。评估层面，作者采用 ASR（Parakeet-tdt）转录模型回答，并由强模型裁判（GPT-4.1-mini）独立裁决两项正交指标： - 回答正确率（Correctness）：评判回答是否对打断提问给出了符合事实逻辑的正面判定，任何因状态惯性导致的话题漂移、胡乱肯定或回避均判定为 0 分； - 首词出现率（Initial-Word Occurrence Rate, IWOR）：严格检测回复中是否显式提及打断句开头的核心主语实体或同义词，从而直接诊断模型在听觉感知阶段是否实质性捕获到了打断起始帧。

3. 基于感知向量的即时激活引导：无须微调的推理期轻量状态跃迁干预

为在不重新训练庞大模型的前提下根治状态惯性，作者借鉴表示工程（Representation Engineering）思想，设计了感知向量激活引导机制。首先在独立的轮流对话交互数据集中，利用双阈值将各时间步严格二分为生成主导集合 $T_{\text{gen}}$ 与感知主导集合 $T_{\text{perc}}$： $$T_{\text{gen}} = \{t \mid \mathcal{S}_{\text{gen}}(t) \ge \Theta_{\text{gen}} \wedge \mathcal{S}_{\text{perc}}(t) < \Theta_{\text{perc}}\}, \quad T_{\text{perc}} = \{t \mid \mathcal{S}_{\text{perc}}(t) \ge \Theta_{\text{perc}} \wedge \mathcal{S}_{\text{gen}}(t) < \Theta_{\text{gen}}\}$$ PCA 可视化证实两类集合的隐状态在特征空间中呈现出极佳的几何线性可分性。据此，作者提取两类表征均值的差分作为指向纯粹感知态的方向向量 $\mu_{g \to p}$： $$\mu_{g \to p} = \frac{1}{|T_{\text{perc}}|}\sum_{t \in T_{\text{perc}}} h^{(t)} - \frac{1}{|T_{\text{gen}}|}\sum_{t \in T_{\text{gen}}} h^{(t)}$$ 在推理运行时，系统部署一个轻量级能量打断检测器。一旦在发声期间侦测到用户语音能量突发，立即在预选的深层 Transformer 层（如 PersonaPlex 的第 23 层）实施有限时宽的衰减干预： $$\tilde{h}^{(t)} = \begin{cases} h^{(t)} + \alpha \left(1 - \frac{t - t_{\text{int}}}{\Delta T_{\text{steer}}}\right)\mu_{g \to p}, & t_{\text{int}} \le t < t_{\text{int}} + \Delta T_{\text{steer}} \\ h^{(t)}, & \text{otherwise} \end{cases}$$ 该设计极其精妙：它并不长久绑架模型的生成能力，而是仅在打断伊始的极短时间窗口（如 $\Delta T_{\text{steer}}=3$ 步）施加一次向感知态倾斜的线性渐出冲激，强行重置注意力矩阵的键值关注点，使后续注意力头立刻回溯打断起始的音频标记。

一个完整示例¶

假设模型正在滔滔不绝地解释现代城市的自来水净化流程，此时用户突然打断插话："Bicycle has four wheels, right?"： - 未施加引导的原生状态：模型处于高生成亲和度状态，因状态惯性在前 7 个时间步内对用户音频几乎视而不见，彻底漏听首词 "Bicycle"，仅捕捉到后半句 "...has four wheels, right?"。由于缺乏主语上下文，模型直接在生成惯性下顺水推舟回答："Yeah, cars typically have four wheels, that's right."（GPT 判定结果：IWOR=0，正确率=0，发生典型的话题漂移与事实错误）。 - 施加感知向量引导的状态：在用户发声的 $t_{\text{int}}$ 时刻，系统检测到打断并向模型第 23 层注入强度 $\alpha=5.5$ 的 $\mu_{g \to p}$ 向量。在接下来 3 个时间步内，生成状态被瞬间压制，感知亲和度迅速拉升，跨时间步注意力权重 $s_t$ 对首个单词所在时间步大幅增强。模型精准锁定主语 "Bicycle"，进而从容回答："No, that's incorrect. A bicycle only has two wheels."（IWOR=1，正确率=1，完美实现实时打断重定向）。

损失函数 / 训练策略¶

该方案为完全的测试期无训练干预（Training-Free / Inference-Time Intervention），不引入任何反向传播或参数更新。离线阶段仅需在独立会话数据上计算一次差分向量 $\mu_{g \to p}$；在线阶段仅涉及单次向量加法与标量乘法，额外浮点计算开销几乎可忽略不计。

关键超参数包括引导强度 $\alpha$、干预时宽 $\Delta T_{\text{steer}}$ 以及用于状态采样的亲和度对数阈值 $\ln \Theta_{\text{gen}}$ 和 $\ln \Theta_{\text{perc}}$。对于 PersonaPlex 与 Moshi，最佳引导层位于网络中深层（第 23 层，总层数 32 层），$\alpha=5.5$，干预窗口仅需维持 3 个时间步；过长的干预时宽（如 $\Delta T_{\text{steer}} > 5$）反而会阻碍模型后续自发组织语言回答，体现了“冲激式唤醒”的设计精髓。

实验关键数据¶

主实验¶

实验在三种最具代表性的开源全双工口语模型上展开：双通道音频语言模型 PersonaPlex、多流架构代表 Moshi，以及全双工架构 Raon-SpeechChat。评测涵盖三种对比场景：无打断正常输入（No Interrupt）、打断突发输入（Interrupt）以及施加感知向量引导的打断输入（Interrupt+Steer）。

模型	评测场景	正确率 (Correctness)	首词出现率 (IWOR)	恢复比例 (Recovery)
PersonaPlex	无打断基准 (No Interrupt)	0.49 ± 0.05	0.74 ± 0.04	—
	打断场景 (Interrupt)	0.28 ± 0.04	0.40 ± 0.05	—
	打断+激活引导 (Interrupt+Steer)	0.45 ± 0.05	0.72 ± 0.04	恢复 81% 正确率 / 94% IWOR
Moshi	无打断基准 (No Interrupt)	0.43 ± 0.05	0.67 ± 0.05	—
	打断场景 (Interrupt)	0.22 ± 0.04	0.29 ± 0.05	—
	打断+激活引导 (Interrupt+Steer)	0.34 ± 0.05	0.64 ± 0.05	恢复 57% 正确率 / 92% IWOR
Raon-SpeechChat	无打断基准 (No Interrupt)	0.10 ± 0.03	0.29 ± 0.05	—
	打断场景 (Interrupt)	0.03 ± 0.02	0.16 ± 0.04	—
	打断+激活引导 (Interrupt+Steer)	0.17 ± 0.03	0.24 ± 0.04	恢复 200% 正确率 / 62% IWOR

消融实验¶

为了全面验证引导机制在不同超参数配置下的行为特征，以及干预是否会破坏宏观全双工对话质量，作者针对引导层位置、衰减步长与通用全双工基准进行了系统消融与验证：

模型	最佳引导层	引导强度 $\alpha$	干预时宽 $\Delta T_{\text{steer}}$	$\ln \Theta_{\text{gen}}$	$\ln \Theta_{\text{perc}}$	FDB 得分 (未引导)	FDB 得分 (激活引导)
PersonaPlex	Layer 23	5.5	3 steps	-3.5	-3.9	3.34 ± 0.08	3.41 ± 0.08
Moshi	Layer 23	5.5	3 steps	-3.5	-3.9	3.45 ± 0.08	3.36 ± 0.08
Raon-SpeechChat	Layer 26	1.2	3 steps	-7.5	-9.5	2.41 ± 0.09	2.41 ± 0.09

关键发现¶

首词丢失是打断退化的核心症结：在原生打断下，PersonaPlex 的 IWOR 暴跌 34%（从 0.74 降至 0.40），Moshi 暴跌 38%（从 0.67 降至 0.29），说明模型在突发打断时几乎丧失了前 0.5 秒的听觉感知，直接印证了状态惯性假设。
感知向量近乎完美恢复听觉感知：激活引导将 PersonaPlex 的 IWOR 从 0.40 激增至 0.72（恢复了 94% 的丢失性能），Moshi 的 IWOR 从 0.29 激增至 0.64（恢复了 92% 的丢失性能），正确率亦大幅回升。
短脉冲优于长时维持：超参数扫描显示，干预时宽固定在 $\Delta T_{\text{steer}}=3$ 时效果最佳；若过度延长干预窗口，模型隐层长时间被锁定在感知态，会反向抑制模型的回复生成能力。
通用全双工交互能力完全保真：在包含声学缓冲词的宏观基准 Full-Duplex Bench（FDB）测试中，引导后的模型得分（PersonaPlex 3.41 vs 3.34；Moshi 3.36 vs 3.45）在统计误差范围内保持稳定，证明该轻量干预对常规对话无负面副作用。

亮点与洞察¶

神经机制解释层面的“人机同构”发现：巧妙运用 Logit Lens 揭示了全双工大模型内部存在“生成态”与“感知态”的动态博弈，并首次建立了状态惯性与人类听觉认知中“发声诱发听觉抑制”的跨学科映射。
直击盲区的零缓冲基准设计：敏锐地指出现有基准因口语缓冲词的存在而无法测出瞬时感知盲点，通过“主语置首”的极简零缓冲设计，为全双工模型的瞬态鲁棒性树立了首个显微镜级诊断标尺。
免训练即插即用的工程范式：不需耗费数千卡时重新微调双流多模态模型，仅通过两类代表性状态表征的几何差分向量进行推理期软引导，便以近乎为零的计算代价解决了核心感知失效难题。

局限与展望¶

打断检测对前端 VAD 的敏感性：当前方法依赖基于能量的语音活动检测（VAD）触发引导。在强背景噪声、多说话人交叠或非语言声学杂音环境下，容易产生误触发；虽然模拟实验表明偶发误触发仅带来渐进式性能微降，但未来仍需结合语义感知的自适应打断检测器。
开源全双工模型生态规模有限：受限于当前开源全双工语音模型的稀缺性，评测仅覆盖了 PersonaPlex、Moshi 与 Raon 三款模型，尚未在超大规模商业闭源语音系统（如 GPT-4o 实时语音、Gemini Live）上验证内部机制的一致性。
Logit Lens 离散声学投影存在噪声：基于第 1 个编解码码本的亲和度度量主要偏向语义层，无法完全捕捉高阶残差码本所携带的细微声学副语言特征。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统揭示全双工口语模型的内部生成-感知状态博弈机制，提出状态惯性概念与感知向量引导方案，极具开创性。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖三种主流全双工架构，设计 ZBB 诊断基准与 FDB 通用评测，结合 Logit Lens、PCA 聚类与注意力回溯分析，证据链完整扎实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑层层推进，从机制发现到基准构建再到免训练干预，技术叙述严密，图表设计清晰明了。
价值: ⭐⭐⭐⭐⭐ 为解决全双工实时语音交互中的抢话漏听痛点提供了极其优雅且低成本的落地方案，对下一代流式多模态语音智能体具有重要参考价值。