Efficient Streaming Audio-Visual Target Speaker Extraction for Real-World Acoustic Scenes¶

会议: NeurIPS 2026
arXiv: 2610.32749
OpenReview: https://openreview.net/forum?id=pYHqkfI3QP
代码: https://cslikai.cn/Falcon/
领域: 音频/语音
关键词: 目标说话人提取、流式因果模型、多模态音视频、时频多尺度建模、对比学习

一句话总结¶

提出了逼近真实复杂声学场景的双基准 RealSSA（含多干扰说话人、混响与突发噪声及真实录音验证集）与极轻量单步流式音视频提取网络 Falcon，利用非对称 U-Net 多尺度时频精炼与编码器空间说话人对比损失，在大幅削减计算和延迟的同时取得多基准 SOTA 质量。

研究背景与动机¶

音视频目标说话人提取（Audio-Visual Target Speaker Extraction, AVTSE）利用目标说话人的唇部动作视觉线索，从混叠音频中提取出目标人纯净语音，是视频会议、助听增强设备等实时交互场景的核心使能技术。然而，当前的因果流式 AVTSE 系统在实际落地中受阻于数据分布与模型架构的双重鸿沟。

在数据层面，传统评估基准（如 LRS2-2Mix、LRS3-2Mix、VoxCeleb2-2Mix）长期将说话人数量僵化固定为 2 人，忽略了真实声学环境中动态变化的说话人数量、近场与远场几何差异、空间房间混响以及突发的环境噪声；更严重的是，这些基准均缺乏独立采集的真实硬件测试集，导致算法在合成集上的评估指标无法映射到真实边缘设备部署。在架构层面，现有高精度的因果模型（如 AV-TFGridNet、AV-Mossformer2）参数庞大且每帧算力开销超出边缘实时预算；轻量化方案（如 SwiftNet）则试图通过在音视频融合后反复多次循环调用同一个微型分离器来弥补容量，但循环迭代使得每帧推理延迟与 FLOPs 翻倍，反而抹杀了轻量化收益。同时，传统的尺度不变信噪比（SI-SNR）仅惩罚与干净目标的波形偏差，缺乏对近场强干扰说话人的显式排斥约束，导致残余近场语音严重泄漏。

本文的切入角度是：一方面构建多轴动态联合变化的仿真场景与实录验证基准；另一方面抛弃昂贵的循环迭代推理，将时频多尺度建模压缩进一次单遍编码器-解码器遍历中，并在特征编码空间利用无推理开销的显式说话人对比正则化压制近场泄漏。核心 idea：构建涵盖多说话人、动态近远场混响与真实录音的 RealSSA 基准，并设计单步前向多尺度分离网络 Falcon，结合编码器空间说话人对比损失，以超低算力和零推理代价排斥强干扰、实现极速流式目标提取。

方法详解¶

整体框架¶

Falcon 针对单通道麦克风混合波形 \(\mathbf{x} \in \mathbb{R}^L\) 和目标人唇部视频帧序列 \(\mathbf{m} \in \mathbb{R}^{H \times W \times T_{\text{v}}}\) 进行因果流式提取。混合信号在声学建模上分解为目标语音 \(\mathbf{s}\)、第 \(k\) 个近场干扰人 \(\mathbf{b}_k\)、远场干扰叠加 \(\mathbf{f}\) 以及环境加性噪声 \(\mathbf{n}\) 的总和：\(\mathbf{x} = \mathbf{s} + \sum_{k=1}^K \mathbf{b}_k + \mathbf{f} + \mathbf{n}\)。系统包含预处理与特征提取、模态精炼、单步多尺度分离以及复数掩蔽重建四个阶段。

在输入前端，固定预训练的 FRCNN 视觉骨干网络提取唇部特征 \(\mathbf{V}_0 \in \mathbb{R}^{C_{\text{v}} \times T_{\text{v}}}\)，音频编码器 \(E_{\text{a}}\) 计算 3 通道 STFT 谱（实部、虚部与幅度谱），并经由因果 2D 卷积投影为 \(\mathbf{A} \in \mathbb{R}^{C \times T \times N_{\text{f}}}\)。音频特征通过一个结构同分离器的 AudioBlock \(\mathcal{B}_{\mathrm{a}}\) 精炼得 \(\tilde{\mathbf{A}}\)，视觉特征通过因果 LSTM 及上采样模块 VideoBlock \(\mathcal{B}_{\mathrm{v}}\) 映射到音频帧率得 \(\tilde{\mathbf{V}}\)；将 \(\tilde{\mathbf{V}}\) 沿频率轴广播并加权融合至 \(\tilde{\mathbf{A}}\) 形成统一表征 \(\mathbf{F}\)。随后，核心单步多尺度分离器仅执行一次编码器-解码器前向传递，输出目标说话人嵌入 \(\mathbf{E}\)。掩模生成器从 \(\mathbf{E}\) 预测复数时频掩模 \(\mathbf{M}\)，与原始输入谱做复数相乘，最后通过 iSTFT 重建出目标纯净波形 \(\hat{\mathbf{s}}\)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：混合波形与目标唇部视频"] --> B["模态编码与因果单步精炼"]
    B --> C["单步多尺度分离器<br/>非对称 U-Net 时频表征"]
    C --> D["时频精炼块 TFRB<br/>频域RNN + 时域RNN + 2D因果自注意力"]
    D --> E["全局上下文注入与跨尺度跳跃融合"]
    E --> F["复数掩模生成与 iSTFT 波形重建"]
    F --> G["编码器空间说话人对比正则化<br/>（训练期显式排斥近场干扰）"]
    G --> H["输出：干净目标语音"]

关键设计¶

1. 单步多尺度分离器：以非对称单遍前向消除循环迭代开销 现有轻量级因果网络（如 SwiftNet）为了克服微型模块容量不足的问题，通常在融合特征后设置多次循环展开（如 8~12 次迭代），导致计算量与延迟成倍增长。Falcon 设计了非对称 U-Net 拓扑结构，彻底摒弃时序递归迭代，在单次前向传播中捕获 4 个不同的时频尺度。编码器具有 4 个下采样层级，通过因果因果卷积逐步将时频分辨率降至原来的 \(1/8\)；时频建模全部集中在深层瓶颈处形成紧凑的粗粒度声学上下文 \(\mathbf{G} = \mathcal{R}_3(\mathbf{S}_3)\)。随后，解码器通过对应的时频精炼块（TFRB）逐级自粗向细恢复频谱分辨率，避免了多轮遍历带来的冗余算力消耗。

2. 时频精炼块 TFRB：三阶段级联捕获多维时频依赖 每个 TFRB 模块级联了三个异构计算阶段以完全解耦声学线索的建模难度：首先通过双向频域 LSTM 捕获同一时刻跨频带的谐波与共振峰结构（沿频率轴双向不引入未来时间信息）；随后通过单向因果时域 LSTM 追踪语音随时间的动态演进；最后在展平的时频平面上使用块因果掩码的 2D 自注意力机制，仅允许当前时频单元查询过去时间的所有时频位置。所有层级统一采用无缓存、帧局部的流式因果层归一化 \(\operatorname{LN}_{\text{c}}\) 与预归一化残差连接，兼顾了表征表达能力与严格的因果时延限制。

3. 全局上下文注入与跨尺度跳跃融合：自适应调控多尺度频谱门控 在非对称解码过程中，高层粗粒度语义必须精准指导浅层细粒度细节恢复。Falcon 引入全局上下文注入（Global Context Injection, GCI）机制：将瓶颈表征 \(\mathbf{G}\) 最近邻上采样至各跳跃连接尺度后，通过深度卷积与门控分支 \(\sigma(\phi_{\text{gate}}(\mathbf{G}))\) 动态调制局部特征 \(\mathbf{S}_l\) 的频带响应，并与全局映射 \(\phi_{\text{glb}}(\mathbf{G})\) 相加。解码器通过 \(\mathbf{Y}_l = \mathcal{R}_l(\mathcal{I}^{\text{d}}_l(\tilde{\mathbf{S}}_l, \mathbf{Y}_{l+1}) + \mathbf{S}_l)\) 逐级重构，其中显式的恒等残差项 \(+\mathbf{S}_l\) 确保在全局门控过度抑制时仍能保留直通的频谱梯度与基准参考。

4. 编码器空间说话人对比损失：零推理代价的近场强干扰排斥 传统时域 SI-SNR 损失在多说话人密集场景下缺乏对近场同质干扰的显式分离能力。Falcon 在音频编码器 \(E_{\text{a}}\) 的特征空间引入说话人对比损失，复用已有编码器且无需引入外部独立网络。将预测目标谱 \(\hat{\mathbf{A}}\)、真实目标谱 \(\mathbf{A}^+\) 以及各个近场干扰谱 \(\mathbf{A}_k^-\)（通过停用梯度的 \(E_{\text{a}}\) 提取）经轻量池化头 \(\mathcal{P}_{\text{spk}}\) 映射为单位范数说话人嵌入 \(\mathbf{q}, \mathbf{p}, \mathbf{e}_k^-\)。定义负样本余弦相似度 \(s_k = \cos(\mathbf{q}, \mathbf{e}_k^-)\)，构建具备角度边际 \(m=0.5\)（即 \(60^\circ\)）和动态退火温度 \(\tau\) 的对比目标：

\[\mathcal{L}_{\text{spk}} = \bigl(1 - \cos(\mathbf{q}, \mathbf{p})\bigr) + \sum_{k=1}^K \frac{\exp(\tau s_k)}{\sum_{j=1}^K \exp(\tau s_j)} \operatorname{ReLU}(s_k - m)\]

该损失在训练初期（\(\tau \to 0\)）对所有负样本均匀排斥以稳定空间分布，随着训练推进线性退火至 \(\tau=1\)，自适应聚焦最困难的近场干扰人。远场干扰因声能衰减自然落入残差底噪以下而被排除在负样本之外。该分支在推理阶段完全丢弃，实现了零推理计算开销下的强抗泄漏能力。

损失函数 / 训练策略¶

总体训练目标为多任务联合优化：

\[\mathcal{L} = -\operatorname{SI-SNR}(\hat{\mathbf{s}}, \mathbf{s}) + \lambda_{\text{spk}} \mathcal{L}_{\text{spk}}\]

其中 \(\lambda_{\text{spk}} = 1.0\)。采用 AdamW 优化器（初始学习率 \(1 \times 10^{-3}\)，权重衰减 \(0.01\)），在验证集损失停滞 15 轮时学习率减半，早停阈值为 30 轮。音频片段长度固定为 2 秒（16 kHz），对应视觉帧 50 fps，STFT 窗长 256、跳步 128（8 ms 帧移，算法前瞻仅 120 ms 视觉缓冲），保障端到端流式部署。

实验关键数据¶

主实验¶

在真实声学模拟基准 RealSSA-Sim、真实录音评估集 RealSSA-Real 以及三个公开标准基准（LRS2-2Mix, LRS3-2Mix, VoxCeleb2-2Mix）上，全面对比了代表性因果 AVTSE 基线方法（包含因果化的 AV-TFGridNet、AV-Mossformer2、Swift-Net-12 及 Dolphin）。

数据集	指标	Falcon (本文)	之前最强基线 (模型名)	相对增益 / 性能优势
RealSSA-Sim	SI-SNRi (dB) ↑	7.7	7.6 (AV-TF-GridNet) / 7.3 (Swift-Net-12)	+0.1 dB / +0.4 dB
RealSSA-Sim	SDRi (dB) ↑	8.2	8.1 (AV-TF-GridNet) / 7.8 (Swift-Net-12)	+0.1 dB / +0.4 dB
RealSSA-Sim	WER (%) ↓	25.47	27.31 (AV-TF-GridNet)	绝对降低 1.84%
RealSSA-Sim	Speaker Sim. ↑	43.05	41.79 (Swift-Net-12)	绝对提升 1.26
RealSSA-Real	DNSMOS ↑	3.276	3.276 (Swift-Net-12) / 3.030 (AV-TF-GridNet)	持平轻量级 / 超重型 +0.246
RealSSA-Real	NISQA ↑	3.615	3.484 (Swift-Net-12) / 2.590 (Dolphin)	显著领先
RealSSA-Real	WER (%) ↓	32.74	32.00 (AV-Mossformer2) / 33.72 (Swift-Net-12)	位居第2（轻量网络中最优）
RealSSA-Real	Speaker Sim. ↑	42.23	40.04 (Swift-Net-12)	绝对提升 2.19
VoxCeleb2-2Mix	SI-SNRi (dB) ↑	10.5	9.4 (Swift-Net-12) / 9.2 (Dolphin)	+1.1 dB
LRS2-2Mix	SI-SNRi (dB) ↑	14.1	14.0 (Dolphin) / 13.9 (Swift-Net-12)	+0.1 dB
LRS3-2Mix	SI-SNRi (dB) ↑	16.4	16.2 (AV-Mossformer2) / 16.0 (Swift-Net-12)	+0.2 dB

在计算效率方面，Falcon 与主流基线的计算资源开销对比如下（针对 2 秒 16 kHz 音频）：

方法	参数量 (M) ↓	MACs (G) ↓	GPU 延迟 (ms) ↓	CPU 延迟 (ms) ↓	显存消耗 (MB) ↓
AV-TF-GridNet	6.2	213.8	567.8	5646.3	1015.8
AV-Mossformer2	56.7	224.2	114.9	16670.7	539.8
Swift-Net-12	0.5	45.3	172.1	4163.8	411.7
Dolphin	5.6	18.1	87.9	2411.0	390.3
Falcon (本文)	0.5	10.6	51.3	1361.2	364.7

相比 AV-TF-GridNet，Falcon 削减了 91.9% 参数、95.0% MACs，GPU 推理延迟缩短 11.1 倍（从 567.8 ms 降至 51.3 ms）；相比同为 0.5M 参数的 Swift-Net-12，MACs 减少 76.6%，GPU 延迟缩减 70.2%。

消融实验¶

1. 编码器下采样阶段层数消融

配置 / 阶段深度	SI-SNRi (dB) ↑	SDRi (dB) ↑	关键结论说明
1 Stage	7.1	7.7	浅层感受野不足，时频全局上下文受限
2 Stages	7.4	7.9	性能稳步上升
3 Stages (Falcon 默认)	7.7	8.2	达到最佳性能；且严格符合流式因果的前瞻延迟预算上限

注：4 阶段会因时序感受野扩展突破 120 ms 视觉缓存约束，破坏流式因果性。

2. 编码器空间说话人对比损失跨架构泛化消融

模型骨干	损失配置	SI-SNRi (dB) ↑	SDRi (dB) ↑	增益分析
Falcon	w/o 对比损失	7.3	7.8	基线表现
Falcon	+ \(\mathcal{L}_{\text{spk}}\) (本文)	7.7	8.2	净提升 +0.4 dB
SwiftNet-12	基线 (w/o)	7.3	7.8	基线表现
SwiftNet-12	+ \(\mathcal{L}_{\text{spk}}\) (本文)	7.5	8.0	净提升 +0.2 dB
Dolphin	基线 (w/o)	6.7	7.3	基线表现
Dolphin	+ \(\mathcal{L}_{\text{spk}}\) (本文)	7.0	7.6	净提升 +0.3 dB

3. 负样本加权温度 \(\tau\) 退火调度策略消融

温度策略	SI-SNRi (dB) ↑	SDRi (dB) ↑	特性说明
固定 \(\tau = 0\)	7.5	8.1	对所有近场负样本等权排斥，后期缺乏对困难样本针对性
固定 \(\tau = 1\)	7.4	7.9	前期过早聚焦极少数难负例，导致表征空间震荡
剧烈退火 \(0 \to 2\)	7.5	8.0	后期极度偏向单一最难负例，弱化中等相似干扰约束
线性平缓退火 \(0 \to 1\) (本文)	7.7	8.2	平稳完成初期表征探索与后期困难负样本挖掘

关键发现¶

近场说话人聚集是真实场景核心痛点：在小型会议室场景下，近场干扰人的声能与混响指纹与目标人高度重叠，是所有模型表现最差的工况；Falcon 在此类密集场景中优势最显著（超出 SwiftNet-12 达 0.6 dB），证明对比损失对近场泄漏的抑制至关重要。
单步多尺度优于循环复用小模块：在相同 0.5M 参数量下，Falcon 凭借单遍多尺度 U-Net 架构在算力（10.6G vs 45.3G MACs）和延迟（51.3 ms vs 172.1 ms）上大幅碾压 Swift-Net-12，同时保持了更高的分离指标。
复数时频掩模表现最优：相比实数掩模（7.3 dB）和直接实虚部预测（7.1 dB），复数掩模（7.7 dB）以较好相位恢复保证了最高保真度。

亮点与洞察¶

训练期隐式排斥、推理期零成本迁移：通过直接复用音频 STFT 编码器提取对比表征，该对比损失完全解耦于推理计算图，可作为即插即用的正则化项赋能任意 AVTSE 架构。
非对称多尺度单步推理范式：改变了学术界“参数受限时必须通过时间展开循环迭代弥补容量”的传统认知，证明合理的粗细跨分辨率 U-Net 设计单遍前向即可完全胜任复杂声学建模。
双基准驱动真实落地闭环：通过涵盖 4 种房间、1~5 近场人、10~15 远场人及环境突发噪声的 RealSSA-Sim 与无参考实录 RealSSA-Real，首次填补了因果流式 AVTSE 算法到消费级硬件落地的评测空白。

局限与展望¶

单通道限制与阵列扩展：当前 Falcon 分离器与对比损失均针对单麦克风信号设计，未能利用多麦克风阵列的空间波束赋形优势；作者计划后续将算法迁移至四元麦克风阵列。
无监督实录对比学习探索：当前对比损失依赖仿真数据提供的干净近场干扰波形作为负样本参考，如何在没有干净隔离声源的真实无标注录音中构建无监督负样本是未来重要方向。
极端视觉遮挡依赖：实验表明，当唇部视觉完全丢失（Missing ratio = 1.0）时，系统指标大幅下滑至负值，缺乏纯音频线索自适应退避与保护机制。

评分¶

新颖性: ⭐⭐⭐⭐☆ 提出了首个覆盖动态近远场混响和实录评估的 RealSSA 基准，并设计了高效单步时频多尺度流式架构与编码器空间说话人对比损失。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 大数据集，测试了从信号级 SI-SNR 到语音识别 WER、说话人相似度、感知 MOS 及极端视觉缺失/重叠比率的完整指标。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，方法推导清晰完备，附录提供了完备的模型超参数、因果化转换细节与消融实验。
价值: ⭐⭐⭐⭐⭐ 极大推动了低延迟因果流式目标说话人提取在消费级移动终端和助听设备上的实用化与标准化评测。