Predictive–Generative Drift Decomposition for Speech Enhancement and Separation¶

会议: NeurIPS 2026
arXiv: 2605.06189
论文: https://arxiv.org/abs/2605.06189 https://openreview.net/forum?id=uDy9sLEeWb
代码: https://github.com/merlresearch/sips-speech
领域: 音频/语音
关键词: 语音增强、语音分离、随机插值、生成式先验、漂移分解

一句话总结¶

提出基于随机插值理论的即插即用语音增强与分离框架 SIPS，通过将采样漂移显式解耦为判别式预测器的任务确定性漂移与纯净语音去噪器的生成式扩散漂移，仅需 15 步采样即可兼顾高保真信号重建与优异感知自然度。

研究背景与动机¶

深度学习在语音增强（Speech Enhancement, SE）与语音分离（Speech Separation, SS）领域取得了长足进展，但现有范式在预测式与生成式之间存在着不可调和的内在张力。占据主流的判别预测模型（如 Conv-TasNet、SEMamba、FlexIO 等）通过回归损失直接学习从退化音频到纯净语音的点估计映射，在信噪比指标（SI-SDR）和侵入式客观指标（PESQ）上表现极佳，对输入信号具有强烈的忠实度；然而在极端低信噪比、强混响或域外失配等复杂挑战场景下，点估计目标容易导致语音过度抑制、残余干扰泄漏以及令人不适的谱伪影，破坏听觉自然度。

相对而言，基于扩散模型与流匹配的生成式方法（如 SGMSE+）通过对纯净语音分布建立先验并求解后验采样，能生成更加平滑逼真、感知质量（NISQA、DNSMOS）极高的语音结构；但生成模型不仅采样耗时严重，且极易在条件约束不足时产生与原始输入无关的生成幻觉，导致词错误率（WER）急剧恶化及波形相位保真度下降。先前的混合增强方案（如 StoRM 和 Diffiner）尝试结合两者，却受到架构专用性强或采样步数巨大的限制：StoRM 强依赖于特定预测器输出联合训练扩散模型，丧失了模块通用性；Diffiner 依赖经验性的扩散后验采样（DDRM），通常需要数百步反向扩散且无法自然迁移至语音分离任务。

面对预测式方法的感知伪影与生成式方法的幻觉与高计算开销，本文的核心切入点在于利用随机插值（Stochastic Interpolants）的连续动力学灵活性，将复杂的多源退化传输动力学解耦为两个相互独立的向量场。核心 idea：将随机插值采样 SDE 的漂移项显式分解为预训练预测器提供的任务确定性漂移和仅在纯净语音上预训练的退化无关去噪器漂移，以即插即用、15 步快速采样的形式实现预测保真度与生成自然度的互补融合。

方法详解¶

整体框架¶

SIPS（Stochastic Interpolant Prior for Speech）构建于连接退化语音分布与纯净语音分布的连续随机插值过程之上。在推理阶段，系统首先利用任意给定的预训练预测网络对退化观测进行一次确定性前向推理，计算出指向纯净语音目标的稳态速度漂移向量；随后，仅基于纯净语音学习得到的退化无关去噪评分网络（Denoiser）在每一步前向时间积分中估计高斯扰动方向，动态修正扩散轨迹并引导状态流向高语音似然区域。整个采样过程采用离散化的 Euler-Maruyama 格式向前推进，在极少的时间步长内完成从退化输入到增强语音的渐进式重构。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["退化观测信号 y<br/>(加性噪声 / 干扰说话人)"] --> Init["初始化状态 x0 = y"]
    In --> DetDrift["任务确定性漂移构建<br/>v_hat = P_phi(y) - y"]

    Init --> LoopStart["时间步演化循环<br/>t_i in [0, 1], 共 M=15 步"]
    DetDrift --> LoopStart

    LoopStart --> Denoiser["退化无关去噪评分估计<br/>z_hat = D_theta(t_i, x_t)"]
    Denoiser --> SDE["前向 SDE 漂移与扩散更新<br/>确定性漂移引导 + 朗之万去噪项"]
    SDE --> LoopEnd{"完成 M 步迭代?"}

    LoopEnd -->|否| LoopStart
    LoopEnd -->|是| Out["纯净语音估计 x1<br/>(保留信号保真度并消除伪影)"]

关键设计¶

1. 随机插值动力学与漂移向量场分解：从理论上拆分确定性引导与随机流

为建立退化音频 \(Y\) 到纯净音频 \(S\) 的平滑传输，定义两者之间的线性随机插值过程为 \(X_t = tS + (1-t)Y + \gamma(t)Z\)（其中 \(t \in [0, 1]\)，\(Z \sim \mathcal{N}(0, I)\) 为标准高斯扰动，\(\gamma(t)\) 为满足端点为零的非负标量噪声调度函数）。根据随机插值理论，其边缘分布等价于如下前向随机微分方程（SDE）：

\[\mathrm{d}X_t^F = \Big(v(t, X_t^F) + \big(\dot{\gamma}(t) - \kappa\big)\eta_z(t, X_t^F)\Big)\mathrm{d}t + \sqrt{2\kappa\gamma(t)}\,\mathrm{d}W_t\]

其中 \(\kappa \ge 0\) 为扩散注入因子，\(W_t\) 为标准维纳过程。关键洞察在于将漂移项分解为两部分：第一项为速度场条件期望 \(v(t, x) = \mathbb{E}[S - Y | X_t = x]\)，第二项为注入噪声的条件期望 \(\eta_z(t, x) = \mathbb{E}[Z | X_t = x]\)。在推理期间，由于真实目标 \(S\) 未知但仅观测到 \(Y=y\)，作者将全条件速度场近似为以观测为条件的任务预测速度 \(\hat{v}(y) = P_\phi(y) - y\)（\(P_\phi\) 即为任意预训练预测模型）；而噪声期望项 \(\eta_z\) 则直接对应纯净语音概率密度的得分函数 \(\nabla_x \log \rho_t(x)\)。这种解耦避免了启发式插值加权，使预测器的先验估计作为全局速度导引，而生成式得分网络负责局部细节修正。

2. 退化无关纯净语音去噪器：单次训练跨任务复用的生成式先验

传统混合增强模型要求扩散模型以特定退化类型或特定预测网络特征为条件，极大限制了迁移能力。SIPS 提出完全在纯净语音数据集上训练一个无条件的去噪评分网络 \(D_\theta\)。训练过程采用镜像插值（Mirror Interpolant）机制，通过向纯净语音 \(S \sim \rho_S\) 注入随时间调制的合成高斯噪声构建训练样本：

\[\min_\theta \mathbb{E}_{t, S, Z}\Big[\big\|D_\theta\big(t, S + (a + \gamma(t))Z\big) - Z\big\|^2\Big]\]

其中 \(t \sim \text{Uniform}[0, 1]\)，\(a=0.1\) 为端点偏移常数，用于防止边界 \(t=0\) 与 \(t=1\) 处的噪声方差消失导致梯度奇异或训练不稳定。尽管推理阶段的中间音频 \(X_t\) 中夹杂着复杂的加性环境噪声或干扰人声，存在训练-测试分布偏移，但理论与实证表明，该去噪器学习到了区分高斯随机扰动与自然语音本征谐波结构的泛化能力，能够准确输出纯净语音流形的恢复方向，使同一个预训练先验能够零样本直接复用于语音增强和语音分离两大任务。

3. 正弦噪声调度与少步数 Euler-Maruyama 采样：平衡信号保真度与生成探索

针对标准扩散模型推理过慢（如 Diffiner 需 200 步）的痛点，SIPS 设计了对称的正弦方差噪声调度函数 \(\gamma(t) = c \sin^2(\pi t)\)（其导数为 \(\dot{\gamma}(t) = c \pi \sin(2\pi t)\)，默认 \(c=0.5\)）。该调度保证在起点 \(t=0\) 和终点 \(t=1\) 处噪声严格为零，确保轨迹从输入观测 \(y\) 平滑启程并在终点完全贴合目标流形。在推理采样算法中，将区间 \([0, 1]\) 均匀离散化为仅 \(M=15\) 步，按如下离散化步长 \(\Delta t_i\) 进行更新：

\[x_{t_{i+1}} = x_{t_i} + \Big(\hat{v} + \big(\dot{\gamma}(t_i) - \kappa\big)\hat{z}\Big)\Delta t_i + \sqrt{2\Delta t_i \kappa \gamma(t_i)}\,z\]

当测试环境信噪比与训练匹配时，取 \(\kappa=0\)（退化为常微分方程 ODE 概率流采样），可最大化保持输入信号的 SI-SDR；当处于重度域外失配或极端低信噪比环境时，调节 \(\kappa=0.4\) 引入受控的随机探索，有效利用先验流形擦除严重的非线性伪影。

损失函数 / 训练策略¶

去噪网络基于 EDM2 框架与保幅（magnitude-preserving）卷积架构构建，在 VoiceBank-DEMAND 的 28 位说话人纯净语音片段上训练（排除验证集说话人 p226 与 p287）。数据在 16 kHz 采样率下转换为幅度压缩短时傅里叶变换（STFT）表征（帧长与 FFT 为 512，跳步 128，汉宁窗，幅值压缩指数 \(p=0.5\)，归一化缩放系数 \(b=0.15\)），复数实虚部分离堆叠为双通道输入。模型在两块 NVIDIA A40 GPU 上以 batch size 16 训练约 420 万个样本（约 2-3 天），采用初始学习率 \(2.5 \times 10^{-3}\) 的逆平方根衰减学习率调度。

实验关键数据¶

主实验¶

论文在语音增强匹配条件（VoiceBank-DEMAND）、语音增强失配重噪条件（EARS-WHAM v2）以及语音分离任务（WHAMR! 双说话人含混响噪声）上进行了系统评测。

表1：语音增强与语音分离主流基准综合评测结果

数据集 / 任务	模型配置	SI-SDR (dB) ↑	PESQ ↑	DNSMOS ↑	NISQA ↑	UTMOS ↑	WER (%) ↓
VoiceBank-DEMAND (匹配增强)	Noisy 输入基线	8.44	1.97	3.09	3.03	3.11	11.01
VoiceBank-DEMAND	SGMSE+ (纯生成)	17.35	2.93	3.56	4.51	3.97	11.00
VoiceBank-DEMAND	Diffiner (200步混合)	17.55	2.67	3.49	4.79	3.99	14.65
VoiceBank-DEMAND	SEMamba (预测基线)	19.72	3.56	3.58	4.60	4.07	8.87
VoiceBank-DEMAND	SEMamba + StoRM (专有微调)	18.89	3.17	3.56	4.54	4.01	9.37
VoiceBank-DEMAND	SEMamba + Diffiner (通用后验)	16.51	2.87	3.53	4.81	4.04	12.43
VoiceBank-DEMAND	SEMamba + SIPS (本文)	19.63	3.43	3.57	4.73	4.09	8.81
EARS-WHAM v2 (失配强噪)	Noisy 输入基线	5.36	1.24	2.73	1.95	1.68	32.87
EARS-WHAM v2	SEMamba (预测基线)	11.36	2.19	3.71	3.57	2.93	28.08
EARS-WHAM v2	SEMamba + Diffiner	4.88	1.43	3.44	3.67	2.53	64.21
EARS-WHAM v2	SEMamba + SIPS (本文)	11.28	2.05	3.74	3.82	2.97	29.27
WHAMR! (双人混响分离)	Mixture 混合输入	-7.20	1.08	2.53	1.21	1.35	92.62
WHAMR!	SepFormer (时域分离)	6.99	1.55	3.13	2.06	2.34	32.22
WHAMR!	SepFormer + SIPS (本文)	6.79	1.41	3.36	3.01	2.60	34.29
WHAMR!	FlexIO (时频多功能分离)	8.45	1.76	3.62	3.54	2.79	21.50
WHAMR!	FlexIO + SIPS (本文)	8.51	1.56	3.68	4.01	3.01	23.43

消融实验¶

论文围绕计算步数效率、噪声调度超参数 \((a, c)\) 以及采样后是否追加二次预测器后处理进行了充分消融。

表2：步数敏感度及计算效率消融对比（VoiceBank-DEMAND 评测）

方法与采样步数配置	SI-SDR (dB) ↑	PESQ ↑	DNSMOS ↑	NISQA ↑	UTMOS ↑	WER (%) ↓	说明
SEMamba + Diffiner (M=200)	16.51	2.87	3.53	4.81	4.04	12.43	原版基线，步数开销高
SEMamba + Diffiner (M=15)	13.18	2.19	3.29	4.56	3.72	26.23	压缩步数后各项指标严重崩溃
Conv-TasNet + Diffiner (M=15)	13.05	2.07	3.22	4.43	3.64	31.41	步数受限下伪影急剧恶化
SEMamba + SIPS (M=15)	19.63	3.43	3.57	4.73	4.09	8.81	仅15步兼具高质量与极低WER
Conv-TasNet + SIPS (M=15)	18.79	2.64	3.43	4.28	3.85	12.86	显著优于同等步数Diffiner
SIPS 噪声偏移 \(a=0.0\) (\(c=0.5\))	-71.22	1.10	-	1.55	3.28	-	边界除零导致训练数值崩溃
SIPS 噪声缩放 \(c=4.0\) (\(a=0.05\))	14.66	2.69	-	4.77	4.00	-	噪声幅度过大导致信号失真严重
SIPS 后处理 \(P_\phi(x_1)\) (w post)	19.16	3.41	3.58	4.76	4.12	8.71	重复预测未带来一致性提升
SIPS 默认配置 (a=0.1, c=0.5, w/o post)	19.63	3.43	3.57	4.73	4.09	8.81	最优保真度与自然度均衡点

关键发现¶

打破混合模型的步数魔咒：在仅使用 15 个离散采样步数时，Diffiner 的 SI-SDR 暴跌超过 3.3 dB，且因严重生成伪影导致 WER 从 12.43% 恶化至 26.23%；而 SIPS 在 15 步下不仅稳定保持 19.63 dB 的高信噪比，WER 反而超越了纯预测网络 SEMamba 本身（8.81% vs 8.87%）。
语音分离的显著感知增益：在极其困难的 WHAMR! 混响多说话人分离场景下，SIPS 在保持 FlexIO 原始 SI-SDR（8.51 dB vs 8.45 dB）的同时，将无参考听觉质量评估 NISQA 从 3.54 大幅提升至 4.01（提升达 +0.47 分），在 SepFormer 上更带来近乎 +1.0 分的 NISQA 跨越式跃升（2.06 → 3.01）。
失配环境下的自适应探索：在域外复杂噪声数据集 EARS-WHAM v2 上，调整噪声扩散系数 \(\kappa=0.4\) 可利用生成先验主动填补和修补被预测器严重削损的高频结构，证明了随机 SDE 较之确定性 ODE 在弱输入条件下的纠错价值。

亮点与洞察¶

优美严谨的漂移解耦范式：首次将随机插值理论引入语音逆问题增强，通过将速度场显式分解为预测器诱导的全局粗粒度漂移与无条件得分网络诱导的微观流形修整，在数学底层解决了判别模型与生成先验的结合机制。
真·即插即用（Plug-and-Play）通用性：生成先验模型在整个训练生命周期内未接触过任何噪声样本、混响脉冲或重叠语音，仅凭无条件纯净语音先验即可无缝适配时域模型（Conv-TasNet、SepFormer）、状态空间模型（SEMamba）以及时频域大模型（FlexIO），摆脱了以往混合模型必须重新绑定微调的限制。
跨越领域的迁移启发：该方法的核心思想——「预训练判别式回归器提供任务宏观速度基底，极轻量无条件扩散模型提供流形正交去噪流」——可直接迁移到图像去噪反卷积、医学图像重建以及多模态时序超分辨率等受制于点估计模糊伪影的逆问题领域。

局限与展望¶

能量尺度敏感性与说话人排列依赖：SIPS 的插值动力学严重依赖预测输出与真实物理尺度的对齐。若前置分离模型（如使用纯 SI-SDR 损失训练的 SepFormer）存在尺度模糊或说话人置换未定，会导致漂移导引失效，当前仍需尺度归一化约束。
时频表征的相位重构间接性：当前模型运行于幅度压缩的复数 STFT 谱图域，虽然简化了二维卷积去噪器的训练，但在极端极低频或瞬态撞击声下，缺乏端到端波形级一致性显式惩罚。
未来方向：探索与单步/少步流匹配蒸馏算法结合，进一步将 15 步缩减至 1-2 步实时因果流式处理；并将此分解思想拓展至全频带音频超分辨率与多通道空间声场渲染任务。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用随机插值完成确定性预测速度与生成式得分漂移的严谨分解，构思极其优雅。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖增强与分离、匹配与失配条件，指标兼顾客观信号比、侵入式、非侵入式感知及下游 ASR WER，消融扎实。
写作质量: ⭐⭐⭐⭐⭐ 数学推导完备自洽，从概率流输运方程到 SDE 等价边缘分布的证明逻辑严密清晰。
价值: ⭐⭐⭐⭐⭐ 为语音及音视频逆问题中平衡保真度与自然度的长期矛盾提供了崭新的通用范式工具。