PASE: Leveraging the Phonological Prior of WavLM for Low-Hallucination Generative Speech Enhancement¶

会议: AAAI 2026
arXiv: 2511.13300
代码: https://github.com/cisco-open/pase
领域: 幻觉检测
关键词: 语音增强, 幻觉抑制, WavLM, 音韵先验, 表示蒸馏

一句话总结¶

提出 PASE 框架，通过去噪表示蒸馏（DRD）利用预训练 WavLM 中鲁棒的音韵先验来抑制语言幻觉，同时采用双流表示（高层音素 + 低层声学）消除声学幻觉，在感知质量和内容保真度两方面同时达到 SOTA。

研究背景与动机¶

生成式语音增强中的幻觉问题¶

语音增强（SE）旨在从嘈杂混合信号中恢复干净语音。生成式模型（GAN、扩散、流匹配、语言模型）在感知质量上超越传统判别式方法，但存在一个被忽视的严重问题——幻觉：增强后的语音在语言内容或说话人特征上与原始信号不一致。

两类幻觉的区分¶

作者首次将语音增强中的幻觉系统分类为两种：

语言幻觉（Linguistic Hallucination）：增强后的语音包含错误的口语内容，源于模型无法约束有效的音韵结构。这是更根本性的挑战。

声学幻觉（Acoustic Hallucination）：增强后的语音说话人特征不一致，源于细粒度声学细节的丢失。可通过补充声学线索缓解。

现有方法的根本缺陷¶

两大主流范式都有问题：

连续表示映射（CRM）： - 将 S3M 表示视为简单的特征向量序列，忽视了其伪语言特性背后的上下文结构 - 增益更多来自表示本身的强大，而非有效利用内部结构

离散语言建模（DLM）： - 将 S3M 表示离散化为 token 序列并自回归建模 - 先验污染风险：从噪声损坏的表示中学习，容易生成语言不一致的输出 - 离散化丢弃关键声学信息（音高、音色），无法处理声学幻觉 - 噪声不同于真正的掩码——噪声是"软掩码"，仅扭曲信息，模型可能仅从局部线索重建而绕过上下文知识

核心论点¶

作者提出音韵先验（Phonological Prior）的概念：S3M（如 WavLM）并非真正理解语言语义，而是通过从海量音频中学习语音模式的统计共现规律，构建了模拟语言理解的伪语言属性。这种先验应被直接利用而非从损坏输入中重新学习。

方法详解¶

整体框架¶

PASE（Phonologically Anchored Speech Enhancer）由两个核心组件组成：

DeWavLM（Denoising WavLM）：通过去噪表示蒸馏微调 WavLM，适配为去噪专家
双流声码器：从 DeWavLM 的高层音素表示和低层声学表示重建增强波形

关键设计¶

1. 去噪表示蒸馏（DRD）¶

核心思路：不从噪声输入学习音韵先验（避免先验污染），而是直接利用预训练 WavLM 中已有的鲁棒先验。

方法： - 实例化两个 WavLM 副本：冻结教师和可训练学生，均从预训练权重初始化 - 学生模型学习将噪声输入波形映射到干净表示： - 输入：噪声语音波形 - 目标：教师模型从对应干净语音产生的最终层输出 - 损失：MSE 损失

关键发现： - 使用学生和教师最终层（L24→L24）性能最优 - 仅用 KD 损失（不加原始掩码预测损失）效果最好——纯KD目标提供强正则化，有效防止知识退化和灾难性遗忘 - 联合 SSL+KD 目标反而次优，因为 SSL 损失导致表示偏移

灾难性遗忘：新去噪目标可能覆盖模型原有的音韵先验，但实验表明： - PNMI（音素可辨别性）在所有微调目标下保持稳定 - KD 损失作为正则化器将表示拉回原始流形，RFS 达到 0.98

2. 双流声学条件重建¶

核心思路：选用两个互补层的表示作为声码器输入——

音素表示（Phonetic Representation）：最终 Transformer 层输出，富含抽象的、上下文依赖的音素内容 → 保证语言完整性
声学表示（Acoustic Representation）：第一层 Transformer 层输出，保留细粒度声学细节 → 保留说话人身份和韵律

两种表示通过简单的加法融合（线性投影后逐元素相加）即可取得最佳效果——因为两种表示基本正交，加法足以高效融合，复杂策略无额外收益。

3. 声码器架构¶

骨干：改进版 Vocos（集成注意力模块增强上下文建模）
对抗训练：多周期判别器（MPD）+ 多频带多尺度 STFT 判别器（MBMSD），对抗损失等权
损失权重：重建:对抗:特征匹配 = 15:2:1

损失函数 / 训练策略¶

DeWavLM 训练：100K 步，batch size 4，学习率 1e-4，AdamW + cosine decay
声码器训练：200K 步，batch size 12，学习率 2e-4，训练时冻结 DeWavLM
设备：4 × NVIDIA RTX 4090
训练数据：约 2000 小时干净语音，SNR 范围 [-5, 15] dB

实验关键数据¶

主实验¶

在模拟 LibriTTS 测试集上的对比：

模型	参数(M)	DNSMOS↑	UTMOS↑	SBS↑	LPS↑	SpkSim↑	WER(%)↓
Noisy	-	1.33	1.44	0.62	0.63	0.77	14.35
TF-GridNet	2.77	3.04	2.62	0.85	0.90	0.80	9.93
StoRM	55.12	3.07	2.55	0.68	0.65	0.63	45.94
LLaSE-G1	1895.63	3.16	3.17	0.74	0.71	0.42	36.58
AES-V2	-	3.35	4.09	0.79	0.85	0.60	21.32
PASE (ours)	382.14	3.12	3.09	0.90	0.93	0.80	7.49

PASE 以最低计算量（21.42 G MACs/s）同时实现最低 WER（7.49%）和最高 SpkSim/LPS/SBS，全面平衡感知质量与内容保真。

消融实验¶

DRD 目标函数消融：

配置	DNSMOS↑	UTMOS↑	SpkSim↑	WER(%)↓	说明
w/o DRD	1.55	1.39	0.46	32.33	无微调基线
SSL only	2.64	1.96	0.39	15.38	仅掩码预测损失
KD only	3.26	3.42	0.57	7.62	仅MSE蒸馏损失
SSL+KD	3.07	2.95	0.52	8.78	联合损失

音韵先验来源探究：

DeWavLM变体	DNSMOS↑	WER(%)↓	说明
Base (960h预训练)	3.32	15.49	小模型+少数据
Base+ (94Kh预训练)	3.30	13.34	小模型+大数据
Large (94Kh预训练)	3.26	7.62	大模型+大数据
Base-FS (从头训练)	3.33	36.16	小模型无预训练
Large-FS (从头训练)	3.24	38.62	大模型无预训练

声学条件方案消融：

方案	SpkSim↑	WER(%)↓	说明
w/o condition	0.57	7.62	无声学条件
Add	0.80	7.50	简单加法
Concat	0.80	7.49	拼接
Cross-Attention	0.79	7.78	交叉注意力
FiLM	0.80	7.58	FiLM调制

关键发现¶

预训练先验不可或缺：从头训练（FS）模型 WER 高达 36-38%，而预训练模型仅 7-15%
音韵先验来源于掩码预测目标：MRS（掩码重建分数）与去噪 WER 高度相关，掩码预测培养的上下文推理能力是先验的根本来源
数据规模是放大器而非基础：仅 960h 数据即可建立有效先验（Base WER 15.49% vs Base-FS 36.16%），但大模型+大数据组合效果最佳
简单加法融合即可：高层音素和低层声学表示基本正交，加法高效且无信息损失
商业方案 AES-V2 感知最佳但 WER 21%：说明感知质量与语言准确性仍存在权衡

亮点与洞察¶

概念贡献突出：首次在语音增强领域系统区分语言幻觉和声学幻觉，并追溯到各自的根本原因
范式转换：从"从损坏输入学习先验"转向"直接利用已有的鲁棒先验"，避免了先验污染问题
深度的先验来源分析：通过精心设计的实验（PNMI、RFS、MRS 三个指标）揭示音韵先验根本源于掩码预测目标培养的上下文推理能力
实用性极强：计算量仅 21.42 G MACs/s，远低于 StoRM（317.76×30）和 FlowSE（36.79×32），同时性能最优

局限与展望¶

在 DNS1 with-reverb 子集上 UTMOS 偏低，可能存在混响训练/测试域差异
依赖 WavLM-Large 作为骨干，模型参数量（382M）仍较大，边缘部署有挑战
双流设计中低层声学表示可能携带残余噪声，UTMOS 从 3.42 降至 3.09
未讨论对多语种语音的泛化能力
声码器对抗训练可能引入伪影，在极端条件下需要更多验证

评分¶

新颖性: ⭐⭐⭐⭐⭐ — 概念创新（幻觉分类+范式转换）和技术创新（DRD+双流设计）均出色
实验充分度: ⭐⭐⭐⭐⭐ — 多数据集、多指标、深度消融（蒸馏层、目标函数、先验来源、融合方案）
写作质量: ⭐⭐⭐⭐⭐ — 问题定义清晰，分析层层递进，因果推理严谨
价值: ⭐⭐⭐⭐⭐ — 在感知质量和内容保真之间取得最佳平衡，代码开源，实用价值高