BiMTokenizer: Preserving Semantic-Acoustic Balance in Low-Bitrate Speech Tokenization¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/ZhangXinWhut/BiMTokenizer
领域: 音频/语音
关键词: 语音编解码器, 状态空间模型, 球面李奇量化, 低比特率语音Token化, 语义声学平衡
一句话总结¶
针对低比特率语音编解码中双塔解耦架构参数开销大与单塔码本崩溃的困境,BiMTokenizer 在单塔架构下融合双向 Mamba 骨干与无须可学习码本的残差球面李奇量化(RSLQ),在 1.1 kbps 极低码率下实现了保真度与语音理解能力的双重突破。
研究背景与动机¶
在大语言模型向语音模态拓展的进程中,语音编解码器(Speech Codec)扮演着连接连续音频波形与离散 Token 的核心桥梁。语音离散化面临着固有的双重诉求冲突:一方面需要保留精细的声学细节(音色、基频、环境声),以支持高质量波形重建;另一方面必须捕获高层语义与音位特征,以契合自回归语言模型的理解与生成逻辑。在极低比特率(约 1.1 kbps)的严苛带宽预算下,声学保真度与语义保留之间的竞争尤为剧烈。早期单塔编解码器如 SpeechTokenizer 和 Mimi 尝试在统一的残差矢量量化(RVQ)结构中蒸馏自监督特征或拆分码本,但在高压缩比下往往出现码本利用率坍塌、谐波结构模糊或语义对齐退化。
为了化解这一冲突,近期主流范式迅速倒向以 X-Codec、XCodec2、DualCodec 及 XY-Tokenizer 为代表的双塔(Dual-Tower)或双分支解耦架构。这类方法引入独立的预训练语义编码器与专用声学编码器,分别提取不同维度的特征再进行融合量化。然而,双塔设计带来了沉重的计算负担与模型参数膨胀——参数量动辄达到 500M 至 800M 以上,推高了训练收敛难度与面向海量语音语料进行离散化时的推理延迟。单塔架构之所以在低码率下难以维持平衡,根本原因并不在于单一编码器在概念上的局限,而在于传统单塔模型所采用的时间建模骨干(因果卷积或标准自注意力)以及可学习向量量化器(RVQ)本身的能力瓶颈。
本文切入的角度是重审并升级单塔架构的两个核心支柱:时间上下文建模机制与离散量化几何空间。语音是强连续时间序列,选择性状态空间模型(Mamba)具备线性计算复杂度和高效的长程时序递归先验,结合双向上下文扫描能为整句语音提供全局声学与音位约束;而在量化端,源自 24 维李奇格子(Leech Lattice)的固定球面李奇量化(SLQ)具有最高的球堆积密度,天然免疫传统 RVQ 码本在低码率下的坍塌问题,为残差多层分解提供了高容量且严格解耦的几何离散基底。核心 idea:重构轻量单塔语音编解码范式,以双向 Mamba 骨干结合残差球面李奇量化(RSLQ),在仅利用离线冻结语义教师进行多任务辅助监督的前提下,以 253M 参数在 1.1 kbps 码率实现优于双塔模型的声学重建与语义平衡。
方法详解¶
整体框架¶
BiMTokenizer 采用端到端单阶段生成对抗网络(GAN)架构,遵循单塔编码器-量化器-解码器布局。系统接收 16 kHz 采样率的单声道波形,先转换为 80 维梅尔频谱图,经由两层一维卷积构成的卷积前干(Front-end)将帧率从 100 Hz 降采样至 50 Hz。随后,堆叠的 8 层双向 Mamba 块提取深层双向时序特征。为了在极低码率下运行,轻量降采样模块将特征沿通道堆叠 4 帧并经残差卷积投影,将序列进一步压缩至 12.5 Hz。在此低帧率表征上,残差球面李奇量化(RSLQ)通过第 1 层语义量化与后续 4 层声学残差量化,将每帧映射为 5 个离散 Token。在解码阶段,上采样模块将离散表征恢复为 50 Hz 序列,由对称镜像的 8 层双向 Mamba 解码器还原出 80 维梅尔谱,最终送入联合训练的 Vocos 声码器合成高质量波形。训练期间引入冻结的语义教师模型(Whisper-small 或 SenseVoice-small)施加帧级语义蒸馏与波形重构语义对齐损失,推理时完全丢弃语义分支。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入波形与梅尔频谱图 (16kHz / 80-mel)"] --> B["双向 Mamba 骨干<br/>ExtBiMamba 时序特征建模"]
B --> C["时序下采样模块<br/>4倍降帧至 12.5Hz"]
C --> D["残差球面李奇量化 (RSLQ)<br/>1层语义 + 4层声学残差"]
D --> E["时序上采样与双向 Mamba 解码<br/>12.5Hz 恢复至 50Hz 梅尔谱"]
E --> F["Vocos 声码器与判别器<br/>多尺度梅尔与对抗波形生成"]
G["冻结语义教师 (Whisper/SenseVoice)<br/>辅助语义蒸馏与重构语义对齐"] -.->|仅训练阶段监督| D
G -.->|仅训练阶段监督| E
关键设计¶
1. 双向 Mamba 骨干:因果时序受限与注意力二次复杂度 -> 外部双向状态空间融合 -> 线性复杂度下捕获全局双向上下文
语音信号具有局部高度自相关与长程音位依赖的特性。自注意力机制虽然全局感受野完整,但面临随序列长度二次方增长的计算复杂度与显存压力;常规单向因果卷积或 Mamba 则无法获得未来语境信息,导致重建边界处谐波断裂。BiMTokenizer 针对非流式离线编解码场景,在编码器和解码器中均采用外部双向 Mamba(ExtBiMamba)结构。对于输入序列 \(h \in \mathbb{R}^{T \times d}\),前向分支与时间反转的时间逆向分支分别经过独立的输入输出线性投影层,计算连续状态转移矩阵后按逐元素相加融合。每个骨干块采用 Pre-RMSNorm 残差连接,并串联一个 1536 维的 SwiGLU 前馈网络:
SwiGLU 提供的逐帧非线性映射有效弥补了纯线性状态空间算子的表征容量短板,赋予单塔骨干兼顾高层音素抽象与细粒度声学频谱捕捉的双重能力,同时在长达数百秒的长音频编码中维持极低的线性 MACs 增长与恒定内存占用。
2. 残差球面李奇量化(RSLQ):可学习 RVQ 码本崩溃与解耦困难 -> 24维固定李奇格子非参数投影 -> 零崩溃高容量残差解耦
传统矢量量化依赖梯度直通估计器(STE)联合更新码本中心,在极低比特率与高压缩比下极易发生“码本崩溃”,多数聚类中心无法被激活,导致表征容量大幅浪费且语义声学严重纠缠。BiMTokenizer 首次将 24 维欧几里得空间中最优球堆积形态——李奇格子(Leech Lattice)引入语音编解码器,构建残差球面李奇量化器(RSLQ)。其核心码本 \(\mathcal{C} \subset \mathbb{S}^{23}\) 直接取自李奇格子的第一壳层(First Shell),固定包含 \(|\mathcal{C}| = 196,560\) 个最小范数向量,单一 Token 信息容量达到 \(\log_2 196,560 \approx 17.58\) bit。
针对编码器输出特征 \(f \in \mathbb{R}^C\),模型通过可学习投影矩阵 \(W_{\mathrm{down}} \in \mathbb{R}^{24 \times C}\) 将其映射至 24 维空间并归一化至单位超球面 \(\tilde{f} = \frac{W_{\mathrm{down}}f}{\|W_{\mathrm{down}}f\|_2}\)。通过快速内积检索在固定的 196,560 个格点中找到最大余弦相似度对应的点索引 \(k = \arg\max_j \langle \tilde{f}, c_j \rangle\),量化向量经由可学习反投影与尺度因子重构为 \(e = \gamma W_{\mathrm{up}} c_k\)。由于码本几何完全固定且在超球面上均匀分布,彻底免去了码本学习损失、承诺损失(Commitment Loss)和熵正则项。
在拓扑编排上,RSLQ 设置 \(K=5\) 层量化,采取“一阶语义、四阶残差”的解耦结构:编码器隐状态 \(u\) 在第 0 层直接输入语义量化器得到语义表征 \(e_0 = \mathrm{RSLQ}_0(u)\);随后计算残差链路 \(r_0 = u, r_i = r_{i-1} - e_i\),其余 4 层 \(i=1,\dots,4\) 依次对残差进行声学量化,最终融合表征为 \(\hat{u} = e_0 + \sum_{i=1}^4 e_i\)。在 12.5 Hz 帧率下,总传输码率精确控制在 \(5 \times 12.5 \times 17.58 \approx 1,099\) bps(约 1.1 kbps)。语义层 Token 聚焦于语言词汇聚类(归一化熵保持在 0.81 稳定收敛),而声学残差层则以高于 0.94 的归一化熵充分探索格点空间,承载说话人音色、基频轮廓与背景残差。
3. 辅助语义监督与重构语义对齐:单塔声学重构忽视深层语言信息 -> 训练期双重冻结教师约束 -> 推理期零额外开销
单塔编码器如果不加引导,单靠频谱重构损失往往过度倾向于低层声学能量,而牺牲语音清晰度与语义可读性。BiMTokenizer 引入仅在训练阶段激活的双重语义约束机制,采用预训练冻结的 ASR 编码器(Whisper-small 或 SenseVoice-small)提供监督信号。
首先是瓶颈处的帧级余弦语义蒸馏:将 RSLQ 第 0 层语义量化输出 \(q_{\mathrm{sem}}\) 通过轻量线性适配器 \(P_\psi\) 映射至教师特征空间 \(\tilde{s} = P_\psi(q_{\mathrm{sem}})\),并与输入音频提取的真实教师语义特征 \(s = \mathcal{S}_\tau(x)\) 计算时间维度的负余弦相似度损失:
其次是声学重构语义对齐损失(Reconstruction Alignment Loss):不同于常规编解码器仅在波形或频域约束合成音频 \(\hat{x}\),本文进一步将重构语音送入冻结教师模型提取高层特征 \(\hat{s} = \mathcal{S}_\tau(\hat{x})\),通过 L1 范数约束解码音频保留高阶语义一致性:
这两项损失在训练时为编码器和解码器提供强大的语义正则化,引导单塔表征建立语音声学细节与语义单元的协同平衡。在推理阶段,语义教师模型、适配器与对齐链路被全部裁剪,编解码过程完全独立自主运行。
损失函数 / 训练策略¶
BiMTokenizer 采用单阶段联合优化,总生成器损失函数综合了频谱重构损失、对抗生成损失、判别器特征匹配损失以及辅助语义监督损失:
其中判别器采用多周期判别器(MPD)与基于短时傅里叶变换的多尺度判别器(MS-STFTD),采用最小二乘对抗目标(LSGAN);重构损失 \(\mathcal{L}_{\mathrm{rec}}\) 为 FFT 尺寸跨越 \(2^5\) 至 \(2^{11}\) 的 7 尺度梅尔频谱 L1 误差总和。损失平衡权重设置为 \(\lambda_{\mathrm{rec}}=15, \lambda_{\mathrm{adv}}=1, \lambda_{\mathrm{feat}}=1, \lambda_{\mathrm{sem}}=15, \lambda_{\mathrm{align}}=1\)。模型在两张 NVIDIA H100 GPU 上采用 AdamW 优化器(\(\beta_1=0.8, \beta_2=0.9\))训练 1,000,000 步,有效批大小为 128,学习率经历 30k 步预热后按余弦退火从 \(1 \times 10^{-4}\) 衰减至 0。
实验关键数据¶
主实验¶
在 LibriSpeech test-clean(16 kHz)数据集上,对各主流代表性低比特率神经语音编解码器进行重建质量综合评测,对比涵盖码本容量、码率、帧率、单塔/双塔结构、说话人相似度(SIM)、可懂度(STOI、WER)以及语音感知质量(PESQ、UTMOS、ViSQOL)。
| 模型 | 单塔架构 | 参数量 | 码率 (bps) | 帧率 (Hz) | SIM (↑) | STOI (↑) | PESQ-WB (↑) | UTMOS (↑) | ViSQOL (↑) | WER (%) (↓) |
|---|---|---|---|---|---|---|---|---|---|---|
| 真实语音 (Ground Truth) | – | – | – | – | 1.00 | 1.00 | 4.64 | 4.09 | 5.00 | 2.16 |
| EnCodec (24 kHz) | ✓ | 15M | 1500 | 75 | 0.60 | 0.85 | 1.56 | 1.58 | 3.59 | 5.63 |
| DAC (16 kHz) | ✓ | 74M | 1500 | 50 | 0.47 | 0.80 | 1.25 | 1.48 | 3.38 | 7.80 |
| SpeechTokenizer (16 kHz) | ✓ | 103.7M | 1000 | 50 | 0.36 | 0.77 | 1.25 | 2.28 | 3.15 | 4.49 |
| BigCodec (16 kHz) | ✓ | 159M | 1040 | 80 | 0.84 | 0.94 | 2.68 | 4.11 | 4.21 | 2.92 |
| Mimi (24 kHz) | ✓ | 79M | 1100 | 12.5 | 0.74 | 0.91 | 2.25 | 3.63 | 3.85 | 3.28 |
| SimWhisper-Codec (16 kHz) | ✓ | 291M | 1100 | 12.5 | 0.83 | 0.93 | 2.72 | 4.00 | 4.31 | 2.75 |
| XCodec (16 kHz) | ✗ (双塔) | 177M | 1000 | 50 | 0.68 | 0.86 | 2.11 | 4.06 | 3.72 | 2.73 |
| XCodec2.0 (16 kHz) | ✗ (双塔) | 820M | 800 | 50 | 0.82 | 0.92 | 2.43 | 4.13 | 3.83 | 2.61 |
| DualCodec (24 kHz) | ✗ (双塔) | 664M | 1075 | 12.5 | 0.84 | 0.93 | 2.71 | 4.12 | 4.19 | 2.46 |
| XY-Tokenizer (16 kHz) | ✗ (双塔) | 520M | 1000 | 12.5 | 0.85 | 0.92 | 2.50 | 4.03 | 4.22 | 2.46 |
| BiMTokenizer-Whisper (本文) | ✓ | 253M | 1100 | 12.5 | 0.87 | 0.95 | 3.03 | 4.21 | 4.33 | 2.44 |
| BiMTokenizer-SenseVoice (本文) | ✓ | 253M | 1100 | 12.5 | 0.85 | 0.94 | 2.85 | 4.18 | 4.34 | 2.53 |
消融实验¶
下表汇总了论文在 1.1 kbps 码率下针对骨干网络架构、量化机制类型以及语义监督损失项的核心消融结果(声学指标评估于 LibriSpeech test-clean,语义理解指标评估于 ARCH 基准意图分类 SLURP 与数字识别 AudioMNIST)。
| 实验组别 | 教师模型 | \(\lambda_{\mathrm{sem}}\) | \(\lambda_{\mathrm{align}}\) | 骨干网络 | 量化器 | SIM (↑) | UTMOS (↑) | PESQ (NB/WB) (↑) | WER (%) (↓) | SLURP (↑) | AudioMNIST (↑) |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 核心架构 | 无 | 0 | 0 | BiMamba | RSLQ | 0.88 | 4.12 | 3.56 / 2.99 | 2.55 | 7.94 | 78.26 |
| 替换骨干 | 无 | 0 | 0 | Bi-Self-Attn | RSLQ | 0.85 | 3.90 | 3.28 / 2.77 | 4.15 | 7.62 | 75.18 |
| 替换量化器 | 无 | 0 | 0 | BiMamba | GroupFSQ | 0.84 | 4.03 | 3.42 / 2.84 | 2.69 | 7.75 | 75.31 |
| 替换量化器 | 无 | 0 | 0 | BiMamba | RVQ | 0.84 | 4.00 | 3.42 / 2.75 | 2.75 | 7.81 | 76.26 |
| 语义监督消融 | SenseVoice | 0 | 1 | BiMamba | RSLQ | 0.86 | 4.15 | 3.50 / 2.95 | 2.56 | 8.58 | 81.25 |
| 语义监督消融 | SenseVoice | 15 | 0 | BiMamba | RSLQ | 0.84 | 4.18 | 3.46 / 2.89 | 2.58 | 18.22 | 97.79 |
| 最终配置 | SenseVoice | 15 | 1 | BiMamba | RSLQ | 0.85 | 4.18 | 3.45 / 2.85 | 2.53 | 18.48 | 98.02 |
| 语义监督消融 | Whisper | 15 | 1 | BiMamba | RSLQ | 0.87 | 4.21 | 3.56 / 3.03 | 2.44 | 12.51 | 86.20 |
关键发现¶
- 双向 Mamba 骨干的声学优势:在无语义监督的纯重构对比中,将 BiMamba 替换为带有旋转位置编码(RoPE)的双向 Transformer 自注意力骨干后,WER 从 2.55% 暴增至 4.15%,PESQ-WB 从 2.99 骤降至 2.77。同时,算力效率分析表明,随着音频时长从 5 秒增至 320 秒,BiMamba 的计算复杂度(MACs/s)和实时率(RTF)保持平缓,而自注意力机制的计算开销急剧飙升。
- 李奇晶格几何的抗崩溃能力:在相同码率与骨干下,RSLQ 全面超越传统可学习 RVQ 与无码本 GroupFSQ。RVQ 的 PESQ-WB 仅为 2.75,而 RSLQ 达到 2.99。训练验证期统计表明,RSLQ 的 4 层声学残差码本归一化熵全程稳定在 0.94 以上,彻底摆脱了传统 RVQ 低码率下的码本闲置与表征退化。
- 语义监督与声学保真的平衡点:引入重构对齐损失(\(\lambda_{\mathrm{align}}=1\))能在不损害声学品质的前提下降低 WER(从 2.58% 降至 2.53%)并提振下游 AudioMNIST 识别率(从 97.79% 提升至 98.02%)。然而,过度增大语义蒸馏权重(\(\lambda_{\mathrm{sem}}=20\))虽然进一步提升 SLURP,但会导致 SIM 与 PESQ 显著回落,验证了极低码率下语义与声学的此消彼长,\(\lambda_{\mathrm{sem}}=15, \lambda_{\mathrm{align}}=1\) 为最优平衡点。
- 计算复杂度远低于双塔模型:在推理复杂度方面,BiMTokenizer 单秒音频编码 MACs 仅为 4.79G,解码为 10.03G,总计 14.82G MACs,相较于 DualCodec(40.98G)和 XY-Tokenizer(82.02G)分别削减了 63.8% 和 81.9%,整体实时率仅为 0.007,极大减轻了语音语料离散化的计算开销。
亮点与洞察¶
- 拓扑几何驱动的非参数离散化:首次将数学上拥有极高堆积密度的 24 维球面李奇晶格用于语音编解码器,以纯几何确定性规避了神经网络向量量化十余年来的码本崩溃隐患。
- 单塔性能反超双塔范式:雄辩地证明了双塔解耦架构并非低比特率语音 Token 化的唯一正确解,通过强化单塔骨干的时序感受野(双向 Mamba)与离散瓶颈的容量(RSLQ),单塔结构能以不到一半的参数量全面压制双塔基线。
- 分层解耦的下游生成适配:将 RSLQ 码本在离线自回归 TTS 中子采样至 2048 点进行验证,证明了这种分层多尺度离散表示不仅能胜任波形编解码,在 LLM 自回归生成任务中也能取得极具竞争力的 WER(1.87%)与自然度。
局限与展望¶
- 码本规模与自回归建模的预测空间冲突:原始 RSLQ 码本单层拥有 196,560 个格点,如此巨大的词表用于自回归 Speech LLM 生成时会导致分类头参数爆炸且长尾词难以学习,作者在下游 TTS 实验中不得不将码本重采样压缩至 2,048,如何在不损失李奇对称性的前提下无缝对接自回归生成仍待探索。
- 异构网络模块组合:当前架构依然由卷积降采样/升采样前干、Mamba 骨干以及卷积判别器混合构成,未来可探索完全基于 Mamba 纯净架构的同质化端到端语音编解码器。
- 非因果双向性限制实时流式交互:依赖双向全局上下文使得 BiMTokenizer 目前仅适用于离线全句编解码,无法直接应用于低延迟双工对话流,后续需拓展因果单向或分块(Chunk-wise)流式版本。
相关工作与启发¶
- vs SpeechTokenizer / Mimi: 早期单塔语义编解码器采用可学习 RVQ 或 Split-RVQ,受限于码本容量在 1.1 kbps 下声学细节与音位辨识度退化严重;BiMTokenizer 采用固定的李奇晶格 RSLQ,以零崩溃的高容量彻底激活了单塔低码率潜能。
- vs XCodec / XCodec2 / XY-Tokenizer: 双塔编解码器通过并联预训练语义塔与声学塔实现特征解耦,但参数量膨胀至 500M-800M+,推理 MACs 高达 40G-82G;BiMTokenizer 仅在训练阶段借助单塔多任务损失注入语义,参数量仅 253M,MACs 仅 14.82G,实现了显著更优的帕累托前沿。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将双向状态空间模型与 24 维球面李奇格子量化引入端到端语音编解码器,单塔设计极富反思与启发价值。
- 实验充分度: ⭐⭐⭐⭐⭐ 评测横跨 LibriSpeech clean/other、Seed-TTS 中英双语跨分布生成、ARCH 下游理解及详尽的骨干/量化器/效率消融。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密,动机层层递进,消融设计控制变量严格,图表呈现清晰规范。
- 价值: ⭐⭐⭐⭐⭐ 为低比特率语音 Token 化提供了高性能低计算成本的单塔典范,有力推动了语音大模型轻量化离散基础设施的演进。