GS-Codec: A Gaussian-Splatting Bottleneck for Neural Audio Coding¶
会议: NeurIPS 2026
arXiv: 2610.04651
代码: https://github.com/ronaluf/gs-codec
领域: 音频/语音
关键词: 神经音频编解码, 高斯泼溅, 参数化信号分解, 连续瓶颈, 训练后量化
一句话总结¶
突破基于码本或网格离散化划分潜空间的传统架构，GS-Codec 首次将 1D 高斯泼溅（Gaussian Splatting）作为音频编解码器的参数化分解瓶颈，结合轻量预测网络实现单次前向极速编码与免重训的精细后量化比特率控制。
研究背景与动机¶
在大语言模型驱动的多模态语音生成（如语音合成 TTS、音乐生成、实时对话智能体）浪潮中，神经音频编解码器（Neural Audio Codec）已成为连接高采样率连续波形与离散自回归/扩散模型的底层基石。当前业界的主流范式（如 SoundStream、EnCodec、DAC 以及 HiFi-Codec）普遍承袭 VQ-VAE 的设计理念：利用卷积编码器下采样提取时序潜特征，随后通过残差向量量化（RVQ）或有限标量量化（FSQ）将潜变量强行投影到一组离散码本或固定标量网格上，最后由卷积解码器重建声学波形。
然而，这一统治音频编解码领域多年的离散划分范式面临两大结构性固有缺陷。其一，RVQ 机制高度依赖训练阶段预设的离散码本级数，比特率的调节只能以跳跃式的离散台阶（例如按每增加一个码本增加若干 kbps）进行，无法实现真正连续或精细粒度的码率调整；同时，多阶段矢量量化普遍面临码本崩溃（Codebook Collapse）与码本利用率不均衡的问题，浪费了宝贵的表征容量。其二，逐帧独立的向量量化割裂了局部时域上的平滑演变与声学共振峰轨迹，未能在瓶颈层主动注入连续重叠声学基函数的结构先验。
针对“音频压缩是否必须依赖离散码本空间划分”这一基础理论问题，研究者开始探索可微连续信号分解路径。核心 idea：摒弃离散量化码本，将 3D 高斯泼溅适配为 1D 连续参数化基函数分解瓶颈，在端到端无量化训练下用局部加权高斯图元拟合音频潜特征，并借助轻量 GS 预测网络实现单步前向推理与极度灵活的免重训后量化率失真控制。
方法详解¶
整体框架¶
GS-Codec 的完整系统由波形编码器 \(E\)、1D 高斯泼溅（1D Gaussian Splatting）参数化瓶颈、波形解码器 \(D\) 以及用于加速推理的前向高斯预测网络（GS Predictor Net \(P\)）构成。输入波形 \(x \in \mathbb{R}^{1 \times L}\) 经过基于 SEANet 架构与 Snake 激活函数的卷积编码器下采样为连续潜张量 \(Z \in \mathbb{R}^{C \times T}\)（通道数 \(C=32\)，帧率 75 Hz）。在训练阶段，潜张量 \(Z\) 被送入内部优化循环（Inner Optimization Loop），利用 \(N_G\) 个连续 1D 高斯图元经梯度下降拟合其轮廓，解码器 \(D\) 则接收渲染出的潜张量 \(\hat{Z}\) 并反褶积重建时域波形 \(\hat{x}\)；整个编解码系统通过端到端波形多尺度频谱判别与重构损失联合优化，训练过程中完全没有离散量化器介入。在推理阶段，为规避内部循环梯度迭代的时间消耗，预训练冻结的高斯预测网络 \(P\) 接收 \(Z\) 并在单次前向传播中直接回归所有高斯图元参数，随后仅在传输前对图元参数执行轻量 \(k\)-means 标量后量化（PTQ）。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
A["输入音频波形 x<br/>24kHz / 16kHz 时域信号"] --> B["SEANet 编码器 E<br/>下采样至连续潜张量 Z (C=32, 75Hz)"]
B --> C["1D 高斯泼溅参数化瓶颈<br/>拟合 NG 个连续高斯图元参数"]
C -->|训练阶段: 100步内部优化循环| D["图元加权叠加渲染<br/>获得重构潜张量 Z^"]
C -.->|推理阶段: 单步前向回归| E["GS 预测网络与后量化<br/>轻量 Transformer 回归参数 + k-means PTQ"]
D --> F["直通估计与承诺损失<br/>Z^STE 与 Lcommit 约束编码器表征"]
E --> G["参数解量化与时域高斯渲染<br/>重构连续潜张量"]
F --> H["SEANet 转置卷积解码器 D<br/>多尺度时频对抗与感知重建"]
G --> H
H --> I["高质量重建音频波形 x^<br/>可变码率无伪影语音"]关键设计¶
1. 1D 高斯泼溅瓶颈：连续参数化基函数替代离散量化划分
传统 RVQ/FSQ 将连续特征向量硬性投影至最近的离散聚类中心，破坏了时间维度的连续平滑性。GS-Codec 引入一维高斯图元作为瓶颈处的可微基函数，将每个图元 \(i \in \{1, \dots, N_G\}\) 参数化为时域中心位置 \(\mu_i \in \mathbb{R}\)、跨通道共享的时域尺度 \(\sigma_i \in \mathbb{R}^+\) 以及每通道独立的幅度向量 \(w_i \in \mathbb{R}^C\)。在时域帧 \(t \in \{0, \dots, T-1\}\) 处，高斯基函数定义为 \(\phi(t; \mu_i, \sigma_i) = \exp\left(-\frac{(t-\mu_i)^2}{2\sigma_i^2}\right)\)。在通道 \(c\) 与帧 \(t\) 上的潜变量渲染近似值由所有高斯基函数线性加权叠加而成： $\(\hat{Z}_{c,t} = \sum_{i=1}^{N_G} w_{i,c} \, \phi(t; \mu_i, \sigma_i)\)$ 在训练的前向计算中，通过以潜特征均方误差为目标的内部优化循环更新图元参数 \(\Theta = \{\mu_i, \sigma_i, w_i\}_{i=1}^{N_G}\)： $\(\mathcal{L}_{\mathrm{inner}} = \frac{1}{CT} \|Z - \hat{Z}\|_F^2\)$ 在固定迭代步数 \(K=100\) 下利用 Adam 进行参数快速逼近。这一重叠分布的高斯基函数天然为时域声学轮廓注入了局部平滑结构先验，消除了离散码本崩溃隐患。
2. 免重训精细后量化与时域网格配置：解耦训练与比特率控制
在传统神经编解码器中，改变比特率通常需要重新训练模型或设计极其复杂的动态码本丢弃策略。GS-Codec 在端到端训练期间完全不加入量化操作，所有高斯图元保持浮点数优化；训练收敛后，直接在保留的验证集上统计高斯尺度 \(\sigma_i\) 与幅度 \(w_{i,c}\) 的经验分布，运行一维 \(k\)-means 算法分别生成包含 \(2^B\) 个聚类中心的离散标量量化码本（\(B\) 为量化位深）。对于图元中心位置 \(\mu_i\)，默认采用均匀固定时域网格（Frozen Positions）策略： $\(\mu_i = (i-1) \frac{T-1}{N_G-1}, \quad i \in \{1, \dots, N_G\}\)$ 此时位置信息完全确定且无需通过信道传输，每个音频切片（时长 \(T_{\mathrm{seg}}\) 秒）的理论比特率精确可控为： $\(\mathrm{BR}_{\mathrm{kbps}} = \frac{(C+1) \, N_G \, B}{T_{\mathrm{seg}} \times 1000}\)$ 当采用自由学习图元中心时，仅需额外为每个中心分配 \(B_\mu\) 比特传输开销。通过自由调节图元数量 \(N_G \in [50, 140]\) 与位深 \(B \in [3, 10]\)，单个训练好的权重冻结检查点便能以亚 kbps 级分辨率无缝覆盖 2.37 kbps 到 7.92 kbps 的连续比特率区间。
3. 前向 GS 预测网络：单次推理摊销内部优化循环延迟
尽管内部优化循环在训练时能够收敛出高质量的高斯拟合，但每次编码需执行数百步梯度迭代，会导致编码延迟高出传统编解码器数十倍（实时因子 RTF 约为 0.057），无法满足实际部署需求。为此，GS-Codec 引入了前向预测网络（GS Predictor Net \(P\)）。该网络由级联的膨胀一维卷积块与包含 4 层 Transformer 块的多头注意力交叉解码器（\(d_{\mathrm{model}}=128\), 4 头）组成，以 \(N_G\) 个可学习图元查询向量对编码器时序特征 \(Z\) 进行交叉注意力交互，末端通过三个独立线性头配合激活函数直接回归出各图元的尺度（Softplus）、每通道幅度与中心位置（Sigmoid 映射至时域范围）。在主干编解码器冻结后，仅使用泼溅重构惩罚损失 \(\mathcal{L}_{\mathrm{pred}} = \|\hat{Z}_{\mathrm{splat}} - Z\|_2^2\) 快速收敛。推理时，GS Predictor 完全取代内部优化循环，仅需 7.9 ms 即可完成 3 秒音频的参数回归（RTF 降至 0.0026），相较于 300 步梯度迭代的 171.2 ms 实现了近 22 倍的推理加速，使编码延迟与工业级基线 EnCodec、DAC 处于同一量级。
损失函数 / 训练策略¶
整个主干编解码器在端到端训练阶段融合了瓶颈特征对齐与波形生成感知约束。为使编码器输出 \(Z\) 主动适配高斯泼溅重建，引入瓶颈承诺损失（Commitment Loss）与直通估计（STE）： $\(\mathcal{L}_{\mathrm{commit}} = \|Z - \mathrm{sg}(\hat{Z})\|_2^2, \quad \hat{Z}_{\mathrm{STE}} = Z + \mathrm{sg}(\hat{Z} - Z)\)$ 其中 \(\mathrm{sg}(\cdot)\) 表示阻断梯度反向传播。波形生成端采用多尺度时频判别器结构，联合总损失为： $\(\mathcal{L} = \lambda_1 \mathcal{L}_{\mathrm{L1}} + \lambda_s \mathcal{L}_{\mathrm{msspec}} + \lambda_a \mathcal{L}_{\mathrm{adv}} + \lambda_f \mathcal{L}_{\mathrm{feat}} + \lambda_c \mathcal{L}_{\mathrm{commit}}\)$ 超参数设定为：\(\lambda_1=0.1\)，多尺度频谱损失 \(\lambda_s=2.0\)，对抗生成损失 \(\lambda_a=4.0\)，多尺度 STFT 特征匹配损失 \(\lambda_f=4.0\)，承诺损失权重 \(\lambda_c=20.0\)。优化器采用 Adam（\(\beta_1=0.5, \beta_2=0.9\)），学习率 \(10^{-4}\)，并引入指数移动平均（EMA，衰减率 0.99）与动态梯度平衡器稳定多任务对抗训练。
实验关键数据¶
主实验¶
在 Common Voice、LibriTTS 与 VCTK 构成的 2,339 小时 24 kHz 混合数据集上训练，并在 LibriTTS test-clean、test-other 及跨域 LJSpeech 上按照 WavTokenizer 评测协议进行全方位客观对比（宽带 WB-PESQ，主观语音质量 UTMOS，语音可懂度 STOI，清浊音分类 V/UV F1）。
| 测试集 | 模型 | 码率 (kbps) | 标记率 (tok/s) | UTMOS ↑ | WB-PESQ ↑ | STOI ↑ | V/UV F1 ↑ |
|---|---|---|---|---|---|---|---|
| LibriTTS clean | DAC (参考基线) | 9.0 | 900 | 3.910 | 3.908 | 0.970 | 0.978 |
| EnCodec | 6.0 | 600 | 3.040 | 2.720 | 0.939 | 0.953 | |
| Vocos | 6.0 | 600 | 3.695 | 2.807 | 0.943 | 0.944 | |
| SpeechTokenizer | 6.0 | 600 | 3.879 | 2.612 | 0.917 | 0.950 | |
| GS-Codec (Pred, frozen) | 5.94 | 990 | 4.076 | 3.289 | 0.970 | 0.956 | |
| GS-Codec (Iter, frozen) | 5.94 | 990 | 4.094 | 3.348 | 0.972 | 0.960 | |
| GS-Codec (Iter, unfrozen) | 6.24 | 1020 | 4.102 | 3.400 | 0.974 | 0.958 | |
| DAC | 4.0 | 400 | 3.433 | 2.738 | 0.928 | 0.957 | |
| HiFi-Codec | 4.0 | 300 | 3.904 | 3.012 | 0.945 | 0.958 | |
| GS-Codec (Pred, frozen) | 3.52 | 880 | 3.990 | 3.071 | 0.959 | 0.943 | |
| GS-Codec (Iter, unfrozen) | 3.79 | 907 | 4.026 | 3.177 | 0.966 | 0.953 | |
| WavTokenizer | 0.9 | 75 | 4.049 | 2.373 | 0.914 | 0.938 | |
| GS-Codec (Iter, unfrozen) | 2.84 | 680 | 3.847 | 2.825 | 0.951 | 0.940 | |
| LJSpeech (跨域) | EnCodec | 6.0 | 600 | 3.229 | 2.663 | 0.944 | 0.956 |
| Vocos | 6.0 | 600 | 4.033 | 2.926 | 0.950 | 0.946 | |
| SpeechTokenizer | 6.0 | 600 | 4.237 | 2.641 | 0.932 | 0.945 | |
| GS-Codec (Pred, frozen) | 5.94 | 990 | 4.346 | 3.205 | 0.970 | 0.952 | |
| GS-Codec (Iter, unfrozen) | 6.24 | 1020 | 4.372 | 3.356 | 0.975 | 0.944 |
在 LibriLight-Large (54,000h) 16kHz 数据集上进一步对比语音大模型下游关键指标（HuBERT 词错误率 WER 与 WavLM 说话人相似度 SIM）：在 ~6.0 kbps 码率下，GS-Codec 达到 2.19% WER 与 0.94 SIM，均超越 DAC-75Hz（2.27% WER, 0.90 SIM）和 EnCodec-75Hz（2.24% WER, 0.89 SIM）。
消融与分析实验¶
在统一 SEANet 主干网络（32 通道，64 基础滤波器）、相同损失函数与 LibriSpeech 评测集下严格对比不同瓶颈表征及基函数类型的性能：
| 实验组别 | 表征设计 / 瓶颈机制 | 比特率 (kbps) | 潜变量 NMSE ↓ | UTMOS ↑ | NB-PESQ ↑ | 说话人相似度 SIM ↑ |
|---|---|---|---|---|---|---|
| 相同主干瓶颈对比 | 残差向量量化 (RVQ, 8码本) | 6.00 | — | 3.94 ± .020 | 3.8 ± .011 | 0.93 ± .0013 |
| 有限标量量化 (FSQ, 32维) | 6.00 | — | 3.94 ± .019 | 3.8 ± .013 | 0.92 ± .0014 | |
| GS 预测网络 (GS Predictor) | 5.95 | — | 4.05 ± .017 | 3.8 ± .009 | 0.94 ± .0012 | |
| GS 迭代优化 (GS Iterative) | 5.95 | — | 4.07 ± .017 | 3.8 ± .009 | 0.94 ± .0012 | |
| 基函数类型对比 | 高斯基函数 (Gaussian, free) | 5.95 | 0.0259 | — | — | — |
| (匹配载荷 17,850 bits) | 三角基函数 (Triangular) | 5.95 | 0.0275 | — | — | — |
| 拉普拉斯基函数 (Laplacian) | 5.95 | 0.0295 | — | — | — | |
| 加博尔基函数 (Gabor) | 5.98 | 0.0303 | — | — | — | |
| 高斯固定网格 (Gaussian, grid) | 5.99 | 0.0317 | — | — | — | |
| 无分解：抽采样至102帧后量化 | 5.95 | 0.0496 | — | — | — | |
| 无分解：逐帧直接标量量化 | 6.00 | 0.0537 | — | — | — | |
| 推理速度 (NVIDIA L40S) | GS-Codec 迭代式 (300步) | — | — | — | RTF = 0.057 | 171.2 ms / 3s 音频 |
| GS-Pred 预测网络 (单步) | — | — | — | RTF = 0.0026 | 7.9 ms / 3s 音频 | |
| EnCodec 24kHz @ 6kbps | — | — | — | RTF = 0.0018 | 5.4 ms / 3s 音频 | |
| DAC 24kHz @ 6kbps | — | — | — | RTF = 0.0017 | 5.0 ms / 3s 音频 |
关键发现¶
- 参数分解优于空间网格划分：在严格相同的编码器/解码器主干与 6 kbps 码率约束下，GS-Codec 的主观感知质量 UTMOS 显著高出 RVQ 与 FSQ 达 0.11 点（4.05 vs. 3.94），且说话人相似度 SIM 达 0.94，展现出高斯基函数对连续语音时频轨迹更优的重构精度。
- 高斯基函数拟合效率最优：在相同比特载荷下，去掉分解机制（直接时域降采样或逐帧标量量化）会使潜特征归一化均方误差 NMSE 激增近一倍（从 0.0259 恶化到 0.0496-0.0537）；在各种连续核函数中，高斯核在声学特征逼近上优于三角核、拉普拉斯核与多参数 Gabor 核。
- 码率分配原则优先图元数量：固定总比特预算消融显示，将比特预算优先倾斜给高斯图元数量（如 120 图元配合 4 比特量化，UTMOS 3.953）远优于使用较少图元但追求高位深（如 40 图元配合 10 比特量化，UTMOS 仅 1.908）。表明高斯图元的时域覆盖容量是决定语音保真度的首要瓶颈。
亮点与洞察¶
- 跳出 VQ-VAE 码本量化思想框架：首次证明了神经网络音频编码无需显式划分特征向量空间，连续可微的高斯基函数拟合可以在无量化器的情况下端到端训练声学编解码系统，从根源上规避了 RVQ 固有的码本崩溃难题。
- 免重训的解耦后量化比特率控制：单次训练后即可通过调节图元数 \(N_G\) 与标量位深 \(B\) 自由组合码率，彻底打破了传统多码本编解码器只能按固定步长分档调速的工程痛点。
- 预测网络完美化解迭代拟合时延：借鉴 3DGS 在图形学前向回归中的思想，通过轻量级 Transformer 跨注意力机制将 100 步优化循环收敛为单步前向传播，以微弱的精度代价（UTMOS 仅降 0.02）换取了超过 20 倍的编码提速。
局限与展望¶
- 极端低码率表现受限：由于每个高斯图元均需分配 32 个通道的幅度值与 1 个尺度值，在低于 1.5 kbps 的超低码率区间下，图元数量受到严苛挤压，重构质量落后于专为语义压缩打造的单码本模型（如 WavTokenizer）。
- 长时上下文与非因果性约束：当前模型基于 3 秒完整切片进行双向非因果编码，尚不支持流式因果实时传输（Streaming/Causal），未来需探索滑动窗口局部泼溅或因果卷积架构。
- 图元表示跨模态扩展：目前实验主要集中在单声道语音领域，尚未验证多声道全频带音乐与复杂环境音效等更加高动态、密集瞬态音频上的泛化能力。
相关工作与启发¶
- vs EnCodec / DAC: 后者采用残差向量量化（RVQ）逐级学习离散码本，比特率调节依赖阶梯式离散码本丢弃；GS-Codec 采用连续高斯图元拟合潜特征，码率由图元数量与标量位深共同决定，支持单权重免训练精细后量化。
- vs FSQ (Finite Scalar Quantization): FSQ 在训练中使用固定标量网格和直通估计规避码本崩溃，但本质仍是逐帧独立量化；GS-Codec 引入时域重叠的连续高斯基函数，自底向上为局部声学时变结构提供了强归纳偏置。
- vs SIREN / 神经隐式音频压缩: 经典隐式神经场（INR）针对每段音频独立拟合完整的 MLP 权重，模型体积大且难以快速推断；GS-Codec 保留全局共享的卷积编解码骨干，仅在瓶颈层拟合解析高斯基函数，并设计了前向回归网络实现单步编码。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [首次将 1D 高斯泼溅作为音频编解码瓶颈，颠覆了统治该领域的码本划分范式]
- 实验充分度: ⭐⭐⭐⭐⭐ [详尽对比了 RVQ、FSQ 及多种基函数，涵盖多数据集、客观声学指标、大模型下游语义指标及主观 MUSHRA 听感]
- 写作质量: ⭐⭐⭐⭐⭐ [逻辑层层递进，从高斯分解、内部优化、前向预测网络到后量化推导严谨清晰]
- 价值: ⭐⭐⭐⭐⭐ [为神经音频编解码与多模态离散表征开辟了全新的连续参数化探索路径]