FlexiSLM: A Spoken Language Model with Dynamic and Controllable Frame Rates¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/AmphionTeam/FlexiSLM
领域: 语音与音频处理
关键词: Spoken Language Model, Dynamic Frame Rate, Frame Merging, Direct Frame-Rate Conditioning, Thinker-Talker
一句话总结¶
FlexiSLM 是首个实现动态且可控帧率的语音大语言模型,通过输入端与输出端自适应帧合并以及基于正弦编码的直接目标帧率条件控制,在无需重训的情况下支持 \(\le 12.5\text{ Hz}\)(包括 \(12.5\text{ Hz}\)、\(6.25\text{ Hz}\) 直至 \(4.0\text{ Hz}\))的任意平均帧率推理,在 \(6.25\text{ Hz}\) 下以仅约一半的推理耗时达到甚至超越固定帧率 7B 模型的语音问答水准。
研究背景与动机¶
语音大语言模型(Spoken Language Models, SLMs)通过将文本大语言模型(LLM)的自回归建模能力扩展至语音输入与语音输出,实现了端到端语音对话、语音识别(ASR)、语音合成(TTS)以及通用音频理解的统一建模。然而,现有的主流 SLM 系统(如采用 25 Hz 离散单元的 Qwen2.5-Omni 或 12.5 Hz 并行表征的 Kimi-Audio)普遍采用固定的时间帧率来表征语音序列。语音信号在时间维度上的信息密度是高度非均匀分布的,静音段、稳态元音与信息密集度极高的音素辅音变化差异巨大。固定帧率建模不仅在大量静音段和低信息量语音片段上浪费宝贵的自回归计算资源,更关键的是完全剥夺了模型在部署时根据不同硬件设备、网络带宽与延时预算灵活平衡质量与速度的自由度。
近期虽然涌现了诸如 FlexiCodec、CodecSlime 和 VARSTok 等动态帧率神经音频编解码器,证明了通过相似度自适应帧合并可以在极低平均帧率下保持高保真音频重建,但这些技术一直局限于独立的音频编码或纯 TTS 任务(且多数仅在 0.3B 等小规模模型上验证)。将动态帧率表征直接引入参数量达数个十亿、任务复杂度涵盖全双工多模态多任务交互的端到端语音大模型面临更深层次的系统性挑战:一方面,动态帧合并使得序列长度在时间上变得不可控,传统的离散化单元在不同句子、不同领域的统计分布漂移会导致生成目标高度模糊;另一方面,若通过调节帧合并阈值来间接改变帧率,会带来严重的高方差与一对多映射,使得系统难以向服务端提供确定的实时率(RTF)与计算预算保障。
为了打破固定帧率对计算效率的束缚并实现部署友好的确定性延时控制,本文将动态帧率编解码与端到端多任务 SLM 系统深度融合,在输入端通过新训练的帧合并模块压缩上游连续表征,在输出端复用预训练的 FlexiCodec 离散语义单元,并提出基于目标平均帧率的显式正弦条件注入机制。核心 idea:构建端到端双端动态帧率语音大模型,在输入端与输出端同步引入基于语义余弦相似度的自适应帧合并机制,并通过直接目标帧率正弦条件编码解耦质量与速度的推理控制,实现单一模型在无需微调的前提下在 12.5 Hz 到 4.0 Hz 连续区间内的精确帧率调度与极速语音交互。
方法详解¶
整体框架¶
FlexiSLM 采用并行的 Speech-Text Thinker-Talker 架构,整体工作流涵盖输入语音连续表征提取、输入端自适应帧压缩、Thinker LLM 文本与高层推理、Talker Transformer 双流动态离散单元预测,以及流匹配(Flow-Matching)非自回归音频重构。用户输入的连续音频首先由 640M 参数的音频编码器抽取为 25 Hz 连续特征;随后输入端帧合并模块(Frame Merging Module)通过计算相邻帧余弦相似度并结合轻量局部注意力 Transformer,将序列自适应降采样为 \(\le 12.5\text{ Hz}\) 的动态表征;Thinker LLM(基于 Qwen2.5-7B-Instruct 初始化)接收该动态表征并生成文本响应;接着,Talker Transformer(630M 参数)接收 Thinker 隐藏状态、预设目标帧率正弦编码以及上一时刻生成的语音表征,自回归双流并行预测 FlexiCodec 的有限标量量化(FSQ)语义离散单元及其对应的帧持续长度;最后,预训练的流匹配音频解码器与 Vocos 声码器将重复展开的 12.5 Hz 特征上采样并合成为 24 kHz 高保真波形。模型还包含可选的 Talker-to-Thinker 反馈连接,用于跨轮次与全双工感知。
整个数据与处理流程如下所示:
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["用户语音输入<br/>Raw Audio (16/24 kHz)"] --> B["音频编码器 (Qwen2.5-Omni)<br/>提取 25 Hz 连续声学特征"]
B --> C["输入端自适应帧合并模块<br/>动态压缩至 <=12.5 Hz 连续表征"]
C --> D["Thinker LLM 主干 (Qwen2.5-7B)<br/>跨模态理解与文本隐状态推理"]
D --> E["直接目标帧率条件控制<br/>注入目标平均帧率正弦位置编码"]
E --> F["Talker Transformer 双流预测<br/>并行生成 FSQ 语义离散单元与帧长度"]
F --> G["流匹配音频解码器 & Vocos<br/>按帧长展开并合成 24 kHz 语音"]
F -.->|"Stage 3 全参微调激活"| D
关键设计¶
1. 输入端自适应帧合并模块:解决冗余帧开销与端到端动态表征对齐问题
针对传统音频编码器输出的 25 Hz 稠密特征包含大量时间冗余且加剧 LLM 序列开销的痛点,FlexiSLM 在输入端设计了独立的帧合并模块(与输出端共享机制但独立初始化参数)。对于连续特征序列 \(x_1, x_2, \dots, x_T\),模块首先自左向右贪婪计算相邻特征的余弦相似度 \(s_t = \frac{x_t \cdot x_{t+1}}{\|x_t\| \|x_{t+1}\|}\)。若 \(s_t\) 超过设定的相似度阈值 \(\tau\),则判定两帧包含重叠信息并对其向量进行池化均值化,将连续的高相似度片段聚合为单个表征 \(\bar{x}_k\),同时记录对应的帧长度属性 \(l_k\)。为了避免粗暴均值池化破坏时序特征流形的平滑性与语义结构,模块将原始特征与合并后特征交织构成增强序列,送入一个具备局部注意力(Local Attention)机制的轻量 Merging Transformer(20M 参数)中进行上下文重对齐与重构,最终检索对应合并位置的表征输出给 Thinker LLM。消融实验证实,省去该 Merging Transformer 会导致 LibriSpeech ASR test-other WER 从 7.20% 剧烈恶化至 12.33%,证明该结构对吸收动态压缩形变至关重要。
2. Talker Transformer 双流预测:解决动态帧长自回归生成与多流时序对齐痛点
在动态帧率输出场景下,语音序列中的每个离散 token 不仅代表某种语音内容,还具有不固定的物理持续时间。若将语音离散单元与持续时长串行化生成,会导致自回归长度急剧扩张。FlexiSLM 的 Talker Transformer 采用并行双头预测架构:一个输出头预测 FlexiCodec 的 FSQ 语义离散 token(共一级标量量化编码),另一个输出头同步预测该 token 所代表的原始帧长度 \(l_k\)(例如长度为 1、2 或 3 等)。在输入侧,Talker 将当前步的 Thinker 最后一层隐状态、目标帧率正弦编码、以及上一时间步发射的语音编码嵌入与帧长度嵌入拼接后统一映射输入。为了确保因果文本生成能够有效指导语音声学合成,Talker 的 FSQ 语音输出流相对文本流引入了 5 个 token 的微小延迟(Token Delay)以提供充足的前瞻信息(Lookahead),防止出现“语音早于文本生成”的时序倒错;同时帧长度预测流相对于 FSQ 语音流额外延迟 1 个位置,使得模型在已知该位置音素语义内容的前提下自回归预测持续时长。
3. 直接目标帧率条件控制:消除间接阈值控制的不确定性与分布模糊
以往动态帧率工作(如 FlexiCodec-TTS)主要通过在推理时调节帧合并阈值 \(\tau\) 来被动改变平均帧率。但阈值与最终帧率之间呈现高度非线性的数据依赖性,相同阈值在不同语速、停顿比例或语义场景下的实际生成帧率波动极大(例如目标约 8 Hz 时,单句实际帧率在 3.91 至 10.74 Hz 间震荡,标准差达 0.70),这为工业级实时交互带来了不可控的计算延时风险。FlexiSLM 提出直接目标帧率条件控制(Direct Frame-Rate Conditioning):在训练阶段,模型随机采样合并阈值并精确统计该音频对应的真实经验平均帧率 \(r = \frac{\text{总合并后帧数}}{\text{音频总时长(秒)}}\);随后利用类 Transformer 正弦位置编码将标量 \(r\) 映射为高维条件嵌入向量: $\(PE(r) = [\sin(r\omega_1), \cos(r\omega_1), \dots, \sin(r\omega_d), \cos(r\omega_d)]\)$ 其中频率基底 \(\omega_i = 10000^{-2i/d}\)。该连续正弦表征被恒定加权注入至 Talker 输入序列的每一帧中。在推理时,用户或调度系统只需显式输入一个标量帧率(如 6.25 Hz 或 4.0 Hz),模型即能以低于 0.1 Hz 的极高精度(标准差降至 0.03~0.06)严格收敛至目标帧率,将不确定的被动压缩转换为主动确定的算力分配。
4. 渐进式三阶段训练与 Talker-to-Thinker 反馈:释放双向时序感知能力
为了稳健地训练兼具文本推理与动态语音生成的 7B 系统,本文设计了严格解耦的三阶段训练流:Stage 1 冻结 LLM 主干,仅在约 10 万小时开源高质量 TTS 音频(Emilia 与 MLS)上从零预训练 630M 的 Talker Transformer,使其掌握文本隐状态到动态语音单元的先验映射;Stage 2 激活输入端帧合并模块、Thinker(施加秩 \(r=32\)、缩放 \(\alpha=64\) 的 LoRA 适配)与 Talker,在包含 140 万条自制高质量语音对话数据 FlexiSLM-Data 及 TTS、ASR、音频理解多任务混合集上联合多任务微调;Stage 3 将 LoRA 权重融回基础模型进行全参数微调,并正式激活 Talker-to-Thinker 反馈连接。该反馈连接将上一时刻 Talker 发射的语音嵌入与帧长表征投射回 Thinker LLM 主干,赋予 Thinker 显式获知已播报语音声学细节的能力。消融研究揭示,若在 Stage 2 的 LoRA 阶段过早激活该反馈环路,有限的参数容量会导致部分训练好的 Talker 与未充分对齐的主干之间产生破坏性反馈震荡;唯有在 Stage 3 全参数微调下开启,才能平稳提升全帧率表现与低帧率鲁棒性。
损失函数 / 训练策略¶
模型采用端到端多任务加权交叉熵损失进行联合优化,总损失函数定义为: $\(\mathcal{L} = \lambda_{\text{text}} \mathcal{L}_{\text{text}} + \lambda_{\text{speech}} \mathcal{L}_{\text{speech}} + \lambda_{\text{speech\_len}} \mathcal{L}_{\text{speech\_len}}\)$ 其中 \(\mathcal{L}_{\text{text}}\) 为 Thinker 生成响应文本的自回归交叉熵,\(\mathcal{L}_{\text{speech}}\) 为 Talker 预测 FlexiCodec FSQ 离散 token 的交叉熵,\(\mathcal{L}_{\text{speech\_len}}\) 为 Talker 预测帧长度类别的交叉熵。在超参数配置上,权重固定为 \(\lambda_{\text{text}} = 2\),\(\lambda_{\text{speech}} = 1\),\(\lambda_{\text{speech\_len}} = 1\)。对于纯文本或无需语音输出的数据样本,语音相关损失项置 0。在训练期间,输入帧率目标从均匀分布 \(\mathcal{U}(4, 12.5)\text{ Hz}\) 中随机采样,输出侧 FlexiCodec 合并阈值 \(\tau\) 从 \(\mathcal{U}(0.85, 1.0)\) 中采样以覆盖多速率场景。全流程在 24 张 NVIDIA A100 (80GB) GPU 上运行,优化器采用 AdamW,辅以 5% 线性预热及余弦学习率衰减。
实验关键数据¶
主实验¶
论文使用 Kimi-Audio-Evalkit 评测框架,采用 GPT-5.5 作为裁判模型,涵盖 OpenAudioBench(含 Llama Q、Web Q、TriviaQA 等)与 VoiceBench(含 Alpaca、Common、IFEval、SD-QA、AdvBench)语音对话基准,以及 LibriSpeech ASR 测试集。
下表摘录了 FlexiSLM-7B 在不同输入/输出帧率配置下与代表性大尺寸及同量级 7B 模型的端到端语音交互表现对比:
| 模型 | 输入 FR (Hz) | 输出 FR (Hz) | OpenAudioBench ACC (s2t/s2s) | VoiceBench IFEval (s2t/s2s) | Overall AVG (s2t/s2s) | LibriSpeech clean (WER↓) | LibriSpeech other (WER↓) |
|---|---|---|---|---|---|---|---|
| >7B 模型 | |||||||
| Qwen3-Omni-30B-A3B | 12.5 | 12.5 | 82 / 72 | 3.86 / 2.60 | 76.5 / 69.7 | 1.44 | 2.82 |
| GLM-4-Voice-9B | 12.5 | 12.5 | 76 / 62 | 2.32 / 1.97 | 61.1 / 55.2 | 2.82 | 7.66 |
| Fun-Audio-Chat-8B | 5.0 | 5.0 | 80 / 74 | 3.81 / 2.55 | 74.5 / 67.3 | - | - |
| 7B 级固定帧率 baseline | |||||||
| Qwen2-Audio-7B | 25 | - | 68 / - | 2.25 / - | 54.9 / - | 1.74 | 4.04 |
| Mimo-Audio-7B | 6.25 | 6.25 | 79 / 71 | 3.24 / 2.12 | 70.6 / 59.0 | - | - |
| Kimi-Audio-7B | 12.5 | 12.5 | 79 / 69 | 3.26 / 2.11 | 69.7 / 57.2 | 1.80 | 2.45 |
| Qwen2.5-Omni-7B | 25 | 50 | 76 / 72 | 2.68 / 2.12 | 66.7 / 63.3 | 2.38 | 4.21 |
| FlexiSLM-7B-Stage3 (本文) | |||||||
| FlexiSLM-7B (12.5/12.5) | 12.5 | 12.5 | 80 / 75 | 3.22 / 2.33 | 72.4 / 67.2 | 1.98 | 5.79 |
| FlexiSLM-7B (12.5/6.25) | 12.5 | 6.25 | 80 / 74 | 3.22 / 2.26 | 72.3 / 66.2 | 1.98 | 5.79 |
| FlexiSLM-7B (6.25/6.25) | 6.25 | 6.25 | 78 / 71 | 3.11 / 2.21 | 70.2 / 64.3 | 2.55 | 6.37 |
| FlexiSLM-7B (5.0/5.0) | 5.0 | 5.0 | 77 / 67 | 3.14 / 2.09 | 69.0 / 60.4 | 3.34 | 7.85 |
| FlexiSLM-7B (4.0/4.0) | 4.0 | 4.0 | 75 / 64 | 2.94 / 1.85 | 67.2 / 56.5 | 4.47 | 9.53 |
在推理效率方面(单张 A100,OpenAudioBench 子集 30 次运行平均,输入音频平均时长 7.7 秒): - 全响应实时率(RTF):Qwen2.5-Omni-7B 为 1.57;FlexiSLM 在 12.5/12.5 Hz 配置下 RTF 为 1.17(提速 1.3 倍,计算量从 5.26 降至 4.57 TFLOPs);当输出帧率切换至 6.25 Hz 时,RTF 锐降至 0.59(12.5 Hz 输入)与 0.57(6.25 Hz 输入),提速比达 2.7 倍,计算量低至 2.73 TFLOPs。 - 首包 1 秒音频延时(First 1s-Chunk Latency):从 12.5 Hz 输出的 1.62 秒下降到 6.25 Hz 输出的 1.21 秒(提速 25%)。
消融实验¶
为验证动态帧率与直接帧率条件机制的有效性,作者在统一的 8 卡 160K 步 Stage 2 训练配置下(以 6.25 Hz 输入 / 6.25 Hz 输出评测)进行消融对比:
| 模型配置 | OAB+VB AVG (s2t / s2s) ↑ | LibriSpeech clean (WER↓) | LibriSpeech other (WER↓) | LibriSpeech-PC TTS (WER↓) |
|---|---|---|---|---|
| FlexiSLM-Stage 2 Baseline | 68.7 / 63.0 | 2.92 | 7.20 | 3.11 |
| w/o dynamic output FR (均匀合并 2 帧) | 67.7 / 61.0 | 3.14 | 7.67 | 4.95 |
| w/o dynamic input FR (均匀合并 2 帧) | 67.5 / 62.9 | 2.97 | 7.97 | 3.12 |
| w/ threshold-controlled output FR (基于阈值控制) | 68.2 / 61.7 | 2.96 | 7.24 | 3.53 |
| w/o input Merging Transformer | 65.7 / 60.1 | 6.45 | 12.33 | 3.66 |
| Activate Talker-to-Thinker link in Stage 2 (LoRA) | 60.5 / 55.9 | 7.75 | 12.67 | 3.15 |
关键发现¶
- 输出端动态帧合并对低帧率语音质量保护至关重要:当将自适应帧合并替换为机械式的 2 帧均匀合并(同为 6.25 Hz)时,TTS WER 暴增 59%(从 3.11% 飙升至 4.95%),s2s 综合得分下滑 2.0 分,这证明保留信息高密音素的时间分辨率、仅压缩平坦冗余帧对于自回归语音建模不可或缺。
- 直接帧率控制显著优于间接阈值控制:直接使用正弦编码注入帧率条件相比阈值控制不仅使 s2s 得分从 61.7 提升至 63.0,更重要的是消除了巨大的帧率方差。在目标 6.25 Hz 下,直接控制将各数据集生成帧率严格稳定在 \(6.24 \sim 6.25\text{ Hz}\)(标准差 \(\sigma \le 0.06\)),而阈值控制在 \(\tau=0.86\) 时输出在 \(3.43 \sim 8.86\text{ Hz}\) 之间剧烈摆动(\(\sigma \approx 0.6\))。
- 极低帧率瓶颈在于帧长预测:在 4.0 Hz 极端低帧率下,模型离散音频 token 预测损失依然保持在 3.59 的稳定水平,但帧长度预测的 Top-1 准确率由 12.5 Hz 的 100% 暴跌至 19%,说明极低帧率下的性能衰退主要源于长音程下的持续时间建模难度,而非语义分类崩溃。
- 任务对压缩的敏感度分化明显:对于全局音频分类任务(如 LLaSO-Eval 中的情绪、乐器、声学场景识别),即使将输入帧率压缩至 4.0 Hz,准确率依然维持在 64.1%(12.5 Hz 为 65.8%);而对于依赖微观音素时序对齐的 ASR 任务,4.0 Hz 下 LibriSpeech other WER 从 5.79% 恶化至 9.53%。
亮点与洞察¶
- 多速率推理无需多套权重:传统多模型适配方案需要为不同端侧算力部署不同帧率的专用模型,FlexiSLM 通过单套模型和连续正弦位置编码,将帧率参数化为推理运行时的连续控制旋钮,极大地简化了部署基础设施。
- 首创输入输出双端动态压缩闭环:不仅在语音生成端实现了可变帧长,还在输入端设计了带局部注意力的 Merging Transformer 动态适配器,使 7B LLM 主干能同时承受输入和输出两端在时间序列维度上的剧烈伸缩。
- 对全双工交互范式的启示:Talker-to-Thinker 反馈连接将模型自己刚刚说出的话重新投射给 Thinker,使得模型具备了显式的自我声学感知,这一机制为未来兼具可变帧率与流式打断/双工对话的统一交互模型铺平了道路。
局限与展望¶
- 当前仍为非流式架构:目前的帧合并模块依赖全局前后帧余弦比对,且音频解码器采用整段流匹配,无法做到真正的因果流式边听边说;将合并机制和解码器改造成分块(Chunk-based)或因果流水线是实现毫秒级端侧对话的关键。
- 极低帧率下音质与韵律退化:在 5.0 Hz 和 4.0 Hz 激进压缩点,尽管语义理解尚可,但主观听感评测(MOS)显示自然度与保真度显著下滑,长 token 的时长与微观韵律建模仍需突破。
- 缺乏强化学习后训练对齐:当前模型完全依赖监督微调(SFT)与蒸馏(FlexiSLM-Data),尚未引入诸如 DPO 或面向口语对话自然度、韵律、轮次接管的专属奖励模型进行 RLHF 强化。
相关工作与启发¶
- vs Qwen2.5-Omni / Kimi-Audio: 现有开源顶尖 SLM 均采用固定时间步长(Qwen2.5-Omni 为 25 Hz 输入 / 50 Hz 输出,Kimi-Audio 为 12.5 Hz 输入输出)。FlexiSLM 在 12.5 Hz 满帧率下性能全面超越同量级基线,且支持在 6.25 Hz 下以仅其一部分计算开销达到同等问答能力。
- vs FlexiCodec-TTS: FlexiCodec 初步提出了帧合并与阈值控制,但局限于 0.3B 的独立 TTS 系统;FlexiSLM 解决了 SLM 体系下端到端多任务对齐难题,并用直接帧率正弦条件彻底根除了阈值控制的预测模糊与高方差问题。
- vs Mimo-Audio / Fun-Audio-Chat (Patching 机制): Mimo-Audio 和 Fun-Audio-Chat 采用静态的 token patching(即固定将每 2 帧或更多帧拼成一组)来实现等效 6.25 Hz 或 5.0 Hz。FlexiSLM 的动态合并更契合语音信息分布的非均匀本质,且具备连续动态可调性,两者在未来具有高度互补的结合空间。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将动态帧率与可控帧率技术引入端到端多任务语音大语言模型,并提出了直接正弦帧率条件控制机制。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 OpenAudioBench、VoiceBench、ASR、TTS、音频理解、主观 MOS 听测及数据去重去污染全面验证。
- 写作质量: ⭐⭐⭐⭐⭐ 架构逻辑严谨清晰,系统设计动机与实验权衡剖析透彻。
- 价值: ⭐⭐⭐⭐⭐ 推动了低算力、异构设备端侧语音大模型的部署演进,为云端弹性负载与端侧低延时交互提供了行之有效的架构范式。