MGM-Omni: Scaling Omni LLMs to Personalized Long-Horizon Speech¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/dvlab-research/MGM-Omni
领域: 音频/语音
关键词: 全模态理解、长语音生成、分块并行解码、零样本声音克隆、音色一致性

一句话总结¶

MGM-Omni 将多模态理解与语音合成拆成脑口双轨，用双音频编码器增强理解、分块并行解码稳定长语音生成，在自建 Long-TTS-Eval 上以 2B SpeechLM 达到英文 WER 4.98% 和 RTF 0.19，并支持参考音色控制。

研究背景与动机¶

全模态模型不仅要听懂输入，还要把图像、视频或语音问题的回答流畅地说出来。把文本模型连接到一个短句 TTS 系统可以完成基本交互，但长篇讲解的难点不同：文本推进得快，声音必须逐帧展开；生成越久，文字与对应声音之间的距离越大，跳读、重复或音色漂移就越容易积累。单纯延长上下文，并不能自动解决这种跨模态时间尺度差异。

本文使用的 CosyVoice2 语音 tokenizer 每秒产生 25 个离散 token，而日常说话通常只有每秒两三个词。词数不等于文本 token 数，但足以说明两种序列的速率明显不匹配。如果让负责理解的模型跟随每一个声学 token 的节奏，既拖慢文本回答，也给长序列对齐增加负担。另一方面，听懂超过一小时的音频还要求模型同时保留语言内容与一般声学线索，不能只把声音看成待转写的文字。

MGM-Omni 因而同时改造输入端与输出端：输入端融合侧重一般音频与侧重语音识别的表示；输出端保留独立文本轨道，让 SpeechLM 在较短的局部对齐范围内合成声音，并保留历史上下文。核心 idea：不要让文字与声音在整段长序列中越走越远，而是用保留历史的分块约束局部对应关系，再并行预测多个声学 token 缩小生成速率差。

方法详解¶

整体框架¶

输入可以是文本、图像、视频和音频，输出是文本及其语音表达，而不是任意模态的生成。理解模型以 Qwen2.5-VL 为基础，增加双音频编码器及信息挖掘模块；它产生的文本 token 随后交给独立的 SpeechLM。SpeechLM 还接收参考语音，通过分块并行解码产生离散语音 token，最后由流匹配模型和 HiFi-GAN 声码器生成波形。

这里的“脑口双轨”是两套模型之间的 token 接口，不是先等待全文写完才开始朗读。理解模型负责回答内容，SpeechLM 负责声学展开；两者分别训练，各自都有两个阶段。下图实线表示推理数据流，虚线只表示训练监督，不意味着部署时还需要训练语料。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Audio["输入音频"] --> Mining["双音频信息挖掘"]
    Mining --> Tracks["脑口双轨接口"]
    Other["文本、图像、视频"] --> Tracks
    Tracks --> Chunk["保留历史的分块解码"]
    Chunk --> Parallel["多语音 token 并行预测"]
    Reference["参考语音"] --> Parallel
    Parallel --> Wave["流匹配与声码器<br/>输出语音"]
    Understanding["转写与多模态问答监督"] -.-> Tracks
    Synthesis["文本与语音配对监督"] -.-> Parallel

关键设计¶

1. 双音频信息挖掘：让一般声学特征主动读取语言线索

主编码器来自 Qwen2-Audio，基于 Whisper-large-v3 持续训练，承担一般声音感知；辅助编码器 Belle-Whisper-large-v3 更侧重中英语音识别。两者不是把同一种特征简单复制两遍：主分支要保留超出文字转写的声学信息，辅助分支则补充更细的语言内容。模型让主特征作为 query、辅助特征作为 key 和 value，检索有用的语义线索，再与主特征结合并通过 MLP，得到可送入语言模型的音频 token。

这种非对称融合的意义是保留一般音频表示的主导地位，同时允许其按需要读取识别型表示。只用辅助编码器并不一定更适合语音任务，原文 CommonVoice 消融中它反而更差；真正的收益来自互补融合。长音频训练另采用按长度分组与动态 batch size：长样本使用较小批量避免显存溢出，短样本使用较大批量提高利用率。这是让不同长度共同训练的调度方法，不应误读为额外的记忆检索模块或新的上下文压缩算法。

2. 脑口双轨接口：把回答内容与声学展开分开控制

“脑”继承 Qwen2.5-VL 的图像与视频编码能力，并把新增音频 token 纳入多模态理解；“口”以 Qwen3 为初始化，输出端接上由 6 个随机初始化 Qwen3 blocks 组成的 TTS-Adapter。前者的 7B/32B 规模与后者的 0.6B/2B/4B 规模是不同组件的规格，不能把表中的 MGM-Omni-TTS-2B 当作整个全模态系统只有 2B 参数。

文本 token 是接口的关键：SpeechLM 以脑生成的文字为条件，同时用参考语音建立目标音色，不需要为每个新说话人重新微调。它生成的是 CosyVoice2 有限标量量化（FSQ）token，而不是波形；后续使用 CosyVoice2 的分块感知流匹配模型转换为 Mel 频谱，再由 HiFi-GAN 合成声音。这样既复用成熟的流式声学后端，也让理解端不必按每秒 25 个声学 token 的频率重复承担视觉推理。

3. 保留历史的分块解码：限制局部对齐距离而不切断上下文

来自理解模型的文字先进入缓冲区。当检测到句末且缓冲区超过 50 个文本 token 时形成一个块；如果超过 150 个 token，即使没有合适的句末也强制分块。句末由句号、问号、感叹号和换行检测，每块通常对应约 20–40 秒语音。这里的 50 与 150 是 token 数，不是字数，更不是固定秒数，因此不同语言与语速下的块时长可以变化。

块内还使用延迟对齐：在最初 4 个文本 token 对应的语音位置填入 padding，随后才启动语音预测，让合成端先看到少量文字上下文。块与块之间不是独立 TTS 请求，先前生成的文字和声音都继续作为条件，参考音色也持续约束生成。这同时处理两个问题：每块内文字与声学序列不再无限拉开，跨块又不会因彻底重置而失去语气和音色连续性。保留历史也意味着其开销不能直接宣称与总时长无关。

4. 多语音 token 并行预测：一次模型步展开多个声学位置

每个解码步组合一个文本 token 与若干语音 token 的嵌入，取其平均作为模型输入表示；输出隐状态经过 TTS-Adapter 和预测头，一次产生下一组语音 token。默认并行数为 4，因此模型步数不再必须等于声学 token 总数。它与分块的作用不同：分块主要约束长距离对齐，并行主要减少声学展开所需的串行步骤，同时进一步缩小两条轨道的速率差。

作者强调，这里在 FSQ 表示上并行预测，而不是仅沿用残差向量量化（RVQ）多码本的常见并行方式。一次预测更多位置并不保证无损，原文消融显示并行数从 1 增至 4 时短语音错误率略升，但 RTF 从 0.57 降至 0.19。缓存中的词表大小、嵌入及注意力公式存在排版损坏，故这里只陈述原文可读文字明确支持的操作，不把推测修复的等式当成作者定义。

一个完整示例¶

设用户要求模型根据一段视频写出较长的讲解，并提供一小段已获授权的参考声音。理解模型处理视频与指令后持续输出文字，SpeechLM 把这些文字放入缓冲区；参考声音只规定说话者音色，不负责提供讲解内容。

假设遇到句末时缓冲区已有 60 个文本 token，便形成第一块；若一直没有句末，则在超过 150 个 token 时强制切块。第一块先让前 4 个文字位置领先声音，再以每步 4 个语音 token 生成声学序列，由后端逐块还原为波形。这些数字是对分块规则的示意，不是新增实验结果。

第二块到来时，模型不会清空第一块的文字与声音历史，因此后续内容仍在同一段叙述和同一参考音色下继续。其目标是连续长篇讲解，而不是多个相互独立短句的拼接；论文尚未支持可以随时打断并同时听说的全双工交互。

损失函数 / 训练策略¶

理解端先用音频转写数据进行音频到文本对齐，再混合转写、音频问答、语音指令视觉问答和文本指令数据进行统一全模态训练。两个阶段均使用 LoRA。长度分组与动态批量服务于这条训练路径，使同一个模型同时接触短音频与长音频。

语音端使用下一语音 token 预测目标。预训练冻结已有 Qwen3 参数，只更新随机初始化的 TTS-Adapter，让新增语音表示先对齐文本；后训练联合更新两者，但 Adapter 学习率为基础 LLM 的 5 倍。这种安排避免一开始就让随机声学模块大幅扰动语言模型，并在后期释放适应流畅合成的能力。

语音数据约 400k 小时，其中约 300k 小时为公开原始语音、约 100k 小时为中英合成语音。合成部分从 Belle-10M 与 Lamini-Instruct 按长度采样 900k 中文及 700k 英文对话，用 Qwen2.5-72B 重写回答，再用 megatts3 配合随机参考声音合成；后训练主要使用高保真合成语音，辅以较少原始语音。正文对总量使用过“over”“around”“under 400k”等不同措辞，因此宜理解为近似规模，不能据此给出精确数据效率倍数。

实验关键数据¶

主实验¶

Long-TTS-Eval 的 long 子集含 360 个英文和 356 个中文样本，覆盖文学、新闻、知识、演讲、评论和论文；hard 子集含 262 个英文和 265 个中文样本，测试 URL、邮箱、电话号码、大数与公式等难读文本。英文用词错误率 WER、中文用字错误率 CER，均越低越好；评测分别对原始参考与 GPT-5 规范化参考计算错误率，取较小值，不能直接等同于只用单一参考的结果。

下表摘自原文表 6b。RTF 是生成耗时与生成语音时长之比，越低越快；论文速度测试采用 Long-TTS-Eval 子集，第 4.3 节说明并行消融使用单张 H800 与中英各 16 个样本，不能把这一硬件条件下的吞吐率直接视为首包延迟。

模型	语音模型规模	RTF ↓	long EN WER (%) ↓	long ZH CER (%) ↓	hard EN WER (%) ↓	hard ZH CER (%) ↓
CosyVoice2（分块模式）	0.5B	0.34	14.80	5.27	42.48	32.76
MOSS-TTSD-v0.5	2B	0.23	8.69	6.82	62.61	62.97
Higgs-Audio-v2	6B	0.33	27.09	31.39	98.61	98.85
MGM-Omni-TTS-2B	2B	0.19	4.98	5.58	26.26	23.58

MGM-Omni 在该表的大多数条件下占优，但普通中文 long 子集的 CER 不及 CosyVoice2 的 5.27%。比较模型的规模和训练语料不同，这是系统级结果，不是相同训练预算下的受控比较。

原文表 6c 将每段长语音切成 30 秒片段，计算各片段与参考声音的说话人相似度，报告均值和标准差；高均值表示更接近参考音色，低标准差表示跨片段更稳定。

模型	EN SIM (%) ↑	EN 标准差 ↓	ZH SIM (%) ↑	ZH 标准差 ↓
CosyVoice2	83.88	1.74	92.23	1.82
MOSS-TTSD-v0.5	80.68	3.60	88.93	2.23
MGM-Omni-TTS-2B	84.66	1.63	94.32	0.97

消融实验¶

原文表 7 的三个子表使用不同任务，必须分组阅读。音频编码器在 CommonVoice 上评估，且训练未使用最终模型的长音频 QA 数据；并行质量在 Seed-TTS-Eval 上评估，速度在上述 H800 子集上测量；分块质量在 Long-TTS-Eval 上评估。

消融与数据条件	配置	EN WER (%) ↓	ZH CER (%) ↓	RTF ↓
CommonVoice，表 7a	Qwen2-Audio 编码器	13.0	3.9	不报告
CommonVoice，表 7a	Belle-Whisper 编码器	21.7	5.0	不报告
CommonVoice，表 7a	双编码器信息挖掘	9.1	3.5	不报告
Seed-TTS-Eval + 速度子集，表 7b	并行数 1	1.86	1.15	0.57
Seed-TTS-Eval + 速度子集，表 7b	并行数 2	2.02	1.23	0.32
Seed-TTS-Eval + 速度子集，表 7b	并行数 4	2.28	1.28	0.19
Long-TTS-Eval，表 7c	无分块	31.84	8.97	不报告
Long-TTS-Eval，表 7c	有分块	4.98	5.64	不报告

表 7c 的有分块中文 CER 为 5.64%，与表 6b 的 5.58% 不一致；原文未在正文解释差异，本笔记不将其擅自统一。删除分块对英文的影响远大于并行数调整，但二者评估数据集不同，不能用两个差值直接排列所有模块的重要性。

关键发现¶

长音频理解的图 5 在 5 份不同主题材料上报告平均成功率 94%，Qwen2.5-Omni 为 58%。原始材料均超过 3 小时，但实际插针测试时长最多为 4,500 秒，不是全程 3 小时理解测试。
表 6a 的 2B SpeechLM 在 Seed-TTS-Eval 上得到英文 WER 2.28%、中文 CER 1.28%。短句准确率与长篇稳定性需要分别验证，不能由一个指标替代另一个。
表 4 中 7B 模型的 ChartQA 从 Qwen2.5-VL 的 87.3 到 87.8，AI2D 则从 85.8 降至 83.2。加入语音后视觉能力大体保留，但“完全不损害单模态表现”并非逐项成立。

亮点与洞察¶

分块并非简单规避显存限制，而是重新约束文本与声学序列的对应距离。保留历史使这种局部约束不必以独立短句合成为代价。
内容正确、文本规范化正确和音色稳定是三个不同目标。把 long/hard 错误率与片段级音色均值、标准差分开，比单一整体相似度更能诊断长语音失效。
脑口解耦让理解模型与语音模型可以分别选择规模。它提供了一种可复用的接口设计，但系统参数和成本也必须按多个组件合计，而非只报告语音头。

局限与展望¶

作者承认极长交互、细粒度说话风格控制和罕见声学条件仍有不足；视觉理解不及专用 VLM，尚无工具调用与全双工语音交互。
本笔记的评估判断：长音频插针仅覆盖 5 份材料，主要检验信息检索，不能单独证明长会议推理或持续多轮记忆。正文提到附录，但指定缓存止于参考文献，未据此补写未读附录的结论。
本笔记的评估判断：约 400k 小时与其他系统更大语料规模的比较，不足以隔离架构带来的数据效率收益；尚需匹配语料、算力与模型规模的学习曲线，以及首包延迟和听感评测。
作者要求参考声音获得说话者同意，并建议部署时考虑来源信息、水印和合成语音检测。这些是负责使用的建议，不能当作系统已经实现并验证的防滥用功能。

评分¶

新颖性: 4/5。分块、并行与双轨已有相关思想，价值在于面向 FSQ 长语音的结合与验证。
实验充分度: 4/5。覆盖理解、短长合成、音色与消融，但自建长语音评测及预算公平性仍需补充。
写作质量: 4/5。整体机制清晰，数据总量措辞与个别表格数字存在不一致。
价值: 4/5。为个性化长篇语音提供较完整的开放系统设计与评测思路。