Omnilingual MT: Machine Translation for 1,600 Languages via Scalable Multilingual Pretraining¶
会议: EMNLP 2026
论文: ACL Anthology
领域: LLM Agent
关键词: 机器翻译, 多语言预训练, 低资源语言, OMT-LLaMA, OMT-NLLB
一句话总结¶
Omnilingual MT 提出了覆盖全球 1,600 多种语言的通用机器翻译系统,通过 256K 超大词表扩展、两千种语言回译与语法多样性种子集 MeDLEy,配合解码器自编码增强的 OMT-NLLB 与强化学习微调的 OMT-LLaMA,使 1B–8B 专用小模型在翻译质量上全面超越 70B 通用大模型,并将具有可用翻译能力的语种数量直接翻倍。
研究背景与动机¶
神经机器翻译(NMT)在过去数年中取得了突破性进展,尤其是 Meta 提出的 No Language Left Behind(NLLB)项目成功将高质量翻译扩展至 200 种语言,树立了语言包容性的里程碑。然而,全球现存语言约有 7,000 种,现存技术方案将绝大多数低资源与长尾语言完全排除在外,且缺乏将新语言平滑纳入已有模型的机制。虽然早期探索(如 Siddhant 等人的千语研究)验证了覆盖上千种语言的可行性,但并未产出可持续、可扩展的实用系统;而近年来基于通用大语言模型(LLM)的多语言尝试,其能力增益依然高度集中在主流高资源语种,不仅在低资源场景下效率低下,还往往需要数十甚至上百亿参数才能勉强匹敌较小的专用翻译架构。
这种覆盖鸿沟的核心矛盾在于跨语言理解与生成的结构性不对称性:现代大规模模型借助跨语言知识迁移能够较好地理解长尾语言并将其翻译为英语(XX-En),但在逆向生成罕见或无监督语种(En-YY)时表现极其糟糕,大多基线在超过 300 至 400 种语言后生成能力便直接退化至接近随机水平。造成该瓶颈的根源在于词表覆盖不足导致的极端分词膨胀(Fertility)、低资源语言非平行数据利用率低,以及缺乏覆盖复杂语法现象的多样化种子监督数据。此外,现存自动评测指标(如 xCOMET、MetricX)的底层编码器语言覆盖极其有限,无法可信评估两百种语言以外的生成质量。
为了打破规模法则并实现真正全语种可用的机器翻译,本文提出了端到端的全流程系统工程,旨在构建从底层即具备全语种能力的基石翻译系统。核心 idea:通过扩展 256K 平衡多语言词表打破分词瓶颈,结合语法多样性种子数据集 MeDLEy 与多阶段自编码弱监督训练,分别构建支持 1,600 语言理解与生成的自回归模型 OMT-LLaMA 及编码器-解码器模型 OMT-NLLB,以 1B–8B 专用架构实现对 70B 通用大模型的全面超越。
方法详解¶
整体框架¶
Omnilingual MT 围绕数据工程、分词与模型架构、训练策略以及多语言评测展开全面协同设计。系统涵盖两条互补的模型技术路线:一是基于 LLaMA 3 改造的解码器单向自回归模型族 OMT-LLaMA(包含 1B、3B、8B 参数),另一是基于 OMNISONAR 多语言通用句子表示改造的 3B 编码器-解码器架构 OMT-NLLB。
整个工作流自底层数据构建起步:从 Common Crawl 清洗出覆盖 2,000+ 语言的单语语料(CC-2000-Web/PDF),配合圣经文本(Bible,覆盖 ~1,600 语言)、PanLex 字典(~1,000 语言)以及覆盖 109 种极低资源语言的自研多语语法平行种子集 MeDLEy;随后通过 OMNISONAR 句子嵌入空间进行大规模全局双语挖掘与高质量置信度回译(Backtranslation),生成约 2.3 亿句覆盖 2,000 语种的合成双语对。模型训练阶段,针对 OMT-LLaMA 执行两阶段持续预训练(CPT,先热身词表后全参训练 105B tokens)以及 SFT + DAPO 强化学习后训练;针对 OMT-NLLB 执行解耦的多阶段递进训练(单语自编码增强 → 移除句子级瓶颈引入 token 级跨注意力 → 端到端全参微调)。评测阶段则提出扩展至 275 种语言的 BOUQuET 基准、161 个方向的人工标注集 Met-BOUQuET,以及免参考评测质量估计模型 BLASER 3。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多源非平行与平行语料<br/>CC-2000 / 圣经 / PanLex / FineWeb"] --> B["大规模合成挖掘与 MeDLEy 语法种子集构建"]
B --> C["256K 动态扩展词表与稀疏表示平抑"]
C --> D["双路线架构与多阶段递进训练策略"]
D --> E["XSTS+R+P 评测协议与 BLASER 3 质量估计"]
E --> F["Omnilingual MT 系统族<br/>OMT-LLaMA (1B/3B/8B) & OMT-NLLB (3B)"]
关键设计¶
1. 大规模合成挖掘与 MeDLEy 语法种子集构建:低资源监督匮乏 -> 语法驱动种子与自适应阈值回译 -> 支撑两千语种高质量平行冷启动
在极低资源和无监督语言场景下,传统基于启发式规则或纯网页爬取的双语数据往往存在严重的领域漂移(局限于宗教圣经或词典直译),缺乏日常口语及复杂句法结构。本文首先构建了 MeDLEy 种子数据集,联合语言学家系统性总结了跨语言的 61 种典型语法功能(包括格标记、体貌、示证性 evidentiality 等),人工撰写了跨 5 个领域、包含这些语法现象的 605 个段落(约 2,200 句),经由 8 种中枢语言多路平行化后,由专业译员翻译至 109 种超低资源语言(其中 92 种完全未被 SMOL 或 NLLB Seed 覆盖)。对于缺乏平行语料的语言,采用经 SAT-12L-SM 分句与 GlotLID 语言识别过滤的单语文本,利用 NLLB-200 或早期 OMT-LLaMA 生成伪双语文本,并创新性利用 OMNISONAR 跨语言嵌入余弦相似度设定自适应阈值(以目标语言在圣经上的均值相似度为基准校准 Medium-Quality),结合长度比、独立字符比和编辑距离过滤模型幻觉,构建出包含 2.3 亿句、覆盖 2,000 种语言的大规模合成平行库,为后续跨语言泛化奠定了坚实基础。
2. 256K 动态扩展词表与稀疏表示平抑:长尾文字分词碎片化 -> 持续 BPE 合并与子词向量均值解构 -> 序列长度减半并大幅提升生成流利度
通用大语言模型(如 LLaMA 3 原生 128K 分词器)针对极低资源和非拉丁文字系统的切分效率极低,单句被切分成大量不可辨识的单字节或无意义碎片,导致推理显存爆炸且破坏语义连续性。本文在平衡的多语言数据上继续执行字节对编码(BPE)合并,将词表扩充至 256K tokens,并改进前分词逻辑以适配稀有文字书写系统。新加入词元的嵌入向量并非随机初始化,而是通过其原有分解子词的向量进行加权平均初始化(Sub-token decomposition averaging),从而平滑保留预训练语言先验: $\(e_{new} = \frac{1}{|S|}\sum_{t \in S} e_{t}\)$ 该设计使 FLoRes+ 数据集上的平均分词长度直接从每句 80.7 个 token 骤降至 44.8 个(压缩近一倍),不仅让训练与推理速度成倍提升,更在 En-YY 逆向生成任务上带来了 26% 的相对 ChrF++ 提升(17.8 跃升至 22.5)。
3. 双路线架构与多阶段递进训练策略:长尾生成瓶颈与跨语言对齐 -> 解码器自编码重构与注意力解冻 -> 兼顾超广度生成与极低资源鲁棒理解
为了攻克不同应用场景下的工程约束,本文同步探索了两种互补架构,并通过创新的训练策略激发潜力。在自回归解码器路线 OMT-LLaMA 中,在解冻主干前先用 80 张 GPU 执行 10K 步的词表嵌入层预热(Embedding Warmup),随后在 256 张 GPU 上进行 50K 步的多语言持续预训练(CPT,累计约 105B tokens),后续接入 60 万条多样化指令与 MeDLEy 监督微调(SFT),并采用 DAPO 强化学习算法,将 ChrF++ 与 MetricX 混合打分作为奖励信号并辅以 KL 散度约束进行对齐。而在编码器-解码器路线 OMT-NLLB 中,为了解决 OMNISONAR 早期仅依靠句级别均值池化导致的跨注意力信息瓶颈,提出了三阶段渐进式优化方案: - Stage 1 (自编码增强):冻结能够将 1,600+ 语言映射到统一语义空间的 OMNISONAR 编码器,让解码器不仅在平行数据上训练,同时利用单语数据执行自编码重建(Auto-encoding),强制解码器从句子表征中高质量恢复目标语,使圣经测试集 ChrF++ 从 40.6 提升至 45.9; - Stage 2 (解封序列瓶颈):移除池化向量约束,接入完整的 token 级跨注意力机制,先冻结编码器热身解码器,避免梯度剧烈冲击; - Stage 3 (端到端联合微调):编码器与解码器在平行数据上联合优化,实现 token 级别的细粒度语义交互,最终在 FLoRes+ 上达到 50.9 ChrF++。
4. XSTS+R+P 评测协议与 BLASER 3 质量估计:现存神经指标语言泛化差 -> 语域一致性与免参考嵌入回归 -> 解决千语级无金标质量评估难题
跨语言评测以往高度依赖双语词面重合指标(BLEU/ChrF++)或仅支持数百种语言的神经网络指标(xCOMET)。本文制定了更严苛的 XSTS+R+P 人工评估协议:在传统的语义相似度 XSTS 基础上,增设语域(Register,严查尊称与语体风格错配)与段落级一致性(Paragraph-level consistency,严查跨句子的人称代词、性别与时态矛盾),将标注者一致性系数 Krippendorff's \(\alpha\) 从原有 XSTS 的 0.57 和 MQM 的 0.44 大幅提升至 0.80。在此基础上收集了横跨 161 个语言方向的 Met-BOUQuET 标注集,并构建了基于冻结 OMNISONAR 嵌入的密集轻量质量估计模型 BLASER 3。BLASER 3 在 6 种评估协议上进行多任务训练,在 Met-BOUQuET 上取得了 0.55 的 item-level Spearman 相关系数(显著优于 MetricX 的 0.47 与 xCOMET 的 0.43),彻底解决了 1,600+ 语言环境下免参考译文质检的业界空白。
损失函数 / 训练策略¶
对于自回归 OMT-LLaMA,CPT 阶段采用因果语言建模损失 \(\mathcal{L}_{CLM}\) 优化单语与平行双语拼接文本,批量大小配置为每卡 8,192 tokens(每步优化约 2.1M tokens)。后训练强化学习阶段采用 DAPO 策略,联合优化由 ChrF++ 与 MetricX 加权构成的离散奖励函数 \(R(y, y^*)\),目标函数结合了解耦截断与动态采样机制: $\(\mathcal{L}_{RL}(\theta) = -\mathbb{E}_{(x, y) \sim \pi_\theta} \left[ \min\left(r_\theta(y|x) \hat{A}, \text{clip}(r_\theta(y|x), 1-\epsilon, 1+\epsilon)\hat{A}\right) \right] + \beta \mathbb{D}_{KL}(\pi_\theta \parallel \pi_{ref})\)$ 对于 OMT-NLLB,Stage 1 的自编码目标通过最大化由冻结全局句子向量重构原始单语句子的交叉熵损失完成,Stage 3 则在所有双语语料上计算序列到序列的标准负对数似然损失。
实验关键数据¶
主实验¶
在涵盖 8 个真实领域、275 种语言的 BOUQuET 综合基准测试集上,OMT 体系模型与各规模开源大模型及专用翻译系统的 ChrF++ 表现对比如下(按非英语语言资源等级 High, Mid, Low, Very Low 细分):
| 模型 | 参数量 | 架构类型 | XX-En (H/M/L/VL) | En-YY (H/M/L/VL) | BOUQuET 总分 | Bible XX-En (总分) |
|---|---|---|---|---|---|---|
| OMT-LLaMA 8B | 8B | Decoder-only | 65.1 / 53.5 / 38.7 / 27.6 | 60.7 / 45.8 / 30.8 / 18.8 | 36.7 | 38.8 |
| OMT-NLLB | 3B | Enc-Dec | 64.0 / 56.1 / 37.4 / 28.4 | 61.1 / 47.6 / 27.3 / 17.5 | 36.6 | 46.3 |
| OMT-LLaMA 3B | 3B | Decoder-only | 64.4 / 54.6 / 38.8 / 28.0 | 59.4 / 45.0 / 28.7 / 16.8 | 36.2 | - |
| NLLB-200 | 3.3B | Enc-Dec | 61.5 / 52.4 / 32.1 / 25.5 | 62.9 / 46.8 / 24.6 / 17.5 | 34.6 | 24.0 |
| GPT-OSS 120B | 120B | Decoder-only | 64.6 / 49.9 / 33.6 / 25.4 | 63.6 / 43.7 / 26.0 / 16.0 | 34.5 | 22.5 |
| Gemma 3 | 27B | Decoder-only | 65.3 / 51.3 / 34.8 / 27.4 | 62.6 / 40.9 / 24.0 / 14.8 | 34.1 | 24.5 |
| TranslateGemma | 12B | Decoder-only | 63.6 / 50.9 / 35.0 / 27.7 | 59.5 / 42.0 / 22.1 / 15.5 | 33.9 | 23.7 |
| OMT-LLaMA 1B | 1B | Decoder-only | 63.0 / 51.5 / 34.7 / 24.1 | 56.5 / 42.2 / 25.1 / 14.9 | 33.5 | - |
| LLaMA 3 70B | 70B | Decoder-only | 65.0 / 47.6 / 33.3 / 26.2 | 60.2 / 37.2 / 23.7 / 16.2 | 32.9 | 24.7 |
| MADLAD | 10B | Enc-Dec | 64.7 / 47.8 / 31.0 / 24.3 | 62.2 / 35.5 / 21.5 / 15.3 | 31.3 | - |
| Tower+ 72B | 72B | Decoder-only | 66.5 / 43.3 / 31.7 / 25.2 | 58.9 / 26.9 / 15.2 / 11.3 | 28.7 | - |
| LLaMA 3 8B | 8B | Decoder-only | 61.0 / 39.8 / 27.5 / 21.6 | 52.7 / 26.0 / 13.1 / 9.5 | 25.6 | 19.4 |
消融实验¶
各关键训练阶段与技术模块的渐进式影响如下所示:
表 1:OMT-NLLB 三阶段训练消融(FLoRes+ 与 Bible 基准上的 ChrF++ / xCOMET / MetricX 指标) | 训练阶段配置 | FLoRes+ ChrF++ | FLoRes+ xCOMET | FLoRes+ MetricX (越低越好) | Bible ChrF++ | Bible xCOMET | Bible MetricX (越低越好) | |---|---|---|---|---|---|---| | OMNISONAR 基线 (冻结编码器) | 47.5 | 0.65 | 5.66 | 40.6 | 0.52 | 8.79 | | + Stage 1 (含单语自编码增强) | 49.7 | 0.65 | 5.48 | 45.9 | 0.53 | 8.59 | | -- 消融:Stage 1 (去除自编码) | 49.6 | 0.65 | 5.51 | 44.8 | 0.52 | 8.61 | | + Stage 2 (去除序列瓶颈跨注意力) | 50.1 | 0.65 | 5.36 | 46.4 | 0.51 | 8.58 | | + Stage 3 (OMT-NLLB 最终全参端到端) | 50.9 | 0.66 | 5.32 | 46.3 | 0.50 | 8.61 |
表 2:长尾极低资源语言(20 种 VL 语言与 5 种 L 语言)适配扩展消融(BOUQuET 验证集 ChrF++) | 模型配置 | 20 VL 语种 En-YY | 20 VL 语种 XX-En | 5 L 语种 En-YY | 5 L 语种 XX-En | |---|---|---|---|---| | OMT-LLaMA + FT + RAG | 29.3 | 36.7 | 46.7 | 53.2 | | OMT-LLaMA + FT (微调) | 28.9 | 29.0 | 47.5 | 42.7 | | OMT-NLLB + FT | 28.2 | 37.9 | 52.4 | 56.7 | | OMT-LLaMA + RAG (检索增强) | 26.8 | 36.2 | 44.8 | 54.0 | | OMT-NLLB (零样本未微调) | 24.4 | 35.8 | 51.4 | 56.8 | | OMT-LLaMA (零样本未微调) | 24.1 | 29.9 | 43.0 | 48.4 | | LLaMA-base + FT + RAG | 20.1 | 27.9 | 33.2 | 40.9 | | LLaMA-base (零样本初始基线) | 9.3 | 20.7 | 16.1 | 28.7 |
关键发现¶
- 专用模型完胜通用百亿级模型:仅 1B 参数的 OMT-LLaMA 在综合评分上即可达到 33.5,超越了 70B 的 LLaMA 3(32.9);而 8B 的 OMT-LLaMA(36.7)不仅领先 120B 开源大模型 GPT-OSS,在极低资源语种上的表现更拉开通用模型数倍距离。
- 生成瓶颈在 1,200 语种打破:在圣经 1,560 语种测试中,包括 LLaMA 3 70B、Gemma 3 等所有外部基线在目标语种超过 300–400 种后,En-YY 生成质量急剧崩塌为乱码或随机;OMT-LLaMA 8B 成功将具备非平凡生成质量的语种边界推展至约 1,200 种。
- 可用语言数量实现翻倍:通过 Met-BOUQuET 人工评测(XSTS+R+P 达到 2.5 即“Passable”可传达核心语义)映射至 MetricX 测算,OMT-LLaMA 达到可用理解门槛的语种数量达 440 种,OMT-NLLB 为 416 种,较 NLLB-200(221 种)实现了翻倍。
- FT 与 RAG 的正交互补性:微调能显著提升极低资源语言的 En-YY 生成(+4.8),而 RAG 检索在 XX-En 理解上优势显著(+6.3);两者结合带来了最佳增益(+5.1 En-YY / +6.8 XX-En),且基座模型本身的多语言能力是决定上限的关键,直接拿 LLaMA 原生基座微调即便加挂 RAG 也无法达到 OMT 零样本水平。
亮点与洞察¶
- 专用小模型的帕累托最优解:本研究打破了“大语言模型自然涌现机器翻译一切能力”的盲目规模崇拜,证明了通过针对性的词表重塑、合成回译与多语言持续预训练,专用 8B 甚至 3B 架构在多语言翻译任务上能提供远超 70B+ 通用模型的帕累托收益。
- 巧妙的自编码数据再生策略:OMT-NLLB 巧妙利用 OMNISONAR 跨语言通用嵌入对单语语料进行重构自编码训练,在完全不依赖平行双语数据的前提下,大幅盘活了全球长尾小语种的单语资源,不仅显著提升了生成流畅度,更规避了编码器早期表征漂移的风险。
- 可复用的超多语评测新范式:提出的 XSTS+R+P 评测协议把语域与篇章级连贯性显式纳入评分体系,极大缓解了此前单句评估中尊称错位或性别冲突无法捕捉的问题,配合开源的 BOUQuET-275 与免参考 BLASER 3 模型,为全社区攻克多语言长尾难题铺平了道路。
局限与展望¶
- 目标生成语言依然存在不对称:OMT-NLLB 目前仅支持 250 种目标语言生成,显著落后于输入侧支持的 1,600 种语言,未能实现完全对称的多对多互译。
- 基座依赖存在时代代差:当前实验核心依托两年前的 LLaMA 3 开源系列主干,虽然已验证方法通用性,但尚未在 Qwen 2.5 或 LLaMA 3.3 等更新一代开源架构上全量推开。
- 长尾评估语料的领域偏倚:在 1,560 种语言的极端长尾评测中,唯一能提供大规模平行参考的依然是圣经文本,其宗教词汇、古典语域与日常现代口语存在偏差;高风险场景下仍需在特定语种与领域内进行针对性的人工作工验证。
相关工作与启发¶
- vs NLLB-200: NLLB-200 仅支持 200 种语言的对称翻译,本工作在保持同量级模型参数(3B)的前提下,将源语言理解扩展至 1,600 种,并借助 OMT-LLaMA 实现了 1,200 种语言的逆向生成能力,达到可用门槛的语言数量从 221 翻倍至 440。
- vs MADLAD-400 / TranslateGemma: MADLAD 与 TranslateGemma 分别覆盖 400 种与 200+ 种语言,但在更长尾的 1,000+ 语言上缺乏适应机制;OMT 体系通过引入语法多样性种子数据集 MeDLEy 与自编码持续预训练,在低资源语种的生成质量上呈现压倒性优势。
- vs 通用大模型(LLaMA 3 70B / GPT-OSS 120B): 通用大模型依赖预训练语料的隐式重合,在低资源语言上产生严重的 Token 分词低效与幻觉,参数量巨大且部署成本高昂;OMT 证明持续预训练 + 领域专用架构是在垂直能力上击败通用巨无霸模型的最优工程路径。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 开创了系统性覆盖 1,600 种语言的机器翻译新范式,MeDLEy 语法种子集与自编码增强极具启发性。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 275 语种多领域 BOUQuET、1,560 语种极长尾 Bible、161 方向大规模人工质检以及毒性安全评测,实验规模空前。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨连贯,不仅深入剖析了长尾语言生成的底层痛点,更详尽阐述了数据与模型设计的全流程考量。
- 价值: ⭐⭐⭐⭐⭐ 为全球濒危与极低资源语言打破数字鸿沟提供了切实可行的全套开源解决方案,对推动全人类语言计算包容性贡献卓著。