跳转至

Parallel Tokenizers: Rethinking Vocabulary Design in Cross-Lingual Transfer of Low-Resource Languages

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/
领域: 多语言/翻译
关键词: 并行分词器, 低资源语言, 词表对齐, 跨语言迁移, 生育率平衡

一句话总结

针对传统多语言分词器割裂跨语言同义词索引与生育率失衡的问题,本文提出并行分词器(Parallel Tokenizers),先构建单语基准分词器并通过机器翻译精确对齐各语言词级词表索引,配合全局广播的语言身份嵌入,在13种低资源语言的预训练编码器评测中全面超越常规共享分词基线。

研究背景与动机

在多语言预训练模型中,标准做法是在多语言混合语料上联合训练一个单一的共享分词器(如基于 BPE 或 WordPiece 算法构建)。然而,这种共享机制在低资源语言上面临严重的“多语言诅咒”:高资源语言在有限的词表配额中占据主导地位,导致低资源语言的词汇被过度切碎,序列长度显著膨胀,即生育率(fertility score)畸高,大幅增加了计算成本与内存开销。

比生育率失衡更根本的结构性缺陷在于语义索引的割裂与同形异义词(false cognates)干扰。在常规的多语言词表中,跨语言语义完全等价的词汇(例如英语的 "eat"、豪萨语的 "ci" 和日语的 "食べる")被分配到完全不同且互不相关的离散词表索引;而在不同语言中拼写相同却含义迥异的词素却被强行复用同一嵌入。这使得跨语言表示学习必须完全依赖深层注意力参数的隐式对齐,错失了在离散嵌入层直接共享跨语言语义先验的机会,尤其在低资源场景下极大地削弱了迁移学习效果。

针对这一困境,研究人员此前尝试过扩大词表或按语言族聚类词表,但并未从根本上消除等价词汇在离散索引层面的冗余。本文的切入角度是:分词器不必在初始语料切分阶段强行混合多语,而应先从单语中提取语义单元,再于离散索引层建立一对一的词级强对齐。核心 idea:提出并行分词器(Parallel Tokenizers)框架,先训练单语枢纽分词器并借助机器翻译建立跨语言同义词词表索引对齐,同时在模型输入端引入语言身份嵌入广播以解耦句法歧义,使多语言模型在离散符号入口处即共享跨语言语义空间。

方法详解

整体框架

并行分词器摒弃了“单分词器通吃多语”的传统架构,为每种目标语言维护一个专用的并行分词器 \(T_j \in \mathcal{T}\),但在词表索引(Token IDs)层实现跨语言语义对齐。输入序列首先根据显式指定的语言标识选择匹配的目标分词器进行切分;切分出的 Token IDs 经过词表嵌入矩阵查找后,与段嵌入、位置嵌入以及该语言特有的语言身份嵌入(Language Identity Embedding)逐位相加,作为编码器的联合输入表示。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入文本 + 语言识别信号"] --> B["并行分词器选择<br/>根据语言标识匹配专用分词器"]
    B --> C["分词与词表映射<br/>词级词表对齐索引 + 语言特有子词"]
    C --> D["输入表征融合<br/>Token/Segment/Position + 语言身份嵌入"]
    D --> E["Transformer Encoder<br/>共享底层多语言跨语言语义空间"]

关键设计

1. 词级词表翻译与对齐:建立跨语言共享语义锚点 传统双语词典(如 PanLex)在低资源语言上覆盖率与质量严重不足(实验显示平均仅能对齐 21.5% 的词表项)。为克服词表覆盖瓶颈并消除等价词的索引割裂,本文以英语维基百科训练得到的 30,522 规模 WordPiece 分词器为枢纽基准,将其中的单词型词素(word-type,占比约 65.87%)通过机器翻译逐一映射至目标语言,并通过回译验证(back-translation)过滤多词短语或畸形翻译。过滤后的平行单词项被固定分配到相同的词表 ID,使跨语言对等词直接共享相同的词嵌入向量。在全部 13 种低资源语言中,平均 82% 的单词型词汇实现精确对齐,最终在整词表中占据 61% 的共享索引比例。

2. 单语分词器扩充与词表拼接:保障语言特有切分与紧凑性 仅包含翻译词素无法覆盖目标语言的全部字符集与复杂形态变化。为此,针对每种目标语言单独在其维基百科语料上训练单语 WordPiece 分词器,提取其专有的子词单元(subwords)和字符级词素。在构建最终并行分词器时,按照优先级依次拼接:(1) 对齐的翻译单词型词素、(2) 特殊标记(如 [CLS]、[SEP]、[UNK])与 1,000 个英语基础字符子集、(3) 各语言特有的单语词素。去除重复项后统一截断至固定的 30,522 词表容量。这种设计既维持了与基线一致的参数量,又兼顾了单词语义对齐与单语形态分解的紧凑性。

3. 语言身份嵌入广播:解耦同形异义干扰与未对齐子词语义 当跨语言共享词表索引时,可能引入同形异义词(如在不同语言中拼写相同的假同源词)或未对齐子词的跨语言干扰。为此,输入表示设计并非将语言标记作为离散 Token 输入自注意力层,而是将语言标记映射为稠密的语言身份嵌入向量(Language Identity Embedding),并沿序列长度维度广播(broadcast)加和到每一个 Token 的位置和词嵌入之上: $\(\mathbf{E}_{\text{final}} = \mathbf{E}_{\text{token}} + \mathbf{E}_{\text{seg}} + \mathbf{E}_{\text{pos}} + \mathbf{E}_{\text{lang}}\)$ 语言身份嵌入一方面为未对齐词素(占词表 39%)提供了明确的语言特异性解歧信号,另一方面作为全局句法与语系先验,使共享词嵌入既能无缝传递核心语义,又能保留各自语言独特的句法分布特征。

实验关键数据

主实验

评估涵盖 13 种低资源语言(包括爪哇语 jav、米南加保语 min、巽他语 sun、斯瓦希里语 swa、阿齐语 ace、阿姆哈拉语 amh、巴厘语 ban、豪萨语 hau、伊博语 ibo、卢旺达语 kin、奥罗莫语 orm、提格雷语 tir、特维语 twi),覆盖拉丁字母与吉兹字母(Ge'ez/Amharic script)。模型采用从头预训练的 Transformer 编码器(Pretrained from Scratch),对比传统多语言单分词器基线(Single-13L)。

任务 / 基准 评测指标 Single-13L (基线) Parallel-13L (本文) 提升幅度
FLORES+ 分词生育率 (Tokens/Word) ↓ 生育率 (Fertility) 1.89 1.57 ↓ 0.32
FLORES+ 跨语言对齐对等度 (Parity) ↓ 对等度 (Parity) 1.14 1.07 ↓ 0.07
NusaX-senti 情感分析 (100% 数据) Macro-F1 76.09 (±1.27) 76.16 (±1.05) +0.07
AfriHate 仇恨言论检测 (100% 数据) Macro-F1 69.61 (±1.19) 69.80 (±1.20) +0.19
EthioEmo 情绪分类 (100% 数据) Weighted-F1 54.98 (±0.98) 57.01* (±0.84) +2.03*
BRIGHTER 情绪多标签分类 (100% 数据) Weighted-F1 48.26 (±0.94) 49.68* (±1.89) +1.42*
跨任务四项平均表现 (100% 数据) 平均 F1 62.24 63.16 +0.92
FLORES+ 双语挖掘平均错误率 ↓ Avg. err. xsim 83.56 74.08 ↓ 9.48
FLORES+ 最佳语言对数量 (共 78 对) ↑ # of best xsim 12 66 +54 对

消融与数据受限场景

在真实低资源场景下,目标语言数据往往极度稀缺甚至完全缺失(零样本迁移)。下表展示了在目标语言分别仅有 50% 与 0% 训练数据时的跨语言迁移效果:

训练设置 评测基准 Single-13L (基线) Parallel-13L (本文) 相对增益
50% 目标语言数据 NusaX-senti (Macro-F1) 72.47 73.52* +1.05
50% 目标语言数据 AfriHate (Macro-F1) 67.26 67.40 +0.14
50% 目标语言数据 EthioEmo (Weighted-F1) 51.33 54.27* +2.94
50% 目标语言数据 BRIGHTER (Weighted-F1) 45.77 46.76* +0.99
0% 目标语言数据 (Zero-shot) NusaX-senti (Macro-F1) 71.83 72.70 +0.87
0% 目标语言数据 (Zero-shot) AfriHate (Macro-F1) 37.27 40.67 +3.40
0% 目标语言数据 (Zero-shot) EthioEmo (Weighted-F1) 23.75 23.20 -0.55
0% 目标语言数据 (Zero-shot) BRIGHTER (Weighted-F1) 15.04 19.73 +4.69

关键发现

  • 生育率与切分效率飞跃:Parallel-13L 将低资源语言的平均生育率从 1.89 骤降至 1.57(接近单语分词器的 1.52 水平),尤其在阿姆哈拉语(2.43 降至 1.82)和提格雷语(2.61 降至 1.83)等非拉丁文字上提升极大,有效消除了序列过度碎片化导致的算力浪费。
  • 跨语言语义空间高度凝聚:在 FLORES+ 双语挖掘任务中,并行分词器的平均 xsim 错误率相比传统分词下降了 9.48 个百分点,且在 78 个测试语言对中有 66 对取得最优;PCA 可视化显示其句向量不再按语系孤立散落,呈现出跨语种同义句紧密聚类的特征。
  • 极低资源迁移优势显著:当目标语言可用数据缩减至 1% 或 0%(零样本)时,Parallel-13L 展现出更为显著的性能壁垒(例如 BRIGHTER 零样本 F1 提升达 4.69 点),证明强行对齐底层词表为深层跨语言结构迁移奠定了坚实基础。

亮点与洞察

  • 离散层面的强行先验注入:不同于以往将跨语言对齐责任全盘推给 Transformer 隐层自注意力的常规路线,本文在分词与词表设计阶段通过机器翻译将同义单词映射至同一索引,使离散嵌入层具备天然的跨语言语义等价性。
  • 以单语优化兼顾多语对齐的优雅权衡:通过“翻译单词对齐 + 各语种单语子词拼接 + 统一容量截断”的三步流程,巧妙规避了传统单语分词无法共享表示、而传统多语分词破坏单语切分质量的双重困境。
  • 语言身份嵌入的高效解歧机制:通过广播方式将语言向量加和于所有词元输入,避免了占用文本有效长度的离散特殊 Token 方案,在消除同形异义词干扰的同时为未对齐词素提供了全局语系锚点。

局限与展望

  • 机器翻译质量的噪声残留:词表对齐严重依赖 Google Translate API 等外部机翻系统的词级翻译精度。人工抽样核查显示平均准确率约为 83%(米南加保语仅 76%),存在多词短语膨胀或形态畸变等系统误差。
  • 架构范式受限于编码器结构:目前评测全部集中在 Encoder-only 分类与表示模型上,在自回归生成式 Decoder(生成式大语言模型)中的有效性尚未得到充分验证。
  • 语言扩展性需外接先验:每新增一种语言都需要依赖翻译系统与单语语料重新生成对应词表,无法像单多分词器那样完全无监督地自适应新增语种。

相关工作与启发

  • vs XLM-V / 词表容量均衡方案 (Chung et al., 2020; Liang et al., 2023):传统方法主要通过调整各语言子词采样权重或膨胀词表容量来缓解生育率不均,但同义词在索引上依然割裂;本文从离散索引对齐切入,在不扩大词表总容量的前提下实现了语义共享与生育率平衡。
  • vs 无分词与字符/字节级模型 (ByT5, CANINE, Xue et al., 2022):字符或字节级模型虽消除了词表设计难题,但在低资源语言上序列长度呈数倍膨胀且缺乏离散词级先验;本文证明合理的离散词级对齐在计算效率和迁移能力上仍具显著优势。

评分

  • 新颖性: ⭐⭐⭐⭐☆ 重新思考分词器在词表索引维度的语义对齐设计,思路清晰且直击痛点。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 13 种低资源语言、4 大分类基准、双语挖掘评测、多梯度数据量分析及 PCA 语义空间可视化。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑严密,图文对照直观,动机与消融论述充分。
  • 价值: ⭐⭐⭐⭐☆ 为低资源语言与多语言预训练模型的底层词表设计提供了重要的架构参考与实用洞察。