Beyond Junk Tokens: Subsumed Tokens in Japanese Subword Tokenization¶
会议: EMNLP 2026
论文: ACL Anthology
领域: 预训练
关键词: 子词分词, 吞没词元, 垃圾词元, 日语分词, 二叉树搜索
一句话总结¶
针对频次与似然驱动的子词分词在无显式词边界语言中系统性抑制有效词出现频次的问题,本文形式化了吞没词元(subsumed tokens)现象,并提出一种在不改变分词器词表的前提下基于字符跨度二叉树搜索的动态规划后处理框架,有效恢复有效词统计并提升词嵌入与下游任务表现。
研究背景与动机¶
在自然语言处理中,子词分词(如 BPE、WordPiece 与 Unigram 语言模型 ULM)是缓解词表外(OOV)问题的标准基础设施。这些分词方法完全依赖语料库的频次统计或似然最大化目标构建词表并执行切分。然而,这种纯粹统计驱动的机制在没有显式空格分界的语言(如日语、汉语)中会诱发严重的结构性人工伪影。先前研究已经关注到 BPE 合并过程中产生的无语义中间碎片(即所谓的垃圾词元 junk tokens 或 fragment tokens),例如日语中由于高频搭配而产生的“の投”等非完整词片段。这些碎片词在语料中几乎不能独立出现,导致模型为其分配不可靠且退化的语义表示。
更深层且此前被普遍忽视的矛盾在于有效词汇的系统性抑制。当分词器因频次优势学习到跨词边界的长词元(dominant tokens)时,例如跨越助词“を”与动词“授かる”的“を授かる”,语料库中所有出现该动宾搭配的上下文都会被贪婪或高概率地切分为长词元。结果是,原本具有独立语言学语义的有效词“授かる”在分词语料中的独立出现频次被极度压低,沦为被长词元吞没的“吞没词元”(subsumed tokens)。这种分布扭曲使得大量高频复合表达直接掠夺了核心基础词的统计观测机会,削弱了词嵌入学习的稳健性与泛化能力。
面对这一两难,现有的词表剪枝或重构方法往往需要修改分词器训练流程、丢弃部分词表,甚至破坏已有分词器的向后兼容性;而传统的形态学预分词流水线虽能规避跨词边界长词,却仍无法根除词内的碎片化分割。本文的切入角度是:分词伪影的根源在于分词切分选择偏好长串频次,而非词表本身包含这些子词。核心 idea:在保持现有分词器词表完全冻结的前提下,将分词建模为字符跨度二叉树上的全局动态规划搜索,通过语料频次累积与可选的形态分析词跨度加分(bonus),在后处理阶段自适应抑制无意义碎片词并恢复被吸收的有效词元。
方法详解¶
整体框架¶
本文提出的方法是一个与分词器无关的后处理分词校准框架。输入为待分词的原始句子与已训练好的分词器词表 \(V\)(及基线分词所得的语料频次表 \(\text{freq}_V\)),输出为重构后的最优子词切分序列。其核心运行逻辑分为三步:首先可选地利用形态分析工具(如 MeCab)解析句子的合法词跨度集合 \(W\);其次,在句子所有可能的字符切分跨度上构建二叉树候选,依据跨度的语料独立频次以及形态词奖励计算跨度打分;最后,通过自底向上的动态规划算法(类似句法分析中的 Inside 算法)在 \(O(n^3)\) 复杂度下搜索全局得分最高的二叉切分树,并通过树的前序遍历提取出最终词元切分。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入原始句子与冻结词表 V"] --> B["形态学词跨度提取<br/>MeCab 标注词集合 W"]
B --> C["跨度打分机制<br/>频次检索 + 词跨度 bonus"]
C --> D["二叉切分树全局动态规划<br/>Inside 风格 DP 寻优 O(n^3)"]
D --> E["树遍历切分提取<br/>自顶向下递归输出最优序列"]
E --> F["输出校准切分序列<br/>抑制碎片词并恢复吞没有效词"]
关键设计¶
1. 重叠词元的形式化与判别机制:精准区分碎片词元与吞没词元
为定量分析分词中的伪影,本文将子词词表 \(V\) 中的词元竞争形式化为重叠词元(overlapping tokens)。若词元 \(t \in V\) 的长度 \(|t| > 1\),且词表内存在另一个不同的更长词元 \(t' \in V\)(使得 \(t\) 是 \(t'\) 的连续子串且 \(\text{freq}_V(t) \le \text{freq}_V(t')\)),则 \(t'\) 称为 \(t\) 的主导词元(dominant token \(t' \in D(t)\)),\(t\) 则为重叠词元。随后通过形态分析器输出的词序列 \(\text{list}(t)\) 与 \(\text{list}(t')\) 进行成对判定:若 \(t\) 包含未知词 UNK 或对应不完整的形态学碎片(例如“の投”在 MeCab 切分为 [の, 投],未能成词),则判定为碎片词元(fragment token);若 \(t\) 为合法词且其形态切分是主导词元形态切分的严格连续子序列(例如 \(t=\text{“授かる”}\),\(\text{list}(t)=[\text{授かる}]\),而 \(t'=\text{“を授かる”}\),\(\text{list}(t')=[\text{を}, \text{授かる}]\)),则判定为被吞没词元(subsumed token)。这一判定准则系统地将无意义垃圾片段与被统计霸凌的合法词明确剥离。
2. 字符跨度频次与形态奖励打分:重塑分词偏好结构
传统分词依靠贪婪合并或全句似然极大化,使得长词元天然占据概率优势。本方法为句子任意字符跨度 \(t\) 定义评分函数 \(\text{score}(t)\),兼顾统计频度与语言学合法性:
其中 \(W\) 为形态分析器标注的有效词跨度集合,\(\text{bonus} = \max_{t \in V} \text{freq}_V(t)\) 设为词表中出现的最大词频。该设计无需引入超参数调节,赋予了符合语言学形态边界的词元极高的竞争优势。若一个切分试图选择包含碎片词(如“の投”,不在 \(W\) 且独立频次极低)的树,其总分将远低于完整拆出独立词“論文”与“投稿”的树;同理,拆出有效词“授かる”不仅获得自身独立频次,还额外收获 bonus,从而力压未拆解的长词“を授かる”。
3. 二叉切分树动态规划与序列提取:多项式时间内的全局最优解
针对长度为 \(n\) 的句子,可能的树状划分空间呈指数级爆炸。算法 1 采用区间动态规划构建最优二叉树:以长度 \(\ell\) 自 2 至 \(n\) 递增,对每个区间 \(s[i:j]\),枚举分割点 \(k \in (i, j)\),递归求解最优得分 \(\text{DP}[i][j]\):
并记录回溯指针 \(\text{BackPtr}[i][j] = k^*\)。整棵树构建完成后,算法 2 执行自顶向下的递归遍历:若当前节点跨度直接落在词表 \(V\) 中且未被进一步最优拆分,则将其加入最终词元序列;若该跨度是由两个子树合并优于单词表示,则递归遍历左右子树。该机制确保了在固定词表约束下,能在 \(O(n^3)\) 时间内完成全局重切分,从切分阶段直接重构语料频次分布。
一个完整示例¶
以句子片段“子を授かる”为例: - 在传统基线分词(如 BPE/ULM)的贪婪贪心或最大似然切分下,倾向于产生长词“を授かる”(假设语料频次 \(\text{freq}=50\)),配合短词“子”(\(\text{freq}=10\)),整体树得分仅累加各个词元的局部频次,树得分约为 \(10 + 50 + 10 = 70\)(无 bonus 触发,因为“を授かる”跨越了助词与动词边界,不在 MeCab 词集合 \(W\) 中)。此时有效词“授かる”完全未能出现。 - 在本文的最优二叉树搜索中,候选树切分将跨度拆解为“子を”(\(\text{freq}=100\))与“授かる”(\(\text{freq}=40\))。由于“授かる”完全匹配 MeCab 识别出的独立动词词跨度,因此命中 \(V \cap W\),获得额外的 \(\text{bonus}\)。最终该切分树得分达到 \(\text{freq}(\text{“子を”}) + \text{freq}(\text{“授かる”}) + \text{freq}(\text{“かる”}) + \text{bonus} = 150 + \text{bonus}\),以绝对优势胜出。有效词“授かる”得以恢复为独立词元,被统计吸收的现象得到纠正。
实验关键数据¶
主实验¶
实验基于 Wiki-40B 日语清洗语料库,将其均分为两半,分别用于训练词表(50K 至 200K)与下游评估。评测包含两个核心维度:内在词向量质量评估(JWSAN 数据集上的词相似度 Similarity 与相关度 Relatedness,采用 word2vec 训练词向量并计算 10 次独立运行与人类评分的平均相关系数);以及下游下游迁移评测(在 JapaneseTopicWSD 上预训练标准 BERT-base 并在词义消歧 WSD 与句子分类上微调,测试 Macro F1)。设置涵盖 Setting 1(直接纯子词分词,展现本文核心优势)与 Setting 2(常规 MeCab 预分词流水线)。
表 1 展示了内在词向量质量评测结果(JWSAN 数据集):
| 词表大小 | 分词配置 | 相似度 BPE (Setting 1) | 相似度 ULM (Setting 1) | 相关度 BPE (Setting 1) | 相关度 ULM (Setting 1) | 相似度 BPE (Setting 2) |
|---|---|---|---|---|---|---|
| 50K | Base | 0.640 | 0.663 | 0.688 | 0.716 | 0.610 |
| 50K | Ours | 0.643 | 0.661 | 0.688 | 0.703 | 0.613 |
| 50K | Ours+B | 0.650* | 0.662 | 0.694* | 0.707 | – |
| 100K | Base | 0.651 | 0.659 | 0.697 | 0.713 | 0.617 |
| 100K | Ours | 0.649 | 0.664* | 0.696 | 0.708 | 0.618 |
| 100K | Ours+B | 0.664* | 0.669* | 0.708* | 0.716 | – |
| 150K | Base | 0.659 | 0.648 | 0.711 | 0.704 | 0.620 |
| 150K | Ours | 0.661 | 0.670* | 0.711 | 0.716* | 0.619 |
| 150K | Ours+B | 0.667* | 0.672* | 0.716* | 0.723* | – |
| 200K | Base | 0.656 | 0.631 | 0.709 | 0.693 | 0.622 |
| 200K | Ours | 0.657 | 0.661* | 0.710 | 0.704* | 0.624 |
| 200K | Ours+B | 0.657 | 0.661* | 0.710 | 0.713* | – |
注:标有 * 表示在配对单尾 t 检验下较 baseline 有统计学显著提升(\(p < 0.05\))。
消融实验与分析¶
为明确形态 bonus 的贡献以及重叠词元的压制幅度,表 2 汇总了下游任务(WSD 词义消歧与句子主题分类)在不同配置下的表现对比,同时对比了有无 bonus 对重叠词元数量的消减效果:
| 词表大小 | 评估任务 | Baseline (BPE) | Ours (无 Bonus) | Ours+B (带 Bonus) | Baseline (ULM) | Ours+B (ULM) |
|---|---|---|---|---|---|---|
| 50K | WSD (Macro F1) | 0.659 | 0.656 | 0.654 | 0.658 | 0.668 |
| 50K | 句子分类 (Macro F1) | 0.633 | 0.629 | 0.635 | 0.639 | 0.642 |
| 100K | WSD (Macro F1) | 0.648 | 0.655* | 0.677* | 0.653 | 0.671 |
| 100K | 句子分类 (Macro F1) | 0.620 | 0.617 | 0.629 | 0.625 | 0.631 |
| 150K | WSD (Macro F1) | 0.649 | 0.650 | 0.652 | 0.656 | 0.659 |
| 150K | 句子分类 (Macro F1) | 0.611 | 0.618 | 0.635* | 0.637 | 0.633 |
| 200K | WSD (Macro F1) | 0.656 | 0.655 | 0.657 | 0.654 | 0.647 |
| 200K | 句子分类 (Macro F1) | 0.604 | 0.614* | 0.622* | 0.621 | 0.617 |
此外,在重叠词元统计分析(Overlapping Tokens Statistics)中:
- 在 Setting 1(直接分词)下,基线 BPE 生成了大量的碎片词与吞没词;ULM 由于其概率化修剪机制,产生的碎片词显著少于 BPE,但其吞没词数量与 BPE 旗鼓相当。引入 Ours+B 后,BPE 与 ULM 的碎片词与吞没词元数量均被腰斩以上。
- 在 Setting 2(MeCab 预分词)中,显式词边界几乎消除了所有跨词吞没词元,但仍残留相当数量的碎片词元;本文方法在此场景下仍能稳定小幅减少碎片词。
关键发现¶
- 吞没词元恢复是表征提升的主因:在 Setting 1 中引入词边界 bonus 后,词向量相似度与 downstream F1 均有明显飞跃;而在原本就没有吞没词的 Setting 2 中,方法收益显著收窄,直接证明表征改善主要来源于被吞没合法词统计频次的恢复。
- ULM 同样深受吞没词所累:ULM 虽然碎片词极少,但在未显式分词语料中其长词元对有效单字的吞没效应与 BPE 同样严重,说明似然目标同样无法规避频率偏差导致的合法词边缘化。
- 压缩比与 Rényi 熵的变化:加入形态学奖励后,整库切分出的 token 总数仅微幅增加 0.79%–2.20%(极小的压缩率损失);在 Rényi 熵分析中,\(\alpha=0.5\) 处熵下降而 \(\alpha=3\) 处熵上升,表明重切分差异化地重塑了高概率与低概率区间的词频分布。
亮点与洞察¶
- 概念视角的突破:将分词伪影从众所周知的“无意义碎片(junk tokens)”拓展到“有意义但被抑制的合法词(subsumed tokens)”,揭示了子词分词在长尾与复合词交互中的内在统计缺陷。
- 后处理范式的零成本迁移:不修改分词器训练算法,不改变词表大小与 token 索引,仅通过推导期二叉树全局切分寻优,即可即插即用地提升现有预训练语料的分词质量。
- 词频尺度的精妙设计:将形态学 bonus 直接取为词表最大词频 \(\max \text{freq}_V(t)\),免去了复杂的超参调优,以自然尺度实现了对合法词边界的强约束倾向。
局限与展望¶
- 动态规划的高计算开销:句子级 \(O(n^3)\) 时间复杂度显著慢于常规子词切分(在 Ryzen 9 9950X 上处理 1 万句耗时约 13.5 秒,而基线 BPE/ULM 仅需 0.15 秒),面对缺乏标点与长文本上下文时难以直接规模化。
- 依赖高质量形态分析器:bonus 项的设计依赖外部词典与形态学工具(如 MeCab),对于形态工具未覆盖的低资源语言或专业垂直领域迁移受限。
- 模型适用性验证范围:当前实验集中在基于频率与似然准则的 BPE 和 ULM 上,未探究在结合字符级回退、字节级(byte-level)或新一代分词器中的普适表现。
相关工作与启发¶
- vs Picky BPE / Scaffold-BPE: 它们在分词器构建阶段修改合并准则以过滤脚手架无用片段,需要重新训练词表;本文则聚焦于后处理阶段,完全冻结词表,且额外解决了被忽视的吞没词元恢复问题。
- vs BPE-Knockout / Trimmed BPE: 它们通过构建后对词表进行词元硬剔除,破坏了已有分词器的词表结构与下游兼容;本文保持词表完整,仅在切分时动态纠正词元选用概率。
- vs SuperBPE / Boundless-BPE: 它们探索跨词边界的长词元以提升下游效率与推理速度;本文与其互补,指出过度偏好跨词长词会反向吞噬合法短词的独立统计分布,为长词元方案提供了反思视角。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ [形式化了吞没词元这一反直觉却广泛存在的统计偏差,并给出二叉树后处理求解方案]
- 实验充分度: ⭐⭐⭐⭐☆ [涵盖内在表征、多规模词表、BERT 预训练及下游任务,且进行了严谨的显著性检验]
- 写作质量: ⭐⭐⭐⭐⭐ [逻辑严密清晰,问题定义与图解极其精炼,算法与实验对照层层递进]
- 价值: ⭐⭐⭐⭐☆ [为无显式分词语言(日/中)的子词分词质量改善与表征对齐提供了极具启发性的思路]