Model-Aware Tokenizer Transfer¶

会议: NeurIPS 2026
arXiv: 2510.21954
代码: https://github.com/Goader/matt
领域: 多语言与机器翻译
关键词: 分词器迁移, 注意力影响建模, 嵌入初始化, 低资源语言适应, 知识蒸馏

一句话总结¶

提出模型感知分词器迁移方法（MATT），通过注意力影响建模（AIM）将原模型的跨 token 注意力交互动态蒸馏至新分词器模型，在极低算力开销下高效恢复大语言模型在目标语言上的生成与判别能力。

研究背景与动机¶

在大语言模型（LLM）向多语言能力快速扩展的背景下，预训练模型固定的词表与分词器（Tokenizer）构成了适配低资源或独立字母表语言的关键瓶颈。主流多语言分词器为兼顾跨语种通用性，词表分配天然向高资源语言倾斜；诸如格鲁吉亚语、乌克兰语以及斯瓦希里语等语种往往面临极低的压缩率，不仅使得相同语义文本被切分为大量碎片化子词从而拖慢训练与推理速度，还严重损伤了下游任务精度。分词器迁移（Tokenizer Transfer）通过替换专用分词器并重构输入输出嵌入层，成为低成本复用模型已有跨语言知识的理想方案。

然而，现有分词器迁移方法几乎完全受限于词嵌入层的浅层启发式设计。以 WECHSEL、FOCUS、Transtokenizers 和 TokAlign 为代表的启发式方案，本质上均通过 FastText、GloVe 或双语词典对源词表嵌入进行加权线性组合来初始化新 token，彻底忽略了 Transformer 高层特别是注意力机制的动态交互行为；而基于全模型语言建模（Next Token Prediction, NTP）或超网络（如 Zero-Shot Tokenizer Transfer）的方法虽然利用了完整模型信号，却需要在全模型各层反复执行完整的前向与反向传播，计算负担极其沉重。更近的 Token Distillation 虽尝试对齐多 token 隐状态序列，却在生成任务上表现出严重的单向不对称崩溃。

该任务的核心矛盾在于：仅靠输入嵌入空间的表面语义对齐无法还原模型深层的上下文交互，而全模型语言建模微调又过于耗时低效。本文的切入角度是解构 Transformer 的知识存储与上下文计算机理——前馈网络（FFN）已存储了大部分事实性静态知识，分词器变更引入的核心畸变主要发生在聚合上下文的注意力层。核心 idea：提出模型感知分词器迁移（MATT），通过无损字符偏移动态分段构建片段级注意力影响建模（AIM）目标，仅截取网络前三分之一处的注意力加权 Value 状态进行单层特征蒸馏，在数个 GPU 小时内以极高计算效率精准恢复模型高层上下文表征。

方法详解¶

整体框架¶

MATT 的核心思想是将拥有原分词器 $T$ 的预训练模型作为教师模型，将搭载扩展分词器 $T'$ 的模型作为学生模型，通过蒸馏注意力层的交互动态来指导新词嵌入的初始化与快速对齐。整个流程包括三个核心阶段：首先，利用无损字符偏移对齐算法，将输入文本划分为跨双分词器一致的最小片段序列；随后，学生模型和冻结的教师模型前向传播至指定截断层（通常为模型前三分之一深度），在此层计算片段级加权 Value 状态；最后，计算因果注意力影响建模（AIM）损失，在冻结所有非嵌入层及重叠 token 嵌入的前提下，仅反向传播更新新增 token 的输入嵌入向量。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入文本与双重分词<br/>冻结教师模型 T 与待适配学生模型 T'"] --> B["字符级偏移动态分段<br/>寻找不切分任何 token 的最小公共片段序列"]
    B --> C["注意力影响建模 AIM<br/>前向传播至截断层 n 提取加权 Value 状态"]
    C --> D["片段级表征聚合与因果对齐<br/>匹配末尾 Query 驱动的跨片段影响力分布"]
    D --> E["部分冻结与嵌入微调<br/>冻结重叠词嵌入，仅更新新增 token 嵌入"]

关键设计¶

1. 字符级偏移动态分段（Offset-based Segmentation）：消除跨分词器切分边界冲突 跨分词器对齐的首要难题是不同分词器的切词粒度与归一化规则不一致，强行使用自然语言词粒度切分会导致边界错位或在无空格语言中完全失效。为此，MATT 提出了基于字符偏移的双指针动态分段策略 $S(s; \mathcal{T})$。该算法直接作用于原始字符串的字符起始与结束偏移区间，维护教师与学生当前 token 的最大右边界，并在产生重叠时动态扩展当前片段，确保得到的每一个片段 $s_k$ 永远不会切断 $T$ 或 $T'$ 中产生的任何完整 token。这种设计不仅天然具备普适性，还能最大程度保留词内更细粒度的公共子片段对齐，为后续片段级注意力状态的无偏聚合提供了坚实基础。

2. 片段级注意力影响建模（Attention Influence Modeling, AIM）：蒸馏深层上下文交互动力学 标准注意力机制中，查询 token $t_i$ 的输出状态为各个位置 Value 状态的加权求和 $o_i = \sum_{j=1}^n A_{i,j} v_j = \sum_{j=1}^n v^*_{i,j}$。为了将 token 级交互升格为跨分词器可比的片段级语义，MATT 定义了针对片段 $s_k$ 的聚合加权 Value 状态 $\mathfrak{s}_{i,k} = \sum_{\{j: t_j \in T(s_k)\}} v^*_{i,j}$。由于自回归模型每个 token 的表示旨在预测下一个 token，对应片段 $s_i$ 的查询状态自然由该片段内的最后一个 token $t_b$（即 $\ell_T(i)=b$）承载，即 $\mathfrak{q}_i = q_{\ell_T(i)}$。通过在因果掩码约束 $j \le i$ 下严格对齐两者的片段间影响分布，AIM 能够直接约束学生模型模拟教师内部的上下文特征聚合方式。

\[\mathcal{L}_{AIM} = \frac{2}{m(m+1)} \sum_{i=1}^m \sum_{j=1}^i \mathcal{L}^*(\mathfrak{s}_{\ell_T(i),j}, \mathfrak{s}'_{\ell_{T'}(i),j})\]

该目标函数中的 $\mathcal{L}^*$ 可采用均方误差（MSE）或余弦嵌入损失。在序列包含 $m$ 个片段时，AIM 在单次前向中便注入了 $O(m^2)$ 数量级的丰富配对监督信号，其监督信息密度远超标量交叉熵损失。

3. 浅层截断蒸馏与部分冻结优化（Truncated Layer Alignment & Partial Freezing）：平衡极速训练与表征质量 全模型反向传播计算代价高昂，而 MATT 的关键发现是无需在所有层或最后一层施加 AIM。实证表明，模型前期的注意力层负责将离散 token 还原为连贯的词级内部词典表示（Detokenization），表征能力在网络前约 $1/3$ 深度（如 34 层 Gemma 模型的第 12 层，或 36 层 Qwen 模型的第 16 层）即达到平台期，更深层反而会轻微退化。MATT 仅截取至这一最佳截断层计算 AIM 损失，使得教师与学生模型的前向与反向计算量缩减至全模型的约三分之一。同时，MATT 冻结 Transformer 所有内部权重以及在新旧分词器中重叠出现的已有 token 嵌入，仅使用 FOCUS 快速初始化并微调未见过的全新 token 嵌入，杜绝已有通用语言表征受损。

一个完整示例¶

考虑输入句子 "CH4 is a formula for methane"。假设原分词器 $T$ 切分为 9 个 token：["CH4", " is", " a", " _for", "m", "ula", " for", " _meth", "ane"]；扩展分词器 $T'$ 词表更优，切分为 7 个 token：["CH4", " is", " a", " _form", "ula", " for", " _methane"]。动态分段算法通过字符区间匹配，识别出 6 个无损片段： 1. s1: "CH4" 2. s2: " is" 3. s3: " a" 4. s4: " formula"（教师对应 [" _for", "m", "ula"]，学生对应 [" _form", "ula"]） 5. s5: " for" 6. s6: " methane"（教师对应 [" _meth", "ane"]，学生对应单 token [" _methane"]）

在计算针对第 6 片段 " methane" 的注意力输出时： - 教师模型取其末尾 token "ane" 的查询向量 $q_9$，学生模型取 " _methane" 的查询向量 $q'_7$； - 教师端将作用于第 4 片段（" formula" 的三个子 token）的加权值向量 $v^*_{9,4} + v^*_{9,5} + v^*_{9,6}$ 累加为 $\mathfrak{s}_{9,4}$；学生端则将对应的两个子 token 累加为 $\mathfrak{s}'_{7,4}$； - AIM 损失计算并拉近这组向量之间的距离，迫使新 token " _methane" 在接收前文化学术语上下文时，产生与原多 token 组合完全一致的注意力流向与表征增益。

损失函数 / 训练策略¶

训练采用 AdamW 优化器，学习率固定为 $1\times 10^{-4}$，不设置权重衰减。批大小为 4 个文档，序列截断长度为 256。对于具有绑定嵌入（Tied Embeddings）的模型（如 Gemma 家族），更新后的输入嵌入直接作为语言建模 Head 输出嵌入，无需额外计算；对于未绑定嵌入（Untied Embeddings）的模型（如 Qwen 3 8B），MATT 结合下一 Token 预测（NTP）交叉熵损失进行多任务对齐： $$\mathcal{L}_{total} = \mathcal{L}_{AIM} + \lambda \mathcal{L}_{NTP}$$ 通过尺度平移对齐不同损失的量级，在保证极高训练吞吐的同时，有效兼顾输出投影矩阵的收敛。

实验关键数据¶

主实验¶

在乌克兰语适配任务中，以 12B 参数的 Gemma 3 12B PT 为底座，扩展分词器将单 token 平均字符压缩率从 2.98 显著提升至 4.44（推理速度提升近 50%）。使用 Kobza 语料库中约 2.4 亿 token 数据训练 7 小时。在 Belebele、Global MMLU（判别任务，准确率 %）以及 Long FLORES、WMT24++、XL-Sum（生成任务，BLEU 值）上的对比评测如下：

方法	训练时长	Belebele	Global MMLU	Long FLORES en→uk	Long FLORES uk→en	WMT en→uk	XL-Sum	判别均分 (Avg Disc)	生成均分 (Avg Gen)
Gemma 3 12B PT (原始基线)	-	89.33	67.03	14.36	26.32	3.52	6.52	78.18	12.68
启发式基线
WECHSEL	-	22.67	24.61	0.00	0.00	0.00	0.00	23.64	0.00
Transtokenizers	-	61.89	46.03	0.04	0.10	0.09	0.02	53.96	0.06
TokAlign	-	31.44	32.98	0.00	0.31	0.00	0.01	32.21	0.08
FOCUS	-	48.78	37.14	1.01	6.19	0.88	0.20	42.96	2.07
优化基线
Transtokenizers w/ NTP	7h 00m	85.22	59.83	4.63	2.17	0.95	4.80	72.53	3.14
FOCUS w/ NTP	7h 00m	87.00	60.55	4.32	23.00	2.51	5.04	73.78	8.72
Token Distillation	8h 20m	82.89	59.23	0.00	21.92	0.72	4.06	71.06	6.68
MATT (本文)	7h 00m	89.56	64.98	8.70	27.89	4.71	5.95	77.27	11.81

消融实验¶

在 Gemma 3 4B PT 模型上，使用乌克兰语分词器针对层数配置与初始化策略进行的消融评测（报告显存占用、训练时间及下游基准精度）：

配置项	变量	AIM 截断层数	VRAM (GiB)	训练时长	Belebele	Global MMLU
对齐层范围	所有层对齐 (all layers)	3 层	17.3	1h 33m	32.56	28.63
	所有层对齐 (all layers)	5 层	26.5	2h 19m	35.11	29.00
	仅单层对齐 (last layer)	3 层	9.1	0h 56m	37.22	29.95
	仅单层对齐 (last layer)	5 层	10.1	1h 04m	60.11	34.80
初始化方法	WECHSEL 初始化	5 层	10.1	1h 04m	59.78	33.56
	Transtokenizers 初始化	5 层	10.1	1h 04m	60.89	34.75
	FOCUS 初始化 (默认)	5 层	10.1	1h 06m	60.89	34.72

多语言跨模型跨语种综合泛化实验（涵盖阿拉伯语、德语、日语、斯瓦希里语 4 种跨语系语言平均值）：

模型底座	方法	Belebele	Global MMLU	MMMLU	Long FLORES en→x	Long FLORES x→en	XL-Sum	判别均分 (Avg Disc)	生成均分 (Avg Gen)
Gemma 3 4B PT	Baseline	70.53	55.00	49.26	7.93	20.22	4.14	58.26	10.76
	FOCUS	43.33	40.50	36.63	1.93	8.39	0.18	40.15	3.50
	Token Distillation	57.39	45.81	43.52	1.31	12.87	1.09	48.91	5.09
	MATT	66.03	52.81	46.84	3.94	13.22	1.27	55.23	6.14
Qwen 3 4B	Baseline	73.47	56.00	53.80	10.02	28.29	1.93	61.09	13.41
	FOCUS	41.94	33.94	34.73	4.77	9.49	0.23	36.87	4.83
	Token Distillation	57.22	44.19	42.68	5.11	17.74	0.04	48.03	7.63
	MATT	66.39	48.50	47.11	5.20	20.68	0.90	54.00	8.93

关键发现¶

生成能力断层领先：纯启发式方案生成性能几乎清零（Avg Gen < 2.1），Token Distillation 在目标语言生成端表现出严重不对称衰竭（en→uk BLEU 为 0.00）。MATT 在 12B 模型上取得了 11.81 的生成均分，恢复了原模型 93.1% 的生成能力，双向翻译表现均衡。
单层截断蒸馏优于全层联合蒸馏：消融实验表明，在相同截断深度下，仅对该层执行 AIM 损失相比在之前所有层累加损失显存占用降低超 60%，训练时间减半，且下游任务精度大幅领先（Belebele 60.11 vs 35.11）。
极速收敛特性：在仅投入全量训练 10% 步数（对应每语言不到 500 万 token）时，MATT 就已收获超过 50% 的最终精度增益；且初始化方法的优劣差异在极少步数训练后迅速被对齐抹平。
自蒸馏上限约束：MATT 作为自蒸馏方法，其恢复能力上限受制于教师模型本身的跨语言储备。当底层模型对斯瓦希里语等语种本身掌握极弱时（如 Qwen 3 4B 原生 Belebele 仅 44.89），MATT 无法“无中生有”，只能最大限度挽回已有知识。

亮点与洞察¶

抓住注意力交互本质：洞察到分词器变更引入的核心扰动在于注意力层的上下文加权机制，而非前馈网络的静态事实知识，以 AIM 针对性修复关键短板。
无损字符偏移分段巧妙破除对齐屏障：绕过跨语言自然词分词的模糊性与歧义，基于字符区间的双指针贪心合并保证了任意两个分词器之间都能生成绝对无缝的公共对齐片段。
截断层计算极致提速：发现解词元化（Detokenization）在模型前三分之一深度即可形成稳定的高阶表征，避免了全模型前向反向传播的巨大浪费。
极佳的正交可组合性：可无缝作为后续全参数持续预训练（Continual Pretraining）的强力 Warm-up 阶段，大幅缩短模型适应新语种的收敛周期。

局限与展望¶

输入输出嵌入不对称：AIM 仅直接监督输入嵌入层。在绑定嵌入模型中虽然参数共享，但输出层缺乏直接的语言建模分布监督，留存有微小的生成性能差距；在非绑定模型中则必须配合 NTP 辅助损失。
受限于教师自身知识边界：方法属于自蒸馏范式，无法凭空为模型注入预训练语料中完全不存在的纯盲区语言能力。
暂未探索全参数解冻的持续微调：受算力限制，实验主要集中在冻结 Transformer 层的嵌入适应阶段，解冻主干参数后的长程表现仍待系统性评估。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出将注意力动态影响引入分词器迁移，基于字符偏移的公共分段与浅层截断蒸馏构思巧妙。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖乌克兰语单语种深度评测与 4 种跨语系语言多语言评测，覆盖 4B、8B、12B 多种尺度与绑定/非绑定架构，对比基准详实。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰，符号定义严密，消融分析透彻，图表呈现直观。
价值: ⭐⭐⭐⭐⭐ 为大模型极低成本适配边缘语种与领域分词器提供了极其高效实用的工业级范式。