跳转至

CWoMP: Morpheme Representation Learning for Interlinear Glossing

会议: EMNLP 2026
论文: ACL Anthology
代码: https://cwomp.github.io
领域: 自监督与表示学习
关键词: 行间标注 (IGT), 语素表征学习, 对比学习, 可变词典检索, 低资源语言

一句话总结

CWoMP 摒弃了将行间标注视为无约束字符序列生成的传统范式,通过多正例对比预训练将单词与「形-义」语素原子单元对齐至共享嵌入空间,并利用轻量自回归解码器从可变词典中进行离散检索,实现了 0% 语素幻觉、切分-标注严格 1:1 对齐、推理算力消耗降低 8.5 倍以及推理期零重训动态扩展。

研究背景与动机

在濒危语言保护、语言复兴与田野语言学研究中,行间标注文本(Interlinear Glossed Text, IGT)是最标准且富含深层语言学结构的核心记录格式。标准 IGT 遵循莱比锡标注规则(Leipzig Glossing Rules),在转录文本之下严格对齐形态切分层(以连字符分隔语素段)与语法标注层(大写语法范畴与小写词汇语义),清晰展现词法构词与句法语义。然而,人工产出高质量 IGT 极其繁琐且耗时,需要田野语言学家具备极高专业知识,这促使计算语言学界持续探索自动化 IGT 生成(如 SIGMORPHON 共享任务)。近期主流神经方法(如 GlossLM、ByT5)普遍将标注建模为端到端的字符级或字节级序列到序列(seq2seq)生成任务,试图利用多语言预训练模型的跨语言迁移能力直接解码标注字符串。

然而,这种无约束的 seq2seq 生成范式存在致命缺陷:它完全忽视了语素作为「形-义结合体」(Form-Meaning Unit)的内在离散组合结构。将标注退化为纯文本序列直接导致了三大严峻痛点:其一,模型极易产生严重脱离训练词汇表的「语素幻觉」(Hallucination),生成不存在的语法标记或虚构词根,在极低资源语种(如 Gitksan)上幻觉率高达 44.84%,这对濒危语料记录是灾难性的;其二,由于切分层与标注层独立生成或仅生成标注,输出往往出现语素切分段数与标注词数不等的结构错位;其三,基于字节的自回归生成在推理时需逐字符解码,计算量巨大(单句需超 210B FLOPs)。更关键的是,田野调查中不可避免会遇到大量未登录词(OOV),现有黑盒生成模型根本无法在不重新微调全模型权重的前提下吸收新词汇,严重脱离了田野语言学家的实际交互工作流。

面对形态语素的组合特性与极低资源场景下的实用需求,本文转变了切入视角:既然语言学上的语素具有高度复用性与离散确定性,就应当将自动化 IGT 任务重构为在可变词素词典上的「生成式检索」(Generative Retrieval)。核心 idea:将语素建模为不可分割的「形-义」原子对,通过双编码器对比学习将上下文单词与其构造型语素对齐在共享向量空间,构建离散词素词典(Codebook);随后利用轻量自回归 Transformer 解码器在词典中逐步检索语素嵌入,在根除模型幻觉与严格保证切分-标注对齐的同时,支持语言学家在推理期零重训动态扩展词典。

方法详解

整体框架

CWoMP 的处理管线分为两大阶段:第一阶段为词素包编码器(Bag-of-Morphemes Encoder, BoM Encoder)的对比预训练,使用 LaBSE 初始化权重,将带上下文的单词和离散语素单元映射到统一的表征空间,并在离线阶段将语言的所有已知语素缓存为离散嵌入词典;第二阶段为 IGT 自回归解码器(IGT Decoder),它接收输入单词的表征作为前缀条件,自回归地预测连续隐状态,并通过与预计算词典进行点积相似度检索匹配最近邻语素,最终由连续检索出的语素拼装成完整的 IGT 标注序列。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入:目标词 w 及上下文句子与翻译<br/>+ 语言学语素候选集 M = {(s_i, g_i)}"]
    In --> Des1["多正例对比词素包编码<br/>字符级强制分词 + 共享 LaBSE 双编码器 + 多正例 InfoNCE 目标"]
    Des1 --> Codebook["离散语素嵌入词库 V_emb<br/>离线预计算并缓存全部 (分段, 标注) 原子单元向量及 [eos]"]
    Des1 --> Des2["离散词素检索自回归解码<br/>4层 Transformer 以词表征为条件,自回归输出并通过点积匹配词素"]
    Codebook --> Des2
    Des2 --> Des3["推理期可变词典动态扩展<br/>语言学家交互式注入新语素向量至词典,零重训覆盖 OOV"]
    Des3 --> Out["输出:1:1 严格对齐的<br/>形态切分与行间标注序列 G_w"]

关键设计

1. 多正例对比词素包编码:破解词素复用冲突与形义多义性 在将连续句子映射为语素集合时,同一词缀往往频繁出现在同一个 batch 内的不同词汇中(例如多个动词共享相同的人称或时态后缀)。标准 InfoNCE 损失将 batch 内除正例外的所有样本均视为负例,这会直接惩罚模型学到合法的跨词语素复用,从而严重损伤表征质量。为此,CWoMP 将单词抽象为语素集合(Bag-of-Morphemes, \(B_w = \{m_1, \dots, m_k\}\)),每个语素为形式与意义构成的元组 \(m_i = (s_i, g_i)\)。针对输入字符串,模型在转录词字符间插入空格以强制字符级分词,避免跨语言分词器的子词切分干扰,并拼接整句上下文与句子翻译。输入分别通过具有共享参数 \(\theta\) 的双编码器映射为 \(L_2\) 归一化的向量 \(p_\theta(w)\) 和 \(q_\theta(m)\)。随后,模型采用多正例 InfoNCE 损失,精准找出 batch 内所有合法的正例组合集合 \(\mathcal{P}_i\),并在正例间取平均对数概率,公式如下: $\(\mathcal{L}(\theta) = -\frac{1}{B} \sum_{i=1}^B \frac{1}{|\mathcal{P}_i|} \sum_{p \in \mathcal{P}_i} \log \frac{\exp\left(S(w_i, m_p) / \tau\right)}{\sum_{j=1}^B \exp\left(S(w_i, m_j) / \tau\right)}\)$ 其中 \(S(w_i, m_j) = p_\theta(w_i) \cdot q_\theta(m_j)\) 表示词与语素的余弦相似度,\(\tau\) 为可学习温度系数。该对比目标使得向量空间具备高度线性的形态学几何属性(如形态学向量类比分析中余弦相似度达 0.70~0.79),且能借助上下文有效消除同形异义语素(如 Tsez 语中同形不同义的后缀 -n)的歧义。

2. 离散词素检索自回归解码:根除无约束文本幻觉并保证切分对齐 传统基于自由文本的生成式模型在生成稀疏语素时缺乏结构约束,往往产生非法缩写或非词根标签,且容易出现切分连字符数量与标注数量不符的问题。CWoMP 彻底解耦了词素生成,将预训练好的 BoM 编码器冻结,离线预计算训练语料库中所有唯一形态语素的向量矩阵 \(V_{\text{emb}}\)(含 [eos])。解码器是一个极为轻量的 4 层 Transformer(隐藏维度 512,4 头自注意力),其输入序列以目标词在上下文中的嵌入 \(q_\theta(w)\) 占据位置 0,后接 [bos] 及前面已生成的语素向量。在解码步 \(j\),解码器输出隐藏状态 \(h_j\),直接与离散词典矩阵 \(V_{\text{emb}}\) 计算点积相似度得到分类对数几率: $\(\text{logits}_j = \frac{h_j^\top V_{\text{emb}}}{\kappa}\)$ 其中 \(\kappa\) 为联合学习的温度系数。模型通过宽度为 5 的 Beam Search 进行解码,输出一系列离散词典索引。由于输出被严格限制在离散词典内部,模型从结构上杜绝了生成未登记的非法语素标签(0% 幻觉);同时,由于每个检索出的词素条目天然绑定了切分串 \(s_i\) 与标注串 \(g_i\),形态切分与语法标注的语素数目始终绝对相等,彻底攻克了传统方法标注层与切分层错位的顽疾。此外,由于自回归解码是以「语素」为单位(单词通常仅 2~4 个语素)而非「字节/字符」为单位,大幅规避了 ByT5 的长序列解码瓶颈。

3. 推理期可变词典动态扩展:破解低资源新词瓶颈与支持专家在环 在真实田野调查中,极低资源语言的数据分布极不完整,测试样本中不可避免存在训练集未见过的未登录(OOV)语素。端到端微调模型若想识别新语素,必须重新进行全局反向传播训练,这对缺乏 GPU 算力和机器学习背景的田野语言学家而言不可逾越。CWoMP 借助检索式架构的模块化优势,设计了推理期可扩展的动态词典机制。语言学家在审核标注结果时,若发现未收录的新词素或特定专有名词,无需对 Transformer 权重进行任何调整,仅需将新语素条目 \((s_{\text{new}}, g_{\text{new}})\) 传入冻结的 BoM 编码器得到嵌入向量,直接追加到 \(V_{\text{emb}}\) 矩阵中即可。这使得模型在推理时可立即将该新语素纳入检索候选中,极大扩充了 OOV 捕获能力。该机制与团队研发的交互式标注系统 GlossAssist 实现了无缝集成,将田野语言学家的日常核对纠错操作实时闭环为模型的动态知识库扩展。

一个完整示例

以 Tsez 语中的例句词汇 ragäƛin 为例,说明整体推理流程: - 输入准备:给定句子转录 T’ay rił łu ragäƛin?(意为“谁把黄油舔干净了?”),目标词为 ragäƛin。构建字符分词的提示词输入至冻结的 BoM 编码器,得到目标词在上下文中的密集表征 \(q_\theta(w)\)。 - 解码初始化:将 \(q_\theta(w)\) 放入位置 0,后接 [bos] 传入 4 层 IGT 解码器。 - 步 1 检索:解码器输出隐藏状态 \(h_1\),在词库 \(V_{\text{emb}}\) 中检索到最近邻为类标记前缀 \(m_1 = (\text{r-}, \text{IV})\)。 - 步 2 检索:将 \(m_1\) 的表征反馈送入下一步解码,解码器结合词义预测输出 \(h_2\),在词库中命中词根 \(m_2 = (\text{agi}, \text{lick})\)。 - 步 3 检索:接收前序前缀与词根,模型解码输出 \(h_3\),准确命中疑问语素 \(m_3 = (\text{-a}, \text{Q})\)。 - 步 4 检索:继续自回归,解码器输出命中引语标记后缀 \(m_4 = (\text{-ƛin}, \text{QUOT})\)。 - 步 5 结束:解码器输出命中 [eos] 终止符,Beam Search 完成。 - 拼装输出:系统直接输出切分层 r-agi-a-ƛin 与标注层 IV-lick-Q-QUOT,完全对应真值,且切分段与标注标签严格一一对齐。

损失函数 / 训练策略

  • BoM 编码器训练:基于预训练 LaBSE(768 维输出),使用多正例 InfoNCE 损失进行端到端微调。优化器采用 Adam,学习率设为 \(2 \times 10^{-5}\),warmup 设为 100 步,batch size 为 128,训练 100 个 epoch(对于极小样本的 Gitksan 则训练 1000 个 epoch)。
  • IGT 解码器训练:解码器采用 4 层 Transformer Block(隐层维度 512,4 个注意力头),以交叉熵损失优化离散词典索引的分类预测。训练采用 Teacher Forcing,batch size 为 32,学习率为 \(1 \times 10^{-4}\),weight decay 为 0.01,梯度截断阈值为 1.0,dropout 设为 0.1。训练 100 个 epoch(Gitksan 训练 1000 个 epoch)。
  • 推理配置:BoM 编码器离线提取词典;推理采用 Beam Search,束宽设为 5。

实验关键数据

主实验

论文在 SIGMORPHON 2023 评测的 7 个代表性低资源语种上进行评测,涵盖 Arapaho (arp, 39,501句)、Uspanteko (usp, 9,774句)、Tsez (ddo, 3,558句)、Nyangbo (nyb, 2,100句)、Natugu (ntu, 791句)、Lezgi (lez, 701句) 与 Gitksan (git, 仅31句)。评测分为仅使用训练集词典的 Train Lexicon 以及加入测试集真值语素(模拟专家交互扩展)的 Extended Lexicon。

在行间标注准确率上,CWoMP 与最强基线 GlossLM(微调版)的语素级准确率(Morpheme Accuracy)与全词准确率(Word Accuracy)对比如下(引用原文表 5):

语言代码 训练集句数 语素准确率 (GlossLM) 语素准确率 (CWoMP Train) 语素准确率 (CWoMP Ext.) 全词准确率 (GlossLM) 全词准确率 (CWoMP Train) 全词准确率 (CWoMP Ext.)
arp (Arapaho) 39,501 82.1% 80.6% 84.1% 81.5% 83.7% 87.9%
usp (Uspanteko) 9,774 78.6% 69.8% 72.9% 81.0% 75.3% 79.9%
ddo (Tsez) 3,558 83.6% 82.8% 82.9% 87.3% 86.9% 87.4%
nyb (Nyangbo) 2,100 87.4% 88.2% 89.1% 86.2% 86.8% 87.8%
ntu (Natugu) 791 62.8% 66.6% 67.8% 78.9% 82.4% 86.1%
lez (Lezgi) 701 57.3% 66.0% 69.3% 64.9% 77.3% 81.9%
git (Gitksan) 31 10.1% 11.1% 14.8% 28.4% 24.7% 38.3%

在形态切分任务上,模型与微调 ByT5 基线在语素错误率(Morpheme Error Rate, MER \(\downarrow\))上的评测结果如下(引用原文表 3):

模型配置 arp usp ddo git lez ntu nyb
ByT5 Baseline 0.08 0.15 0.04 0.98 0.27 0.09 0.03
CWoMP (Train Lexicon) 0.11 0.21 0.03 0.71 0.16 0.14 0.04
CWoMP (Extended Lexicon) 0.07 0.17 0.02 0.57 0.11 0.10 0.02

消融实验

论文在 Tsez、Gitksan、Natugu 和 Nyangbo 四种语言上对编码器骨干、对比损失以及 Prompt 设计进行了系统消融(验证集平均指标,引用原文表 8):

骨干编码器 对比损失函数 提示词输入组合 NDCG@10 \(\uparrow\) mAP@100 \(\uparrow\) P@1 \(\uparrow\) R@10 \(\uparrow\)
CANINE-S InfoNCE Word (W) .837 .774 .761 .894
CANINE-S InfoNCE W + Transcript (Tr) .838 .777 .766 .933
CANINE-S InfoNCE W + Translation (Ts) .827 .765 .758 .931
CANINE-S InfoNCE W + Tr + Ts .847 .791 .776 .937
LaBSE InfoNCE Word (W) .832 .792 .773 .908
LaBSE InfoNCE W + Tr .846 .805 .795 .916
LaBSE InfoNCE W + Ts .866 .823 .816 .938
LaBSE InfoNCE W + Tr + Ts .881 .844 .840 .942
LaBSE InfoNCE W + Tr + Ts + Spacing (Sp) .890 .846 .821 .970
LaBSE Multi-Positive W + Tr + Ts + Sp (完整系统) .897 .856 .826 .972

关键发现

  • 多正例损失与强制字符分词至关重要:从标准单正例 InfoNCE 切换到多正例损失使得 NDCG@10 从 .890 跃升至 .897,mAP 提升 1.0 个百分点;强制字符分词(Spacing)规避了通用分词器对生僻形态的破坏,使 R@10 从 .942 提升至 .970。
  • 极低资源场景优势极为显著:在中低资源语种(Lezgi、Natugu、Gitksan)上,CWoMP 的标注准确率全面超越 GlossLM。在仅 701 句训练集的 Lezgi 上,全词准确率从 64.9% 提升至 77.3%(扩展词典更达 81.9%);在极端匮乏的 Gitksan(31 句)上,切分 MER 从 ByT5 的 0.98 大幅降至 0.71(扩展词典达 0.57)。
  • 未登录词比例与可恢复增益强相关:未登录语素率(pOOV)直接制约模型上限,扩展词典带来的 MER 改善幅度(\(\Delta\)MER)与 pOOV 呈现高度一致的对应关系(Gitksan pOOV 为 .446,带来 .133 的 MER 下降)。
  • 计算复杂度实现断崖式下降:参数量上 CWoMP(485M)略小于 GlossLM(582M),但在单句推理 FLOPs 上,GlossLM 由于 ByT5 的逐字节长步数自回归,每句需消耗 211.7B FLOPs;而 CWoMP 88% 的算力被单次前向的 BoM 编码器吸收,轻量解码器仅需 3.0B FLOPs,总计 24.8B FLOPs,计算开销缩减至约 \(\frac{1}{8.5}\)。
  • 语素幻觉彻底消除:GlossLM 在基准测试中平均产生 4.27% 的非法未见标注(Gitksan 达 44.84%),而 CWoMP 依靠离散检索在先验上实现了 0% 的语素幻觉。

亮点与洞察

  • 将形态生成转化为检索范式:将连续语言生成重构为离散原子单元的生成式检索,巧妙规避了语言生成模型在极小样本下的幻觉顽疾,保证了语言学输出的高可靠性与可解释性。
  • 推理期零重训可变词库扩展:打破了传统深度学习模型参数固化的壁垒,解耦了参数空间与词素词典,让不懂模型微调的田野语言学家可以通过向向量池注入词条实现即时自适应。
  • 空间几何表征承载形态学代数:训练所得的语素与单词嵌入在潜在空间内自然展现出类似 Word2Vec 的向量平移类比性质(不同词根在屈折变化间的位移向量平均余弦相似度达到 0.79),证明了对比表征学到了真实深层的词法结构。

局限与展望

  • 对形态标注一致性与拼写变体敏感:CWoMP 在 Uspanteko 语言上略逊于 GlossLM,原因在于该数据集存在较多非标准化的拼写异体(如西班牙语借词 abuela 的词缀存在 tiit' 与 tit' 变体)。由于 CWoMP 严格受限于词典精准匹配,无法像连续生成模型那样产生平滑的泛化,面对拼写变体容易失配。
  • 受限于串接形态学假设:当前方法依赖切分层与标注层一一对应的连字符假设,尚无法直接处理广泛存在于某些语言(如闪米特语族)中的非串接形态过程(如词根元音交替、重叠构词和附着词素)。
  • 未来方向:探索引入模糊匹配机制以应对语音与拼写噪声,结合 Generalized Glossing Guidelines 等标准拓展至非串接形态,并探索将该检索框架拓展至 Universal Dependencies 形态特征标注及生物序列分析任务中。

相关工作与启发

  • vs GlossLM (Ginn et al., 2024c): GlossLM 采用跨语言多语微调的 ByT5 架构,进行自由文本的无约束字节生成,依赖庞大外部语料预训练;CWoMP 仅利用目标语言单语 IGT 数据进行对比训练与检索,消除了幻觉与层间失配,推理 FLOPs 减少 8.5 倍,且支持推理期动态扩充词汇。
  • vs Tü-cl / Girrbach (2023): Girrbach 系统通过随机硬注意力与直通梯度联合学习切分与标注;CWoMP 则基于多正例对比表征学习对齐词与语素,自回归解码机制更加稳定且可解释性更强。
  • vs 传统 RAG 与 Generative Retrieval (SimCIT / Pointer Networks): 传统 RAG 是先检索上下文再喂给生成器,生成内容依然自由发散;SimCIT 等检索是生成复合标识符。CWoMP 将检索作为生成步的核心算子,每步独立在外部可变代码本中匹配离散的语言学实体。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 巧妙跳出无约束文本生成定势,将形态学行间标注重构为基于连续表征的离散词素检索,兼具理论美感与实用价值。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7 个不同语族的真实极低资源语种,对比了主指标、算力消耗、语素错误率、检索指标及几何类比分析,数据极其详实。
  • 写作质量: ⭐⭐⭐⭐⭐ 叙事严密,问题定义精准,图表直观地揭示了方法动机与语言学背景。
  • 价值: ⭐⭐⭐⭐⭐ 深刻贴合濒危语言保护的田野实际痛点,兼顾严谨性、低算力消耗与专家交互,具备极高实用推广前景。