TBLS: Transition-Based Language Similarity through Activation Perturbation¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/WildRaincoat/TBLS
领域: 可解释性
关键词: 语言相似度、激活扰动、多语言模型、跨语言迁移、表示几何
一句话总结¶
针对静态表示几何度量在多语言模型间泛化不稳定且难以刻画生成动力学的问题,本文提出基于激活扰动的转移语言相似度(TBLS),通过在前向传播中注入可控噪声诱发跨语言生成转移,以样本逃逸噪声为基准量化表征流形上的语言邻近度。
研究背景与动机¶
语言相似度(Language Similarity)不仅是理论语言学探索语系谱系树(Genealogical Tree)与类型学(Typology)特征的核心基石,更是多语言自然语言处理中指导预训练语种配比、跨语言零样本迁移(Zero-shot Cross-lingual Transfer)以及低资源语言选择的关键依据。随着多语言预训练模型(mLMs,如 mGPT、XLM-R、mT5、Qwen3 等)的发展,学术界普遍尝试从模型学到的高维表征空间中逆向推导语言相似度。代表性方案主要依赖静态几何快照(Static Geometry),例如基于对齐平行句隐层向量余弦距离的表示相似度(REP/mPLM-Sim)、语言质心距离(CentroidSim)以及神经元激活相关性(ANC)。
然而,这类基于静态空间距离的度量手段面临深层的理论与经验瓶颈。一方面,静态几何度量高度依赖模型架构、分词器设计、对齐语料领域及探测层深,不同模型间推断出的语言关系拓扑差异巨大,缺乏跨架构的内在一致性;另一方面,静态几何仅给出了表征在欧氏或流形空间中的距离切片,无法反映模型在受到局部扰动或推理演进时输出分布的动力学特性(Output Dynamics)。如果两种语言在模型的语义流形上真正相邻且局部紧密连通,那么在表征受到微小局部扰动时,模型的生成概率质量应当自然在两者之间发生漂移;反之,距离遥远的语言则极难因局部微扰而发生转移。
为了打破静态表征测量的局限,本文转向行为驱动(Behavior-driven)的动态探测视角,探究激活微扰如何诱发多语言模型在跨语言邻域内的状态跃迁。通过向中间层激活注入高斯噪声,探测模型在何种微扰强度下会脱离源语言分布,并统计转移到其他候选语言的概率质量分布。核心 idea:通过向模型前馈子层激活注入受控高斯噪声,以语言级逃逸噪声(Escape Noise)为标定基准,测量输出概率质量在语言间的微扰转移倾向并取双向极小值构建 TBLS,从行为动力学角度直接刻画多语言表征流形的局部连通性与相对距离。
方法详解¶
整体框架¶
TBLS 的核心流程涵盖三个主要阶段:首先,针对目标语言的输入文本,在前向传播的前馈子层激活中逐步增加高斯噪声,寻找使模型生成序列首次偏离原语言的最小扰动阈值,并取语言级平均得到“逃逸噪声”(Escape Noise),作为后续探测的归一化工作点;接着,在校准后的固定逃逸噪声强度下执行单次扰动推理,提取首个扰动输出 token 的完整词表概率分布,并结合大规模预训练语料(MC4)中的子词频次统计与单语硬标签,软聚合得到各候选语言的转移概率;最后,通过在多语言数据集上对单样本概率求期望,构建有向转移概率矩阵,并取双向转移的极小值消除不对称性,输出最终的对称语言相似度矩阵。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多语言输入序列<br/>x ∈ D_Li"] --> B["语言级逃逸噪声标定<br/>逐步增噪探测生成脱离边界"]
B --> C["词表软聚合与跨语言权重解歧<br/>语料频次加权分配共享子词"]
C --> D["非对称转移概率与极小值对称化<br/>构建双向一致的TBLS矩阵"]
D --> E["输出语言相似度矩阵<br/>TBLS(Li, Lj) 与跨语迁移预测"]
关键设计¶
1. 语言级逃逸噪声标定:跨语言扰动基准不一 -> 逐步增噪探测边界 -> 提供可比探索尺度
由于不同语言在多语言预训练中的语料规模、子词分词粒度以及表征流形曲率各不相同,直接对所有语言施加绝对固定的噪声强度 \(\sigma\) 会导致高资源语言尚未扰动、而低资源语言已彻底崩溃的不公平现象。为此,本文设计了样本级至语言级的逃逸噪声探测机制。对于输入样本 \(x \in \mathcal{D}_{L_i}\),在推理过程中逐步增大噪声尺度 \(\sigma\),直到生成的输出序列被外部语言识别模型(LID)判定不再属于源语言 \(L_i\) 为止,记录此时的临界噪声为样本逃逸噪声 \(\sigma_{\text{esc}}(x)\);随后对该语言语料库内的所有样本取均值,得到该语言专有的逃逸噪声 \(\sigma_{L_i} = \frac{1}{|\mathcal{D}_{L_i}|} \sum_{x \in \mathcal{D}_{L_i}} \sigma_{\text{esc}}(x)\)。实验表明,当扰动尺度归一化至该阈值时,各语言生成的依存句法重叠率(LAS Overlap)均下降至相近的低位(如图 9 所示),证明逃逸噪声能够将不同语言对齐到同一临界探索基准。
2. 词表软聚合与跨语言权重解歧:子词跨语种共享模糊边界 -> 语料频次加权结合单语硬标签 -> 稳定多语言概率质量分配
在多语言词表(如 250k 的 XLM-R 词表)中,大量短子词(Subwords)尤其是拉丁字母和西里尔字母构成的词片段在多种同语系或跨语系语言中高频复用。如果采用简单的单一语言归属,会导致共享子词引发虚假的跨语言转移概率。针对这一痛点,本文提出两级词表聚合方案:首先,利用 MC4 统计拉丁与西里尔脚本中跨语种出现的共享子词 \(\tilde{v}\),根据其在各语言中的经验出现频次计算软加权权重 \(w_{\tilde{v}, L_j} = f_{\tilde{v}, L_j} / \sum_k f_{\tilde{v}, L_k}\);其次,对于非共享的专有子词,使用 XLM-V 预测的高置信度单语硬标签进行划分,并剔除填充、终止符等非语言符号 \(S\) 以及置信度低于 0.2 的未知符号。该设计使首个扰动 token 的输出概率分布能够平滑、精确地投影到各语言的概率质量 \(P(L_k \mid x, \sigma_{L_i})\) 上。
3. 非对称转移概率与极小值对称化:单向生成转移不对称 -> 全局词表概率期望与保真度聚合 -> 构建鲁棒双向语言邻近度度量
在自回归生成或掩码预测中,从高资源源语言向低资源目标语言的转移概率往往与逆向转移概率不对等(例如丹麦语易转移至挪威语,但反向由于先验分布差异数值不同)。为保留这一细粒度信息同时提供严谨的几何相似度,本文分两步走:首先在有向迁移层面,保留经验期望值 \(p_{i \to j} = \mathbb{E}_{x \sim \mathcal{D}_{L_i}} [P(L_j \mid x, \sigma_{L_i})]\),该有向概率直接作为下游跨语言零样本迁移(Zero-shot Transfer)的先验预测分;其次在全局无向相似度层面,采用双向转移的下确界定义 \(\text{TBLS}(L_i, L_j) = \min(p_{i \to j}, p_{j \to i})\)。取极小值能够严格约束两门语言必须具备双向互通性,有效抑制了仅因单向词表重叠或特定单语数据伪偏差带来的单侧虚高相似度。
扰动机制与相似度评估准则¶
在具体实现上,扰动操作作用于 Transformer 各层的前馈子网络(FFN)激活输出:
$$ \tilde{a}\ell = a\ell + \sigma \xi_\ell, \quad \xi_\ell \sim \mathcal{N}(0, I) $$
其中模型参数 \(\theta\) 完全冻结,高斯噪声在各层与各前向传播中独立采样。针对非自回归或仅编码器架构(如 XLM-R),由于缺乏天然的自回归解码序列,本文引入确定性的自左向右掩码填充(Mask-and-Fill)流程构建伪生成文本 \(\tilde{y}(x, \sigma)\),逐位置生成填空词以支持外部 LID 判定;对于编码器-解码器架构(mT5),则采用单 token span 填充(<extra_id_0>)协议;对于自回归大语言模型(mGPT、Qwen3-8B、Apertus-8B),使用无模板的贪婪解码并限制前 25 个 token。最终,结合有效词表 \(V' = V \setminus S\) 上的加权转移求和式:
$$ P(L_k \mid x, \sigma) = \sum_{v \in V_{L_k}} p_\theta(v \mid x, \sigma) $$
经多样本平均后得出 \(p_{i \to j}\) 及 \(\text{TBLS}(L_i, L_j)\)。
实验关键数据¶
主实验¶
论文在五大主流多语言模型(mGPT、mT5-Large、XLM-R Large、Qwen3-8B、Apertus-8B)和两大评测基准(FLORES、TATOEBA,涵盖 45 门高多样性语言,语言家族熵达 0.95)上系统测试了 TBLS。下表展示了由各相似度度量诱导重建的语言树与 Glottolog 黄金谱系树之间的归一化叶节点拓扑距离(Leaf-distance,越低越好):
| 模型 | TBLS | REP (mPLM-Sim) | Centroid (质心余弦) | ANC (神经元相关) | 随机基线 (Mean ± Std) |
|---|---|---|---|---|---|
| mGPT | 0.151 | 0.188 | 0.204 | 0.337 | 0.450 ± 0.082 |
| mT5-Large | 0.074 | 0.128 | 0.125 | 0.203 | 0.450 ± 0.082 |
| XLM-R Large | 0.138 | 0.072 | 0.075 | 0.123 | 0.450 ± 0.082 |
| Qwen3-8B | 0.338 | 0.128 | 0.122 | 0.179 | 0.450 ± 0.082 |
| Apertus-8B | 0.195 | 0.171 | 0.138 | 0.197 | 0.450 ± 0.082 |
跨模型与跨语料一致性及下游迁移分析¶
在评估度量跨架构鲁棒性时,表征相似度分析(RSA)衡量了相似度矩阵在不同环境下的秩相关性。下表汇报了不同预训练资源分组下的 TBLS 跨设置一致性(RSA),并对比了下游跨语言零样本迁移预测表现:
| 资源分组 / 迁移任务 | (A) 同模型跨语料 RSA | (B) 跨模型同语料 RSA | (C) 跨模型跨语料 RSA | 跨脚本迁移 RSA (CS) |
|---|---|---|---|---|
| 高资源语言 (High) | 0.981 | 0.915 | 0.912 | - |
| 中资源语言 (Medium) | 0.887 | 0.678 | 0.647 | - |
| 低资源语言 (Low) | 0.965 | 0.870 | 0.867 | - |
| 全局 TBLS (MASSIVE) | - | - | - | 0.440 (分词重叠为 NA) |
| 全局 TBLS (XNLI) | - | - | - | 0.341 (分词重叠为 NA) |
| 全局 TBLS (WikiAnn NER) | - | - | - | 0.002 (分词重叠为 NA) |
| 全局 TBLS (UD POS) | - | - | - | 0.028 (分词重叠为 NA) |
关键发现¶
- 跨架构一致性远超静态度量:全设置下 TBLS 在模型与语料之间的 RSA 达到 0.883 至 0.982(平均达 0.882,图 12),而静态度量 REP(最优层仅 0.487)、ANC(最优层仅 0.241)均大幅落后,表明微扰诱发的转移流动性捕获了多语言模型更本质、更收敛的内在几何拓扑。
- 高低资源两极高度稳健:如资源消融所示,高资源(0.912)与低资源(0.867)语言的跨模型跨语料 RSA 均极高,证明一致性并非单纯依赖高资源语料的规模主导。
- 词元级别任务预测优势显著:在 WikiAnn NER 与 UD POS 标记任务中,过滤掉 1-2 门极度低逃逸噪声的目标语言后,TBLS 对零样本迁移准确率的预测能力迅速追平并超越静态基线;在跨书写系统(Cross-Script)设置下,传统分词器重叠基线直接失效退化(NA),而 TBLS 依然保持强相关性(MASSIVE 达 0.440,XNLI 达 0.341)。
- 语义框架保持与实词替换现象:对微扰生成序列的词性分析(图 7、图 17)表明,60% 至 90% 以上的扰动替换发生在实词(Content Words)而非虚词(Function Words),说明激活扰动在保留语法骨架的前提下遍历临近的语义概念空间。
亮点与洞察¶
- 从静态几何快照迈向动态微扰探测:不纠结于各层各神经元的欧氏余弦距离,而是直接通过施加微扰诱发状态转移,将黑盒模型的表示相似度转化为可直接观测的生成流转移概率,构思极为巧妙。
- 逃逸噪声的临界尺度标准化:提出并验证了逃逸噪声(Escape Noise)这一概念,成功消解了不同语言在模型表征空间中因流形曲率和分词粒度不同而带来的探测偏差,为深度神经网络的鲁棒性分析提供了可复用的标准化标尺。
- 揭示语义邻域的局部连通性:定性与定量实验共同揭示了多语言表征并非孤立离散的簇,而是共享相同语义骨架、局部连通的连续流形,为跨语言迁移学习的理论可行性提供了扎实的行为学依据。
局限与展望¶
- 极低逃逸噪声语言的探测失真:对于预训练资源极端匮乏或在无扰动回放时即无法维持自身语言的边缘语种(如巴斯克语 Basque),逃逸噪声测算会面临退化失效风险。
- 共享子词先验对非同族语言的潜在偏差:尽管引入了 MC4 频次加权,但在同采用拉丁脚本的语言对之间,子词重叠依然可能赋予微弱的非零基础概率质量,略微压制了跨书写系统的近缘语对。
- 计算开销相对静态提取更高:逃逸噪声的校准需要对每个样本逐步增大扰动进行多步前向搜索(mGPT 需 445 次前向,mT5 需 370 次,Qwen3 需 155 次),相比单次提取 embedding 计算量显著增大。
相关工作与启发¶
- vs REP / mPLM-Sim:后者提取各层平行句向量计算余弦相似度,严重受限于最佳特征层的选择且跨架构一致性差(RSA < 0.5);TBLS 采用端到端首个 token 的微扰转移概率,在各模型间保持高达 0.88+ 的拓扑一致性。
- vs CentroidSim:后者通过平行语料平均计算语言中心点向量距离,虽具备一定跨模型稳定性(RSA ~ 0.62),但完全抹平了局部流形的非线性细节;TBLS 则深入流形边缘,测出了动态转移势垒。
- vs ANC:后者通过神经元维度的皮尔逊相关性度量跨语言对应,计算繁琐且极易受到单神经元特化噪声干扰;TBLS 聚焦整体输出行为,具备更稳健的语义解释力。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将激活扰动诱发的动态状态转移引入多语言相似度量化,跳脱出传统静态距离的范式框架。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 种不同范式架构(因果解码、掩码编码、编解码)、45 门高多样性语种、4 种下游迁移任务及详尽的消融与鲁棒性验证。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑主线极为紧凑,从直觉假说到数学表述再到语言学特征解释层次分明、自洽严密。
- 价值: ⭐⭐⭐⭐⭐ 为多语言表征可解释性研究开辟了行为动力学探测的新路径,对低资源语言迁移选源具有高实用价值。