Predicting Multilingual Classification and Translation Performance of LLMs with Cross-Lingual Alignment – Is English Enough?¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/KathyHaem/cla-metrics
领域: 多语言/翻译
关键词: 跨语言对齐、机器翻译评测、点互信息 (PMI)、英语枢纽假说、大语言模型
一句话总结¶
系统评测了27种基于句子嵌入的跨语言对齐(CLA)度量组合对大语言模型下游分类与翻译任务的预测能力,提出摆脱目标语言书写系统偏置的PMI翻译指标,并通过凸组合权重分析首次证明LLM在非英语翻译时主要依赖英语作为内部枢纽。
研究背景与动机¶
多语言大语言模型展现出了惊人的跨语言泛化能力,不仅能在高资源语言上表现优异,也能在无显式平行微调的情况下完成低资源语言的文本分类、阅读理解和机器翻译。然而学术界对大模型内部的跨语言工作机制仍知之甚少。以往研究提出了多种跨语言对齐(Cross-Lingual Alignment, CLA)度量,试图在不运行下游评测的情况下预测模型的跨语言迁移能力。然而,现有工作几乎完全局限于单语分类任务,且大多依赖编码器架构的静态池化方式,忽略了因果解码器模型中自回归注意力的信息流动特性。
更关键的矛盾在于,大语言模型在生成式任务(如机器翻译)中已被广泛应用,但CLA能否预测生成质量、以及生成时模型内部究竟如何进行语义映射,此前完全是一片空白。直觉上,从源语言翻译到目标语言似乎应取决于源语与目标语之间的直接对齐(src-tgt);但近期机制可解释性研究发现LLM在中间隐层往往将非英语概念隐式解码为英语,引发了“英语是否作为内部枢纽(English as a pivot)”的猜想。如果英语是枢纽,那么源语到英语(src-en)以及英语到目标语(en-tgt)的对齐是否就已经足以预测翻译质量?传统基于n-gram重合度的评价指标(如chrF)严重依赖目标语言的字符信息密度与书写系统,导致不同目标语言间的得分无法横向对齐,阻碍了跨目标语言的全局相关性分析。
针对这些瓶颈,本文全面梳理了句子嵌入提取与CLA计算范式,并进一步将评估拓展到涵盖44种语言的机器翻译基准。核心 idea:通过构建解耦目标语言先验偏置的点互信息(PMI)翻译质量指标,结合源语-英语-目标语对齐度的凸组合权重建模,首次量化证明LLM在常规跨语言翻译中以英语为核心内部枢纽,仅在同族相近语言对间直接对齐才占据主导。
方法详解¶
整体框架¶
本文构建了一套用于系统化测量、融合与预测LLM跨语言能力的分析管线。该管线首先从因果解码器模型中提取固定长度的句子表征,通过对比矩阵相似度、神经元相关性或检索间隔计算跨语言对齐分数(CLA)。针对机器翻译这一双语生成任务,本文提出了基于点互信息(PMI)的目标语言解耦评测指标,并构建了融合三种对齐方向(src-en、en-tgt、src-tgt)的凸组合回归目标,通过网格搜索最优权重以探究模型内部表征路由机制。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多语言平行语料<br/>Flores-200 / 44种语言"] --> B["多语言Few-shot嵌入提取<br/>Wikidata实体描述提示词"]
B --> C["跨语言对齐度量空间<br/>神经元相关性ANC / xSIM检索"]
C --> D["目标语解耦的PMI翻译指标<br/>条件概率减无条件先验"]
D --> E["三向对齐凸组合权重建模<br/>网格搜索最优权重组合"]
E --> F["下游性能预测与枢纽验证<br/>验证英语内部枢纽机制"]
关键设计¶
1. 多语言Few-shot嵌入提取:无偏聚合句子级语义表征 解码器架构中因果掩码使靠后位置的token汇聚了更多上下文信息,常见提取方式包括取末尾token、位置加权均值(p-wm)或英文模板提示词。然而,现有基于英文模板(如“This sentence means...”)的方法隐式引入了与英语的对齐先验;若将模板人工翻译到44种语言中又面临质量参差不齐与劳动代价高昂的问题。为此,本文设计了一种免微调的多语言Few-shot提示抽取策略。从Wikidata中按QID检索各语言前5个长度不低于10字符的实体及其单语描述,构造“根据实体描述预测实体名称”的少样本对话前缀,并将待编码句子作为最后一个描述输入模型。通过提取预测实体前最后一个token的隐层向量,模型被显式引导将整句语义浓缩进该token中,既消除了显式指令翻译的系统偏差,又避免了外部英语上下文的污染。
2. 跨语言对齐度量空间:神经元相关性与检索间隔的协同表征 在获得句子表征矩阵(源语矩阵 \(S \in \mathbb{R}^{d \times D}\) 和目标语矩阵 \(T \in \mathbb{R}^{d \times D}\))后,直接计算余弦相似度容易受到嵌入空间各向异性(anisotropy)的干扰。本文系统对比了三种层级的对齐算法:首先是神经元级平均相关系数(ANC),其沿嵌入向量的维度(即矩阵行)分别计算两个语言在整个平行语料上的皮尔逊相关系数并取均值,彻底规避了向量绝对模长和角度分布漂移;其次是基于边际的并行语料检索准确率(xSIM),包含距离差值(dist)与比例(ratio)两种变体,通过减去或除以各自语言空间内的k近邻平均相似度来修正局部尺度不均;最后是分词器级别的对齐度(Eflomal对齐器对数似然)。层级选择上统一采用各模型在所有隐层中测得的最大对齐分数所在层。
3. 目标语解耦的PMI翻译指标:消除书写系统偏置的跨语言质量代理 传统机器翻译度量(如chrF)对目标语言字符信息密度极度敏感。例如表意文字(中文)单字承载信息量显著高于字母文字,直接导致中文作为目标语时的chrF得分天然偏低,在散点图上形成严重割裂的目标语聚类簇,无法跨目标语言直接计算全局皮尔逊相关系数。为破除这一局限,本文提出利用自回归LLM生成翻译的点互信息(Pointwise Mutual Information, PMI)作为评测代理指标。PMI通过将给定源句时生成译文的条件对数似然减去译文本身的无条件(先验)对数似然,实现了语言特异性因子的精准对冲:
在具体计算中,针对长度为 \(n\) 的译文序列,在拼接 \(m\) 个少样本前缀提示后采用长度归一化平均对数似然:
计算先验概率 \(p(y)\) 时,提示词替换为同语域的5个纯目标语言句子,从而完整吸纳了目标语言自身的困惑度与先验分布。由此,任何仅由目标语种书写系统或词表丰富度带来的概率偏移均在分子分母中被同步相消,使得PMI能够公正跨越不同目标语进行联合相关性评估。
4. 三向对齐凸组合权重建模:量化解构内部路由与语言亲缘性边界 为了回答“翻译质量究竟由谁决定”的根本问题,本文构建了涵盖三种对齐关系的凸组合线性预测模型:
其中 \(\alpha \in [0, 1]\),\(\beta \in [0, 1 - \alpha]\),自由度为2,步长取 \(1/25\) 进行网格搜索,以最大化组合对齐度与全局PMI之间的皮尔逊相关系数。在44种语言构成的全集上,最优参数下直接源-目标对齐的权重 \((1 - \alpha - \beta)\) 几乎恒等于0,意味着源语和目标语的直接表征亲疏对翻译质量几乎没有边际贡献,质量完全由各自与英语的对齐度解释。为了检验这一机制在亲缘语言间的鲁棒性,本文进一步在7对互通性极强的相近语言对(如捷克语-斯洛伐克语、加泰罗尼亚语-西班牙语、南非荷兰语-荷兰语等,共14个方向)上重复该实验,深入划定了英语枢纽假设的生效边界。
实验关键数据¶
主实验¶
实验评测了三类具有代表性的大模型家族:Qwen3-14B、gemma-3-12b和Ministral-3-14B(均包含Base与Instruct版本),在44种语言的Flores-200与BOUQuET数据集上展开。在单语任务(SIB-200主题分类与Belebele阅读理解)中,src-en对齐度均展现出极强的预测能力;在双语翻译任务中,基于凸组合的预测相关性显著优于传统单一指标。
| 任务 / 数据集 | 评估模型 | 最优句子表征 | 最优对齐度量 | 预测相关性 (\(\rho\)) | 对比直接src-tgt提升 |
|---|---|---|---|---|---|
| SIB-200 (分类) | Qwen3-14B-Base | prompt | xSIM abs | 81.8% | — |
| SIB-200 (分类) | Ministral-3-Base | prompt | xSIM abs | 97.5% | — |
| Belebele (阅读理解) | Qwen3-14B-Base | prompt | ANC | 91.7% | — |
| Belebele (阅读理解) | Ministral-3-Base | p-wm | ANC | 97.4% | — |
| Flores 翻译 (chrF) | Qwen3-14B-Base | p-wm | ANC | 82.0% | +22.6% vs src-tgt (59.4%) |
| Flores 翻译 (chrF) | Ministral-3-Base | fewshot | xSIM abs | 87.6% | +6.5% vs src-tgt (81.1%) |
| Flores 翻译 (PMI) | Qwen3-14B-Base | p-wm | cos | 91.2% | 直接src-tgt权重为 0.0% |
| Flores 翻译 (PMI) | Ministral-3-Base | p-wm | ratio | 90.5% | 直接src-tgt权重仅 4.0% |
消融实验¶
消融实验核心考察在预测全局PMI翻译质量时,三向对齐凸组合在全量44语种多语言集合与7对高度相近语言子集上的权重分配机制与泛化性(BOUQuET域外验证)。
| 语言评测子集 | 模型配置 | 最优表征+度量 | 预测相关性 \(\rho_{\oplus}\) | 域外验证 \(\rho_{val}^{\oplus}\) | 直接对齐权重 \((1-\alpha-\beta)\) | 核心机制推论 |
|---|---|---|---|---|---|---|
| 44语种全集 | Qwen3-14B-Base | p-wm + cos | 91.2% | 91.1% | 0.0% | 极度依赖英语枢纽 (src-en + en-tgt) |
| 44语种全集 | Qwen3-14B-Inst | p-wm + cos | 82.9% | 88.5% | 8.0% | 英语枢纽权重占92.0% |
| 44语种全集 | gemma-3-12b-pt | last + ANC | 68.0% | 56.1% | 0.0% | 直接src-tgt无增益 |
| 44语种全集 | Ministral-3-Base | p-wm + ratio | 90.5% | 88.9% | 4.0% | 英语枢纽占96.0% |
| 7对相近语言 | Qwen3-14B-Base | mean + cos | 84.7% | 75.2% | 88.0% | 枢纽旁路,直接对齐占绝对主导 |
| 7对相近语言 | gemma-3-12b-pt | — + Eflo | 76.8% | 72.2% | 84.0% | 直接对齐主导,词元可对齐性生效 |
| 7对相近语言 | Ministral-3-Base | mean + cos | 90.0% | 85.2% | 84.0% | 亲缘语言直接映射无需绕道英语 |
关键发现¶
- 英语作为内部翻译枢纽的铁证:在全量多语言测试中,直接src-tgt对齐度在凸组合中的权重近乎归零(0%~12%),最优拟合点全部集中于边界线 \(\alpha + \beta \approx 1\)。这表明大模型内部并非为每对语言维持直接的跨语言空间映射,而是实质上把两端语言映射到以英语为核心的中心概念表征空间。
- 相近语言的表征旁路现象:当面对存在高度词汇重合与相似句法的互通语言对(如捷克语-斯洛伐克语、加泰罗尼亚语-西班牙语)时,现象发生彻底反转——直接对齐权重骤增至84%~88%,表明LLM在直译代价极低时会绕过英语枢纽进行直接层间转移。
- 度量与表征选择的最佳实践:在全部27种组合中,位置加权均值(p-wm)结合神经元级相关性(ANC)在系统级评测中综合表现最稳健;若下游需要样本级粒度打分,推荐使用p-wm结合xSIM abs;分词器级别的Eflomal指标整体相关性弱于向量层级,仅在闭源黑盒场景下作为粗粒度备选。
亮点与洞察¶
- PMI指标破解书写系统评估偏置:提出以点互信息消除目标语言生成先验,成功克服了chrF对字符密度的天然系统偏差,首次实现了跨44种异构书写系统的全局端到端翻译质量横向可比。
- 从下游相关性反推定性机制:巧妙地将对齐度量的数学凸组合与网格搜索转化为探针工具,从下游行为学预测角度为“LLM内部以英语为通用思维语言”的猜想提供了坚实的数据证据。
- 多语言无偏Embedding抽取技巧:提出的Wikidata少样本实体推断抽取法,既利用了LLM自身强大的上下文压缩能力,又优雅避开了多语言翻译提示词的偏置陷阱。
局限与展望¶
- 语料领域单一性:大规模高质量多语言平行文本仍极度匮乏,实验主要依赖Flores-200(单领域维基百科新闻风格),虽然在BOUQuET上做了泛化性校验,但无法排除领域重合带来的相关性虚高。
- 相近语言样本规模有限:互通亲缘语言实验仅囊括了7对欧洲与亚非代表性语言对且仅基于Base模型展开,对于更大规模语系微方言或复杂形态学相近语种的内部机制仍待细化。
- PMI指标的模型残差依赖:虽然PMI在统计上大幅减轻了聚类割裂,但其计算受模型概率校准能力(Calibration)影响,在指导微调对齐或横跨多模型对比时仍存在残余方差。
相关工作与启发¶
- vs MEXA (Kargaran et al., 2025) & DALI (Ravisankar et al., 2026):现有工作均局限于使用单语下游分类/阅读理解任务来关联与英语的对齐度,本文首次将CLA成功推进至生成式的机器翻译全对评测,补全了生成任务预测的拼图。
- vs Do llamas work in English? (Wendler et al., 2024):以往主要依赖Logit Lens在特定层直接解码词表token来观察英语映射,本文则通过跨任务、跨语言对齐强度的凸组合最优化行为反推内部路由机制,从黑盒表示分析角度形成了强有力的互补印证。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将跨语言对齐预测拓展至双向机器翻译,提出解耦目标语偏置的PMI并定量揭示英语枢纽边界。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖3大模型家族共6个变体、44种多样化语言、27种表征度量组合以及域外BOUQuET严格验证。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑推导环环相扣,从单语任务自然递进到双向生成,图表表征清晰详尽。
- 价值: ⭐⭐⭐⭐⭐ 为多语言大模型的高效评估、跨语言表征机制分析以及低资源语料增强策略提供了极其重要的指导依据。