Assessing the Impact of Language Disparity on Multilingual Linguistic Ability in Large Language Models¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/EricZhanyuChen/multiblimp_eval
领域: 多语言/翻译
关键词: 语言不平等, 多语言句法能力, 最小对偶评测, 对齐税, 无法言说差距
一句话总结¶
论文在覆盖 101 种语言的 MultiBLiMP 句法最小对偶基准上评测 6 个大模型家族,揭示后训练带来的语言对齐税由低资源语言承担最高代价,且大模型无法通过元语言提示言说其保留的语法知识,而目标语言原生提示能有效唤醒低资源潜伏语法能力。
研究背景与动机¶
多语言大语言模型(LLM)在跨语言文本理解和生成上取得了显著突破,但模型能力在语言之间的不平等现象依然极其严峻。现有的多语言评测多聚焦于问答、翻译等下游任务,而针对大模型基础句法能力(如主谓一致性、主宾分词一致性)的跨语言分析仍处于探索阶段。更关键的是,大语言模型的句法能力究竟该如何测量本身在学界就存在巨大争议:是使用无提示的序列似然比(Direct Probability),还是使用对话式的元语言问答(Meta Evaluation)?评测范式、后训练(Post-Training)以及语言自身资源丰富度三者之间的复杂交互,此前缺乏大规模、系统性的实证研究。
深入分析这一多语言评价分歧,存在两层亟待解构的核心矛盾。首先,当前的后训练(SFT 指令微调与人类偏好对齐 RLHF)语料极度偏向超高资源语言(如英语),这可能导致模型产生针对特定语言的知识遗忘与能力退化,但这种“对齐税”在不同资源梯度的语言上具体如何分布尚未被定量度量;其次,英文研究已观察到模型无法通过对话界面内省其语法知识(即隐式概率判断正确但元语言回答错误),然而这一“无法言说差距”是否能外推至非英语以及低资源语言,又是否会因为基准线接近随机猜测而被掩盖,此前完全未被检验。
针对上述瓶颈,本文依托覆盖 101 种语言、121,305 对句法最小对偶的 MultiBLiMP 基准,横跨 6 个开源模型家族(Gemma 3、Gemma 4、Llama 3、Qwen 3、Qwen 3.5、TinyAya)的 base 与 post-trained 配对模型,系统对比了判别式与元语言四大评测协议。核心 idea:通过构建涵盖无提示直接概率、英语提示、目标语原生提示与元语言问答的多范式评测矩阵,形式化定义归一化语言对齐税(Normalized Alignment Tax)与无法言说差距(Inarticulate Gap),系统证明低资源语言承担了不成比例的对齐代价,且直接似然评估会系统性低估其语法能力,必须引入目标语原生提示加以校准。
方法详解¶
整体框架¶
本文构建了一个端到端的跨语言句法能力与评测偏差分析框架。评测的核心基准为 MultiBLiMP,包含 101 种语言的 121,305 对形态句法对偶样本(涵盖主谓一致、主语-分词一致)。依据 Common Crawl 语料规模,101 种语言被严格划分为超高资源(Super High, >\(10^{11}\) tokens,7 种)、高资源(High, \(10^9\)–\(10^{11}\) tokens,38 种)、中资源(Mid, \(10^7\)–\(10^9\) tokens,20 种)以及低/零资源(Low/Zero, \(\le 10^7\) tokens,36 种)四个梯度。在此数据底座上,模型面对每组最小对偶输入(语法正确句 \(S_{cor}\) 与微小扰动的语法错误句 \(S_{inc}\)),分别在四大评测协议下输出判定结果,进而输入分析管线计算对齐税、言说差距与单样本翻转分布。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入最小对偶<br/>语法正确句 Scor 与错误句 Sinc"] --> B["多协议评测矩阵<br/>Direct / English / Native / Meta"]
B --> C["归一化语言对齐税量化<br/>消除低资源偶然基线偏置"]
C --> D["双层知识解耦与言说差距测量<br/>Direct 对比 Meta 评测"]
D --> E["原生提示激活机制<br/>目标语言上下文线索激发潜伏知识"]
E --> F["单样本翻转与裕度衰减分析<br/>追踪预训练弱知识在后训练中的单向流失"]
关键设计¶
1. 多范式评测矩阵构建:统一判别式与元语言能力的探测协议 传统语言学评测往往单一依赖无提示对数概率或直接调用单轮问答,导致评测结论严重偏置。本文设计了四大对齐评测范式:(1) 直接概率评测(Direct Probability),在没有任何前后缀提示下,计算并比较序列条件似然 \(P(S_{cor}) > P(S_{inc})\);(2) 英语提示概率评测(English-Prompted),在句子前拼接规范化英文上下文 \(C_{eng}\)(如 “The following is a sentence in [Language].”);(3) 目标语原生提示概率评测(Native-Prompted),将前缀翻译为目标语言文本 \(C_{native}\)(如德语 “Dies ist ein Satz auf Deutsch.”),对 14 种无法完全渲染前缀的古代或极低资源语言采用缩短语言名称或实证短语;(4) 元语言问答评测(Meta Evaluation),将最小对偶构造为二选一问答并根据字符长度奇偶性随机分配选项位置,要求模型输出分类标记 1 或 2。通过四大协议在统一测试集上的横向映射,剥离了生成格式依从性对底层句法能力的干扰。
2. 归一化语言对齐税:消除随机基线偏置的真实退化度量 后训练微调通常会削弱模型的原始概率建模能力,产生对齐税 \(\Delta = \text{Acc}_{base} - \text{Acc}_{PT}\)。但在跨语言尤其是低资源场景下,直接相减会导致严重的度量失真:例如超高资源语言 baseline 接近 100%,而低资源语言 base 准确率可能仅在 60% 附近,留给其绝对掉点的空间天然狭窄。为公平量化跨资源梯度的能力损耗,本文引入归一化语言对齐税(Normalized Linguistic Alignment Tax): $\(\text{Normalized Tax} = \frac{\text{Acc}_{base} - \text{Acc}_{PT}}{\text{Acc}_{base} - 0.5}\)$ 公式分母消除了二分类任务下 50% 的随机猜测基线,度量了后训练抹除的超越随机概率的有效语法知识比例。对于 base 准确率低于或等于 0.5 的语言予以排除,使对齐损失在不同资源梯度之间具备真正的可比性。
3. 双层知识解耦与言说差距测量:表征隐式与显式语法知识的割裂 为了检验大语言模型在多语言环境下“内省能力”的边界,本文定义了无法言说差距(Inarticulate Gap): $\(\text{Gap} = \text{Acc}_{Direct(PT)} - \text{Acc}_{Meta(PT)}\)$ 正差距表明后训练模型保留了底层概率层面辨析语法的能力,却无法在对话聊天界面以离散选项形式显式“言说”该知识。该指标不仅用于评测 post-trained 模型,还通过 base 模型的格式不匹配差距建立了基线对照。分析表明,跨语言言说差距的均值与语言的资源量呈现极强的一致性负向遮蔽效应。
4. 目标语言原生提示激活机制与单样本翻转审计:探测与逆转弱表征流失 为了逆转后训练引发的表征退化并查明流失根源,本文设计了提示增益指标 \(\text{Prompt Gain} = \text{Acc}_{Native(PT)} - \text{Acc}_{Direct(PT)}\)。同时在单样本粒度,建立跨 base 与 post-trained checkpoint 的逐项配对追踪。通过计算 base 模型的概率对数裕度(Log-Probability Margin)\(\log P(S_{cor}) - \log P(S_{inc})\),结合逻辑回归分析语法特征频次(如双数 dual、第二人称等长尾特征)、距离与干扰项数量,定位后训练阶段语法知识衰退的微观机制。
实验关键数据¶
主实验¶
论文对 6 个主流模型家族的最大尺寸模型进行了全量评测,涵盖四大评测协议与四层资源梯度(Acc均值与跨语言标准差)。
| 模型家族与规模 | 评测方法: Direct (%) | 评测方法: Meta (%) | 评测方法: Native Prompt (%) | 评测方法: English Prompt (%) | 资源层: Low/Zero (%) | 资源层: Super High (%) |
|---|---|---|---|---|---|---|
| Gemma 3 (27B) base | 84.17 ± 19.4 | 73.17 ± 18.7 | 86.21 ± 18.1 | 85.77 ± 19.3 | 66.72 ± 22.1 | 98.60 ± 0.6 |
| Gemma 3 (27B) PT | 79.46 ± 18.9 | 74.02 ± 17.9 | 81.63 ± 17.5 | 79.69 ± 17.1 | 61.70 ± 19.5 | 95.15 ± 1.6 |
| Gemma 4 (31B) base | 85.56 ± 19.1 | 84.38 ± 16.1 | 88.36 ± 16.9 | 88.13 ± 17.9 | 68.61 ± 22.4 | 98.86 ± 0.7 |
| Gemma 4 (31B) PT | 76.09 ± 17.2 | 82.33 ± 18.1 | 78.06 ± 16.9 | 79.77 ± 17.0 | 61.08 ± 18.2 | 91.79 ± 2.6 |
| Llama 3 (8B) base | 80.88 ± 18.4 | 54.51 ± 9.9 | 83.24 ± 19.2 | 82.74 ± 18.7 | 64.96 ± 20.5 | 97.11 ± 1.7 |
| Llama 3 (8B) PT | 79.19 ± 18.1 | 57.31 ± 11.6 | 82.07 ± 18.8 | 81.39 ± 19.0 | 63.42 ± 19.9 | 95.31 ± 2.5 |
| Qwen 3 (30B-A3B) base | 80.37 ± 19.1 | 71.40 ± 17.6 | 82.56 ± 19.3 | 81.73 ± 19.5 | 63.26 ± 20.5 | 97.03 ± 1.7 |
| Qwen 3 (30B-A3B) PT | 78.14 ± 18.6 | 68.67 ± 17.1 | 80.36 ± 18.7 | 79.80 ± 19.4 | 61.58 ± 19.4 | 94.65 ± 2.0 |
| Qwen 3.5 (35B-A3B) base | 83.45 ± 19.0 | 81.91 ± 17.9 | 85.47 ± 18.8 | 85.56 ± 19.0 | 66.25 ± 21.5 | 97.91 ± 1.0 |
| Qwen 3.5 (35B-A3B) PT | 82.44 ± 18.6 | 80.48 ± 18.2 | 84.89 ± 17.8 | 84.59 ± 19.1 | 65.62 ± 20.7 | 96.96 ± 1.5 |
| TinyAya (3.35B) base | 76.68 ± 19.3 | 55.01 ± 10.0 | 78.06 ± 20.4 | 77.51 ± 21.2 | 62.07 ± 20.0 | 97.60 ± 1.3 |
| TinyAya (3.35B) PT | 74.61 ± 18.2 | 54.77 ± 11.0 | 76.65 ± 18.7 | 75.52 ± 19.8 | 61.81 ± 18.9 | 93.19 ± 2.7 |
消融与机制分析:归一化对齐税与无法言说差距跨层演变¶
下表汇总了 Gemma 3 模型族在不同模型尺度(1B 至 27B)与资源层级下的归一化语言对齐税(%)与后训练无法言说差距(Direct - Meta, %):
| 资源层级 / 指标配置 | 归一化对齐税 (1B) | 归一化对齐税 (4B) | 归一化对齐税 (12B) | 归一化对齐税 (27B) | 言说差距 (1B PT) | 言说差距 (4B PT) | 言说差距 (12B PT) | 言说差距 (27B PT) |
|---|---|---|---|---|---|---|---|---|
| Super High Tier | 23.4% | 21.8% | 11.5% | 7.1% | 22.85% | 7.93% | 6.22% | 3.81% |
| High Tier | 33.6% | 27.2% | 14.7% | 9.3% | 19.83% | 9.91% | 4.32% | 4.43% |
| Mid Tier | 36.9% | 31.4% | 19.0% | 16.1% | 15.32% | 12.08% | 10.54% | 9.36% |
| Low/Zero Tier | 35.9% | 33.0% | 12.0% | 20.6% | 3.50% | 6.20% | 4.49% | 4.66% |
关键发现¶
- 对齐税非尺度决定,且低资源代价显著更高:跨家族比较显示,归一化对齐税在最大模型中表现出极大的家族方差(TinyAya 仅 1.4%,而 Gemma 4-31B 高达 30.9%)。在 Gemma 3 缩放阶梯中,超高资源语言对齐税随参数量增长从 23.4% 骤降至 7.1%,而低资源语言对齐税在 27B 时依然高达 20.6%,证实模型缩放并未均匀消除低资源语言的对齐损耗。
- 无法言说差距是高资源特有表象:在后训练模型中,高资源语言的言说差距显著(Gemma 3 1B 达到 22.85%),并随着参数扩展收敛至 3.81%;相反,低/零资源语言的言说差距全程低迷(3.50%–6.20%),其本质原因在于低资源语言的直接概率准确率已接近 50% 随机基线,导致没有多余的显性潜伏知识可供隐藏。
- 单样本翻转呈现单向性崩塌:对 Gemma 4 (31B) 121,305 对样本分析表明,后训练导致 14.5% 的样本由正确变为错误(Loss),仅有 2.9% 由错误转为正确(Gain),损失与收益比高达 5.0:1(全家族介于 1.4:1 至 5.0:1)。且基模型中预训练置信裕度较低的样本极易流失(丢失样本的 median margin 为 5.0,而保留样本为 8.0)。
- 目标语原生提示有效唤醒低资源潜能:原生语言提示(Native Prompt)对高资源语言增益趋近于 0,但对低资源语言产生极为显著的正向收益(Prompt Gain 达 +2.8 pp),说明直接序列概率评估严重低估了模型在缺乏母语情境锚定时对小语种的真实句法把握。
亮点与洞察¶
- 创新性地引入“归一化对齐税”消除跨语言评估中的偶然猜测偏置,首次精确证明后训练阶段的高资源偏向对低资源语言语法能力的非对称破坏。
- 洞察到所谓的“无法言说差距”具有强烈的资源分层假象——它在高资源语言中表现为潜伏知识无法被指令对话激发,而在低资源语言中则因基线接近随机而被数学形式掩盖。
- 确立了目标语原生提示(Native Prompting)在低资源语言评测中的校准作用,证明单凭英文提示或未加提示的序列似然会产生系统性的跨语言能力误判。
局限与展望¶
- 语言学现象覆盖受限:评测完全建立在 MultiBLiMP 之上,仅涵盖主谓一致和主语-分词一致两类形态句法现象,无法直接外推至更广泛的倒装、从句、长程语义依赖等语法全貌。
- 开源权重预训练语料黑盒:所评估的六大开源模型家族均未公开其精确的分语言预训练配比,虽然采用了 Common Crawl 频率分层,但特定模型家族在某个小语种上的异常表现可能源于其特有的语料混合方案而非普遍规律。
- 推理与思考模式尚未探索:所有测试均在禁用 Thinking/Reasoning 模式下进行,未来需进一步研究带思维链(CoT)推理的大模型能否缩小无法言说差距并主动纠正语法偏误。
相关工作与启发¶
- vs Hu et al. (2024; 2026): Hu 等人证实了字符串概率测量比显式提示更符合人类语法判断,本文在此基础上扩展至跨语言维度,进一步指出未提示的直接概率在低资源语言上存在情境激活不足的缺陷,需用目标语原生提示补充。
- vs Song et al. (2025): Song 等人仅在英语环境下提出模型无法内省自身语法知识(Inarticulate Gap),本文将这一现象推进到全球 101 种语言,揭示出言说差距与对齐税之间的负相关关系,并澄清了低资源语言因基线极低而呈现虚假“言说一致”的统计本质。
- vs Jumelet et al. (2026) MultiBLiMP: 原基准主要提供基于因果语言模型的对数概率评测,本文则全面拓展出包含对齐税、提示增益与四种评测范式的系统性评估套件。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次跨 101 种语言在 6 大模型家族系统量化后训练对齐税与多语言内省差距。
- 实验充分度: ⭐⭐⭐⭐⭐ 评测 12 万最小对偶、覆盖 23 个后训练与 base 模型权重,包含完备的单样本裕度与回归验证。
- 写作质量: ⭐⭐⭐⭐⭐ 概念清晰,归一化指标设计严谨,图表表征与语言学洞察极为深刻。
- 价值: ⭐⭐⭐⭐⭐ 为未来多语言基础模型的评测范式标准化与公平后训练提供了决定性的实证指导。