跳转至

When Similar Means Different: Evaluating LLMs on Arabic–Hebrew Cognates

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/mbzuai-nlp/SemCog
领域: 多语言与机器翻译
关键词: 同源词识别, 假同友, 语义消歧, 闪含语系, 大语言模型评测

一句话总结

论文构建了包含 1,858 对阿拉伯语-希伯来语词对及对应句级上下文的高质量基准 SemCog Bench,深入评测了 16 款主流大模型在真同源词、假同友与借词上的识别与消歧能力,揭示了 LLM 严重依赖表层形态相似性而缺乏深层跨语言语义推理的根本缺陷。

研究背景与动机

在多语言自然语言处理与历史语言学中,近缘语言之间的词汇重叠兼具跨语言迁移的使能作用与语义混淆的巨大风险。阿拉伯语与希伯来语同属闪含语系(Semitic languages),两者共享基于三辅音词根的非连接构词法(root-and-pattern morphology),在词汇表层形态上存在极其普遍的同源重叠。这种表层相似性实际上掩盖了三种截然不同的词汇关系:第一类是继承自共同原始闪含语且语义保留一致的真同源词(True Cognates,如阿语 وردة 与希伯来语 ורד 均指“玫瑰”);第二类是语音和拼写高度重合但语义在历史演变中彻底分化甚至截然相反的“假同友”(False Friends,如阿语 لحم 指“肉”而希伯来语 לחם 指“面包”,阿语 خريف 指“秋天”而希伯来语 חורף 指“冬天”);第三类则是两者分别从第三种语言平行借入的现代外来借词(Loanwords,如 סושי / سوشي 均借自日语“寿司”)。在日常非标注文本中,阿语的 tashkil 与希伯来语的 nikkud 等元音音标通常被省略,辅音骨架的极度相似使这种跨语言语义歧义被进一步放大。

然而,现有计算语言学与大语言模型评测体系在这一核心难题上存在显著空白。传统的同源词自动识别方法(如基于语音对齐的 LingPy 或跨语言词嵌入 FastText/SBERT)主要依赖拼写编辑距离或语音类别匹配,无法区分借词与同源继承,更无法融入动态语境判断词义适配性;近期的多语言大模型基准(如针对罗曼语族的 RoBoCoP 或评估假同友的 StingrayBench)要么局限于无语境的词汇分类,要么未覆盖具有高形态屈折复杂度的闪含语系。现有跨语言大模型在多语言预训练中接触了大量未经对齐的双语语料,但模型在面对跨语言相似词汇时,究竟是在执行深度的语义概念映射,还是仅仅退化为正字法与音位相似度的启发式匹配?这一问题此前缺乏系统性的基准支撑。

针对这一理论与实证空白,本研究构建了首个覆盖阿拉伯语-希伯来语真同源词、假同友与借词的系统化评测基准 SemCog Bench,设计了从单字词对关系分类到句子级语义消歧的多层次探测任务,并在原始文本、全变音符号、国际音标(IPA)及通用罗马化(Uroman)四种形态表征下全面诊断 LLM 的语义解耦能力。核心 idea:通过构建涵盖真同源、假同友与借词的三元词对基准与双向语义受扰最小对比句对,在四重正字/语音表征下跨尺度解耦 LLM 对表层形式相似度与深层语义一致性的依赖边界。

方法详解

整体框架

SemCog Bench 的构建与评测管线由四个紧密串联的阶段组成:首先从权威闪含语对比词典、Palisri 词典、维基词典及希伯来语科学院文献中聚合候选词对,实施词性过滤与高阶语言学专家双盲裁决;随后利用强模型生成配对双语语境,通过人工筛查与最小对比扰动构建语义消歧测试用例;接着引入变音符号标注、IPA 语音转写及 Uroman 罗马化,形成四维正字法表征空间;最终在同源词识别(CI)与语义消歧(SD)两大任务协议下对大模型展开全谱系探查。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多源语言学资源聚合<br/>词典挖掘 + 借词汇编 + POS过滤"] --> B["词对层级四阶段构建与专家仲裁"]
    B --> C["句级最小对比对生成与自然度审查"]
    C --> D["四重表征与全谱系多层级探查协议"]
    D --> E["跨模型多维度评估产出<br/>CI分类准确率 + SD消歧F1 + 混淆矩阵"]

关键设计

1. 词对层级四阶段构建与专家仲裁:语义重合边界模糊 -> 多源聚合与AC1双盲审查 -> 锁定1858对纯净三类词表
针对自动化词典匹配中混杂大量古生词、专有名词与方言口语借词的痛点,研究团队制定了严密的多源聚合与专家清洗流程。数据源整合了阿-希对比词典与 Palisra 词典的双语对齐条目,借词则汇总了希伯来语言科学院规范材料及现代标准阿拉伯语借词语音学研究。初筛阶段剔除功能词,仅保留名词、动词、形容词和副词等承载核心语义的实词,得到初始候选库(1,016 对真同源词、446 对假同友、724 对借词)。为消除主观认知偏差,由两位具备专业语言学资质(一人为闪含语言学硕士,另一人为语言学博士)的母语专家进行两阶段审查。针对两类最易混淆的真同源与假同友,审查要求只要存在至少一项核心语义交叠即归入真同源词,核心语义完全分离且无历史派生交叠的归入假同友;借词则必须验证其均来源于非闪含语系的外来语言且在现代语料中含义一致。为量化标注可靠性,在 10% 随机子集上计算评估一致性,鉴于接受率高度倾斜导致传统 Cohen's \(\kappa\) 和 Krippendorff's \(\alpha\) 产生悖论性低值(均为 0.32),采用对类别不平衡稳健的 Gwet's AC1 系数进行检验,原始重合度达 85%,Gwet's AC1 达到 0.80,最终确立了由 858 对真同源词、364 对假同友和 636 对借词组成的 1,858 对高纯度黄金词表。

2. 句级最小对比对生成与自然度审查:脱离语境无法检验动态语义 -> 提示生成与单侧错误扰动 -> 构造2222道受控消歧MCQ
单纯在脱离上下文的词对级别进行二选一或三选一判断,极易被模型利用词表共现频次或预训练记忆走捷径破解,无法衡量模型在真实句法环境中对多义性与语义反常的敏感度。为此,研究团队设计了句级语境构建方案:首先由 Gemini-3.1-pro-preview 针对每组词对分别在阿拉伯语和希伯来语中生成长度在 8-20 词之间的自然单语语境句,总计生成 3,716 个单语例句;随后由人工专家全面审查语法规范度与母语表达自然度,3,549 句(95.5%)被原样保留,151 句(4.1%)做微调,仅 16 句(0.4%)重写。在语义消歧(SD)任务中,对于真同源词与借词,由于目标词在两门语言中含义兼容,对应双语句子均为合法语义表达,正确答案为两句均成立(Both appropriate);对于 364 对假同友,则引入受控的“跨语言替换扰动”——将阿语正确句子翻译为希伯来语,但把对应词替换为该假同友的希伯来语形式,同时严格校正性、数、格与屈折形态,生成句法完全合规但语义荒谬的“对抗样本”(反向同理)。由此每对假同友派生出 2 道单侧成立的最小对比选择题(一题仅阿语合法,一题仅希伯来语合法),最终构建出包含 2,222 道 MCQ 的无语境偏差消歧基准。

3. 四重表征与全谱系多层级探查协议:形态音位特征交织掩盖本质 -> 正字/变音/国际音标/罗马化正交转换 -> 全面剥离表层正字法混淆
闪含语系独特的书写系统使得模型在未标注元音的纯辅音文本上极易受到形近干扰,为剖析模型决策究竟是受正字法外形、实际发音音位、还是深层语义驱动,研究设计了四重正规化表征探查空间。原始无变音符号输入反映了现代互联网真实生文本分布;通过 CAMeL Tools 与 Phonikud 工具自动注入阿拉伯语 tashkil 和希伯来语 nikkud,构成完整还原元音模式的全变音表征(Diacritized);进一步基于发音学映射规则将文本转写为国际音标(IPA),完全抹除希伯来字母与阿拉伯字母的视觉异构性,统一至纯音位空间;最后采用 Uroman 工具将二者映射至通用 ASCII 罗马化表征。在评测协议上,涵盖三分类(TC vs. FF vs. LW)与二分类(TC vs. FF)的同源词识别,以及提供完整句级上下文的 CI 变体,彻底排除了格式提示偏差与模型对单一脚本字符的记忆偏差。

评测基准与多层级探查协议

SemCog Bench 制定了两套严格的多项选择题(MCQ)评测接口,统一采用确定性贪心解码(temperature \(t=0\),max_tokens \(=20\))消除随机波动,并通过选项乱序排列(Choice Permutation)杜绝位置偏差(Position Bias): - 同源词识别协议(Cognate Identification, CI):输入包含一对阿-希目标词(或附带双语上下文句子),模型必须从 TRUE_COGNATE、FALSE_FRIEND、LOANWORD 中输出单一标签。除全集三分类外,评测还剥离借词干扰,在 1,222 对纯正闪含语源词对上进行真假同源二分类,并与传统统计语音对齐方法(LingPy SCA)及自监督跨语言表征模型(FastText、multilingual SBERT)在余弦距离阈值下的表现进行对齐比较。 - 语义消歧协议(Semantic Disambiguation, SD):输入包含一个词对及分别包含该词的双语上下文句子对 \((S_{Ar}, S_{He})\),模型判断语义合法性,选项为 A(仅阿语句合法)、B(仅希语合法)、C(两句皆合法)。该任务不依赖显式的词源学知识,纯粹考察大模型在上下文中鉴别假同友引发的逻辑与常识语义违和的能力。

实验关键数据

主实验

在未经变音的原始正字法输入(Undiacritized)下,涵盖专有模型(Proprietary)、开源多语言通用模型(Open-source Multilingual)、阿拉伯语专属模型(Arabic-centric)及希伯来语专属模型(Hebrew-capable)共 16 款大模型的综合表现如下表所示:

模型类型 评测模型 CI Acc (全量) CI AccTC (真同源) CI AccFF (假同友) CI AccLW (外来借词) CI Macro F1 SD Acc (消歧) SD AccTC SD AccFF SD AccLW SD Macro F1
商业闭源 GPT-4o 73.9 62.5 71.4 90.7 72.5 74.8 94.6 35.6 93.1 73.7
商业闭源 GPT-5.4 81.9 85.9 47.0 96.4 76.9 79.0 88.7 57.7 90.2 78.9
商业闭源 DeepSeek-v4-pro 71.1 91.6 1.1 83.5 55.8 28.5 17.0 50.1 19.3 24.0
商业闭源 Qwen3.6-Plus 82.1 87.3 47.8 94.8 77.3 79.0 91.5 50.8 94.3 78.9
开源通用 Qwen2.5-7B-Instruct 51.2 64.9 64.6 25.0 47.9 41.4 43.1 40.7 40.1 36.6
开源通用 Qwen3-8B 51.4 75.2 52.7 18.6 45.1 60.0 87.8 6.3 84.1 58.6
开源通用 Llama-3.1-8B-Instruct 44.7 91.7 12.1 0.0 27.1 34.1 31.9 30.2 41.3 29.8
开源通用 Llama-3.3-70B-Instruct 76.9 87.9 23.1 92.9 67.5 57.2 80.1 8.1 82.7 56.5
开源通用 GLM-4-9B-Chat 55.5 88.0 24.7 29.2 47.1 36.3 26.7 52.9 30.3 26.2
开源通用 Gemma-2-9B-IT 64.6 80.7 23.9 66.2 57.1 31.0 38.1 13.9 41.2 22.5
开源通用 Gemma-4-31B-IT 78.5 84.0 38.7 93.9 72.5 79.6 90.7 58.0 89.3 79.5
阿语专属 Jais-Adapted-7B-Chat 41.9 62.4 2.2 36.9 31.0 32.9 33.7 30.6 34.6 18.9
阿语专属 Jais-2-8B-Chat 46.0 96.2 8.0 0.0 25.2 32.3 33.8 29.7 33.3 16.4
希语专属 DictaLM-2.0-Instruct 31.6 33.3 82.4 0.2 26.4 32.7 34.2 29.5 34.4 16.4
多语言开源 Aya-23-8B 41.4 6.3 39.0 90.3 34.7 36.2 38.0 26.7 44.6 25.2
开源权重 GPT-OSS-120B 69.7 66.6 54.4 82.7 69.8 35.7 47.0 12.2 47.3 46.9

在 1,222 对纯正闪含语源真假同源(TC/FF)的二分类对照实验中,非生成式基线与最强 LLM 的性能对比如下:

评估方法 / 模型 模型类型 / 机制 AccTC (真同源) AccFF (假同友) 整体 Acc Macro F1
LingPy (SCA) 语音相似度与正字法对齐算法 79.1 23.4 62.5 50.9
FastText 多语言对齐词向量余弦距离 61.8 61.5 61.7 59.1
SBERT 多语言句子级语义表征余弦距离 54.9 61.5 56.9 55.0
Qwen3.6-Plus 商业顶尖大模型(零样本提示) 94.1 35.7 76.7 66.3
Gemma-4-31B-IT 开源顶尖大模型(零样本提示) 88.9 43.1 75.3 68.4

消融与分析实验:多形态表征与语境消歧影响

不同输入表征方式(全变音符号 Diacritized、国际音标 IPA、通用罗马化 Romanized)相比于原始无变音文本(Undiacritized)的性能变化(\(\Delta\) Acc / \(\Delta\) F1)如下表所示:

模型 CI Diacritized \(\Delta\)Acc CI IPA \(\Delta\)Acc CI Roman \(\Delta\)Acc SD Diacritized \(\Delta\)Acc SD IPA \(\Delta\)Acc SD Roman \(\Delta\)Acc
GPT-4o +1.7 -15.1* -32.1* -29.9* -45.7* -45.5*
GPT-5.4 -1.8* -11.3* -20.1* -45.9* -43.8* -54.7*
DeepSeek-v4-pro -3.0* -10.8* -17.5* -9.4* -10.5* +3.7*
Qwen3.6-Plus -2.7 -16.0 -30.8* -44.1 -42.7 -53.8*
Llama-3.3-70B-Instruct -7.1* -32.2* -33.0* -2.0* -5.4* -17.8*
Gemma-4-31B-IT -0.7 -11.9* -21.1* -43.1* -46.9* -54.7*
Aya-23-8B +0.2 -7.8* -7.5* +3.5* -3.5* +16.3*

引入句子级上下文后,从词级到句级在同源词识别(CI)任务上的精度增益(\(\Delta\) Acc / \(\Delta\) F1)如下表所示:

模型 无变音 (Undiac) \(\Delta\)Acc 全变音 (Diac) \(\Delta\)Acc IPA 转写 \(\Delta\)Acc 罗马化 (Roman) \(\Delta\)Acc
GPT-4o +15.1* (+15.6* F1) +14.2* (+15.5* F1) +18.2* (+16.5* F1) +17.9* (+17.9* F1)
GPT-5.4 +10.1* (+13.5* F1) +9.9* (+13.8* F1) +16.1* (+17.1* F1) +18.4* (+20.5* F1)
Qwen3.6-Plus +7.5* (+10.8* F1) +9.0* (+13.4* F1) +10.4* (+9.0* F1) +14.3* (+12.8* F1)
Gemma-4-31B-IT +12.5* (+17.4* F1) +12.3* (+19.0* F1) +13.3* (+15.0* F1) +12.2* (+14.8* F1)
Qwen2.5-7B-Instruct +13.0* (+14.2* F1) +17.4* (+22.0* F1) +21.3* (+24.6* F1) +18.4* (+21.3* F1)
DictaLM-2.0-Instruct +11.1* (+3.4* F1) +12.8* (-7.7* F1) +19.9* (+15.1* F1) +6.4* (+9.5* F1)
Aya-23-8B -13.1* (-11.6* F1) -6.8* (-2.4 F1) -12.9* (-16.8* F1) -6.1* (-0.2 F1)

(注:星号 * 表示置换检验统计学显著 \(p < 0.05\))

关键发现

  • 对表层形式相似度的极端病态依赖:大模型在真同源词(TC)上的准确率普遍高达 80%~96%,但在假同友(FF)上发生灾难性崩塌。例如 DeepSeek-v4-pro 在 TC 上达到 91.6%,但在 FF 上准确率仅为 1.1%;Jais-2-8B-Chat 在 TC 达到 96.2%,FF 仅为 8.0%。混淆矩阵表明,几乎所有模型都将绝大多数假同友错误预测为真同源词,直观印证了模型将“字面形式相似”等同于“语义相同”的归纳偏置。
  • 基线方法展现出更优的假同友平衡性:传统的非生成式 FastText 与 SBERT 在假同友上的识别率(61.5%)显著优于 Qwen3.6-Plus(35.7%)和 Gemma-4-31B-IT(43.1%),说明稠密语义向量空间相较于自回归 LLM 更不容易受到正字法表层符号的强行带偏。
  • 跨任务能力逆转现象:在 CI 任务中在假同友上表现突出的模型(如 DictaLM-2.0 达到 82.4%、GPT-4o 达到 71.4%),在转向语义消歧(SD)任务时均出现能力倒挂(GPT-4o 在 SD 的假同友准确率暴跌至 35.6%),表明模型无法将在静态分类中展现的词源标签记忆迁移至动态语句的语义一致性判定。
  • 表征异构造成严重性能崩塌:将原始文字转换为 IPA 或罗马化后,几乎所有顶尖模型均出现暴跌,Llama-3.3-70B 在 IPA 下精度锐减 32.2 点,GPT-5.4 与 Gemma-4-31B-IT 在 SD 任务的非原生脚本下准确率腰斩 40~55 点,反映出 LLM 的多语言理解高度锚定在原生正字法脚本的 token 序列分布上,缺乏抽象音位推理能力。
  • 语境增益与模型规模呈现高度不对称性:引入句子级语境能使 GPT-4o 与 Gemma-4-31B 提升 10~15 个百分点,且模型规模扩展能稳定提升 CI 性能;但在 SD 任务中,Qwen3 系列在 8B 达到峰值后在 14B 显著劣化,表明深层语义消歧能力并不随参数量增长发生必然的涌现。

亮点与洞察

  • 多维度细粒度正交解耦的基准设计:基准同时涵盖历史同源词、语义漂移的假同友以及非同源平行借词,并辅以四种脚本表征与语境切换,为检验跨语言大模型的表层符号对齐与高维概念对齐提供了极具解释力的探针工具。
  • 揭示了预训练跨语言表征中“伪多语言理解”的脆弱假象:研究有力地证明了,当前多语言 LLM 在近缘语言间展现出的优异翻译与多任务能力,很大程度上建立在表层正字法词元共享的浅层捷径之上,一旦遭遇词形重叠而语义背离的假同友,模型的常识与逻辑推理机制便迅速瘫痪。
  • 对音位增强与双语数据清洗范式的重大启示:由于音位(IPA)与变音符号能显著打破正字法欺骗,但在未经适配的模型上会导致词元化碎片化,未来的多语言预训练亟需将国际音标对齐与语素级跨语言对比学习纳入预训练目标。

局限与展望

  • 语言对覆盖面受限:当前基准仅聚焦于阿拉伯语和希伯来语这一对高形态复杂度的现代标准语,未覆盖诸如黎凡特阿语等非书面口语方言,亦未拓展至闪含语系其他分支(如阿姆哈拉语、提格利尼亚语)或其他语系的近缘对(如突厥语族、斯拉夫语族)。
  • 任务形式局限于封闭式选择题:受控的多项选择题(MCQ)有利于消除评估噪音,但无法完全反映开放式文本生成、机器翻译译后编辑或跨语言问答中假同友引起的幻觉与级联错误。
  • 合成语境的潜在归纳偏差:尽管经过了语言学家的逐句审核与重写,但初始语境句子由 Gemini 生成,可能存在特定的大模型语法模式或高频词搭配偏差。

相关工作与启发

  • vs RoBoCoP (Dinu et al., 2023):RoBoCoP 针对罗曼语族构建了同源词与外来借词基准,但其评测完全停留在脱离语境的词汇级别,且罗曼语族均为印欧语系拉丁字母书写;本文首次拓展至非连接构词的闪含语系,并开创性引入了双向最小对比句对消歧任务。
  • vs StingrayBench (Cahyawijaya et al., 2025):StingrayBench 评估了多语言大模型在四个印欧及印尼语对中的假同友消歧,但其未显式区分借词与历史真同源词;本文在统一理论框架下将真同源、假同友与借词三位一体建模,提供了更精细的词源学归因。
  • vs 传统语音学与对齐基准 (LingPy / FastText):传统方法依赖人工音类映射或静态向量余弦相似度,本文证实了静态向量模型在假同友识别上具有抗正字法欺骗的鲁棒性,为大模型注入非正字法归纳偏置提供了坚实的对照依据。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次系统性针对闪含语系近缘词汇重叠构建评测大模型语义真实性的三元基准。
  • 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 16 款主流大模型、四种脚本音位表征、语境切分与双任务全谱系测试,置换检验极其严密。
  • 写作质量: ⭐⭐⭐⭐⭐ 语言学背景清晰,数学与实验图表呈现规范严谨,分析深入直击要害。
  • 价值: ⭐⭐⭐⭐⭐ 为多语言机器翻译、跨语言对齐及消除跨语言大模型常识幻觉提供了不可或缺的评测基准。