跳转至

[论文解读] DeepSEA: A Multilingual Evaluation Benchmark for Southeast Asia

会议: EMNLP 2026
论文: https://aclanthology.org/2026.emnlp-main.1/
代码: https://github.com/google-research/deep-sea
领域: 多语言与机器翻译
关键词: 多语言基准, 东南亚语言, 资源不均, 跨语言推理, 机器翻译

一句话总结

Google Research 提出首个覆盖 12 种东南亚语言、跨高低资源层级的全面人工翻译评测基准 DEEPSEA,涵盖数学推理、科学推理、问答、摘要与机器翻译五大任务,揭示了前沿大模型与开源模型在低资源语言上的断崖式差距及对英语表示的深层依赖。

研究背景与动机

近年来大语言模型在推理、理解与生成能力上取得了飞速进展,然而这些技术红利主要集中于英语及少数高资源欧洲语言。东南亚(SEA)地区拥有超过 7 亿人口与极其丰富的语言多样性,涵盖多种语系及迥异的文字书写系统(如拉丁文字、泰文、缅甸文、高棉文、老挝文等)。然而,现有针对该地区的多语言评估基准(如 SeaEval、SEA-HELM 等)往往存在严重的局限:要么评估语言高度集中于印尼语、越南语和泰语等主要国家语言,而将数千万母语者的区域性低资源语言(如宿务语、伊洛卡诺语、巽他语等)完全排除在外;要么任务覆盖单一,无法系统衡量模型在高阶多步推理与长文本生成上的综合表现。

导致这一现状的核心矛盾在于:为极度缺乏平行语料的低资源语言构建高标准、无数据污染的评测集成本极其高昂。过去多数研究依赖低质量机器翻译或单语选择题,既引入了严重的翻译瑕疵与文化对齐偏差,又无法为不同语系与资源层级提供严格对齐的公平对比基准。开源社区与工业界迫切需要一个既覆盖多任务类型、又横跨高/低资源语言梯度的统一、高保真评测套件。

本文的切入点是汇聚经过验证的高质量基准任务,并组织专业母语译员进行严格人工翻译扩展,构建一个横跨 4 种高资源语言与 8 种低资源语言的标准化评测集。核心 idea:构建首个由专业母语译员翻译、严格跨语言对齐的东南亚 12 种语言多任务评测基准 DEEPSEA,通过跨模型与跨提示范式的颗粒度剖析,揭露大模型在非拉丁文字低资源场景下的语言可及性瓶颈、跨语言词汇干扰与对英语思维链(CoT)的根本依赖。

方法详解

整体框架

DEEPSEA 基准涵盖 12 种东南亚语言,按资源充沛程度划分为两大层级:高资源组包含泰语(th)、印尼语(id)、越南语(vi)和菲律宾语(fil);低资源组包含宿务语(ceb)、伊洛卡诺语(ilo)、爪哇语(jv)、高棉语(km)、老挝语(lo)、马来语(ms)、巽他语(su)和缅甸语(my)。评测体系涵盖五大核心 NLP 任务:数学推理(MGSM)、科学推理(IndoMMLU)、抽取式问答(XQuAD)、抽象式摘要(CrossSum)以及机器翻译(WMT24++)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["源数据集与专业母语翻译<br/>English / Indonesian"] --> B["DEEPSEA 12 种语言评测基准<br/>4 种高资源 + 8 种低资源语言"]
    B --> C["五大核心任务多维评测<br/>数学/科学推理 + 问答 + 摘要 + 机器翻译"]
    C --> D["双语思维链对比与枢轴分析<br/>Native CoT vs English CoT / Direct vs Pivot"]
    D --> E["错误与词表分析<br/>跨语言词汇干扰 + 抽取幻觉 + Tokenizer 膨胀率"]

关键设计

1. 人工高质量受控翻译流程:为确保评测集无机器翻译伪影,团队聘请专业本地译员完成全部增量翻译。对于 MGSM、XQuAD、CrossSum 与 WMT24++,译员直接从英文源文本翻译;对于 IndoMMLU(源自印尼学术评测),则以印尼语为源端翻译至低资源语言。翻译规范严格约束译员仅翻译指定字段,禁止添加解释性冗余信息或改变标点/数值格式,且支付显著高于当地最低工资标准的公平报酬,确保数据保真度。

2. 双路径思维链推理机制对比:针对推理密集型任务(MGSM 与 IndoMMLU),评估对比了两种提示策略:(1) Native CoT:题目与提示完全为目标语言,模型被显式指示在目标语言内进行逐步推演;(2) English CoT:题目为目标语言,但提示模型在英文中逐步展开逻辑推演并输出最终答案。这一设计用于精确解耦“逻辑推理能力”与“低资源语言理解/表达能力”。

3. 抽象摘要生成中的英文枢轴架构:在跨语言摘要任务(CrossSum,源端为英文,目标端为 SEA 语言)中,对比了直接端到端生成(Direct)与经由英文中间态的两阶段生成(Pivot-based:先将英文源文摘要为英文要点,再将英文要点翻译为目标语言)。该机制将“信息压缩提炼”与“目标语言表面生成”两个维度的认知负载有效隔离,用以探究弱模型在低资源生成上的崩溃机理。

损失函数 / 训练策略

作为标准化评测基准,DEEPSEA 不引入自身训练损失,采用统一严格的评测度量: - 数学与科学推理采用标准准确率(Accuracy ↑); - 抽取式问答采用字符/词级别的精确 F1 分数(Token-level F1 ↑); - 跨语言摘要采用对形态丰富语言更为稳健的字符级 n-gram 重合度指标 chrF ↑; - 机器翻译采用经过微调的神经网络评价指标 MetricX-24 ↓(得分越低代表译文质量越接近人类参考)。 所有模型均在统一的零样本贪心解码(Zero-shot Greedy Decoding,Temperature = 0)环境下评估,确保实验结果完全可复现。

实验关键数据

主实验

论文对前沿商业大模型(Gemini-3.7-Flash、Gemini-3-Pro、GPT-5.6-Luna、Claude-Sonnet-5)以及主流开源模型(Gemma-3-27B/12B、Qwen2.5-7B-Inst、Llama-3.1-8B-Inst、SEA-LION-v4-27B、Sailor-2-20B)进行了全面横向对比:

模型 数学推理 (MGSM Acc ↑)
En / High / Low
科学推理 (IndoMMLU Acc ↑)
En / High / Low
问答 (XQuAD F1 ↑)
En / High / Low
摘要 (CrossSum chrF ↑)
En / High / Low
机器翻译 (MetricX-24 ↓)
High / Low
Gemini-3.7-Flash 99.2 / 96.5 / 96.4 86.5 / 86.3 / 86.1 87.9 / 85.2 / 81.7 37.4 / 36.4 / 36.2 2.4 / 3.5
Gemini-3-Pro 98.0 / 95.6 / 95.4 85.0 / 85.3 / 84.3 85.6 / 81.2 / 77.6 37.0 / 35.9 / 35.4 2.5 / 3.7
GPT-5.6-Luna 96.4 / 93.3 / 92.8 85.3 / 84.5 / 83.3 73.8 / 68.1 / 65.8 33.7 / 33.8 / 33.2 2.4 / 3.5
Claude-Sonnet-5 98.8 / 96.4 / 95.4 84.9 / 84.6 / 82.6 87.1 / 84.3 / 80.3 35.7 / 35.8 / 34.0 2.6 / 3.8
Gemma-3-27B 96.0 / 91.7 / 83.6 79.2 / 76.2 / 71.5 85.5 / 79.9 / 73.9 33.1 / 33.5 / 29.7 2.9 / 6.1
Gemma-3-12B 92.8 / 89.7 / 77.2 71.0 / 68.5 / 63.6 84.7 / 77.3 / 71.5 33.4 / 32.5 / 27.5 3.1 / 8.6
Qwen2.5-7B-Inst 93.2 / 78.3 / 36.2 68.2 / 61.3 / 49.2 71.9 / 48.5 / 37.9 32.9 / 28.4 / 22.2 8.2 / 17.6
Llama-3.1-8B-Inst 87.6 / 67.3 / 38.8 52.0 / 42.3 / 24.5 71.1 / 62.9 / 37.2 34.8 / 30.3 / 21.5 5.9 / 14.8
SEA-LION-v4-27B 96.0 / 92.7 / 83.8 78.1 / 76.2 / 71.5 85.6 / 80.1 / 74.4 33.0 / 33.0 / 28.8 3.0 / 6.0

消融与分析实验

在推理与摘要策略上的深入对比实验展现了显著的机制差异:

实验维度 / 模型 策略模式 高资源语言表现 低资源语言表现 性能差值与关键影响
MGSM 数学推理 (SEA-LION-v4) Native CoT vs English CoT 92.0% → 93.5% 82.3% → 83.8% English CoT 稳定提供 +1.5% 增益
IndoMMLU 科学推理 (Gemma-3-12B) Native CoT vs English CoT 68.5% → 71.2% 63.6% → 69.2% 低资源增益高达 +5.6%,语言屏障显著弱化
CrossSum 摘要生成 (SEA-LION-v4) Direct vs English-Pivot 33.0 → 34.0 chrF 28.8 → 33.2 chrF Pivot 带来 +4.4 chrF 巨幅飞跃,大幅消除低资源幻觉
分词器膨胀率 (GPT-5 分词器) 相对英语 Token 比例 约 1.5 - 2.5× (拉丁文字) 接近 7.0× (老挝语等非拉丁文字) 严重计算开销与碎片化问题

关键发现

  1. 前沿商用模型保持跨语言平权,开源中小型模型发生性能塌陷:Gemini-3.7-Flash 在从英语过渡到低资源语言时表现出极强的平稳性(MGSM 从 99.2% 仅微跌至 96.4%);而 Qwen2.5-7B 与 Llama-3.1-8B 在低资源数学推理上直接从 93.2% 和 87.6% 骤降至 36.2% 和 38.8%,跌幅超过 60%。
  2. 跨语言词汇干扰(Cross-Lingual Lexical Interference):在低资源同语系语言间发现了隐蔽的跨语言词义混淆现象。例如伊洛卡诺语中的“lawas”表示“星期/周”,但在同语系的宿务语中意为“身体”,导致开源模型在伊洛卡诺语逻辑题中产生大量关于人体生理健康的荒谬推理错误。
  3. 文字系统差异加剧生成幻觉与分词膨胀:在采用阿布吉达文字系统(Abugida,如老挝语、缅甸语、高棉语)的语言中,模型在抽取式问答中的答案上下文命中率显著下滑,频发字符截断;同时分词器膨胀率可达英语的 7 倍,计算延迟与成本成倍激增。

亮点与洞察

  • 多语言大模型的逻辑与语言能力解耦:实验强有力地证明,较小规模模型并非不具备数学或逻辑推理链能力,而是其内部多语言表征未能在低资源语言中打通逻辑中枢;通过引入 English CoT 或 English Pivot,能低成本释放其被封印的推理潜能。
  • 开源区域特化模型(SEA-LION)的不可替代性:在同为 27B 参数量级下,区域专精模型 SEA-LION-v4 无论是在 XQuAD 问答还是机器翻译中均能匹敌甚至超越通用巨型基座 Gemma-3-27B,证明在特定语言地理区域内做针对性持续预训练是攻克长尾语种的关键路线。

局限与展望

  • 翻译语料库的潜在伪影:由于数据集主要基于现有英文/印尼文母数据集的人工翻译,可能带有源语言句式结构的隐式痕迹,未来需要逐步引入原生态本土创作的语料以进一步消除语言转移偏差。
  • 方言与微型语言覆盖尚待延伸:东南亚拥有数百种方言分支及极长尾原住民语系,目前基准覆盖的 12 种语言虽具代表性,但依然存在大量未被数字化的语言群体,有待下一代多语言工作持续拓展。