跳转至

IndicParam: Benchmark to evaluate LLMs on low-resource Indic Languages

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/ayushbits/IndicParam
领域: 多语言/翻译
关键词: 印度低资源语言, 评测基准, 语言理解与常识解耦, 跨语言迁移, UGC-NET

一句话总结

论文基于印度国家研究生资格考试(UGC-NET)真题构建了涵盖 11 种低资源与极低资源印度语言的 13,207 道高难度选择题基准 IndicParam,通过解耦语言本体理解与事实常识推理并引入六类复杂题型,系统评测 20 款主流大模型并揭示当前模型即便如 Gemini-2.5 平均准确率亦仅有 58% 的严重瓶颈。

研究背景与动机

大语言模型在英语及高资源多语言任务(如机器翻译、问答和命名实体识别)中取得了突飞猛进的成果,然而对于低资源乃至极低资源语言,系统性评测与实际落地依然面临巨大鸿沟。印度次大陆拥有超过 14 亿人口与 120 余种本土语言,其中 30 余种语言的母语人口超过百万,涵盖印欧、达罗毗荼、南亚和汉藏等多个完全不同的语系。虽然印度宪法第八附表承认了 22 种官方语言,但现有的绝大多数印度语基准(如 IndicGLUE、IndicXTREME 等)仍局限于印地语、泰米尔语、泰卢固语等 11 种头部高资源语言,覆盖了超过 93% 的使用群体,直接反映出网络预训练语料的极端倾斜分布。以覆盖 1800 种非英语语言的预训练语料 FineWeb2 为例,本文涉及的 11 种语言虽拥有约 2.8 亿人口,但在该语料中的总词数仅 44.9 亿词,且其中尼泊尔语、马拉地语、古吉拉特语与奥里亚语 4 种相对低资源的语言就占据了 44.5 亿词,剩余 7 种极低资源语言(多格里语、迈蒂利语、拉贾斯坦语、梵语、博多语、桑塔利语、孔卡尼语)合计仅有 3600 万词,网络资源极度匮乏。

现有极少数涉及低资源印度语言的评测基准存在明显的结构性缺陷。以 IndicGenBench 为代表的数据集主要依赖将 XQuAD 或 FLORES 等英语母集机器翻译或迁移构建,其问答任务多局限于给定参考段落内的片段抽取,无法考察模型在真实文化背景下的自主事实回忆;且现有基准通常混淆了模型对「语言本体(语法、形态、音系、词汇)」的掌握与对「百科事实知识」的记忆,无法准确定位跨语言迁移失败的根源是语言无法解码还是知识储备欠缺。此外,现有基准题目形态单一,缺乏对真实考试中常见的论据匹配、因果断言和时序排序等复杂推理格式的评测,无法反映高阶学术能力。

针对上述挑战,本文选择绕开人工合成与翻译模板,直接引入印度国家级研究生资格考试(UGC-NET)历年权威试卷。核心 idea:依托印度国家级研究生资格考试 UGC-NET 真实试题构建覆盖 11 种低资源与极低资源印度语言及梵英混杂的 13,207 道高难度人工校验基准 IndicParam,显式解耦「语言本体理解(LU)」与「通用常识推理(GK)」并覆盖六种复杂设问格式,多维度评测并界定大模型在极低资源本土语境下的跨语言泛化边界。

方法详解

整体框架

IndicParam 的构建旨在提供一个原生、高质量且具备学术深度的低资源语言理解基准。整体流程分为四大阶段:首先,从官方考试管理机构(NTA)下载 2012 至 2018 年间的 UGC-NET 双栏排版试卷与官方标准答案,通过定制化针对不同文字特性的 OCR 流水线完成高精度文本数字化;其次,由具备研究生背景的母语专业人员进行双轮校验与标注,消除 OCR 引入的连字变形与标点混乱,并由资深审核员对齐标准答案;随后,构建精细标注体系,将题目按能力维度解耦为语言本体理解(LU)与通用事实常识(GK),并划分为六种结构化设问格式;最后,在统一的标准提示词模板下,对涵盖开源与商业闭源的 20 款前沿大模型进行零样本测试。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["UGC-NET 历年研究生考试原生 PDF<br/>涵盖 11 种低/极低资源语言及梵英混杂"] --> B["基于文字特性的分轨 OCR 提取与高保真人工校验<br/>LLMWhisperer 与 Surya OCR + 母语双轮人工清洗"]
    B --> C["能力维度双轨解耦:语言理解与事实常识<br/>划分为 LU(形态语法)与 GK(事实实体)"]
    C --> D["多维非标准设问形式建模<br/>结构化拆解为 MCQ/配对/因果断言等 6 类题型"]
    D --> E["标准化零样本大模型评测流水线<br/>覆盖 20 款主流开源与闭源前沿 LLM"]

关键设计

1. 基于文字特性的分轨 OCR 提取与高保真人工校验:解决低资源复音结合字与多文字识别失真 印度语言包含复杂的音节文字与连字(conjuncts),传统通用的单一 OCR 引擎在应对低分辨率或扫描版双栏试卷时极易产生连字拆解错误或变音符号丢失。为此,研究团队设计了分文字分轨提取策略:针对梵语、迈蒂利语、马拉地语等天城体(Devanagari)语言,采用对复杂 Indic 连字经过专项优化的 LLMWhisperer 引擎;针对古吉拉特文与奥里亚文等非天城体文字,则使用 Surya OCR 配合语言特定的后处理管道。随后,由通过严格先验测试的母语母语者(具备研究生专业阅读能力)执行首轮精细修复,补全声调、标点规范与选项序号,并由资深专家进行第二轮 1:1 原卷核验。在随机抽样的 5% 数据集(涵盖 10,427 词、61,547 字符)严格质检审计中,基准最终实现了 0.68% 的极低词错误率(WER)与 0.12% 的字符错误率(CER),彻底排除了输入噪声对模型评测的干扰。

2. 能力维度双轨解耦(LU 与 GK):剥离语言解码与事实常识的评测混淆 在传统多语言问答评测中,当模型给出一个错误答案时,评测者无法分辨模型是因为不懂该语言的语法词汇导致题意曲解,还是因为预训练数据中缺乏相关领域的百科知识。IndicParam 创新性地对每道题目赋予了细粒度的属性标签,将其严格划分为语言本体理解(Language Understanding, LU)与通用常识知识(General Knowledge, GK)。LU 题目聚焦语言学本体,包括音系学(phonology)、词法形态(morphology)、句法结构(syntax)、词义与语篇分析(如动词变位、复合词构成及语法类别判定);GK 题目则涵盖历史事件、文化哲学、文学作品创作者及地域常识。通过统计,LU 在各语言中的比例从古吉拉特语的 0.6% 到拉贾斯坦语的 27.8%、奥里亚语的 20.3% 及梵语的 20.7% 不等。这种双轨分类使研究者能够量化分析跨语言表征中「通用知识的语言间迁移能力」与「低资源专属语言结构的捕捉能力」之间的解耦关系。

3. 多维非标准设问形式建模:覆盖真实学术考试的六大复杂推理形态 不同于多数问答基准中清一色的简单四选一单选题,真实的专业学术考试广泛采用组合逻辑与高阶推理题型。IndicParam 将所有题目的设问方式系统化归纳为六大类:基础单选题(MCQ,占比 73.1%)、列表匹配连线题(List Matching,占比 9.0%)、时序与次序重排题(Ordering,占比 6.5%)、因果与断言判断题(Assertion & Reason, A&R,占比 6.1%)、选出错误陈述题(Identify Incorrect Statement, IS,占比 4.1%)以及选词完形填空题(Blank Filling,占比 1.1%)。部分语言如多格里语和古吉拉特语中,非 MCQ 题型甚至占据了绝大多数(多格里语非 MCQ 达 78.3%,古吉拉特语达 67%)。这类题目要求模型不仅要识别选项文本,还必须同时处理多对多实体映射、因果链条验证及否定命题排查,对大模型的上下文推理与指令遵循提出了极高要求。

统一评测协议

所有模型均在统一的标准零样本(Zero-shot)提示模板下评估。提示词明确指定题目语言,并约束模型仅输出选项字母(A/B/C/D)。开源模型统一在 bf16 精度下通过 HuggingFace Transformers 进行贪婪解码(Llama-4-Scout 采用 8-bit 量化),设置最大生成 token 为 50、temperature 为 0;商业闭源模型通过统一 API 接口调用并采集结果。

实验关键数据

主实验

评测涵盖了 20 款主流大语言模型,包括前沿商业闭源模型(Gemini-2.5, GPT-5, Claude-Haiku-4.5, Grok-4-Fast)、千亿级开源大模型(DeepSeek-V3.2, Llama-3.3-70B, GPT-OSS-120B)、中等规模模型(Gemma-3-27B, Qwen3-32B, Mistral-3.1-24B 等)以及小规模模型(Qwen3-4B, Llama-3.2-3B 等)。下表汇总了各模型在 8 种极低资源语言子集上的准确率表现(单位:%)。

规模 模型 多格里语 (doi) 迈蒂利语 (mai) 拉贾斯坦语 (raj) 梵语 (san) 梵英混杂 (san-en) 博多语 (brx) 桑塔利语 (sat) 孔卡尼语 (gom) 平均准确率
闭源前沿 Gemini-2.5 54.2 54.0 66.6 72.4 80.3 48.1 52.9 48.4 59.2
闭源前沿 GPT-5 45.7 43.4 44.6 54.8 64.6 31.6 40.4 39.0 45.1
闭源前沿 Claude-Haiku-4.5 44.8 42.4 44.1 47.8 58.1 28.1 40.4 42.1 43.0
闭源前沿 Grok-4-Fast 40.2 38.1 39.1 42.9 54.2 30.6 38.8 37.4 39.7
超大开源 DeepSeek-V3.2 43.3 41.4 40.1 51.3 61.4 36.4 41.5 37.6 43.7
大规模开源 Llama-3.3-70B 37.3 37.5 38.2 41.7 51.6 28.6 40.1 37.3 37.6
开源 MoE gpt-oss-120b 39.7 35.6 39.4 40.2 48.1 28.3 35.6 35.4 37.4
中等规模 Gemma-3-27B 37.6 34.4 39.8 38.6 49.1 28.9 36.7 36.5 37.3
中等规模 Mistral-3.1-24B 38.0 37.4 34.8 40.0 44.1 30.1 35.7 32.0 36.2
中等规模 Qwen3-32B 43.4 34.0 33.8 39.2 48.6 31.8 39.7 34.5 33.9
小规模 Qwen3-4B 34.6 31.6 30.0 33.8 33.6 25.1 33.8 29.6 31.2
小规模 Qwen2.5-3B 32.1 28.8 28.6 31.9 34.8 28.3 33.1 31.4 30.9
小规模 Llama-3.2-3B 27.9 21.9 26.3 28.0 27.9 27.8 27.4 28.8 26.9

在 4 种相对低资源的语言(尼泊尔语、古吉拉特语、马拉地语、奥里亚语)上,模型的整体表现同样呈现阶梯式分布。下表为低资源语言子集的评测结果(单位:%):

规模 模型 尼泊尔语 (nep) 古吉拉特语 (guj) 马拉地语 (mar) 奥里亚语 (ory) 低资源平均
闭源前沿 Gemini-2.5 52.0 51.7 55.7 64.5 54.9
闭源前沿 GPT-5 43.4 40.0 48.4 48.7 44.9
闭源前沿 Claude-Haiku-4.5 43.8 37.0 43.9 44.0 42.0
超大开源 DeepSeek-V3.2 39.7 39.5 44.6 42.1 41.6
开源 MoE Qwen3-A3B 37.2 33.5 43.5 40.4 38.7
开源 MoE gpt-oss-120b 37.1 37.0 39.7 39.9 38.3
大规模开源 Llama-3.3-70B 35.0 35.9 40.8 40.7 37.9
中等规模 Gemma-3-27B 39.3 31.1 39.9 39.9 37.4
中等规模 Mistral-3.1-24B 34.9 32.6 32.9 27.6 32.6
中等规模 Qwen3-32B 33.0 28.4 33.2 28.9 31.2
小规模 Qwen3-4B 28.7 27.4 30.5 34.7 29.8
小规模 Qwen2.5-3B 27.1 29.5 27.9 28.8 28.2
小规模 Llama-3.2-3B 26.2 26.1 28.6 27.0 27.1

消融与细粒度分析:LU 与 GK 的能力缩放差异

通过对通用事实常识(GK)与语言本体理解(LU)的单独统计,揭示出模型能力在两条路径上的不同缩放特性:

能力维度 评测重点 代表高分模型(得分) 代表低分模型(得分) 与参数规模的相关性 (Pearson \(r\))
通用常识知识 (GK) 历史/文学/社会事实回忆 Gemini-2.5 (58.0), GPT-5 (54.8), DeepSeek-3.2 (43.3) Qwen3-4B (31.3), Llama-3.2-3B (26.7) \(r = 0.91\)(极强正相关)
语言本体理解 (LU) 词法形态/语法/句法/音系 Gemini-2.5 (69.8), GPT-5 (52.5), Claude-4.5 (49.8) Llama-3.2-3B (28.4), Qwen2.5-3B (29.2) \(r = 0.73\)(中度正相关)

此外,在题型敏感度分析中,闭源模型对复杂题型的鲁棒性显著高于开源模型:GPT-5 在 MCQ、完形填空、列表匹配和 A&R 题型上均表现出色;Claude-4.5 在「找出错误陈述(IS)」题型上取得开源闭源全场最高的 45.7%;开源阵营中 DeepSeek-3.2 在列表匹配上表现优异(47.2%),甚至超过 GPT-5(41.3%)。

关键发现

  • 大模型整体表现低迷,跨语言迁移瓶颈严重:全场 20 款大模型中仅有 Gemini-2.5 一款模型平均准确率超过 50%(全语种平均 58.0%),其余所有模型均低于 46%。在极度缺乏网络文本的博多语(Bodo)和桑塔利语(Santali)上,绝大多数开源模型性能仅在 25%~36% 之间徘徊,接近随机猜测基线。
  • GK 与参数规模强绑定,LU 更依赖本土语料与微调质量:GK 准确率与模型参数规模呈现高度线性相关(\(r = 0.91\)),表明海量通用预训练足以向模型注入百科事实,并借由跨语言表征部分激活;但语言本体理解(LU)的相关性显著偏低(\(r = 0.73\)),部分中等规模模型(如 Gemma-3-27B 取得 40.9% LU、Mistral-3.1-24B 取得 42.7% LU、Llama-4-Scout 在马拉地语 LU 达到 70.7%)显著超越了参数量更大的稠密基准,证明高质量的本土指令微调与词表覆盖可以有效弥补参数规模的不足。
  • 语言相似度驱动跨语言知识正向溢出:拉贾斯坦语虽然完全缺失大规模网络语料(FineWeb2 中无词汇统计),但由于其与印地语存在高度的亲缘关系与词汇重叠,各大模型在其上的平均得分显著高于其他极低资源语种(Gemini-2.5 达到 66.6%)。同样,梵语及其代码混杂版(Sans-Eng)因学术文献多、历史研究充裕,所有前沿模型均取得远超其他极低资源语言的优异表现(Gemini 在梵英混杂中达到 80.3%)。

亮点与洞察

  • 原生研究生真题替代人工合成翻译:彻底告别将英文基准翻成劣质小语种文本的传统范式,直接采用高学术水准的国家统考题,构建了首个具备真实判别力与高度挑战性的低资源印度语学术基准。
  • 解耦语言理解与常识事实:首次在极低资源基准上显式分离 LU 与 GK,精准量化了跨语言迁移中「事实知识溢出」与「语法解码失败」的界限,为后续小语种预训练优化指明了方向。
  • 文字专属 OCR 流程设计:针对非拉丁语系中复杂天城体连字与罕见字母,采用分轨提取与二次专家审核,确保了基准数据极高的文本保真度(WER 仅 0.68%)。

局限与展望

  • 学术考试语域偏差:试题完全来自语言学与文学相关的研究生统考,语言风格高度学术化、书面化,无法完全反映日常生活对话或通用多领域场景中的日常语言运用。
  • 评测协议局限:实验仅在零样本单字母生成设置下进行,未探索思维链(CoT)、少样本提示(Few-shot)或检索增强生成(RAG)对低资源语种推理性能的潜在提升。
  • 未来方向:未来应进一步拓展跨语系未见语种(如更多东北部汉藏语系语言),并在微调阶段引入更均衡的形态丰富型小语种合成语料。

相关工作与启发

  • vs IndicGLUE / IndicXTREME: 后者主要聚焦印地语等主流高资源语言,任务偏向基础文本分类与跨语言翻译,IndicParam 专门填补了 11 种极低资源学术级研究生问答的空白。
  • vs IndicGenBench: IndicGenBench 依赖翻译自 XQuAD/FLORES 的篇章抽取式阅读理解,缺乏本土文化事实的自主回忆;IndicParam 则源于本土真实国考,全面考察生成与推理能力。
  • vs ParamBench / MILU: ParamBench 仅覆盖印地语单语的研究生试题,MILU 虽拓展到多语但主要为常识问答,IndicParam 进一步实现了细粒度题型分类与 LU/GK 深度解耦。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次从本土权威国考试卷中系统构建极低资源印度语基准,并解耦 LU 与 GK。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 20 款顶尖开源与闭源 LLM,细致分析了 11 种语言、6 大题型与两类知识能力。
  • 写作质量: ⭐⭐⭐⭐⭐ 论文结构严谨,统计数据详实,OCR 清洗与质量审计流程极为规范。
  • 价值: ⭐⭐⭐⭐⭐ 为低资源多语言评测与跨语言多任务迁移提供了关键的标尺与高质量公开资源。