UrduMMLU: A Massive Multitask Benchmark for Urdu Language Understanding¶
会议: EMNLP 2026
论文: ACL Anthology
领域: 多语言与机器翻译
关键词: 乌尔都语基准, 大语言模型评测, 多任务语言理解, 原生教育测评, 跨语言知识迁移
一句话总结¶
本文提出了首个原生编写、覆盖巴基斯坦初高中教学大纲的乌尔都语大规模多任务理解基准 UrduMMLU,包含来自公立统考试卷与题库的 26,389 道四选一选择题,横跨 5 大领域与 26 个子学科,并通过严格的双人独立背对背标注与共识过滤建立了高质量金标;实验揭示顶尖模型在理科上表现强劲,但在乌尔都语本土人文与宗教社科上普遍出现 25 至 40 个百分点的严重断崖。
研究背景与动机¶
在大语言模型(LLM)能力评估中,以 MMLU 和 MMLU-PRO 为代表的多任务语言理解基准已成为衡量模型跨学科综合推理水平的核心标准。然而,现有的权威多任务基准几乎全部以英语为母体,其问题设计与知识体系深深植根于欧美教育体制与西方文化背景。为了测评非英语语种的能力,学术界过去多采用机器翻译或由专家校对的机器翻译管道(如 MMLU-PROX、GLOBAL-MMLU、INDICMMLU-PRO),将英文原题硬性映射到目标语言。这种做法存在不可忽视的系统性盲区:翻译题目仅能测试模型能否将英语世界通用的科学常识在其他语种符号下进行转译,完全无法检验模型对目标语种本土真实教育体系、核心文史脉络、法学常识以及地域特色学科的理解深度。
这一评测真空对于全球拥有超过 2.3 亿使用人口的乌尔都语尤为致命。乌尔都语拥有悠久的文学创作传统和严谨的中等教育课程标准,但在 NLP 领域,现有的乌尔都语评测资源极其零碎且局限,主要集中在阅读理解(如 UQuAD+)、句法诊断(如 UrBLiMP)、特定下游任务微调或 MGSM 等推理基准的翻译版本。在缺乏本土标准化综合试题库的情况下,研究人员难以回答:当前声称具备强大跨语言能力的多语言及前沿模型,究竟是仅仅记住了英文常识的乌尔都语译本,还是真正掌握了乌尔都语中等教育阶段所传授的文理通识与文化知识?构建一个源自真实教育环境、未经翻译污染的原生乌尔都语 MMLU 级评测基准,不仅面临纸质扫描卷版式异构、OCR 识别精度低下、复杂阿拉伯字母双向文本排版冲突等技术挑战,还受制于考试真题缺乏官方参考答案的标注瓶颈。
针对上述学术痛点与工程壁垒,本文选择直接从巴基斯坦中等教育统考(SSC/HSSC 9至12年级)公立试卷 PDF 与本土成熟题库中汲取题目,建立起严格的版面解析、OCR 提取、正字法清洗与专家双人背对背标注管线。核心 idea:摒弃传统将英语基准翻译为目标语言的廉价测评范式,直接锚定巴基斯坦国家教育体系原生的初高中统考试卷与题库资源,通过构建包含视觉 OCR 解析、双向文本正字法归一化及双专家背对背共识审定在内的 16 阶段工程管线,建立首个包含 26,389 道题、覆盖 5 大领域 26 个学科的原生乌尔都语多任务基准 UrduMMLU,以真实反映模型在非英语本土语境下的知识与推理全貌。
方法详解¶
整体框架¶
UrduMMLU 构建的核心目标是实现原生性(Native)、高洁净度(Cleaned)与权威金标可靠性(Gold-standard Consensus)。系统管线从巴基斯坦公共考试委员会的历年真题 PDF 以及本土乌尔都语在线试题库中收集海量候选试题,经过包含文档视觉过滤、OCR 文本提取、双向排版校准、字符与标点正字法规范化、双人独立盲审与冲突仲裁、分层去重和学科配额平衡在内的 16 阶段端到端处理,最终产出 26,389 道高质量标准化四选一试题。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["巴基斯坦统考PDF / 题库网站候选源"] --> B["原生多源试题采集与视觉OCR解析"]
B --> C["乌尔都语双向排版与正字法清洗管线"]
C --> D["双人背对背独立标注与零容忍共识仲裁"]
D --> E["多级分层去重与国家课程分级配额平衡"]
E --> F["26,389道五大领域标准化MCQ评测基准"]
关键设计¶
1. 原生多源试题采集与视觉OCR解析:试卷版式杂乱与图文丢失 -> 视觉提示OCR结合元数据追踪 -> 保证高保真学术题干与诗歌上下文
巴基斯坦中等与高等中等教育委员会(SSC 9–10年级,HSSC 11–12年级)发布的历史统考试卷版式极度异构,扫描图像中充斥着多栏混合排版、数学印刷符号、手写批注以及双语夹杂干扰。通用 OCR 引擎在解析波斯-阿拉伯斜体(Nastaliq)排版时错误率极高,经常断句或丢失诗词韵脚与连字结构。为此,团队构建了双阶段多模态提取架构:第一步将 PDF 逐页栅格化为高分辨率图像,调用具备高级视觉理解能力的 Claude Sonnet 4.6 进行页面级粗筛,自动剔除纯英文试卷、非选择题题型、答案速查表以及说明页;第二步使用精心调优的 Gemini 3 Flash 视觉提示(Vision-Language Prompt)专门针对乌尔都语复杂试卷执行 OCR 结构化转录,严格提取题干、4 个选项、学术年级元数据及页级溯源信息。该提示被设计为保留乌尔都语古典诗歌的断句、引文及解答所需的全部语境,对于双语材料只保留构成试题语法结构关键部分的英文,并果断丢弃因污损而无法完整辨识的残卷,从源头杜绝内容臆造。
2. 乌尔都语双向排版与正字法清洗管线:波斯阿拉伯文字形冲突与双向混排崩坏 -> 16阶段字形/标点/填空槽位标准化 -> 消除渲染歧义与噪声
乌尔都语作为一种从右到左(RTL)书写的语言,在嵌入从左到右(LTR)书写的拉丁科学术语、数学公式和阿拉伯数字时,极易发生双向文本(BiDi)渲染崩坏,导致词序颠倒。同时,网络爬取的试题混杂了阿拉伯语和波斯语的同形不同码 Unicode 字符(例如阿拉伯语的 ك 和 ي 与乌尔都语特有的 ک 和 ی 混用)。为彻底解决这一隐形噪声,论文设立了精密的文本清洗流水线:首先通过 Unicode 双向控制符(如 LRI...PDI 隔离标记)将所有拉丁与数字片段安全包裹,确保无论在何种渲染终端下均能保证语序物理一致;接着采用 NFKC 标准进行字符归一化,将阿拉伯字符强制重映射为乌尔都语标准码位;将弯引号统一规范化为直引号并补齐缺失的前引号;将 ASCII 逗号、问号和句号映射为标准的乌尔都语标点(如 '،'、'؟'、'۔');将各种填空题占位符统一归一为正好 4 个下划线 ____;最后剥离选项文本中冗余的标号前缀(如去除 A/B/C/D 或 الف/ب/ج/د),消除选项位置提示。
3. 双人背对背独立标注与零容忍共识仲裁:考试真题无标准答案与学科主观性 -> 严格一致性双标加结构化检错机制 -> 实现0.8663纯偶然调整后高置信金标
网络爬取的 13,630 道试题自带经验证的标准答案,但来自统考试卷的 12,759 道真实考题原始试卷中完全没有答案键,必须依靠人工标注重建。考虑到文史哲与宗教伦理题目的学术主观性,单人标注极易引入人为偏差与误导。研究团队招募了 17 位具备深厚乌尔都语母语背景的专业标注员(94.1% 为母语者,88.2% 拥有学士或硕士学位),开发了专用交互式标注工作台。每个统考题目被独立、背对背指派给两位学科背景匹配的标注员,标注员必须在 A–D 中挑选唯一最佳选项,并允许查阅维基百科和权权威词典核实客观史实。系统设定了极端严格的质控裁决协议:只有当两位标注员给出的选项完全一致、且均未点击“不确定/跳过”或“报错/Flag”时,该题才被准予录入金标集;若两人选项不一致、任一人标记存疑、或触发 5 类报错标签之一(多重正确答案、无解、题意模糊缺失关键约束、依赖未提供的图片图表、脱离大纲的宗派或极端局部琐事),该题立即被永久剔除。在 16,070 道无争议候选题目中,双人观察一致率高达 \(p_o = 0.8998\),扣除四选一随机猜测基线(0.25)后的修正一致性达 0.8663,确立了卓越的标签信度。
4. 多级分层去重与国家课程分级配额平衡:题库同质化与理科失衡倾斜 -> 倒排索引精确去重与Jaccard模糊聚类结合人工平衡 -> 还原真实中等教育学科分布
从不同统考委员会和备考网站聚合的原始题库存在海量重复试题与严重的学科倾斜。原始清洗题库共汇集了 40,927 道题目,其中理科与社会科学题目严重超标,若直接使用将导致文科大省的传统人文知识被边缘化。针对此问题,流程采取了两阶段分级去重与科学调配:第一阶段进行精确文本哈希去重,保留来源元数据,若答案冲突则整组剔除;第二阶段采用字符与词级 n-word Jaccard 相似度(阈值 \(\ge 0.85\))进行模糊近重复聚类检测,共聚出 27,251 个簇并剔除 2,356 道高相似及冲突题目;在此基础上,实施分层配额采样,主动扣留并剔除了 8,946 道过量冗余的初级理科与社会科学题目,使人文社科(Humanities 占 41.6%)与社会科学(Social Sciences 占 30.2%)比例与巴基斯坦真实的 SSC/HSSC 课程开设结构完美贴合,确保了测评基准对本土通识教育生态的高度代表性。
评测基准构建与质量审定协议¶
UrduMMLU 的最终数据集包含 26,389 道四选一选择题,整体体量与构成细节如下: - 数据源与题量构成:网络带答案题库贡献 13,630 题(占比 51.7%),统考试卷通过双人背对背标注贡献 12,759 题(占比 48.3%)。 - 领域与学科分布(5大领域,26个子学科): - Humanities(人文科学,10,982题):乌尔都文学(Urdu Literature, 5,859题)、乌尔都语言(Urdu Language, 2,507题)、伊斯兰研究(Islamic Studies, 1,485题)、乌尔都语法(Urdu Grammar, 755题)、伦理学(Ethics, 228题)、美术(Fine Arts, 148题)。 - Social Sciences(社会科学,7,959题):巴基斯坦研究(Pakistan Studies, 1,886题)、经济学(Economics, 907题)、教育学(Education, 836题)、社会学(Sociology, 778题)、公民学(Civics, 742题)、体育与健康(Health & Physical Education, 675题)、地理学(Geography, 630题)、心理学(Psychology, 460题)、商业常识(Commerce, 437题)、时事与国际关系(Current & International Affairs, 423题)、心理测量与智力测验(Psychometrics, 185题)。 - STEM(科学技术工程数学,5,113题):化学(Chemistry, 936题)、生物学(Biology, 931题)、通识科学(General Science, 926题)、数学(Mathematics, 876题)、计算机科学(Computer Science, 823题)、物理学(Physics, 621题)。 - Profession(职业学科,973题):职业发展(Professional Development, 514题)、职业研究(Professional Studies, 459题)。 - Other(综合常识,1,362题):通用常识(General Knowledge, 1,362题)。 - 文本长度与平衡性:序列化试题(含题干与4选项)中位数长度仅为 76 字符,题干中位数 39 字符。金标答案在 A、B、C、D 四个选项上的分布几乎完全均匀(分别为 6,673 / 6,486 / 6,549 / 6,681,占比在 24.6% 至 25.3% 之间),彻底杜绝了模型凭借选项位置先验作弊的可能。 - 审定一致性统计:共 17,565 道考试题进入双人标注流水线,排除 1,611 道答案分歧、1,247 道报错标记、243 道不确定放弃及 5 道单人批次后,16,070 道题目合规,其中双人达成完全共识的有 14,459 道(留存率 82.3%),其固定偶然率修正一致性指标达成: $\(p_{\text{adjusted}} = \frac{p_o - 0.25}{1 - 0.25} = \frac{0.8998 - 0.25}{0.75} = 0.8663\)$
实验关键数据¶
主实验¶
论文对 30 款主流模型开展了零样本(Zero-shot)评测,输入分别使用英文指令(English Prompt)和乌尔都语指令(Urdu Prompt),并保持题干与选项完全一致。评测采用全样本严格匹配准则(All-Item Accuracy),一切解析失败、循环崩溃或格式错误的回答均直接判为错误,计入无效输出率(Inv%)。下表汇总了各模型阵营代表性系统的零样本准确率(%):
| 模型阵营 | 模型名称 | 参数量 | 英文 Prompt STEM | 英文 Prompt Humanities | 英文 Prompt Overall | 英文 Prompt Inv% | 乌尔都语 Prompt STEM | 乌尔都语 Prompt Humanities | 乌尔都语 Prompt Overall | 乌尔都语 Prompt Inv% |
|---|---|---|---|---|---|---|---|---|---|---|
| 闭源商业模型 | Gemini-3.5-Flash | N/D | 97.56 | 85.16 | 90.23 | 0.1 | 97.75 | 85.49 | 90.45 | <0.1 |
| Gemini-3.1-Flash-Lite | N/D | 96.85 | 74.39 | 84.69 | <0.1 | 97.09 | 74.57 | 84.81 | <0.1 | |
| GPT-5.4 | N/D | 95.13 | 69.47 | 80.94 | 0.0 | 97.40 | 74.29 | 84.32 | 0.4 | |
| Claude-Sonnet-4.6 | N/D | 96.34 | 72.87 | 83.04 | 0.0 | 96.26 | 72.87 | 83.07 | 0.0 | |
| GPT-5.4-mini | N/D | 88.34 | 62.98 | 73.55 | 0.0 | 88.25 | 62.51 | 73.63 | 0.0 | |
| Claude-Haiku-4.5 | N/D | 90.44 | 58.67 | 71.44 | 0.1 | 91.92 | 59.42 | 72.52 | <0.1 | |
| 开源大型模型 (>25B) | DeepSeek-V4-Flash | 284B | 97.38 | 68.79 | 82.45 | 0.1 | 97.36 | 67.30 | 81.33 | 0.3 |
| Gemma-4-31B-IT | 31B | 93.33 | 63.77 | 76.49 | <0.1 | 93.86 | 63.38 | 76.49 | <0.1 | |
| LLaMA-4-Maverick-17B-128E | 402B | 91.96 | 63.43 | 75.59 | <0.1 | 92.24 | 63.41 | 75.93 | <0.1 | |
| Qwen3.6-27B | 27B | 90.46 | 56.09 | 69.33 | 0.0 | 91.12 | 55.86 | 69.81 | 0.0 | |
| LLaMA-3.3-70B | 70B | 81.32 | 56.45 | 68.67 | 0.0 | 78.39 | 56.24 | 67.10 | <0.1 | |
| 开源中小模型 (\(\le\)25B) | Ministral-3-8B | 8B | 67.81 | 45.38 | 54.85 | 0.0 | 71.37 | 45.86 | 57.08 | 0.0 |
| Gemma-2-9B-IT | 9B | 67.08 | 47.33 | 55.37 | 0.0 | 69.02 | 48.21 | 56.89 | 0.0 | |
| Qwen3-8B | 8B | 70.70 | 39.31 | 51.05 | 0.0 | 74.05 | 30.77 | 48.81 | 0.5 | |
| Qwen3-4B-Instruct-2507 | 4B | 68.61 | 42.44 | 50.92 | 0.0 | 68.75 | 43.11 | 51.79 | 0.0 | |
| LLaMA-3.1-8B | 8B | 46.96 | 36.47 | 43.37 | 0.0 | 46.49 | 37.71 | 43.91 | 0.0 | |
| Phi-4-mini | 3B | 37.02 | 28.92 | 33.89 | <0.1 | 37.08 | 28.77 | 34.21 | <0.1 | |
| BLOOMZ-7B | 7B | 24.98 | 23.93 | 26.45 | 11.1 | 22.75 | 17.75 | 20.55 | 34.5 | |
| BLOOMZ-3B | 3B | 27.44 | 26.89 | 28.72 | 6.5 | 9.74 | 3.60 | 7.40 | 74.2 | |
| 乌尔都语专项微调模型 | Qalb-1.0-8B | 8B | 38.18 | 30.07 | 34.82 | 0.0 | 30.59 | 31.39 | 31.54 | 11.3 |
| Alif-1.0-8B | 8B | 40.62 | 25.75 | 34.55 | 0.6 | 29.04 | 27.98 | 28.62 | 12.6 |
少样本实验与跨基准对比¶
为探究少样本上下文示例(Few-shot Demonstrations)能否弥补模型在乌尔都语知识上的欠缺,论文在 4 款开源骨干模型上进行了 0-shot、1-shot、3-shot 与 5-shot 的横向扩展实验(剔除 130 道固定样例池后,在 26,259 道全量题上严格测评)。此外,论文将 UrduMMLU 与基于翻译的 MMLU-PROX 乌尔都语版本在 9 个重合学科上进行了对比:
| 评测维度与对比实验 | 模型名称 | 0-shot (EN / UR) | 1-shot (EN / UR) | 3-shot (EN / UR) | 5-shot (EN / UR) | 5-shot 相较 0-shot 净增幅 |
|---|---|---|---|---|---|---|
| 少样本学习效果 (Table 5) | LLaMA-3.1-8B | 43.35 / 43.89 | 45.00 / 45.15 | 46.16 / 46.38 | 46.66 / 46.17 | +3.32 / +2.28 |
| Gemma-3-4B-IT | 43.98 / 44.91 | 45.97 / 46.45 | 46.13 / 46.40 | 46.31 / 46.04 | +2.33 / +1.13 | |
| Qwen3-8B | 51.02 / 48.73 | 50.30 / 51.91 | 52.33 / 53.31 | 53.27 / 53.56 | +2.25 / +4.83 | |
| Qwen3-4B-Instruct-2507 | 50.92 / 51.80 | 52.64 / 52.14 | 53.49 / 52.97 | 53.72 / 53.00 | +2.80 / +1.20 | |
| 4模型平均表现 | 47.32 / 47.33 | 48.48 / 48.91 | 49.53 / 49.77 | 49.99 / 49.69 | +2.67 / +2.36 |
下表展示在 9 个重合学科上,原生题库(UrduMMLU, U)与翻译基准(MMLU-PROX, P)的准确率落差(\(\Delta = U - P\)):
| 学科类型 | 共同学科名称 | 题量对比 (U / P) | Gemma-4-31B-IT (U / P / \(\Delta\)) | Qwen3.6-27B (U / P / \(\Delta\)) | LLaMA-3.1-8B (U / P / \(\Delta\)) |
|---|---|---|---|---|---|
| STEM | 数学 (Mathematics) | 876 / 242 | 93.6 / 68.3 / +25.3* | 88.9 / 61.2 / +27.8* | 43.4 / 31.4 / +12.0* |
| 物理 (Physics) | 621 / 127 | 95.7 / 80.0 / +15.7* | 94.8 / 79.2 / +15.6* | 43.6 / 36.2 / +7.4 | |
| 化学 (Chemistry) | 936 / 115 | 92.5 / 80.7 / +11.8* | 92.9 / 81.7 / +11.2* | 42.2 / 40.9 / +1.3 | |
| 生物 (Biology) | 931 / 139 | 94.0 / 91.7 / +2.3 | 88.8 / 92.4 / -3.5 | 46.0 / 48.1 / -2.1 | |
| 计算机 (Computer Science) | 823 / 62 | 94.4 / 93.9 / +0.5 | 93.1 / 91.3 / +1.8 | 51.8 / 45.8 / +6.0 | |
| Social Sciences | 经济学 (Economics) | 907 / 358 | 84.7 / 86.3 / -1.6 | 81.5 / 85.9 / -4.4 | 49.3 / 40.3 / +8.9* |
| 社会学 (Sociology) | 778 / 52 | 91.1 / 82.7 / +8.4 | 89.3 / 79.2 / +10.1 | 68.9 / 43.8 / +25.0* | |
| 地理学 (Geography) | 630 / 65 | 87.0 / 82.8 / +4.2 | 84.3 / 82.5 / +1.8 | 53.3 / 39.4 / +13.9* | |
| 心理学 (Psychology) | 460 / 169 | 90.4 / 85.2 / +5.2 | 85.0 / 83.3 / +1.7 | 44.3 / 41.4 / +2.9 | |
| 宏观平均 | Macro Average | 6,962 / 1,329 | 91.5 / 83.5 / +8.0 | 88.7 / 81.8 / +6.9 | 49.2 / 40.8 / +8.4 |
关键发现¶
- 断崖式的理科–人文鸿沟(STEM vs. Humanities Gap):全场除随机猜测水平的模型外,几乎所有及格模型都呈现出极度显著的“理科高分、文科暴跌”现象。以乌尔都语 Prompt 为例,Gemini-3.5-Flash 在 STEM 上取得 97.75% 极高准确率,但在 Humanities 上下滑至 85.49%(落差 12.26 点);开源最强模型 DeepSeek-V4-Flash 从 STEM 的 97.36% 断崖式跌落至 Humanities 的 67.30%(落差高达 30.06 点);Qwen3-8B 的落差甚至达到惊人的 43.28 个百分点(STEM 74.05% vs. Humanities 30.77%)。这确凿表明,当前模型在跨语言迁移中转移的是与英文语料重合度极高的数理化规律,一旦触及乌尔都文学(Urdu Literature, 全场最高仅 80.76%)、修辞学与伊斯兰教法等强本土文化载体,模型内部即暴露出巨大的知识空洞。
- 指令语言对核心准确率影响微弱,但对格式遵循构成严峻考验:对于指令遵循能力极强的闭源前沿模型和 25B 以上开源模型,英文指令与乌尔都语指令的最终得分差异普遍在 1 个百分点以内(如 Gemini-3.5-Flash 仅差 +0.22%,DeepSeek-V4-Flash 仅差 -1.12%)。然而,对于弱小模型,乌尔都语指令引发了灾难性的无效输出率(Invalid-output Rate):BLOOMZ-3B 的无效输出率从英文的 6.5% 暴涨至乌尔都语的 74.2%(其解析有效项准确率仍有 28.66%,但全样本得分被拉垮至 7.40%);BLOOMZ-7B 无效输出率高达 34.5%;本土微调模型 Qalb-1.0-8B 和 Alif-1.0-8B 在乌尔都语指令下的格式崩溃率也超过了 11%–12%。
- 本土化专项微调模型的全面落败:被宣传为针对乌尔都语母语特化的 Qalb-1.0-8B(综合 31.54%)和 Alif-1.0-8B(综合 28.62%),不仅全面落后于同等尺寸的通用开源模型(如 Ministral-3-8B 达到 57.08%,Gemma-2-9B-IT 达到 56.89%),甚至在乌尔都文学子学科上(分别为 31.2% 和 27.2%)也显著落后于未经本土微调的 Ministral-3-8B(39.4%)。这表明目前低资源语言专项微调往往停留在指令微调或浅层合成数据续训,缺乏高质量严肃教育学术语料的有效注入,反而损害了底座通用的逻辑与格式跟随能力。
- 心理测量学(Psychometrics)成为全场最大硬骨头:在所有 26 个子学科中,逻辑推理与类比特征最浓密的“心理测量与智力测验(PMT)”成为全场唯一一个没有任何模型能够突破 60% 准确率的学科(英文 Prompt 下最强的 Gemini-3.5-Flash 仅达 57.30%,乌尔都语 Prompt 下最强的 Claude-Sonnet-4.6 仅达 52.97%)。表明大模型对乌尔都语语境下的抽象模式识别、数字序列推演与语言类比依旧处于初级阶段。
- 少样本示例仅能提供边缘修补:将 Prompt 从 0-shot 增加至 5-shot,4 款开源模型的平均准确率增益仅在 2.3 至 2.7 个百分点之间,且各模型在 3-shot 至 5-shot 阶段便已迅速饱和,无法改变模型间的分层排位,更无法填补预训练阶段所缺失的乌尔都语深层事实知识。
亮点与洞察¶
- 真正立足于被评测母语教育体系的范式革新:以往多语言评测多停留在将西化 MMLU 题库机翻到各语种的流水线操作中,UrduMMLU 坚决从巴基斯坦 SSC/HSSC 公立中学统考真题与题库取经,涵盖大量具有本土政治、地理、司法法学与古典伊斯兰哲学的原生试题。这一设计彻底揭开了多语言大模型“假装懂小语种、实则只懂西方通识翻译”的遮羞布。
- 严密自洽的 16 阶段自动化与人工双盲审协议:面对非拉丁语系古代字形、混排排版崩溃以及真题缺乏答案的重重阻碍,论文结合视觉大模型粗精两阶段提取、Unicode 双向强制隔离、字符 NFKC 重映射与 17 位具备学位资格专家的背对背独立双盲审,通过确定性共识算法实现了高达 0.8663 的修正一致性,为非西方主流语种的高可靠数据集构建树立了工程标杆。
- 全样本强制计分的严格评测操守:论文拒绝使用被许多学术榜单滥用的“仅对成功解析输出计算准确率”的虚假指标,将一切格式溢出、指令回显、循环崩溃(Repetition Collapse)与拒绝回答均如实记为零分。这一评测法则真实揭示了开源小模型在非英语系统提示下的指令崩溃现象,警示工业界多语言模型不仅要拼推理,更要严抓非英语指令的鲁棒解码。
局限与展望¶
- 地域大纲与题型载体的局限性:试题主要来源于巴基斯坦中等与高等中等教育体系(SSC/HSSC)以及针对该考试的本地备考网络题库,未能涵盖印度北方广泛使用的乌尔都语教材体系、高等教育大学课程以及日常口语化方言和乌尔都-英语代码混用(Code-switching)现象。
- 客观选择题形式对深层生成能力的覆盖不足:基准完全依赖四选一 MCQ 客观题机制,无法测评模型在乌尔都语诗歌创作、长文摘要、文学评论等生成式任务上的修辞与审美水准;虽然加入了逻辑较难的智力测验试题,但仍受限于选项猜测基线。
- 未来演进方向:学术界亟需以此基准为参照,加大对南亚非拉丁文字体系严肃中等与高等学术语料的高质量预训练投入;同时,推动从 MCQ 迈向开放式生成评测与交互式论辩评测,开发能够跨越印巴不同乌尔都方言与正字法差异的全谱系语言大模型。
相关工作与启发¶
- vs. MMLU-PROX / GLOBAL-MMLU / INDICMMLU-PRO: 后者通过 LLM 机器翻译将英文经典多任务试题转译为包含乌尔都语在内的多语言版本,评测的本质是“西方科学与人文通识在其他符号系统下的映射”;UrduMMLU 则完全由原生乌尔都语教育专家出题,涵盖巴基斯坦特有的乌尔都文学家生平、古典诗词押韵规则(Radeef/Qafia)、宪法法条与宗教考据,揭示了翻译基准无法捕捉的模型知识洼地。
- vs. URDUBENCH: URDUBENCH 将数学与常识基准(如 MGSM、CommonsenseQA、MATH-500)翻译为乌尔都语进行推理评测;UrduMMLU 则是全学科通识基准,不仅包含 STEM 逻辑推理,更侧重考察初高中全科教育体系下的知识记忆、文化常识与跨领域理解。
- vs. ARABICMMLU / CMMLU / INDOMMLU: UrduMMLU 延续并深化了非英语本土大语言模型多任务评测的思潮,但在字形清洗(阿拉伯字码向乌尔都字码强制映射)、双向文本 BiDi 隔离、以及在真题无答案条件下实施严格背对背双盲人工审定方面,提供了更为详尽且可复现的工程协议。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次建立大规模原生乌尔都语中等教育全学科选择题多任务基准,打破了依赖翻译的低效评测范式。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 30 款前沿闭源商业模型与各量级开源模型,在双指令语言、少样本及跨基准下展开 84 次全量评估,数据剖析深刻透彻。
- 写作质量: ⭐⭐⭐⭐⭐ 流程图、质控管线、标注员构成与失败案例呈现极为严谨规范,附录统计账本完全自洽。
- 价值: ⭐⭐⭐⭐⭐ 为全球 2.3 亿乌尔都语人口的 AI 普惠及真实多语言模型知识评测奠定了极为关键的基础设施基石。