跳转至

Jais 2: A Family of Arabic-Centric Open Large Language Models

会议: EMNLP 2026
论文: ACL Anthology
代码: https://huggingface.co/collections/inception42/jais-2-family
领域: 大语言模型 / 阿拉伯语开源大模型家族
关键词: Jais 2, 阿拉伯语大语言模型, 极大更新参数化(µP), 文化对齐, DPO

一句话总结

Jais 2 构建了从头预训练的 70B 和 8B 开源双语大模型家族,通过 8 倍 FFN 中间层、\(\text{ReLU}^2\) 稀疏激活、150K 阿语定制词表以及两阶段退火与文化对齐后训练,在 OALL2、AraGen 及诗歌、解梦、伊斯兰问答等原生阿拉伯文化基准上达到开源领先水平。

研究背景与动机

多语言大语言模型在过去几年经历了爆发式增长,但在训练语料的分布与分词器构造上,主流前沿模型(如 Llama 3、Qwen2.5、Gemma 3)仍严重偏向英语及极少数高资源语言。阿拉伯语作为全球数亿人使用的重要语言,具有形态结构高度丰富、双层语言(Diglossia,即现代标准阿拉伯语 MSA 与繁复的地方方言并存)以及独特的宗教与文化语境。通用的通用多语言基础模型由于在预训练中分配给阿拉伯语的 token 极其有限,分词碎片化严重,导致其在处理深层语法、方言交流和特定文化议题时普遍存在理解浅层、回答生硬甚至语义偏差的问题。

此前面向阿拉伯语的模型探索(如早期的 Jais、AceGPT、ALLaM、Fanar,以及方言微调模型 Nile-Chat 与 Atlas-Chat)虽然推进了 MSA 和个别方言的建模,但受限于基础规模与架构限制:要么是依赖已有英语底模进行局部持续预训练(面临灾难性遗忘与分词低效),要么仅局限于单一狭窄方言或一般性领域,缺乏从底层架构、超参数设计到超大规模高质量语料库端到端针对阿拉伯语特点构建的真正大体量开源模型。特别是阿拉伯世界深植于传统的文化领域(如伊斯兰法学问答、古典诗歌格律分析与生成、传统解梦象征推理等),现有开源模型缺乏严谨的语料清洗基准与对齐范式,无法满足严肃场景的需求。

针对上述瓶颈,本研究系统性地攻克了阿拉伯语原生大模型的架构瓶颈与数据孤岛,推出了从头训练的 Jais 2 家族(包含 8B 和至今最大从头训练的 70B 阿拉伯语中心开源模型)。核心 idea:通过协同架构创新(8倍 FFN、\(\text{ReLU}^2\) 激活与 µP 参数化)、150K 阿语优先 BPE 词表,以及贯穿「预训练-退火上采样-领域 CPT-文化 SFT-DPO 偏好对齐」的全流程管线,实现兼顾现代标准语、17 种区域方言与深度传统文化知识的原生双语开源大模型。

方法详解

整体框架

Jais 2 遵循标准 Decoder-only Transformer 架构,涵盖 8B(32 层,隐藏维度 3,328)和 70B(68 层,隐藏维度 7,168)两种规格。整个训练与后训练流程由一条高度严谨的流水线串联:首先,通过包含 624B 阿拉伯语 token 在内的 2.2T token 混合语料开展 Stage 1 预训练;在 Stage 2 退火阶段,利用 5%–10% 的算力预算大幅上采样高质量领域数据与数学推理数据;随后进入后训练阶段,依次执行持续预训练(CPT,引入专有阿语数据与 50% 历史语料回放以防遗忘)、指令微调(IFT,涵盖通用、方言及诗歌、解梦、伊斯兰法学等任务),最后使用直接偏好优化(DPO)对齐人类意图与文化价值观。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
    A["2.2T 多语混合预训练语料<br/>624B 阿语 + 英语/代码/数学"] --> B["定制 150K BPE 分词器<br/>31.25% 阿语权重采样"]
    B --> C["高能效 Transformer 骨干网络<br/>8× FFN 扩张 + ReLU² 激活 + µP 参数化"]
    C --> D["两阶段预训练与退火上采样<br/>90% 基础训练 + 10% 领域退火"]
    D --> E["领域持续预训练 (CPT)<br/>专有阿语语料 + 50% 预训练回放"]
    E --> F["文化植根指令微调 (IFT)<br/>2000万指令对:诗歌/解梦/伊斯兰QA/17种方言"]
    F --> G["直接偏好优化 (DPO)<br/>Bradley-Terry 隐式奖励对齐 (β=0.1)"]
    G --> H["开源 Jais 2 家族<br/>8B & 70B 双语基础与对话模型"]

关键设计

1. 定制 150K BPE 分词器:消除形态切分碎片化与提升编码紧凑度

主流英语主导的分词器在处理阿拉伯语词汇时,往往将一个带有复杂前缀、中缀、后缀形态变化的阿语单词切分成多个生僻 byte 或碎片 token,不仅膨胀了推理序列长度,而且阻碍了语言长程上下文建模。Jais 2 采用 Hugging Face tokenizers 构建了词表大小为 150,272 的 Byte-Pair Encoding (BPE) 分词器。在训练采样中,针对性地分配了 31.25% 的阿拉伯语语料配比,同时分配 20.83% 英语、20.83% 法语、各 4.17% 的德/西/意/印地语,以及各类编程语言(Python、Rust、Swift、C++ 等各占约 1%)。配合严格保留前导空格与 byte 对齐的正则表达式规则,该分词器大幅压缩了标准阿拉伯语、跨语言混杂(Arabizi)以及区域方言的平均 token 开销,为长文本与代码推理提供了高效支撑。

2. 高能效 Transformer 骨干网络:8× FFN 扩张、\(\text{ReLU}^2\) 激活与 µP 参数化跨尺度零样本迁移

为了在计算受限条件下最大化模型参数容量与推理表达力,Jais 2 对前馈网络(FFN)进行了大幅拓宽:其中间维度(intermediate size)与隐藏维度(hidden size)之比设为 8(8B 模型中间层为 26,624,70B 为 57,344),是 Llama 3 和 Gemma-3(约 3.5–4 倍)的两倍以上。为了平衡超宽 FFN 带来的计算密度,模型采用平方整流线性单元(\(\text{ReLU}^2\))作为激活函数: $\(f(x) = (\max(0, x))^2\)$ \(\text{ReLU}^2\) 在 FFN 隐层中引入了显著的天然激活稀疏性(Activation Sparsity),不仅在性能与稀疏度之间建立了更优的帕累托前沿,也使得超宽 filter 更加稳健。在扩展规律方面,团队引入了最大更新参数化(Maximal Update Parameterization, µP),在隐藏层深度与宽度比维持在 ~100 的基础上,使用 100M 参数的代理模型(Proxy Model)精确搜索基础学习率 \(\eta=0.0248\)、初始化标准差 \(\sigma=0.035\)、缩放因子(token 嵌入输出缩放 67.78,输出 logits 缩放 0.42),使得无需对 70B 模型进行昂贵的大规模超参数网格搜索即可直接零样本继承最优收敛轨迹。

3. 两阶段预训练与退火上采样:平滑解决阿语、英语与数学推理能力的帕累托权衡

模型在 2.2T token 混合语料上展开训练,其中 Stage 1 消耗总 FLOPs 的 90% 以上,语料配比精确定为 20% 阿拉伯语、40% 通用 Web、20% 数学、10% 代码和 10% 合成数据(在候选的 Mix 1 与 Mix 2 消融中,Mix 1 在 2.7B 和 6.7B 规模上均取得了英阿综合最佳准确率)。在最后的 Stage 2 退火阶段(占 5%–10% 算力,伴随学习率线性衰减至 0),研究团队针对不同领域上采样因子进行了严密的对照实验:单纯将阿语比例推高至 80%(US Mix 2)虽然阿语均分达到 43.00,但英语跌至 46.99,数学 GSM8K 骤降至 2.43;最终通过平衡的退火配比(US Mix 4 / 平衡方案),在巩固阿语表现的同时兼顾了多任务泛化能力。

4. 领域持续预训练 (CPT):结构化扩充专业领域与合成教材

在完成基础预训练后,Jais 2 并不直接跳到 SFT,而是增加了持续预训练(CPT)阶段,以 50% 历史语料回放配合 2 个 epoch 吸收全新构建的专有阿拉伯语及合成语料。此阶段重点注入两大类数据:一是包含古典文献、伊斯兰宗教法学、阿拉伯诗歌全集和 17 种主要区域方言(约 6 亿 token 方言语料)的高纯度真实文本;二是参照教材风格生成的英阿双语合成课程数据(包含大量带解题思维过程的 MCQ 和复杂数学证明),使得模型在进入指令对齐前就建立了深厚的文化与常识知识图谱。

5. 文化植根指令微调 (IFT):深度嵌入伊斯兰法学、格律诗歌、梦境解析与方言会话

为了打破传统 LLM 仅能处理泛化聊天的局限,Jais 2 组织了超过 2000 万条高质量指令对展开 3 个 epoch 的 IFT 训练。研究团队构建了三个特色垂直文化数据集并严格实施防污染物理隔离: - 伊斯兰法学问答(Islamic QA):从 Islamweb 爬取并清洗了 151,890 对教法问答,通过专有提示词去除程式化祈祷辞与外部链接、标准化阿拉伯数字,保留完整古兰经章节与圣训考证;并将 1,000 道高难度样本物理隔离为不可见的测试集。 - 阿拉伯诗歌任务(Poetry IFT):涵盖诗歌分析(根据诗文预测诗人、时代、题材、韵律、格律 Meter)与诗歌生成(按特定格律如 Al-Tawil、Al-Rajaz 进行合仄押韵创作)共 35 项子任务,总样本达 43.4 万。 - 传统解梦系统(Dream Interpretation):基于 Ibn Sīrīn、Al-Nābulsi 等 5 部经典文献整理 5,568 个象征意象,按照意象实体隔离出 4,466 对用于训练,1,102 对用于测试,让模型精准解析隐喻象征。

6. 直接偏好优化 (DPO):无奖励模型诱导的价值与安全性闭环

在后训练末期,采用直接偏好优化(DPO)进一步校准输出质量与价值取向。以 SFT 模型为参考策略 \(\pi_{\text{ref}}\),针对包含通用对话、阿语复杂推理、数学及安全性测试的 20 万对高质量偏好样本(通过自博弈生成候选,由前沿 LLM 作为裁判裁决出 \((y_w, y_l)\) 对),直接通过隐式奖励损失函数优化当前策略 \(\pi_\theta\): $\(\mathcal{L}_{\text{DPO}}(\pi_\theta; \pi_{\text{ref}}) = -\mathbb{E}_{(q, y_w, y_l)\sim \mathcal{D}} \left[ \log \sigma \left( \beta \log \frac{\pi_\theta(y_w|q)}{\pi_{\text{ref}}(y_w|q)} - \beta \log \frac{\pi_\theta(y_l|q)}{\pi_{\text{ref}}(y_l|q)} \right) \right]\)$ 通过网格搜索,最终设定学习率 \(4.0\times 10^{-5}\)、Batch Size 160 与温度系数 \(\beta=0.1\)。该阶段有效提升了模型在指令遵循(Arabic IFEval)和长文本生成中的客观性与合规性。

损失函数 / 训练策略

预训练使用 AdamW 优化器,超参数为 \(\beta_1 = 0.9, \beta_2 = 0.95\)。针对先前版本中因某些层平方梯度移动平均值与标准分母常数相当导致学习率自适应失效的现象,将常数修正为 \(\epsilon = 10^{-15}\)。学习率调度包含线性 Warmup 至峰值 0.0248,随后线性衰减至 0。8B 模型 Batch Size 为 408,70B 模型初期为 960,根据梯度噪声尺度(GNS)分析在后期扩大至 1,920。位置编码采用 Rotary Position Embeddings (RoPE),Base 频率设为 500,000,训练最大上下文长度为 8,192 tokens。

实验关键数据

主实验:多维度阿拉伯语核心能力评估

Jais 2 评估覆盖了选择题理解(OALL2)、开放式生成(AraGen 3C3H)、指令遵循(Arabic IFEval)、伊斯兰问答(IslamicQA)、文化基准、方言识别、诗歌分析、解梦以及文本摘要(ROUGE-LSum)。以下为 Jais 2 家族与同级别最强开源对标模型的综合对比数据(摘自 Table 3):

评测维度 / 基准 Jais 2-8B ≤13B 最强对标模型 Jais 2-70B >13B 最强对标模型 70B 相对提升
OALL2 (宏平均 %) 72.40 Hala-9B (70.02) 79.36 Llama-3.3-70B (74.23) +5.13
AraGen (3C3H 得分 %) 58.64 Fanar/ALLaM (53.16) 70.71 Qwen2.5-72B (62.58) +8.13
Arabic IFEval (严格指令级 %) 67.09 C4AI-Arabic-7B (70.57) 74.53 Qwen2.5-72B (74.05) +0.48
Islamic QA (综合均分 %) 63.82 ALLaM-7B (66.38) 75.99 Qwen2.5-72B (76.29) -0.30
阿拉伯文化综合基准 (%) 57.31 Yehia-7B (60.37) 69.64 Qwen2.5-72B (68.56) +1.08
阿拉伯方言识别 (MADAR/QADI %) 44.24 ALLaM-7B (48.11) 59.78 Gemma-3-27B (50.04) +9.74
阿拉伯诗歌分析 (14子任务均分 %) 60.44 Fanar-9B (60.07) 69.02 Qwen2.5-72B (61.48) +7.54
阿拉伯传统解梦 (原语测试 %) 67.60 ALLaM-7B (62.89) 85.39 Falcon-H1-34B (62.34) +23.05
阿拉伯长文摘要 (ROUGE-LSum) 26.04 SILMA-9B (13.86) 31.18 Llama-3.1-70B (13.88) +17.30

细粒度实验:退火阶段领域数据上采样(Table 2 消融)

在 2.7B 模型尺度(固定 20 TPP 预算,退火占训练末尾 10%)开展的不同数据混合配比消融实验:

配比变体 阿语 (Ar) 通用Web 数学 (Math) 代码 (Code) 杂项 阿语均分 (%) 英语均分 (%) 数学 (GSM8K 8-shot)
Baseline 0.27 0.40 0.14 0.10 0.09 42.52 47.50 3.36
US Mix 1 0.40 0.27 0.15 0.10 0.08 42.74 47.63 2.12
US Mix 2 (极高阿语) 0.80 0.07 0.05 0.05 0.03 43.00 46.99 2.43
US Mix 3 (极高数学) 0.05 0.10 0.80 0.05 0.00 41.35 46.64 3.34
US Mix 4 (平衡方案) 0.20 0.24 0.40 0.15 0.01 42.66 47.71 2.35

关键发现

  • 模型规模带来的能力鸿沟与鲁棒性:在 8B 尺度上,Jais 2 与同级开源模型各有千秋(在 10 项核心指标中领先 6 项,在方言识别和伊斯兰问答上略逊于 ALLaM-7B);然而一旦扩展至 70B 规模,Jais 2 在 10 项核心指标中独揽 9 项第一,在解梦(+23.05)、摘要(+17.30)、方言识别(+9.74)和诗歌分析(+7.54)等领域展现出压倒性优势。
  • 退火上采样的跨领域权衡:纯粹堆砌阿拉伯语比例(如 US Mix 2 高达 80%)会导致灾难性的英文和数学能力下滑;适度的多领域交织退火能够巩固母语优势的同时守住代码与通用逻辑底线。
  • 传统文化的结构化迁移:通过将非结构化的古典文献构建成严格解耦的属性预测(诗歌)和排除同类别干扰项的选择题(解梦、教法),模型不仅记住了文本,更掌握了深层的隐喻与逻辑关联。

亮点与洞察

  • 8× 中间层 FFN 与 \(\text{ReLU}^2\) 的协同效应:通过在 FFN 中引入 8 倍超宽中间层并搭配二次方整流激活函数,创造了天然的激活稀疏性,在不显著激增显存与计算瓶颈的前提下大幅提升了跨语言知识表征容量。
  • 严密的数据防泄漏分区策略:在构建解梦和伊斯兰法学评测集时,研究团队坚持按照「意象符号实体」和「独立教法类别」进行粗粒度划分,确保同一意象或同源法学问答决不同时出现在训练集与测试集,有力保证了基准评分的真实泛化度。
  • 端到端极致推理吞吐:与 Cerebras 硬件软硬协同优化,使得 70B 巨型模型在端侧与云端部署中能够实现高达 2,000 tokens/s 的超高速推理生成。

局限与展望

  • 预训练语料闭源受限:受制于商业数据许可协议,未能完全开源 624B 阿语预训练原始语料,仅能公开后训练清洗配置与模型权重。
  • 方言与代码混杂长尾覆盖不均:尽管覆盖了 17 种主要方言,但在北非少数方言及高度非正式的社交网络拉丁化阿拉伯语(Arabizi)环境中,模型的生成连贯性仍存在波动。
  • 英语事实性知识相对专精英语模型偏弱:在以英语事实记忆为主的基准测试(如 RACE、TruthfulQA、DROP)中,表现稍逊于纯以万亿级英语语料为核心的主流欧美基准模型。

相关工作与启发

  • vs Jais (v1) / Jais-chat: Jais 2 将词表从早期 84K 扩大至 150K,将上下文窗口从 2K 扩展至 8K,引入 RoPE 取代 ALiBi,并新增了系统的退火上采样、CPT、以及诗歌/解梦/教法深度对齐体系。
  • vs Qwen2.5-72B / Llama-3.3-70B: 欧美和国内主流开源模型依靠庞大的通用算力在英语及代码上占优,但在阿拉伯语复杂方言识别、古典文学律诗生成与伊斯兰法学准确性上,Jais 2-70B 凭借深度文化原生构建展现出明显的代际壁垒。
  • vs ALLaM / Fanar: 此类中东本土探索模型多局限于 7B–9B 级别或基于已有骨干微调,Jais 2 提供了目前首个工业级从头预训练的 70B 完整参数家族与开放商用许可。

评分

  • 新颖性: ⭐⭐⭐⭐☆ [针对阿语特性的 8× FFN、\(\text{ReLU}^2\) 激活结合文化垂直领域端到端管线设计扎实]
  • 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 10 余个全方位基准测试,细粒度消融与 20 余种开源对标对比详实]
  • 写作质量: ⭐⭐⭐⭐⭐ [逻辑架构清晰严密,数据清洗与基准构建规范透明]
  • 价值: ⭐⭐⭐⭐⭐ [最大从头预训练开源阿语双语模型家族,对全球非通用语言大模型研发极具示范价值]