跳转至

ShapleyLaw: A Game-Theoretic Approach to Multilingual Scaling Laws

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/teijyogen/ShapleyLaw
领域: LLM推理
关键词: 多语言预训练, 缩放法则, 合作博弈论, 沙普利值, 数据配比优化

一句话总结

本文提出首个基于合作博弈论的多语言缩放法则 ShapleyLaw,通过将每种语言建模为博弈参与者并利用 In-Run Data Shapley 高效量化跨语种知识迁移,构建细粒度聚合迁移变量,实现了任意语种级预训练数据配比与模型损失的精准预测和最优混合比求解。

研究背景与动机

随着大型语言模型服务全球多样化的用户群体,在混合语言语料库上进行多语言预训练已成为构建基础模型的通用范式。然而,多语言模型在目标语言上的评测表现不仅取决于模型参数量与训练总数据量,更高度敏感于预训练语料中各语言的采样混合配比。由于语言间普遍存在正向或负向的跨语种知识迁移,如何科学建模混合配比与下游损失之间的函数关系,进而搜索出最小化多语言综合损失的最优语料配比,构成了多语言预训练领域的核心理论难题。

此前现有工作主要依赖启发式平滑采样或粗粒度假设。代表性工作如 FamilyLaw 虽尝试引入多语言缩放法则,但为了规避多语言间错综复杂的知识迁移,人为设定了“语系独立性”假设,断言跨语言迁移仅发生于同语系内部,跨语系迁移完全为零。这一假设在实际多语言数据分布下严重失真:例如日语与汉语分属不同语系,但由于共享大量汉字表意与跨语言词汇重叠,日语数据对汉语模型能力的迁移提升远超同属于外语系的西班牙语。这导致语系级缩放法则既无法预测单语种任务的具体损失,也无法在语系内部指导语种级别的最优配比。

针对这一理论瓶颈,本文切入的角度是将多语言预训练直接抽象为合作博弈论中的经典合作博弈。预训练参与的每种语言均被视为独立的博弈参与者,其联合产出的总报酬即为模型在目标评测语言上的测试损失下降量。核心 idea:将多语言预训练建模为合作博弈并基于沙普利值(Shapley Value)严格量化跨语言知识迁移强度,构造聚合迁移量调制经典 Chinchilla 定律,提出首个支持语种级最优配比求解的博弈论多语言缩放法则 ShapleyLaw。

方法详解

整体框架

ShapleyLaw 的整体运行流水线由多语言预训练博弈构建、沙普利值高效估计与规范化、缩放法则参数拟合以及最优配比凸优化求解四大环节构成。系统首先在一组小型预训练配置下记录各语种梯度的贡献,通过 In-Run Data Shapley(IRDS)单次训练即可提取出跨语种迁移矩阵;随后将配比向量与迁移矩阵相乘得到目标语言的聚合跨语言迁移量 \(\Theta_j\);最后将 \(\Theta_j\) 作为幂律调制因子嵌入 Chinchilla 基础法则中,完成损失预测并指导大模型训练的数据配比。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多语言语料库<br/>K 个语种预训练数据"] --> B["多语言预训练博弈与沙普利值度量<br/>定义 MPG 博弈,评估单语种对目标任务的边际减损贡献"]
    B --> C["In-Run Data Shapley 高效单次近似<br/>单次训练累积梯度内积,避免 2^K-1 次联盟重新预训练"]
    C --> D["聚合跨语言迁移调制缩放法则<br/>通过配比加权归一化 SV 构造变量,调制基础 Chinchilla 损失"]
    D --> E["KKT 条件约束配比凸优化求解<br/>在单纯形与语料上限约束下求解拉格朗日乘子全局最优配比"]
    E --> F["输出:最优语料混合比与下游损失预测"]

关键设计

1. 多语言预训练博弈与沙普利值度量:解决跨语种迁移难以严密量化与公理化分配的问题

传统多语言迁移经验度量缺乏严谨的理论基础,且难以公平切分多元语言混合时的重叠贡献。本文提出多语言预训练博弈(Multilingual Pretraining Game, MPG),对于给定的语言集合 \(\mathcal{K}\),设参与训练的语言子集 \(S \subseteq \mathcal{K}\) 获得的博弈报酬 \(v_j^G(S)\) 为使用 \(S\) 语言均匀子集训练模型相比未训练模型在目标任务 \(V_j\) 上的测试损失降低值。在此合作博弈框架下,沙普利值是唯一同时满足效率性、线性、对称性和虚拟参与者(Null player)公理的公平分配准则。某训练语言 \(i\) 对目标语言 \(j\) 的边际贡献加权求和定义为: $\(\phi_{i,j}^{\text{SV}}(G) = \sum_{S \subseteq \mathcal{K} \setminus \{i\}} \frac{|S|!(|\mathcal{K}|-|S|-1)!}{|\mathcal{K}|!} \left( v_j^G(S \cup \{i\}) - v_j^G(S) \right)\)$ 为消除不同评估任务固有尺度带来的绝对数值偏差,作者设计了针对目标任务最大贡献者的指数归一化: $\(\phi_{i,j}^{\text{NSV}}(G) = \exp \left( \phi_{i,j}^{\text{SV}}(G) - \max_{i'} \phi_{i',j}^{\text{SV}}(G) \right)\)$ 使得对自身任务贡献最大者的迁移系数锚定为 1,其余语言的交叉迁移系数自然平滑映射在 \((0, 1]\) 之间,形成了可跨语种横向比较的迁移矩阵。

2. In-Run Data Shapley 高效单次近似:解决精确沙普利值计算需指数级重训练的算力爆炸困境

若按原始定义精确计算 \(K\) 种语言的沙普利值,需要遍历所有可能的非空语言联盟,必须独立预训练 \(2^K - 1\) 个模型,计算复杂度为 \(O(2^K)\),在语种较多时算力完全不可承受。本文引入 In-Run Data Shapley(IRDS)技术,在仅进行一次多语言基准预训练轨迹中实时近似沙普利值,将预训练模型需求从指数级剧降至 \(O(1)\)。IRDS 将全局报酬分解到每一个优化步 \(t\) 上各语言样本构成的反事实单步损失下降,并采用一阶泰勒展开进行高效近似: $\(\hat{\phi}_{i,j}^{\text{IRDS}} = \sum_{t=0}^{T-1} \eta_t \langle g_{t,j}^{\text{val}}, g_{t,i} \rangle\)$ 其中 \(g_{t,j}^{\text{val}}\) 为目标语言验证集的损失梯度,\(g_{t,i}\) 为当前批次中语言 \(i\) 的训练梯度之和,\(\eta_t\) 为当前步学习率。由于只需在反向传播过程中并行计算语言间梯度的内积,完全无需训练额外的联盟模型。实验证明,IRDS 矩阵与精确 SV 矩阵的余弦相似度达到 0.9584,Pearson 相关系数高达 0.9390,且在不同模型尺寸(50M 与 243M)间具有极高的可迁移性(相似度 0.999),允许用小模型计算出的固定 SV 矩阵直接服务于数十亿参数大模型的缩放预测。

3. 聚合跨语言迁移调制缩放法则:解决经典缩放法则缺失多语言混合变量的理论缺陷

针对 Chinchilla 定律仅包含模型参数量 \(N\) 与总训练 token 量 \(D\)、无法感知多语言配比 \(p\) 的缺陷,ShapleyLaw 引入了聚合跨语言迁移变量 \(\Theta_j\)。对于目标语言 \(j\),定义其获得的整体迁移支撑为所有语言配比经归一化沙普利值加权的线性组合: $\(\Theta_j = \sum_{i \in \mathcal{K}} p_i \cdot \phi_{i,j}^{\text{NSV}}\)$ 基于该变量,目标语言 \(j\) 的预测交叉熵损失建模为经典幂律项与迁移有效支撑因子的乘积: $\(L_j(N, D, p \mid \{\phi^{\text{NSV}}\}) = L_{\text{chin}}^j(N, D) \cdot (\Theta_j)^{-\gamma_j} = \left( E_j + \frac{A_j}{N^{\alpha_j}} + \frac{B_j}{D^{\beta_j}} \right) (\Theta_j)^{-\gamma_j}\)$ 其中 \(E_j, A_j, B_j, \alpha_j, \beta_j, \gamma_j\) 为针对语言 \(j\) 拟合的标量参数。该形式直观揭示了混合比例的物理意义:在固定的算力与数据规模预算下,合理的混合比例通过提升聚合迁移量 \(\Theta_j\) 来成倍放大基础模型的有效利用效率;若交换不相关语言的配比,导致 \(\Theta_j\) 剧变,损失也会精准产生相应波动。

4. KKT 条件约束配比凸优化求解:解决语料上限约束与多语言权衡下的全局配比规划难题

在获得各语言的损失预测函数后,多语言综合损失定义为各项语言任务的加权和 \(J(p) = \sum_{j=1}^K w_j L_j(N, D, p)\)。当参数 \(\gamma_j > 0\) 时,由于 \(\Theta_j\) 是关于 \(p\) 的仿射变换且 \(x \mapsto x^{-\gamma_j}\) 在正实数域严格凸,整体目标函数 \(J(p)\) 在概率单纯形 \(\Delta^{K-1}\) 上严格凸,保证了全局极小值的唯一性与可解性。在无数据上限的对角主导近似下,由 KKT 条件可导出显式解析解 \(p_i^\star \propto (w_i C_i \gamma_i)^{1/(\gamma_i + 1)}\);在考虑跨语种非对角迁移项时,采用一阶摄动修正进一步精调。针对现实中各语言可用语料存在物理上限 \(\bar{D}_i\)(即配比存在上界 \(p_i \le \bar{p}_i = \bar{D}_i / D\))的情况,算法将受限语言设为其语料上限饱和值 \(p_i^\star = \bar{p}_i\),再将剩余的概率质量按未饱和语言边际收益比例重新投影归一,在至多 \(K\) 步迭代内严格收敛至全局最优配比。

损失函数 / 训练策略

模型预训练采用 Megatron-LM 分布式框架,在 8 节点 \(8 \times \text{H200}\) 集群上运行。模型架构采用 Decoder-only Transformer(含 RMSNorm、RoPE、SwiGLU),使用 100k 词表的多语言分词器 llm-jp-tokenizer。优化器为 Adam(\(\beta_1=0.9, \beta_2=0.95\)),学习率设为 \(3 \times 10^{-4}\),采用余弦退火学习率调度并配合预热阶段,同时施加权重衰减、梯度裁剪和 Z-loss 正则化以保证超大批次预训练稳定性。在进行沙普利值估计时,统一在 \(N=50\text{M}, D=50\text{B}\) 的小型预训练博弈中完成 IRDS 梯度内积收集,并在 \(N \in \{50\text{M}, 243\text{M}, 684\text{M}, 1460\text{M}, 3171\text{M}\}\) 及 \(D=100\text{B}\) 的多种混合配置下全面验证外推拟合能力。

实验关键数据

主实验

论文在覆盖 8 个语系的 10 种语言上进行评测,并在 \(N=243\text{M}, D=100\text{B}\) 下真实预训练验证由不同策略给出的语料配比实际带来的加权交叉熵测试损失。实验设置了未加权和(Unweighted Sum)与归一化加权和(Normalized Sum,按单语损失倒数加权)两组偏好权重。

策略 en de fr es zh ja ko fi hr ms Unweighted CE Loss ↓ Normalized CE Loss ↓
Uniform 10.0 10.0 10.0 10.0 10.0 10.0 10.0 10.0 10.0 10.0 24.440 11.985
Smoothed (\(\alpha=0.5\)) 13.2 14.5 12.6 13.6 19.1 11.4 4.9 4.7 3.7 2.4 24.683 12.180
Common Crawl 61.4 8.3 6.4 6.4 7.2 8.2 1.2 0.5 0.3 0.1 25.491 12.715
FineWeb-2 80.6 3.3 2.3 2.7 6.7 3.1 0.5 0.4 0.3 0.1 27.133 13.613
FamilyLaw (He et al., 2025) 14.1 14.1 1.8 1.8 12.1 11.6 10.2 12.6 11.0 10.7 24.749 12.153
ODM (Shukor et al., 2025) 1.5 30.0 5.1 7.2 6.0 30.0 1.5 1.5 15.7 1.5 25.544 12.592
DML (Ye et al., 2025) 1.5 36.7 4.7 17.5 5.9 5.0 1.5 5.3 8.9 13.0 25.330 12.304
ATLAS (Longpre et al., 2026) 1.5 1.5 5.1 1.7 3.4 28.0 23.3 12.4 12.5 10.5 25.353 12.518
ShapleyLaw (本文) 26.0 13.5 1.5 1.5 20.2 13.4 10.3 5.3 6.8 1.5 24.108 11.813

注:在 Normalized Sum 设置下,ShapleyLaw 优化的配比为 en 18.1%, de 15.4%, fr 1.5%, es 1.5%, zh 19.7%, ja 9.3%, ko 9.6%, fi 10.3%, hr 12.0%, ms 2.6%,测试损失为 11.813。

消融与拟合分析实验

为严格检验沙普利值逼近精度、归一化方案选择以及多语言推理下游标定效果,作者进行了一系列定量对比。

表 A:沙普利值精确计算与 IRDS 近似在各语种上的拟合预测误差对比(\(PE_{\text{fit}}\))

评估指标 / 语种 de en fr es ja ko zh 整体几何对齐度
Exact SV 拟合误差 \(PE_{\text{fit}}\) 0.015 0.004 0.015 0.014 0.006 0.009 0.015 余弦相似度 1.000
IRDS 近似拟合误差 \(PE_{\text{fit}}\) 0.015 0.003 0.036 0.017 0.008 0.023 0.013 余弦相似度 0.9584 / Pearson 0.9390
拟合误差变动 \(\Delta PE_{\text{fit}}\) 0.000 -0.001 +0.021 +0.003 +0.002 +0.014 -0.002 \(\ell_1\) 距离平均约 10.1

表 B:下游客观评测基准上基于优化配比训练的 5-shot 推理准确率对比(HellaSwag)

配比策略 en (%) de (%) fr (%) es (%) hr (%) 5语种平均准确率 (HellaSwag Avg Acc) ↑
Uniform 20.0 20.0 20.0 20.0 20.0 0.343
Smoothed (\(\alpha=0.5\)) 25.2 22.9 21.9 23.6 6.4 0.344
Common Crawl 73.9 10.0 7.7 7.8 0.6 0.354
FineWeb-2 90.3 3.7 2.5 3.0 0.5 0.355
FamilyLaw 31.7 31.7 4.1 4.1 28.4 0.346
ODM 0.1 88.2 0.1 11.5 0.1 0.321
DML 0.1 21.1 0.1 78.6 0.1 0.331
ATLAS 0.1 19.5 38.4 15.7 26.3 0.338
ShapleyLaw (本文) 95.7 0.1 0.1 0.1 4.0 0.356

关键发现

  • 语种级建模打破语系隔离误区:在固定汉语比例为 5% 并仅调换日语与西班牙语比例的严格受控实验中,FamilyLaw 因语系相同假定使得拟合优度崩溃为 \(R^2 \le 0\)(预测损失保持水平不变),而 ShapleyLaw 准确捕捉到汉日词汇表意共享带来的强迁移,\(R^2\) 高达 0.9312,充分证实了细粒度语种级建模的必要性。
  • 真实预训练验证优于预测纸面指标:在实际从头训练的 243M 模型中,ShapleyLaw 求解的配比在未加权测试损失上降至 24.108(对比 Uniform 的 24.440 与 FineWeb-2 的 27.133),在归一化损失上降至 11.813,全方位超越包含 ATLAS 和 FamilyLaw 在内的 8 个基线。
  • 预训练损失极佳地对齐下游常识推理与指代消歧能力:在跨语言推理基准(HellaSwag、XWinograd、XStoryCloze)上,测试损失与下游几率准确率呈高度负相关(\(|r| > 0.90\),平均解释方差 \(R^2 = 0.933\)),且通过 \(s = a \cdot \exp(-\ell) + b\) 的指数映射完美吻合,证明通过降低多语言预训练交叉熵可稳定拉动下游推理指标。
  • 跨模型尺度的超强外推与迁移能力:在 50M 与 243M 间估计的沙普利值矩阵 Pearson 相关系数达 0.999;在 50M-1.46B 规模拟合后外推至 3.17B 超大参数规模时,未见过的实测损失依然紧贴预测曲线,测试误差 \(PE_{\text{test}}\) 低至 0.004(英语)与 0.008(德语、法语、日语)。

亮点与洞察

  • 将多语言协作抽象为合作博弈论机制:把“语种贡献”精确映射为博弈参与者的边际收益,借助沙普利值的唯一公理性彻底终结了以往通过启发式网格搜索或人工试错调整语料配比的盲目性。
  • 利用 In-Run 梯度内积实现 \(O(1)\) 复杂度沙普利估计:巧妙地将全生命周期的联盟重训练转化为单次训练轨迹中梯度的动态累加投影,使复杂博弈论度量能轻量扩展至几十上百种语言的工业级预训练。
  • 沙普利矩阵在不同模型尺度下的高度恒定性:实验发现表征语言间内在亲疏关系的归一化沙普利矩阵几乎独立于模型参数量,这意味着可以在轻量小模型上低成本测定语言拓扑关系,并直接复用于超大规模基础模型的数据配比决策。

局限与展望

  • 算力验证尺度的自然限制:虽然作者补充验证了 3.2B 参数规模的外推性,但在数十亿至数百亿(7B/70B)主流超大规模模型上的外推行为仍待工业界超算集群进一步确认。
  • 词表与分词器的潜在耦合:沙普利值的测量依赖于所选用的预训练分词器,若分词器对低资源语言的压缩率过低或存在词表偏差,可能会对梯度内积和边际贡献测量带来微小的系统性扰动。
  • 未来方向:探索在动态预训练过程(如 Curriculum Learning 渐进调配)中引入随训练阶段动态自适应演进的时变沙普利值,进一步挖掘预训练后期高阶推理知识的跨语种迁移潜能。

相关工作与启发

  • vs FamilyLaw (He et al., 2025): FamilyLaw 将语种强行归并为语系并假设跨语系迁移完全为零,仅能在语系层面进行粗略分配,内部语种仍需回退到平滑采样;ShapleyLaw 完全突破语系假设,在单个语言颗粒度上精确建模非对称跨语言迁移,实现了精细化的语言级配比优化。
  • vs ATLAS (Longpre et al., 2026): ATLAS 依赖经验性拟合特定迁移系数的三项分解公式;ShapleyLaw 则直接从合作博弈公理体系推导出沙普利值作为物理意义明确的贡献量度,不仅理论严密,且优化求得的混合比例在实测中表现出更低的泛化损失与更高的下游评测准确率。
  • vs DoReMi / ODM / DML (Xie et al., 2023; Shukor et al., 2025; Ye et al., 2025): DoReMi 仅能在固定数据预算下优化混合比例,无法预测未知数据与模型规模下的 Scaling 规律;ShapleyLaw 实现了跨模型尺寸与跨总数据预算的双重外推预测。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ [首次将合作博弈论与沙普利值引入多语言预训练领域,开创性构建了语种级缩放法则。]
  • 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 10 个语种、8 大语系,模型规模跨越 50M 至 3.2B,严格进行了真实从头预训练与下游推理任务闭环验证。]
  • 写作质量: ⭐⭐⭐⭐⭐ [数学推导严丝合缝,动机阐述直击前人死穴,图表丰富自洽。]
  • 价值: ⭐⭐⭐⭐⭐ [为当代多语言大模型(如 LLaMA-3、Qwen、DeepSeek 等)的大规模预训练语料配比提供了坚实可靠的计算指引。]