Bridging Compute- and Data-Optimal Pretraining

会议: NeurIPS 2026
arXiv: 2607.25271
领域: 预训练
关键词: 预训练、Scaling Law、数据受限、多轮迭代、文本改写

一句话总结

提出了融合计算最优与数据最优的统一 Compute-Data (CD) Scaling Law，引入与模型大小和数据充足度动态耦合的衍生 token 有效性函数 \(\eta\)，刻画了多轮重复与改写扩增下的边际收益衰减与饱和上界，给出了预训练三阶段资源瓶颈划分及联合 Pareto 最优配置法则。

研究背景与动机

经典神经缩放定律（如 Kaplan 与 Chinchilla）假定新鲜预训练数据具有无限供给能力，其核心指导原则是在给定计算预算下保持模型参数量与训练数据量按固定比例同步扩张。然而，现实中的高质量人类自然语言数据储备极度有限，前沿大模型的算力增长速度已显著超越高价值原生数据的扩容速度。随着预训练不可避免地迈入“数据受限、算力相对充裕”的新常态，研究者不得不将过剩的算力倾斜至基于原始语料衍生出的二次数据——例如多轮 epoch 重复训练、文档释义改写（paraphrasing）以及知识蒸馏等数据扩增手段。

这种训练范式转变引发了一个根本性的核心矛盾：经典算力最优（Compute-Optimal）定律假设数据无尽且每条样本仅见一次，无法指导固定语料下追加算力能换取多少额外收益；而极端的数据最优（Data-Optimal）极限又仅关心无限算力下的渐近性能地板，忽视了现实中不同衍生策略在有限算力下的边际收益差异。现有针对重复数据的经验法则（如固定 4 轮 epoch）不仅将有效数据上限粗暴地视作常数，更缺乏对不同模型规模、数据充足度（Tokens-Per-Parameter, TPP）以及不同生成衍生策略之间动态差异的量化建模。

本文的切入角度是打破“新鲜数据”与“衍生数据”的二元割裂，建立一座连接算力最优边界与数据最优渐近极限的桥梁。核心 idea：提出计算-数据联合缩放定律（CD-Scaling Law），通过引入动态依赖于模型规模、数据充足度及扩展比例的 token 有效性函数 \(\eta\)，将任意衍生 token 折算为等效的新鲜 token，统一预测有限语料下算力换数据的边际回报与理论饱和天花板。

方法详解

整体框架

CD-Scaling Law 的核心逻辑是将衍生数据（如重复训练或改写样本）视作对新鲜数据的一种“打折替代品”。对于规模为 \(N\) 的模型、规模为 \(D\) 的基础新鲜语料，以及追加投入的 \(D'\) 个衍生 token，整个预训练流水线分为三步：根据训练配置计算数据充裕度指标 \(TPP = D/N\) 与数据扩展倍率 \(r = D'/D\)；通过显式参数化的有效性函数 \(\eta(N, TPP, r)\) 计算衍生 token 相对原生 token 的折算系数，将物理总 token 量 \(D + D'\) 映射为等效新鲜数据量 \(D_{\text{eff}} = D + \eta \cdot D'\)；最后将 \(D_{\text{eff}}\) 带入拓展后的 Chinchilla 损失曲面，预测最终验证损失，并据此判定当前所处的资源瓶颈区间与最优策略。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入配置：模型规模 N、基础语料 D、衍生数据 D'"] --> B["状态变量映射：计算 TPP = D/N 与扩展比 r = D'/D"]
    B --> C["1. 饱和天花板建模：计算最大有效倍率 R*(D, N)"]
    C --> D["2. 衍生 Token 有效性函数：折算有效系数 η"]
    D --> E["3. 等效数据折算与三阶段判定：映射到 Deff 与 CD 定律"]
    E --> F["输出：预训练验证损失预测与联合 Pareto 最优配置"]

关键设计

1. 饱和天花板建模：量化有限语料能够榨取的最大等效信息上限

传统的重复数据缩放定律常假设重复数据的饱和收益是一个与模型大小无关的固定常数，但在实际训练中，参数量越大的模型过拟合速度越快，且当原始语料本身已经非常丰富（即 \(TPP\) 极高）时，再次重复或衍生所能带来的增益被迅速压缩。为此，该设计将极限饱和倍率 \(R^*(D, N)\)（即当 \(D' \to \infty\) 时，衍生数据最多能等效置换为多少倍的原生新鲜数据，\(\lim_{r \to \infty} \eta \cdot r = R^*\)）显式建模为数据充裕度与模型参数量的幂律耦合函数：

\[R^*(D, N) = K \cdot \left(\frac{D}{N}\right)^\rho \cdot N^\sigma\]

其中 \(\rho\) 刻画了有效上限随新鲜数据充裕度 \(TPP = D/N\) 的衰减速率，\(\sigma\) 刻画了有效上限随模型绝对参数量 \(N\) 的收缩速率。经验拟合证实 \(\rho\) 与 \(\sigma\) 均显著为负，这意味着模型规模越大、初始语料越充足，算力向衍生数据置换有效信息的物理天花板越低，从而在数学形式上排除了任何导致有效数据量无限发散的假设。

2. 衍生 Token 有效性函数：动态刻画从完美替代到收益归零的衰减轨迹

为了刻画衍生 token 从刚开始加入时的近似等效（\(r \to 0\) 时 \(\eta \to 1\)），到海量衍生数据涌入后的边际收益耗尽（\(r \to \infty\) 时 \(\eta \to 0\) 且 \(\eta \cdot r \to R^*\)），本文构建了指数饱和形式的连续折算系数函数：

\[\eta(N, TPP, r) = \frac{R^*(D, N)}{r} \left(1 - e^{-r / R^*(D, N)}\right)\]

该设计优于简单的有理分式或恒定衰减模型，它确保了有效性系数 \(\eta \in [0, 1]\) 严格单调递减，并在微分意义下保证了边际收益递减规律。对于多轮 epoch 重复训练，扩展比 \(r\) 即为追加的额外 epoch 数；对于重写增强（paraphrase），\(r\) 为生成的改写 token 与原生 token 之比。不同数据扩增策略由各自独立的拟合参数三元组 \((K, \rho, \sigma)\) 唯一决定。

3. 等效数据折算与三阶段判定：重塑预训练边界与联合 Pareto 优化

结合 Chinchilla 的不可约损失 \(E\)、参数幂律项与数据幂律项，整体 CD-Scaling Law 形式为：

\[\mathcal{L}^{\text{CD}}(N, D, D') = E + \frac{A}{N^\alpha} + \frac{B}{\left(D + \eta^{\text{strat}}(N, TPP, D'/D) \cdot D'\right)^\beta}\]

当 \(D'=0\) 时，公式退化为经典单轮计算最优前沿 \(\mathcal{L}^{\text{Chin}}\)；当 \(D' \to \infty\) 时，等效数据收敛至 \(D(1+R^*)\)，收敛至固定语料下的数据最优极限 \(\mathcal{L}^D\)；当 \(D \to \infty\) 时，损失压至模型本身的容量极限 \(\mathcal{L}^N = E + A/N^\alpha\)。这三个极限将整个预训练状态空间划分为三大确定性区域： - 算力受限（Compute-bound）：位于 \(\mathcal{L}^{\text{Chin}}\) 与 \(\mathcal{L}^D\) 之间，此时继续向衍生数据倾斜算力仍能带来显著的损失降低； - 数据受限（Data-bound）：位于 \(\mathcal{L}^D\) 与 \(\mathcal{L}^N\) 之间，衍生数据已达到 \(R^*\) 天花板，仅靠消耗算力已无法降低损失，必须扩充新鲜数据 \(D\)； - 模型受限（Model-bound）：逼近 \(\mathcal{L}^N\)，算力与数据均已过剩，必须增大模型参数量 \(N\)。

损失函数 / 训练策略

采用数值稳定的对数空间 Log-Sum-Exp (LSE) 等价重构损失函数，目标为极小化观测对数损失的 Huber Loss（阈值 \(\delta=0.1\)）：

\[\log \mathcal{L}(N, D, D') = \text{LSE}\Big(e,\, a - \alpha \log N,\, b - \beta \log(D + \eta \cdot D')\Big)\]

其中 \((E, A, B) = (e^e, e^a, e^b)\)。优化采用带有 Strong-Wolfe 线搜索的 L-BFGS 算法，并引入基于残差的迭代式异常值剪枝（iterative residual trimming，剪枝轮数 \(k=15\)，剔除约 4% 的小规模噪声跑点）。全模型基于 OLMo3 架构在 Dolma-3 语料上训练，涵盖 14M 至 600M 参数量，fresh token 从 30M 至 30B，衍生 token 从 30M 至 120B。

实验关键数据

主实验

在统一的数据与模型架构下，联合拟合得到的 CD-Scaling Law 参数、置信区间及不同策略下的拟合精度如下表所示。

参数 / 指标	拟合点估计值	95% 置信区间 (CI)	说明
\(E\) (不可约误差)	1.35	[1.0, 1.6]	1-epoch Chinchilla 参数
\(A\) (模型系数)	205	[90, 676]	1-epoch Chinchilla 参数
\(B\) (数据系数)	16,597	[7,677, 34,475]	1-epoch Chinchilla 参数
\(\alpha\) (模型指数)	0.283	[0.22, 0.37]	1-epoch Chinchilla 参数
\(\beta\) (数据指数)	0.435	[0.40, 0.47]	1-epoch Chinchilla 参数
1-epoch RMSE (\(\log \mathcal{L}\))	0.043	-	基线新鲜数据拟合误差
多轮重复 (Repetition)
\(\log K_{\text{rep}}\)	10.93	[9.7, 13.5]	重复策略尺度常数
\(\rho_{\text{rep}}\)	-0.42	[-0.71, -0.15]	对 TPP 的衰减敏感度
\(\sigma_{\text{rep}}\)	-0.41	[-0.55, -0.35]	对模型规模 \(N\) 的衰减敏感度
Repetition RMSE (\(\log \mathcal{L}\))	0.035	-	多轮重复预测误差
文档改写 (Paraphrase)
\(\log K_{\text{para}}\)	30.50	[30.4, 30.8]	改写策略尺度常数
\(\rho_{\text{para}}\)	-1.52	[-1.71, -1.22]	对 TPP 的衰减极度敏感
\(\sigma_{\text{para}}\)	-1.30	[-1.35, -1.26]	对模型规模 \(N\) 快速收缩
Paraphrase RMSE (\(\log \mathcal{L}\))	0.024	-	文本改写预测误差

消融实验

针对 \(R^*\) 形式假设及有效性函数 \(\eta\) 结构候选的留一法（Leave-One-Out, LOO）评估对比如下表所示。

消融配置 / 候选形式	\(\log R^*\) 函数形式	参数量 \(n_{\text{par}}\)	LOO RMSE (\(\log \mathcal{L}\))	说明
本文完整形式 (exp-sat)	\(\log K + \rho \log(D/N) + \sigma \log N\)	3	0.020	满足 \(\eta(0)=1\) 且逼近上界
候选变体 (tanh)	\(\log K + \rho \log(D/N) + \sigma \log N\)	3	0.019	统计上与本文无显著差异
候选变体 (sat)	\(\log K + \rho \log(D/N) + \sigma \log N\)	3	0.021	有理分式饱和形式
移除模型缩放项 \(N^\sigma\)	\(\log K + \rho \log(D/N)\)	2	0.026	拟合显著恶化，证明不可或缺
移除数据缩放项 \((D/N)^\rho\)	\(\log K + \sigma \log N\)	2	0.025	忽略数据饱和度导致误差上升
常数天花板基线 (Muennighoff)	\(\log K\) (常数 \(R^*\))	1	0.028	相对本文完整形式误差激增 ~40%
线性假设基线 (constant \(\eta\))	-	1	0.035	忽略饱和现象，严重失真

关键发现

• 跨规模预测高可靠性：仅在 14M 与 30M 小模型上拟合 CD 定律，外推预测未见过的 60M 至 600M 大模型（参数量跨度超 20 倍、扩展比 \(r\) 高达 63 即 64 epoch），held-out RMSE 仅为 0.079，具备优异的外推指导能力。
• 改写与重复的优势区间分离：文档改写在小模型（\(N \lesssim 50\text{M}\)）及极低数据配额（\(TPP < 20\)）下显著胜过简单多轮重复；但在大模型（\(N \gtrsim 190\text{M}\)）及高数据预算（\(TPP \ge 20\)）下，多轮重复的饱和上限 \(R^*\) 反超改写。当模型规模达到 7B 级别或预算超过 \(4\times\) Chinchilla 时，改写扩增几乎不再提供有效增益。
• 验证损失到下游任务的无损迁移：在推理、问答等真实下游评测集（GSM8K、HumanEval、TriviaQA 等 BPB 指标，以及 LAMBADA、HellaSwag 等准确率指标）上，不同策略和规模的模型均严格塌缩在单调对应曲线上，验证了由 CD 定律预测的验证集损失能够完全作为下游能力的充分统计量。

亮点与洞察

• 将算力换数据统一于单一折算框架：创造性地提出有效性函数 \(\eta\)，将 multi-epoch 重复与文本改写统一为针对原生 token 的“相对有效折扣”，成功将发散的各种经验训练曲线重新拉平收敛至经典 Chinchilla 定律。
• 终结了“4-epoch 黄金法则”的盲目套用：通过量化推导指出，业界广为流传的 4-epoch 重复上限仅在 3B 左右的中等模型且处于 \(1\times\) Chinchilla 数据配额时勉强成立；随着模型增大和语料扩充，推荐 epoch 必须急剧调低。
• 明晰三阶段瓶颈归属：为大模型预训练团队提供了诊断利器，根据当前模型规模与语料储备，可快速判断当前处于算力受限、数据受限还是模型受限阶段，避免在已达上限的维度上空耗数百卡集群算力。

局限与展望

• 拟合对一轮基线的误差敏感：由于经验测定的 \(\eta_{\text{emp}}\) 依赖于单轮 Chinchilla 基线的残差计算，若 1-epoch 缩放拟合存在系统性偏差，会导致部分散点的 \(\eta\) 被迫大于 1，产生一定的估计残差吸收。
• 数据扩增策略类型覆盖有限：目前仅对文本改写与单纯重复两种手段进行了全尺度拟合验证，尚未覆盖如自蒸馏（Self-Distillation）、深度合成推理链（Synthetic Reasoning Chains）以及多样化混合策略。
• 超参数耦合空间待拓宽：虽然对学习率和权重衰减（发现高 epoch 重复必须大幅提升 Weight Decay 至 1.6 才能抑制过拟合）进行了网格搜索，但序列长度、Batch Size 以及调度周期的潜在耦合尚未完全参数化纳入定律。

相关工作与启发

• vs Chinchilla (Hoffmann et al., 2022): 经典 Chinchilla 假定数据无限且只看单轮训练，约束 \(C \approx 6ND\) 形成一维线段；本文将其拓宽为包含额外衍生量 \(D'\) 的二维曲面，并给出了曲面上的真实极速下降 Pareto 路径。
• vs 数据受限缩放定律 (Muennighoff et al., 2025): 该工作假设重复数据的衰减上限 \(R^*\) 为全局固定常数；本文通过理论推导与严谨实验证明 \(R^*\) 强烈依赖于 \(TPP\) 与模型规模 \(N\)，将其作为特殊子集并使拟合误差相对降低 40%。
• vs 纯算力换数据极限 (Kim et al., 2025): 该工作探索了固定数据与无穷大算力下的极限；本文不仅涵盖了这一数据最优极限渐近线 \(\mathcal{L}^D\)，更给出了到达该渐近线过程中的连续动力学演变与中间代价。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次打通算力最优与数据最优两个极端极限，提出了具备明确物理意义的连续衍生有效性折算框架。
• 实验充分度: ⭐⭐⭐⭐⭐ 耗费超 25万 H100 GPU 时，横跨 14M 至 600M 模型、高达 64 epoch 及上百 B tokens，涵盖完整的交叉外推与下游迁移验证。
• 写作质量: ⭐⭐⭐⭐⭐ 数学定义严谨精炼，符号物理意义极其透彻，逻辑层层递进且完全以散文体融会贯通。
• 价值: ⭐⭐⭐⭐⭐ 在当下预训练面临全球高质量语料枯竭危机的节点，为合成数据利用与多轮预训练预算规划提供了最急需的定量理论罗盘。

相关论文

• [NeurIPS 2026] A Theory of Training Profit-Optimal LLMs
• [NeurIPS 2026] Scratchpad Patching: Decoupling Compute from Patch Size in Byte-Level Language Models
• [NeurIPS 2026] An Empirical Study on Noisy Data and LLM Pretraining Loss Divergence
• [NeurIPS 2026] Towards Scalable Data Diversification for Language Model Pretraining via Leverage Score Sampling
• [ICLR 2026] Pre-training under Infinite Compute