Tokens-per-Parameter Coverage Is Critical for Robust LLM Scaling Law Extrapolation¶
会议: NeurIPS 2026
arXiv: 2605.08541
代码: https://anonymous.4open.science/r/Tokens-per-Parameter_Coverage_Is_Critical_for_Robust_LLM_Scaling_Law_Extrapolation-CC76
领域: 预训练
关键词: 缩放定律, tokens-per-parameter, 共线性设计, 条件数病态, 外推泛化
一句话总结¶
揭示了基于固定每个参数 token 数（TPP）的共线性实验设计会导致 Gauss-Newton 估计问题中雅可比矩阵出现 \(\Theta(\varepsilon^{-2})\) 的病态条件数，使得模型与数据缩放系数不可辨识，并通过覆盖二维 \((N, D)\) 平面的非共线性设计在多模型、跨语料评测中取得 97.3% 的外推胜率。
研究背景与动机¶
神经缩放定律（Neural Scaling Laws）已成为大语言模型规划算力分配、预估模型性能的核心基石。自 Chinchilla 提出基于最优计算预算下模型参数量 \(N\) 与训练数据量 \(D\) 近似满足固定比例（\(D \approx 20N\)）以来，后续诸多研究在拟合缩放定律时，普遍习惯将训练实验点配置在一条或几条固定的每个参数 token 比例（Tokens-per-Parameter, TPP）射线上。然而，这一用于单模型训练算力分配的启发式准则被不加辨析地直接照搬到了缩放定律实验网格的设计中，导致所有实验点在 \((N, D)\) 平面上退化为共线性采样。
这种共线性实验设计的隐蔽危险在于：在经验观察中，控制模型容量的幂律指数 \(\alpha\) 与控制数据规模的幂律指数 \(\beta\) 往往数值非常接近（例如 Chinchilla 中 \(\alpha \approx 0.34, \beta \approx 0.28\)；Kaplan 中两指数差距甚至小于 0.02）。当实验点严格落在 \(D = kN\) 上且指数差距极小时，预测变量在非线性拟合空间内呈现出近乎完全的共线性。这导致优化目标函数的曲率在特定方向上严重扁平化，模型呈现出统计物理中典型的“松垮模型（sloppy model）”特性，即存在一个近乎连续的参数族能够在训练射线上给出毫无差异的极低拟合误差，但一旦脱离该训练射线进行外推，预测结果便发生剧烈崩塌。
本文直击这一长期被忽视的方法论盲区，从雅可比几何的底层数学机理出发，严格证明了单射线共线性拟合的病态性本质上源于雅可比矩阵列向量之间的近共线性，而非损失函数的偶然缺陷。核心 idea：证明共线性设计下高斯-牛顿 Hessian 的条件数随指数差的平方反比 \(\Theta(\varepsilon^{-2})\) 剧烈恶化，提出判定良好估计的 TPP 多样性充要阈值，并确立二维非共线性网格覆盖是稳健外推的必要条件。
方法详解¶
整体框架¶
本文通过非线性最小二乘的高斯-牛顿（Gauss-Newton）分析框架，严密刻画了缩放定律参数估计中的病态条件数问题。整个分析与验证流水线涵盖：理论上的雅可比退化几何分析、单射线退化下可辨识约简模型的构建、多射线 TPP 采样多样性充要条件的推导、以及大规模跨语料非共线性实验设计的实证检验。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["实验设计配置<br/>共线性单/多射线 vs 二维网格"] --> B["高斯-牛顿雅可比分析<br/>J^T J 条件数与光谱分解"]
B --> C["病态条件数刻画<br/>条件数 kappa = Theta(epsilon^-2)"]
C --> D["单射线约简模型与多射线多样性阈值<br/>psi = A + B k^-alpha 与 V_K >= tau_K"]
D --> E["跨域稳健外推验证<br/>isoFLOP 曲线与 held-out 泛化评测"]关键设计¶
1. 高斯-牛顿雅可比病态条件数分析：从几何层面解释单射线拟合参数不可辨识性
针对缩放定律拟合问题，残差向量为 \(r_i = L_i - \hat{L}(N_i, D_i; \boldsymbol{\theta})\)，高斯-牛顿线性化所对应的规范方程曲率矩阵为 \(J^T J\)。当所有实验样本均满足 \(D_i = k N_i\) 时，以标准 Chinchilla 形式 \(L(N, D) = A N^{-\alpha} + B D^{-\beta} + E\) 为例，参数 \(A\) 与 \(B\) 对应的雅可比列向量分别为 \(\mathbf{j}_A = -N^{-\alpha}\) 与 \(\mathbf{j}_B = -k^{-\beta} N^{-\beta}\)。当定义指数差距为 \(\varepsilon = |\alpha - \beta|\) 时，两列向量满足： $$ \mathbf{j}_B = k^{-\beta} \mathbf{j}_A \cdot N^{\varepsilon} = k^{-\beta} \mathbf{j}_A + \boldsymbol{\delta}, \quad |\boldsymbol{\delta}| = O(\varepsilon) $$ 随着 \(\varepsilon \to 0\)，两列向量趋向完全共线。论文证明了 \(J^T J\) 的最大特征值为 \(\Theta(1)\)，而最小特征值被压缩至 \(\Theta(\varepsilon^2)\)，从而导致条件数呈平方级恶化： $$ \kappa(J^T J) = \Theta(\varepsilon^{-2}) $$ 这一分析不仅适用于 Chinchilla，还涵盖了 Kaplan、Repeated-data 及 Droppo-Elibol 四种主流缩放定律形式。该结论直接推导出的统计推断后果是置信区间的严重膨胀：估计参数 \(A\) 的 95% 置信区间相对于其可辨识线性组合膨胀了 \(\Theta(\varepsilon^{-1})\) 倍，单射线数据根本无法独立分离模型规模效应与数据规模效应。
2. 单射线约简模型参数化与多射线 TPP 多样性阈值：给出可辨识性恢复准则
为了在单射线实验不可避免的工程约束下提供科学的拟合方案，论文给出了完全可辨识的约简模型（Reduced Model）。当 \(\beta \approx \alpha\) 时，将 \(D = kN\) 代入可得： $$ L(N; \psi, \alpha, E) = \left(A + B k^{-\alpha}\right) N^{-\alpha} + E = \psi N^{-\alpha} + E $$ 在此参数化下，单射线数据能够极其稳定地约束联合尺度系数 \(\psi \coloneqq A + B k^{-\alpha}\)。进一步，针对具有多条射线（\(K \ge 2\)）的设计，论文给出了消除全局矩阵病态性的充要条件：设目标条件数为 \(\kappa_{\text{target}}\)，则必须满足如下 TPP 多样性方差阈值： $$ V_K \coloneqq \frac{1}{K} \sum_{\ell=1}^K k_\ell^{-2\beta_{\text{eff}}} - \left(\frac{1}{K} \sum_{\ell=1}^K k_\ell^{-\beta_{\text{eff}}}\right)^2 \ge \frac{\left(K + \sum_{\ell=1}^K k_\ell^{-2\beta_{\text{eff}}}\right)^2}{K^2 \kappa_{\text{target}}} \eqcolon \tau_K $$ 该判据允许研究人员在耗费巨额算力进行训练前，仅依赖先验文献给出的 \(\beta_{\text{eff}}\) 即可先验校验采样射线网格是否具备辨识能力。
3. 二维非共线性网格设计与 isoFLOP 曲线外推机制：打破参数病态解耦
为了从根本上解决拟合不可靠问题，论文提出了非共线性设计（Non-Collinear, NC）。NC 设计在 \((N, D)\) 平面上采用二维全面覆盖网格（如 14 个模型大小与 12 个数据集规模自由交叉），打破了 \(D\) 与 \(N\) 的固定依赖。在评估外推性能时，论文引入诱导等算力曲线（induced isoFLOP curves，\(C = 6ND\)）。等算力曲线在 \((N, D)\) 空间内与训练射线正交相交，正好切入共线性拟合未加约束的“松垮（sloppy）”参数方向。实验表明，共线性拟合得到的 isoFLOP 曲线在远离训练点时会发生严重发散，而覆盖二维平面的非共线性拟合曲线则保持高度紧凑与稳健。
实验关键数据¶
主实验¶
评估涵盖 5 个预训练语料（C4、Cosmopedia、peS2o、RedPajama、Wikipedia），训练了约 1,900 个 LLaMA 架构 Transformer 模型（参数量从 5.04M 到 76.5M 跨越 14 个对数间隔配置），并在统一构建的保留集 \(\mathcal{H} = \mathcal{H}_{\text{col}} \cup \mathcal{H}_{\text{nc}}\) 上对共线性设计（CO）与非共线性设计（NC）展开成对评估。
下表展示了全精度训练下各设计在训练集与测试集上的整体拟合指标对比：
| 数据切分 | 实验设计 | \(R^2\) 均值 (95% CI) | \(R^2\) 中位数 | RMSE 均值 (95% CI) | RMSE 中位数 |
|---|---|---|---|---|---|
| 训练集 (\(\mathcal{D}\)) | CO | 0.9848 [0.985, 0.985] | 0.9850 | 0.1737 [0.173, 0.174] | 0.1616 |
| 训练集 (\(\mathcal{D}\)) | NC | 0.9526 [0.952, 0.953] | 0.9542 | 0.2023 [0.202, 0.203] | 0.1869 |
| 保留测试集 (\(\mathcal{H}\)) | CO | 0.8370 [0.832, 0.842] | 0.8811 | 0.2373 [0.233, 0.241] | 0.2163 |
| 保留测试集 (\(\mathcal{H}\)) | NC (本文) | 0.9319 [0.930, 0.934] | 0.9392 | 0.1561 [0.154, 0.158] | 0.1242 |
消融实验¶
下表列出了在保留测试集 \(\mathcal{H}\) 上，NC 设计相对 CO 设计在各个语料数据集、不同缩放定律形式以及训练轮次上的成对胜率（Win Rate，以更高 \(R^2\) 或更低 RMSE 判定，共 1,500 次对比）：
| 评估维度 | 细分配置类别 | NC 胜率 (%) | 说明 |
|---|---|---|---|
| 数据集维度 | C4 | 93.0% | 通用网络爬取语料 |
| 数据集维度 | Cosmopedia | 94.7% | 合成教科书语料 |
| 数据集维度 | peS2o | 99.3% | 学术论文语料 |
| 数据集维度 | RedPajama | 100.0% | 大规模开源复刻预训练语料 |
| 数据集维度 | Wikipedia | 99.7% | 百科全书高质量语料 |
| 定律形式维度 | Chinchilla | 97.6% | 标准两项幂律，\(\varepsilon \approx 0.06\) |
| 定律形式维度 | Droppo-Elibol | 98.0% | 广义多项形式，\(\varepsilon \approx 0.05-0.10\) |
| 定律形式维度 | Kaplan | 95.6% | 极端病态定律，\(\varepsilon \approx 0.019\) |
| 定律形式维度 | Repeated-Data | 100.0% | 考虑数据重复训练的扩展形式 |
| 训练轮次维度 | 第 1 轮 (Epoch 1) | 99.8% | 初步收敛阶段 |
| 训练轮次维度 | 第 2 轮 (Epoch 2) | 97.6% | 深度收敛阶段 |
| 训练轮次维度 | 最终轮 (Epoch 3) | 93.8% | 完全训练阶段 |
此外，在 BF16 混合精度复现实验中，NC 设计在 Wikipedia 保留集上的 \(R^2\) 依然达到 0.9657，远优于 CO 设计的 0.9412，测试集 RMSE 从 0.2546 显著压降至 0.1949，成对胜率达到 98.7%（296/300）。
关键发现¶
- 训练拟合幻觉与外推崩塌倒挂：CO 设计在训练集上能轻易取得超过 0.985 的超高 \(R^2\)（甚至优于 NC），但由于高斯-牛顿 Hessian 在非敏感方向上的未约束漂移，其在保留集上的表现崩塌至 0.837，而 NC 设计保持在 0.932。
- 射线数量无法消除共线性病态：即使 CO 设计涵盖了多达 12 条不同的 TPP 射线（\(k \in [1, 5]\)），只要各组配置均退化为单射线束，其最小特征值仍然受 \(\Theta(\varepsilon^2)\) 压制，NC 依然取得了 97.3% 的绝对压倒性胜率。
- 定律间病态严重度与理论预测完全吻合：Kaplan 定律的指数差距最小（\(\varepsilon \approx 0.019\)），其条件数膨胀因子高达 \(\sim 2.8 \times 10^3\)，置信区间膨胀超 53 倍，因而在 CO 下外推误差最为发散（例如在 RedPajama 上 CO 的 \(R^2\) 仅为 0.51，而 NC 为 0.91）。
亮点与洞察¶
- 雅可比几何视角的病态根源剖析：跳出了常规优化算法或损失函数噪声的经验讨论，直接证明了病态条件数源自模型与数据缩放指数接近时的雅可比列向量共线性，揭示了“固定 TPP 算力分配准则”与“缩放定律实验采样设计”之间的原则性错配。
- 封闭形式的先验可辨识性判据：导出了多射线设计下 \(V_K \ge \tau_K\) 的解析判据，使研究人员能够在使用昂贵 GPU 训练之前预先判定缩放定律网格是否足以克服参数不可辨识性。
- 警示参数解耦解释的虚假性：明确指出在单射线拟合下，宣称“模型参数贡献了 X% 损失、数据量贡献了 Y% 损失”在统计学上是无意义且不可辨识的，提倡在受限采样下回归约简模型 \(\psi N^{-\alpha} + E\)。
局限与展望¶
- 模型规模上限仍偏向中小规模：实证验证主要在 5.04M 到 76.5M 参数规模的模型上展开，尽管理论推导与参数规模无关，但在超大模型（>70B）上的算力消耗与工程噪声是否会引入新的干扰项仍需进一步检验。
- 未覆盖特定下游能力与对齐阶段：论文主要聚焦于预训练交叉熵损失的外推，尚未直接评测经过强化学习（RLHF/DPO）或多步骤推理蒸馏后的任务准确率缩放规律。
- 超参数固定配方的潜在偏差：实验在所有 \((N, D)\) 网格上采用了统一的 AdamW 余弦调度超参数，未对不同尺度的模型单独进行最适学习率扫网，不过这一设计保证了 CO 与 NC 的严格公平对比。
相关工作与启发¶
- vs Chinchilla (Hoffmann et al., 2022): Chinchilla 侧重通过 \(D \approx 20N\) 寻找最优训练资源分配，但其拟合所依托的射线采样容易引发指数病态；本文澄清了计算分配与网格采样的区别，指出其 scale 系数的高方差和复现困难源于 \(\Theta(\varepsilon^{-2})\) 的条件数爆炸。
- vs Kaplan et al. (2020): Kaplan 在单变量拟合中分离了参数与数据，但二者指数差距极小（0.019）；本文从理论和实验两方面证明了 Kaplan 定律在共线性拟合下是四种形式中退化最严重的。
- vs Farseer (Li et al., 2025): Farseer 提出了引入交叉耦合项的模型并在 2D 网格上训练；本文理论说明了二维覆盖正是消除降秩病态的根本原因，即便引入耦合项，单射线采样依然不可辨识。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从雅可比几何与高斯-牛顿框架严格证明缩放定律共线性采样的病态性并给出封闭判据。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 大语料、4 种缩放定律、约 1,900 个真实训练模型以及 1,500 次成对评测，数据极为扎实。
- 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰严谨，与统计物理松垮模型理论融会贯通，图表与论述极具说服力。
- 价值: ⭐⭐⭐⭐⭐ 对大模型预训练实验规划和缩放定律文献中的长期分歧具有重大纠偏指导意义。