Neural Neural Scaling Laws¶

会议: NeurIPS 2026
arXiv: 2601.19831
OpenReview: https://openreview.net/forum?id=FmoL6zqWpY
代码: https://github.com/michahu/neuneu
领域: 预训练
关键词: 神经缩放定律, 下游任务性能预测, 时间序列外推, 分位数回归, token级损失分布

一句话总结¶

摒弃传统逻辑缩放定律对验证损失取均值与单一参数形式的刚性假设，提出以轻量神经网络进行时间序列外推的 NeuNeu 模型，结合 token 级验证概率分布与历史准确率轨迹，实现下游 66 项任务准确率平均绝对误差降低 44% 并精准校准不确定性。

研究背景与动机¶

神经缩放定律（Neural Scaling Laws）自 Kaplan 与 Chinchilla 确立以来，已成为指导大语言模型算力分配、超参预设与预训练规划的基石工具。这类经典方法通常假设模型验证损失随着训练算力、参数量或 token 数呈现平滑的幂律下降规律。然而，工业界与学术界的核心诉求并非仅仅观测预训练交叉熵损失的收敛，而是准确预判模型在下游多样化真实任务上的能力表现。当研究者尝试建立从预训练验证损失到下游下游任务性能的映射时，平滑的经验规律迅速失效：不同下游任务展现出高度异质性的演化轨迹，有的单调提升，有的早早饱和进入平台期，甚至存在能力随算力增长反向退化的逆缩放（Inverse Scaling）现象。

现有主流范式（如广泛应用的逻辑缩放定律 Logistic Scaling Laws）之所以难以准确外推下游任务，存在两大根本性缺陷。首先是严重的信号瓶颈：传统做法将数十万 token 的丰富损失分布压缩为一个标量平均损失，抹平了高阶统计量；即使两个模型具有完全相同的平均验证损失，其损失方差、偏度以及难样本分布的差异仍可能对应截然不同的下游泛化水平。其次是固化的假设空间限制：逻辑函数或多段断裂幂律属于低自由度参数族，带有强烈的单调饱和归纳偏置，根本无法拟合实际训练中复杂的非单调跳跃与饱和动态。

针对这一矛盾，本文抛弃了“人为假设解析函数形式”的经验拟合思路，将下游缩放定律预测重构为一个纯粹的数据驱动型时间序列外推问题。核心 idea：与其用受限的参数函数去强行拟合均值损失，不如用一个以 CNN 编码器与 Transformer 为骨干的轻量神经网络（NeuNeu），直接将 token 级验证概率分布与离散评估准确率轨迹作为时序上下文输入，并通过分位数回归端到端预测未来算力节点上的下游精度分布与不确定性区间。

方法详解¶

整体框架¶

NeuNeu 的预测目标是在预训练时间步 $t$ 时，基于当前已观测的信息预判模型在未来算力步 $t+K$ 上的某项下游任务准确率 $y_{t+K}$。系统整体由三部分构成：用于将数十万无界 token 损失映射为稠密表征的损失编码器（Loss Encoder）、融合时序上下文与计算间隔的 Transformer 序列骨干网络，以及基于分位数回归（Quantile Regression）的多分位数输出预测头。

在推理阶段，NeuNeu 仅需接收模型前 20% 训练进度内的历史准确率评估序列与对应算力间隔，配合当前检查点在单批验证集上的 token 级概率向量，即可秒级完成对剩余 80% 轨迹的外推。整体架构完全解耦了具体的模型架构与绝对参数量，仅依赖相对算力间隔与归一化概率。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据<br/>当前Token概率 pt 与历史轨迹 (yi, gi)"] --> B["Token概率重表征与下采样<br/>exp(-loss) 转换与 4层 Conv1D 编码"]
    A --> C["相对算力间隔与时序投影<br/>Linear(yi) 与 Linear(gi) 拼接上下文 ci"]
    B --> D["Transformer 双向序列建模<br/>6层 Pre-norm 编码器处理 [CLS; e; c1; ...; ct]"]
    C --> D
    D --> E["多分位数回归预测头<br/>Pinball 损失输出 5 个分位数与置信区间"]

关键设计¶

1. Token 概率重表征与下采样：打破标量均值损失的信号瓶颈

针对平均验证损失抹杀高阶分布信息的问题，NeuNeu 直接摄取 $N$ 个 token 维度的细粒度损失向量。为了消除交叉熵损失无上界所导致的数值不稳定，设计首先将其转化为单 token 预测概率： $$p_{t,i} = e^{-\ell_{t,i}} \quad \text{for } i=1,\ldots,N$$ 这一指数变换不仅将输入严格约束在 $[0, 1]$ 区间内，而且其导数在低损失区域更大，从而天然放大了模型临近收敛时微小但关键的置信度变化。

为了高效压缩实际输入中长达 $N = 256{,}000$（约一个预训练 minibatch 大小）的高维概率向量，设计了层级下采样卷积编码器。编码器包含 $L=4$ 层一维卷积（Conv1D），通道数由 8 逐步增至 64，每层配备大感受野卷积核（kernel size $k=64$）与步长（stride $s=16$），并在激活函数 GELU 前施加 GroupNorm 归一化。展平后的特征经由线性投影层 $\mathbf{W}_{\text{proj}}$ 映射为单一嵌入向量 $\mathbf{e}$，输入后续序列模型，实现保留丰富偏度与方差信息的同时将计算开销降至极低。

2. 相对算力间隔与时序投影：实现跨模型规模的尺度不变性

为了使预测器能够在不同参数量（从 70M 到 12B）以及不同架构间实现零样本泛化，不能直接输入绝对训练步数或模型特定参数量。NeuNeu 将训练过程抽象为离散准确率与相对算力步长（Compute Gap）交替出现的时序序列 $(y_1, g_1, y_2, g_2, \ldots, y_t, g_t)$，其中 $g_i$ 代表两次评测之间消耗的相对算力单元。

在编码时序单元时，将标量精度 $y_i$ 和间隔 $g_i$ 分别通过独立的线性变换层投影，随后在隐空间维度进行拼接： $$\mathbf{c}_i = \text{concat}\big(\text{Linear}_y(y_i), \;\text{Linear}_g(g_i)\big) \in \mathbb{R}^d$$ 当需要向未来查询预测时，只需构造目标 query 算力跨度 $g_t = g_{\text{target}}$ 构成的上下文单元。这种参数化机制解耦了具体的 FLOPs 数量级，使模型专注于学习“在给定增量算力推动下精度轨迹的动力学曲率”。

3. 多分位数回归预测头：提供精准校准的不确定性感知评估

传统的经验拟合仅给出单一确定性点估计，而决策者在预训练早期决定是否终止或调整实验时，极其依赖对未来表现的置信区间。NeuNeu 抛弃均方误差（MSE），采用分位数回归范式。Transformer 骨干网络（6 层 Pre-norm 双向自注意力机制，配以旋转位置编码 RoPE）处理拼接序列 $[\text{CLS}; \mathbf{e}; \mathbf{c}_1; \ldots; \mathbf{c}_t]$ 后，提取 $\text{CLS}$ 标记的输出表征 $\mathbf{H}_0$，通过线性层 $\mathbf{W}_{\text{out}}$ 一次性输出 5 个目标分位数的预测值： $$\hat{\mathbf{q}} = [\hat{q}_{0.1}, \hat{q}_{0.25}, \hat{q}_{0.5}, \hat{q}_{0.75}, \hat{q}_{0.9}] = \mathbf{W}_{\text{out}} \cdot \mathbf{H}_0$$

以中位数 $\hat{q}_{0.5}$ 作为确定性点预测，以分位区间 $\hat{q}_{0.9} - \hat{q}_{0.1}$ 作为预测不确定性度量。该设计使训练者能够清晰识别哪些外推是高度确信的，哪些外推存在较大方差，进而为自动化停机与资源调度提供可靠凭据。

损失函数 / 训练策略¶

NeuNeu 的训练目标为跨 5 个目标分位数 $\mathcal{T} = \{0.1, 0.25, 0.5, 0.75, 0.9\}$ 的 Pinball 损失（分位数回归损失）求和： $$\mathcal{L}_{\text{pinball}} = \sum_{\tau \in \mathcal{T}} \max \Big( \tau (y - \hat{q}_\tau), \; (1 - \tau)(\hat{q}_\tau - y) \Big)$$ 训练数据源自 HuggingFace 上完全开源的 DataDecide 评测轨迹库，包含 6 种参数规模（90M、150M、300M、530M、750M、1B）在 24 个预训练数据集上运行的 144 条完整训练轨迹，在 66 个下游任务上派生出 9,504 条准确率演化序列。

为了使模型对稀疏评测点与缺失历史具备鲁棒性，训练时引入了数据增强机制：以概率 $p=0.4$ 随机丢弃历史观测元组 $(y_i, g_i)$，被丢弃元组的算力跨度 $g_i$ 累加合并至前驱元组的间隔中（即 $[(y_{i-1}, g_{i-1}), (y_i, g_i)] \to (y_{i-1}, g_{i-1}+g_i)$）。模型采用 AdamW 优化器，学习率设为 $6 \times 10^{-4}$，批大小为 256，在单张普通 GPU 上仅需约 2 小时即可完成全部元训练，推理时在 Apple M 系列芯片上仅需数秒。

实验关键数据¶

主实验¶

在涵盖 66 个下游任务（含 OLMES 评测基准）的测试集中，所有模型仅观测训练轨迹前 20% 的 checkpoint，预测剩余 80% 整个外推区间内的准确率表现。对比基准包括：被赋予未来真实均值验证损失 $\bar{\ell}_{t+K}$ 先验优势的逻辑缩放定律（Logistic）、断裂神经缩放定律（BNSL）、通用学习曲线贝叶斯外推 Transformer（LC-PFN），以及两项消融变体。

任务	训练均值基线 (Mean)	逻辑缩放定律 (Logistic)	LC-PFN	BNSL	无损失消融 (NoLoss)	均值损失消融 (Average)	NeuNeu (本文)
ARC-Challenge	0.0529	0.0320	0.0237	0.0331	0.0157	0.0220	0.0141
ARC-Easy	0.0787	0.0496	0.0253	0.0650	0.0218	0.0362	0.0191
BoolQ	0.0703	0.0647	0.0644	0.0518	0.0569	0.0542	0.0528
CSQA	0.0883	0.0468	0.0450	0.0518	0.0322	0.0463	0.0259
HellaSwag	0.0659	0.0401	0.0175	0.0291	0.0092	0.0179	0.0051
OpenBookQA	0.0553	0.0279	0.0198	0.0333	0.0146	0.0168	0.0135
PIQA	0.0456	0.0261	0.0164	0.0198	0.0138	0.0227	0.0074
SocialIQA	0.0237	0.0164	0.0178	0.0101	0.0090	0.0140	0.0081
WinoGrande	0.0345	0.0166	0.0383	0.0185	0.0177	0.0261	0.0146
MMLU (聚合)	0.0387	0.0357	0.0381	0.0400	0.0211	0.0208	0.0202
全集 66 任务均值	-	0.0356	-	-	-	-	0.0199 (-44%)

消融与外推泛化实验¶

实验进一步检验了不同输入表征配置、零样本未见任务泛化、以及多超参模型筛选排序的准确率。

模型配置 / 评测维度	核心评测指标	表现数值	结论与机制分析
NeuNeu (完整模型: Token 概率向量)	66 任务全量 MAE	0.0199	相对 Logistic (0.0356) 降低 44% 误差，全面占优
Average (消融: 仅输入标量平均验证概率)	66 任务全量 MAE	约 0.0280	误差显著上升，证明均值化操作抹除了对下游关键的分布特征
NoLoss (消融: 仅输入历史准确率轨迹)	66 任务全量 MAE	约 0.0235	优于 Average，表明退化的标量均值损失反而可能引入伪关联干扰
零样本未见任务外推 (留出 13 项 OLMES 任务)	未见任务预测 MAE	< 0.0200	误差甚至略低于全集，且击败专门针对这些任务单独拟合的 Logistic
不确定性区间覆盖率 (10%~90% 区间)	真实落入概率 (期望 80%)	77.6%	与理想 80% 仅差 2.4%，展现出近乎完美的经验校准特性
候选训练配置终局排序 (两两模型打擂)	最终准确率排序准确率	76.6%	较 Logistic 的 63.7% 提升 12.9 个百分点，提供直接实用的调度决策价值

关键发现¶

标量均值损失的有害瓶颈得到实验证实：消融实验表明，直接输入历史准确率轨迹的 NoLoss 变体在多个任务上竟然显著好于输入平均损失的 Average 变体；只有当引入完整的 token 级概率向量（NeuNeu）时，模型才能提取有效的高阶分布信号实现进一步跃升。这说明粗糙的平均验证损失对复杂时序模型而言不仅信息缺失，还可能形成误导。
跨架构与跨尺度的稳健零样本外推能力：在 Pythia（最高达 12B 参数量，比训练集最大模型大整整一个数量级）以及非纯 Transformer 的循环注意力混合架构 OLMo-Hybrid-7B 上，传统 Logistic 与 BNSL 误差急剧膨胀 4 倍产生崩溃，而 NeuNeu 始终保持稳定收敛与低误差。
早期判别竞争实验展现直接工业效益：仅根据前 20% 轨迹，NeuNeu 能以 76.6% 的胜率正确预测两组不同预训练超参配置在最终完全收敛时的优劣，显著缓解算力试错成本。

亮点与洞察¶

将经验标量缩放升维为时序动力学外推：传统缩放定律本质是一维静态曲线拟合，NeuNeu 敏锐地将其还原为高维时序外推问题，利用深度神经网络处理非平稳、非单调的复杂动力学行为。
损失转概率与相对算力跨度设计的极简泛化技巧：采用 $e^{-\ell}$ 消除数值无界性并放大收敛区敏感度，搭配归一化的算力跨度 $g_i$，使得只有 19.5M 参数的轻量模型天然跨越了数个数量级的 FLOPs 屏障。
开源生态反哺的“以模型评模型”范式：无需自费从头预训练数百个昂贵大模型，直接利用社区开源的完整 checkpoint 训练轨迹作为元训练数据，为探索大模型训练动力学基础模型（Foundation Model of Training Dynamics）开辟了现实路径。

局限与展望¶

当前下游任务局限于离散分类评测：基准评测集中 66 项任务大多为单选或判别式分类（Accuracy 为核心指标），对于长文本自由生成、代码编译率及多轮 Agent 对话等连续或复合评测维度的扩展仍待验证。
依赖预训练过程中的周期性评估点：模型推断要求在前 20% 训练期间具有稠密的下游测试点与对应的验证集 token 损失记录，对于未保存中间检查点或评测间隔极度稀疏的训练场景存在数据前置门槛。
长远可作为解析缩放理论的探索探针：未来可通过分析 CNN 卷积核捕获的分布矩特征（如长尾易损 token 比例），反向提炼出更优的紧凑参数化物理方程。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆延续数年的简单幂律/逻辑函数参数拟合范式，首次建立面向下游任务的神经网络时序外推缩放模型。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 66 项基准任务、跨越 70M 至 12B 模型尺度，涵盖未见任务留出、真实未见非Transformer架构、不确定性校准与两两排序打擂验证。
写作质量: ⭐⭐⭐⭐⭐ 叙述脉络极为清晰，问题提炼深刻，动机、架构、图表展示与消融分析逻辑严丝合缝。
价值: ⭐⭐⭐⭐⭐ 为大模型训练超参寻优、过早终止判断及计算资源预算分配提供了精度极高且计算开销仅数秒的实用落盘工具。