On the Invariance and Generality of Neural Scaling Laws¶

会议: NeurIPS 2026
arXiv: 2605.07546
OpenReview: https://openreview.net/forum?id=VqUBACubep
领域: 预训练
关键词: 神经缩放法则, 信息分辨率, 数据变换, 跨领域迁移, 互信息

一句话总结¶

本文提出基于信息分辨率的信息论神经缩放法则框架，证明双射变换保持缩放指数与不可约损失不变，而非双射变换通过方差膨胀与最优损失平移两重机制改变法则，实现了跨领域免扫描预测缩放曲线。

研究背景与动机¶

神经缩放法则（Neural Scaling Laws, NSLs）揭示了模型性能与参数量、数据量以及计算预算之间的幂律关联，是指导大模型资源规划的关键依据。然而，传统缩放法则的获取高度依赖大规模参数扫描，通常需要跨越数个数量级训练数十个模型。在计算预算紧张、高质量数据稀缺或隐私受限的真实场景（如医疗临床文本、工业传感器时序、专用代码库）中，仅仅为了拟合一条缩放法则所需消耗的算力，往往就已经超出了预算总额。因此，能否在资源充沛的通用源域上拟合一次法则，并零样本或低成本迁移至目标领域，成为了基础模型规模化落地亟待解决的瓶颈。

以往关于数据降级对缩放法则影响的研究，普遍局限于单一领域与任务，且通常将数据退化仅仅建模为“有效样本量”的简单衰减（即等价于数据量打折）。这种传统建模存在不可调和的理论矛盾：它预测当数据量趋近于无穷大时，不同质量数据的测试损失终将收敛到完全相同的不可约损失下界。但这违背了信息论基本原理——当数据处理过程中关键任务信息被不可逆地破坏时，即使提供无限量的降级数据，损失下界也必然出现不可逾越的永久抬升。

本文的切入视角是将领域迁移、模态转换及数据预处理流水线统一抽象为对数据的算子变换，并依据信息论中的信息保留程度进行本质刻画。核心 idea：神经缩放法则在双射（保持信息）变换下保持模型与数据缩放指数以及损失下界完全不变；而在非双射变换下，缩放法则由单一标量信息分辨率统一支配，通过统计方差膨胀和贝叶斯最优损失平移两重机制精确预测目标域缩放曲线。

方法详解¶

整体框架¶

本文构建了以信息分辨率（Information Resolution）为核心的神经缩放法则泛化理论。首先将数据变换 $T: \mathcal{X} \to \mathcal{X}'$ 划分为双射变换与非双射变换两大类。对于双射变换，互信息保持不变，证明了贝叶斯最优风险、样本复杂度与模型逼近能力均完全不变；对于非双射变换，定义输入变换后保留的目标互信息比例为信息分辨率 $\rho(T) = I(X'; Y) / I(X; Y) \in (0, 1]$，并由此推导出结合方差膨胀与最优损失平移的全新扩展缩放定律。随后，提出跨领域缩放法则预测算法，仅需测量目标域的数据信息分辨率 $\rho(T)$，即可直接泛化得到目标任务的有效缩放指数与不可约损失。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据分布 (X, Y) 与目标任务"] --> B["算子变换分类：双射检验"]
    B -->|双射变换 ρ=1| C["双射不变性定理：指数与不可约损失 E 完全保持"]
    B -->|非双射变换 ρ<1| D["信息分辨率计算：评估保留互信息比例 ρ(T)"]
    D --> E["双机制协同建模：方差膨胀 + 最优损失平移"]
    E --> F["解析预测目标域损失曲面：计算有效缩放指数与损失极限"]

关键设计¶

1. 双射不变性定理：信息守恒下的缩放结构完全鲁棒 在工业界预训练流水线中，分词重编码、线性基变换、连续空间下的归一化流（Normalizing Flows）以及特征仿射变换极其常见。本文首先在数学上证明：只要变换 $T$ 是双射（即单射且满射），变换后的输入与目标标签之间的互信息严格守恒，即 $I(T(X); Y) = I(X; Y)$。在此基础上证明了三大性质：其一，由于任何在 $X$ 上的预测器 $g$ 均可由 $T(X)$ 上的预测器 $f = g \circ T^{-1}$ 无损实现，贝叶斯最优风险（即不可约损失 $E$）完全相同；其二，达到 $\epsilon$-超额风险所需的样本复杂度 $n_\epsilon(T(X), Y) = n_\epsilon(X, Y)$ 完全一致，因此数据缩放指数 $\beta$ 保持不变；其三，模型容量拟合最优预测器的逼近速率保持不变，因此模型参数缩放指数 $\alpha$ 保持不变。这解释了为何合理的重分词或无损坐标系旋转不会破坏大模型的缩放效率。

2. 信息分辨率与双机制退化模型：方差膨胀与极限损失抬升的统一 针对量化截断、低秩投影、模糊滤波、有损去重等不可逆操作，数据处理不等式（Data Processing Inequality）决定了任务相关互信息必然减少。本文定义信息分辨率 $\rho(T) := I(X'; Y) / I(X; Y) \in (0, 1]$，指出其通过两个独立且互补的物理机制恶化性能：一是方差膨胀（Variance Inflation），根据克拉美-罗下界（Cramér-Rao Bound），参数估计的方差与 Fisher 信息成反比，而 Fisher 信息正比于可用信息量，导致估计方差以 $1 / (D \cdot \rho(T)^\nu)$ 扩展（$\nu > 0$），这意味着需要更多样本才能达到原有的估计精度；二是最优损失平移（Optimal Loss Shift），信息丢失导致不可逾越的性能天花板，贝叶斯最优损失下界发生不可逆位移 $\Delta L^* \geq \Phi(I(X;Y)(1 - \rho(T)))$。综合两重机制，推导出信息分辨率神经缩放定律： $$L(N, D, \rho) = \frac{A}{N^\alpha} + \frac{B}{D^\beta} \cdot \rho(T)^{-\nu} + E + \kappa (1 - \rho(T))^\mu$$ 其中 $\kappa > 0$ 调节损失平移幅度，$\mu \in (0, 1]$ 描述平移速率（对于确定性破坏 $\mu = 1$，对于加性随机噪声 $\mu < 1$）。该式在 $\rho = 1$ 时严格退化为标准 Chinchilla 定律，而在 $\rho \to 0$ 时准确预测不可约损失抬升至 $E + \kappa$，修正了以往研究损失下界恒定的错误。

3. 最优算力分配解析反推与跨领域零样本预测算法 基于提出的信息分辨率定律，本文进一步推导出计算最优（Compute-Optimal）配置在信息退化下的解析闭式解。在固定总浮点预算 $C = 6ND$ 下最小化损失，可得最优模型参数量与数据量的偏移规律： $$N^*(C, \rho) = N^*(C, 1) \cdot \rho^{\frac{\nu}{\alpha+\beta}}, \qquad D^*(C, \rho) = D^*(C, 1) \cdot \rho^{-\frac{\nu}{\alpha+\beta}}$$ 该公式揭示了一个反直觉且极具指导价值的工程准则：当输入数据质量/分辨率降低时，最优策略并非增加参数量去拟合复杂噪声，而是应该缩小模型容量，将更多算力分配给更多数量的退化样本。在跨领域泛化预测流程中，算法首先在源域利用多组 $\rho$ 拟合出变换敏感参数 $(\nu, \mu, \kappa)$；随后仅通过经验 3-gram 熵比率或 gzip 压缩率 $\hat{\rho}_{\text{compress}} = \frac{C(\mathcal{D}')/|\mathcal{D}'|}{C(\mathcal{D})/|\mathcal{D}|}$ 解析测算目标域的 $\rho(T)$，代入公式即可精确预测目标域的等效 Chinchilla 拟合参数 $(\hat{\beta}_t, \hat{E}_t)$。

实验关键数据¶

主实验¶

论文在跨领域临床时间序列院内死亡率预测（MIMIC-IV 加噪）以及跨语料大语言模型下游预训练（OpenWebText 迁移至 MIMIC-IV 出院小结摘要）两项挑战性任务上验证了跨领域预测精度，对比了质量感知定律（Quality-Aware）与次优缩放定律（Sub-Optimal）。

预测任务与变换类型	噪声 / 分辨率 $\rho(T)$	拟合方法	数据指数 $\beta$ 预测	不可约损失 $E$ 预测	$\beta$ 相对误差
(i) 临床时序 / 噪声注入	$\rho = 0.75$	真实拟合 (Real)	0.2843	2.6533	基准
		Quality-Aware	0.2975	1.8314	+4.6% (E偏差-31.0%)
		Sub-Optimal	0.2933	1.8285	+3.2% (E偏差-31.1%)
		本文方法 (Ours)	0.2961	2.7842	+4.1% (E偏差+4.9%)
(i) 临床时序 / 噪声注入	$\rho = 0.50$	真实拟合 (Real)	0.2441	3.7833	基准
		Quality-Aware	0.2535	1.9768	+3.9% (E偏差-47.7%)
		Sub-Optimal	0.2541	1.9344	+4.1% (E偏差-48.9%)
		本文方法 (Ours)	0.2512	3.7814	+2.9% (E偏差-0.05%)
(i) 临床时序 / 噪声注入	$\rho = 0.25$	真实拟合 (Real)	0.1927	5.1371	基准
		Quality-Aware	0.2153	2.3907	+11.7% (E偏差-53.5%)
		Sub-Optimal	0.2221	2.2415	+15.3% (E偏差-56.4%)
		本文方法 (Ours)	0.1821	4.7839	-5.5% (E偏差-6.9%)
(ii) 文本跨语料 / 词表截断量化	$\rho = 0.54$	真实拟合 (Real)	0.3254	4.4132	基准
		Quality-Aware	0.3335	3.3854	+2.5% (E偏差-23.3%)
		Sub-Optimal	0.3619	3.4662	+11.2% (E偏差-21.5%)
		本文方法 (Ours)	0.3212	4.0012	-1.3% (E偏差-9.3%)

消融实验¶

在跨语料文本建模（OpenWebText $\to$ MIMIC-IV）中，针对无法直接从闭式 SNR 计算 $\rho(T)$ 的非确定性迁移，论文消融对比了三种不同信息分辨率估计器对不可约损失与缩放指数预测的影响：

估计器配置	估计分辨率 $\hat{\rho}$	缩放项 $B_{\text{eff}}$	损失平移量	预测损失 $\hat{E}_t$	真实真实值 $E$	绝对误差 $\Delta E$	预测数据指数 $\hat{\beta}_t$
词表大小比率 ($\rho_{\text{vocab}}$)	0.71	47.97	0.757	3.557	4.413	0.856	0.298 (误差8.3%)
3-gram 条件熵比率 ($\rho_{\text{3-gram}}$)	0.57	50.04	1.122	3.922	4.413	0.491	0.319 (误差1.8%)
Gzip 压缩率比率 ($\rho_{\text{compress}}$)	0.54	50.58	1.201	4.001	4.413	0.412	0.321 (误差1.3%)

关键发现¶

双射变换的强鲁棒性：在线性随机满秩变换矩阵与非线性仿射耦合层变换下，WikiText-103、OpenWebText、ImageNet-1K 和 LibriSpeech 上的损失拟合曲线与原始无变换数据完全重合，验证了特征空间的双射重排不会改变内在泛化幂律。
不可约损失平移的致命性：基线方法（Quality-Aware 与 Sub-Optimal）均假设不可约损失 $E$ 为与质量无关的固定常数，导致在强噪声或低信息分辨率下，损失下界预测出现高达 50% 以上的系统性低估；而本文的双机制模型成功捕捉了该间隙，在多数设置下将 $\beta$ 的预测误差压缩至 3% 以内。
模态容忍度差异显著：在分类任务（ImageNet/CIFAR）中，即便经过较强低秩投影丢弃高频信息，由于标签空间熵值极低，缩放指数受影响幅度显著小于高熵的自回归语言建模（Next-Token Prediction）。

亮点与洞察¶

信息论第一性原理打通缩放理论：将看似混乱繁杂的清洗、量化、分词、跨域差异全部抽象为具有严格信息论测度的标量 $\rho(T)$，从根本上澄清了“为什么有些数据预处理会改变 scaling 指数，而有些则完全不变”。
计算最优模型尺度的逆向调优启示：给出了 $N^*(C, \rho) \propto \rho^{\nu/(\alpha+\beta)}$ 的闭式预测，直接证明了面对低信噪比或高度压缩的数据集时，业界普遍盲目扩大模型规模的做法实际上处于“严重过配”状态，正确做法是缩减模型并增加数据吞吐量。

局限与展望¶

参数跨模态迁移假设：框架将敏感度参数 $(\nu, \mu, \kappa)$ 视为变换类型的内在属性，这要求源域与目标域具有相似的任务结构与上下文先验（如通用文本到医学文本）；若直接跨越异构模态（如自然语言直接预测蛋白质结构），互信息量级差异过大将导致 $\kappa$ 难以直接复用。
复合变换的交互效应：当前研究主要处理单一类型或解耦的数据算子，在工业真实生产中多重过滤、重采样、量化与噪声注入同时发生，复合算子下非线性级联效应的闭式计算仍待深入探索。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从双射/非双射与信息分辨率视角系统建立泛化缩放定律，理论严谨优美。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖语言、视觉、语音、时序四大模态，包含真实医疗跨域与加噪多场景验证。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰，数学表述完备，从公理到定理及工程指导一脉相承。
价值: ⭐⭐⭐⭐⭐ 为大模型在算力受限与专用领域的低成本规划提供了强有力的定量工具。

预测任务与变换类型	噪声 / 分辨率 \(\rho(T)\)	拟合方法	数据指数 \(\beta\) 预测	不可约损失 \(E\) 预测	\(\beta\) 相对误差
(i) 临床时序 / 噪声注入	\(\rho = 0.75\)	真实拟合 (Real)	0.2843	2.6533	基准
		Quality-Aware	0.2975	1.8314	+4.6% (E偏差-31.0%)
		Sub-Optimal	0.2933	1.8285	+3.2% (E偏差-31.1%)
		本文方法 (Ours)	0.2961	2.7842	+4.1% (E偏差+4.9%)
(i) 临床时序 / 噪声注入	\(\rho = 0.50\)	真实拟合 (Real)	0.2441	3.7833	基准
		Quality-Aware	0.2535	1.9768	+3.9% (E偏差-47.7%)
		Sub-Optimal	0.2541	1.9344	+4.1% (E偏差-48.9%)
		本文方法 (Ours)	0.2512	3.7814	+2.9% (E偏差-0.05%)
(i) 临床时序 / 噪声注入	\(\rho = 0.25\)	真实拟合 (Real)	0.1927	5.1371	基准
		Quality-Aware	0.2153	2.3907	+11.7% (E偏差-53.5%)
		Sub-Optimal	0.2221	2.2415	+15.3% (E偏差-56.4%)
		本文方法 (Ours)	0.1821	4.7839	-5.5% (E偏差-6.9%)
(ii) 文本跨语料 / 词表截断量化	\(\rho = 0.54\)	真实拟合 (Real)	0.3254	4.4132	基准
		Quality-Aware	0.3335	3.3854	+2.5% (E偏差-23.3%)
		Sub-Optimal	0.3619	3.4662	+11.2% (E偏差-21.5%)
		本文方法 (Ours)	0.3212	4.0012	-1.3% (E偏差-9.3%)

估计器配置	估计分辨率 \(\hat{\rho}\)	缩放项 \(B_{\text{eff}}\)	损失平移量	预测损失 \(\hat{E}_t\)	真实真实值 \(E\)	绝对误差 \(\Delta E\)	预测数据指数 \(\hat{\beta}_t\)
词表大小比率 (\(\rho_{\text{vocab}}\))	0.71	47.97	0.757	3.557	4.413	0.856	0.298 (误差8.3%)
3-gram 条件熵比率 (\(\rho_{\text{3-gram}}\))	0.57	50.04	1.122	3.922	4.413	0.491	0.319 (误差1.8%)
Gzip 压缩率比率 (\(\rho_{\text{compress}}\))	0.54	50.58	1.201	4.001	4.413	0.412	0.321 (误差1.3%)