Sharp Feature-Learning Transitions and Bayes-Optimal Neural Scaling Laws in Extensive-Width Networks¶
会议: NeurIPS 2026
arXiv: 2605.10395
OpenReview: https://openreview.net/forum?id=Hae4EpsHWm
代码: https://github.com/Minh-Toan/scaling-laws
领域: 优化/理论
关键词: 神经网络缩放法则、贝叶斯最优误差、特征学习相变、大宽度网络、留一法解耦
一句话总结¶
本文在隐藏层宽度与输入维度同阶的大宽度极限（\(k=\Theta(d)\)）下，通过留一法解耦推导出教师-学生网络贝叶斯最优泛化误差与特征重叠度的闭合不动点方程，揭示特征逐级阶梯式涌现的尖锐一阶相变，并用统一有效宽度 \(k_c\) 严格论证了神经缩放法则的内在机制。
研究背景与动机¶
现代大语言模型和深度神经网络在数据量、参数量和算力提升时普遍展现出规律的幂律缩放法则（Scaling Laws）。近年来统计物理与学习理论界尝试从数据目标的层级化结构出发解释该现象——即目标函数由重要性呈几何衰减的层级特征构成，学习算法按重要性从高到低依次捕获。然而，现有的严格统计力学分析大多局限于极窄的固定宽度多指标模型（\(k=\Theta(1)\)），或者完全失去特征学习能力的无限宽神经正切核（NTK, \(k \gg d\)）与近线性模型体系；多指标模型的表达能力过于薄弱，而 NTK 体系又无法刻画有限样本下的真实表征学习。
这种理论现状造成了一个核心矛盾：实际深度网络处于宽度巨大但有限、且与维度成比例的大宽度超线性数据区间（\(k=\Theta(d), n \gg d\)），在这一真实表征学习机制与信息论极限交汇的区域，学术界此前缺乏解析可解的处理范式。同时，在以模型蒸馏为代表的教师-学生设定下，若数据预算 \(n\) 受限，经验上学生网络宽度过大反而会导致测试误差恶化，而盲目增加宽度何时带来增益、何时引发对不可学方向的过拟合，缺乏从第一性原理出发的信息论解释。
本文切入的角度是：摆脱具体的优化算法启发式假设，从无计算限制的贝叶斯最优（Bayes-Optimal, BO）视角直击统计可恢复性的本质瓶颈。核心 idea：在大宽度高维极限下利用腔方法（留一法解耦）将多特征贝叶斯后验推断映射为等价的标量广义线性模型，证明特征可学性受制于单一激活函数信噪比阈值 \(\lambda_\sigma\) 支配的尖锐不连续跳跃，从而定义随数据预算动态增长的有效宽度 \(k_c(n)\)，将泛化误差统一表示为 \(\varepsilon^{\rm BO}=\Theta(k_c d/n)\) 并导出双阶段幂律缩放法则。
方法详解¶
整体框架¶
本文考虑单隐层教师网络生成的数据集 \(\mathcal{D} = \{(\mathbf{x}_\mu, y_\mu^{\rm out})\}_{\mu=1}^n\)，其中高斯输入 \(\mathbf{x}_\mu \sim \mathcal{N}(0, \mathbf{I}_d)\)，干净响应由权重矩阵 \(\mathbf{W}^0 \in \mathbb{R}^{k \times d}\)（行正交归一）与层级化读出向量 \(\mathbf{v} \in \mathbb{R}^k\)（满足 \(\|\mathbf{v}\|^2=1\) 且 \(v_1 \ge v_2 \ge \dots \ge v_k > 0\)）生成：\(y_\mu = \mathbf{v}^\top \sigma(\mathbf{W}^0 \mathbf{x}_\mu)\)，观测值为叠加方差为 \(\Delta\) 的高斯噪声 \(y_\mu^{\rm out} = y_\mu + \sqrt{\Delta} z_\mu\)。考虑 \(d \gg 1, k = \Theta(d), n \gg d\) 的大宽度渐近极限。贝叶斯学生计算后验均值 \(\langle \mathbf{v}^\top \sigma(\mathbf{W} \mathbf{x}) \rangle\)，达到最小均方误差（Bayes-Optimal Generalization Error, \(\varepsilon^{\rm BO}\)）。
分析整个推断体系的关键在于：利用特征在后验下的渐近统计解耦特性，将全部 \(k\) 个隐层特征相互干扰的高维复杂后验，解构成 \(k\) 个相互独立的标量高维广义线性模型通道，进而通过不动点迭代求解出每个特征与真实权重的重叠度 \(q_i\) 与整体泛化误差 \(\varepsilon\)。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["高维输入与教师网络响应<br/>k=Θ(d), n≫d, v按幂律衰减"] --> B["留一法腔场高斯解耦<br/>分离第 i 个特征并消除干扰均值"]
B --> C["有效标量高斯信道映射<br/>归约至广义线性模型与率函数极值"]
C --> D["特征自洽信噪比判定与阶梯相变<br/>计算 snr_i 与临界阈值 λ_σ"]
D --> E["有效宽度与双阶段误差统一分解<br/>ε^BO = Θ(k_c d / n)"]关键设计¶
1. 留一法腔场高斯解耦：隔离特征后验互扰
在多元非线性网络中，各个神经元（特征方向 \(\mathbf{w}_i^0\)）的隐状态通过求和混合在标量输出中。为了计算特定特征 \(i\) 的重叠度 \(q_i = \mathbf{w}_i^0 \cdot \mathbf{w}_i^1\)（\(\mathbf{W}^1\) 为后验采样），本文采用统计物理中的腔方法（Cavity Method），将第 \(i\) 个神经元的输出从总响应中显式剥离： $\(y_\mu^{\rm out} = v_i \sigma(\mathbf{w}_i^0 \cdot \mathbf{x}_\mu) + R_{\mu i} + \sqrt{\Delta} z_\mu, \quad R_{\mu i} := \sum_{j \neq i} v_j \sigma(\mathbf{w}_j^0 \cdot \mathbf{x}_\mu)\)$ 在中心极限定理与后验集中性下，残差项 \(R_{\mu i}\) 分解为确定性的数据集后验均值 \(\langle R_{\mu i} \rangle\) 和均值为零的后验涨落。通过从观测值中平移扣除 \(\langle R_{\mu i} \rangle\)，该后验涨落表现为方差为 \(\varepsilon_{-i} = \sum_{j \neq i} v_j^2 (g_\sigma(1) - g_\sigma(q_j))\) 的有效高斯白噪声。从而，针对特征 \(i\) 的推断完全退化为一个等效单特征广义线性模型，观测有效噪声方差为 \(\Delta + \varepsilon\)。这一解耦极大地简化了原本需要复因子复制子（Replica）展开的高维积分。
2. 极限核函数与自洽信噪比判定：求解阶梯相变闭合方程组
通过对等效单特征高斯信道的大偏差率函数进行变分极值分析，定义高斯积分核 \(g_\sigma(x) := \mathbb{E}_{(z_1, z_2)}[\sigma(z_1)\sigma(z_2)]\)，以及对偶重叠度函数 \(m_\sigma(\lambda) := \arg\max_{q \in [0, 1)} \{\lambda g_\sigma(q) + q + \ln(1-q)\}\)。特征 \(i\) 的恢复状况由其自洽信噪比 \(\mathrm{snr}_i\) 唯一确定： $\(\mathrm{snr}_i = \frac{(n/d) v_i^2}{\Delta + \varepsilon}, \quad q_i = m_\sigma(\mathrm{snr}_i), \quad \varepsilon = \sum_{i=1}^k v_i^2 \big(g_\sigma(1) - g_\sigma(q_i)\big)\)$ 当激活函数的第二埃尔米特（Hermite）系数 \(\mu_2=0\)（信息指数 \(k_\star(\sigma) \ge 3\)，例如所有奇函数 \(\tanh(x)\)）时，函数 \(m_\sigma(\lambda)\) 在临界阈值 \(\lambda_\sigma := \inf_{q \in (0,1)} \frac{-q - \ln(1-q)}{g_\sigma(q)}\) 处表现出从 \(0\) 到正值 \(q_\sigma > 0\) 的不连续一阶相变跳跃。这意味着当样本量 \(n\) 单调递增时，各特征的 \(\mathrm{snr}_i\) 伴随权重 \(v_i\) 依次跨过 \(\lambda_\sigma\)，表现为特征逐个被“点亮”的不连续阶梯相变，对应的泛化误差也出现一连串骤降台阶。
3. 有效宽度与泛化误差统一分解：推导神经缩放法则
将满足 \(\mathrm{snr}_i > \lambda_\sigma\)（即 \(q_i > 0\)）的特征总数定义为模型的“有效宽度”\(k_c = k_c(k, d, n) = |\{i: q_i > 0\}|\)。贝叶斯最优误差精确解构为已学特征的估计误差与未学特征的不可约偏置之和： $\(\varepsilon^{\rm BO} = \Theta\left(\frac{k_c d}{n}\right) + \Theta\left(\sum_{j > k_c} v_j^2\right)\)$ 在幂律衰减读出向量 \(v_i \propto i^{-\beta}\)（\(\beta > 1/2\)）的设定下，偏置项受控于首个未学特征的能量，其阶数渐近等同于估计误差项。因此，两个误差源统一折叠进单一核心关系式：\(\varepsilon^{\rm BO} = \Theta(k_c d / n)\)。由此直接导出两大缩放阶段： - 特征学习阶段（Feature-learning regime, \(n \ll k^{2\beta} d\)）：弱特征尚未学完，\(k_c \sim (n/d)^{1/(2\beta)}\) 随数据量幂律扩张，抵消了部分 \(1/n\) 衰减，展现出由特征层级指数决定的慢速幂律 \(\varepsilon^{\rm BO} \sim n^{\frac{1}{2\beta} - 1}\)； - 精炼阶段（Refinement regime, \(n \gg k^{2\beta} d\)）：全部 \(k\) 个特征已全被捕获，有效宽度饱和至 \(k_c = k\)，误差展现经典参数估计极限速率 \(\varepsilon^{\rm BO} \sim n^{-1}\)。
损失函数 / 训练策略¶
理论基准采用贝叶斯后验平均估计： $\(P(\mathbf{W} \mid \mathcal{D}) \propto \nu(\mathbf{W}) \prod_{\mu=1}^n \exp\left( -\frac{1}{2\Delta} (y_\mu^{\rm out} - \mathbf{v}^\top \sigma(\mathbf{W} \mathbf{x}_\mu))^2 \right)\)$ 其中 \(\nu(\mathbf{W})\) 为 Stiefel 流形上的均匀先验测度。数值验证理论预测时，采用哈密顿蒙特卡洛（Hamiltonian Monte Carlo, HMC）对吉布斯误差 \(\varepsilon^{\rm Gibbs} = 2 \varepsilon^{\rm BO}\) 进行精确采样。 在对比实际优化算法时，采用学生宽度为 \(k_s \le k\) 的单隐层 MLP，使用 Adam 优化器训练均方误差损失（学习率 0.003，10,000 epoch），在每个 epoch 结束后对学生特征向量 \(\mathbf{w}_i\) 进行 \(L_2\) 范数归一化以抑制权重范数发散，读出层权重设为可学习以辅助跳出局部极小值。
实验关键数据¶
主实验¶
论文通过严格数值不动点迭代、HMC 统计采样以及 Adam 训练的学生网络，全面检验了理论预测。以下表格对比了不同数据采样率 \(n/(kd)\) 下特征重叠度与泛化误差的理论闭式解与 HMC 模拟结果（实验设定：\(\sigma(x)=\tanh(2x)\)，输入维度 \(d=200\)，教师宽度 \(k=100\)，标签噪声 \(\Delta=0.04\)，幂律指数 \(\beta=0.3\) 与 \(\beta=1.0\)）：
| 设定与指标 | 采样率 \(n/(kd)\) | 理论预测（Eq. 6） | HMC 模拟采样（9次均值±标准差） | 绝对误差 / 一致性 |
|---|---|---|---|---|
| \(\beta=0.3\) 头部特征重叠度 \(q_1\) | 0.5 | 0.963 | 0.962 ± 0.003 | < 0.001（吻合极高） |
| \(\beta=0.3\) 头部特征重叠度 \(q_{10}\) | 0.5 | 0.885 | 0.884 ± 0.005 | < 0.001（吻合极高） |
| \(\beta=0.3\) 尾部特征重叠度 \(q_{50}\) | 0.5 | 0.000（未跨相变） | 0.000 ± 0.004 | 理论完全吻合 |
| \(\beta=0.3\) 泛化误差 \(\varepsilon^{\rm BO}\) | 0.5 | 0.472 | 0.470 ± 0.008 | 偏差在置信区间内 |
| \(\beta=0.3\) 泛化误差 \(\varepsilon^{\rm BO}\) | 2.0 | 0.168 | 0.169 ± 0.005 | 偏差在置信区间内 |
| \(\beta=0.3\) 泛化误差 \(\varepsilon^{\rm BO}\) | 5.0 | 0.071 | 0.072 ± 0.003 | 偏差在置信区间内 |
| \(\beta=1.0\) 泛化误差 \(\varepsilon^{\rm BO}\)（Adam \(k_s=k_c\)） | 2.0 | 0.082（BO下界） | 0.091 ± 0.004 | 接近信息论下界 |
| \(\beta=1.0\) 泛化误差 \(\varepsilon^{\rm BO}\)（Adam \(k_s=k\) 全宽） | 2.0 | 0.082（BO下界） | 0.143 ± 0.007 | 显著过拟合弱方向 |
消融实验¶
针对近插值极限大宽度体制（\(k \sim \gamma d, n \sim \alpha d^2\)）下不同读出稀疏度分布对泛化误差 \(\varepsilon^{\rm BO}\) 及有效宽度 \(k_c\) 的渐近缩放分析（固定 \(\alpha, \gamma\)）：
| 读出向量分布形式 | 理论有效宽度 \(k_c\) 缩放阶 | 理论 BO 泛化误差 \(\varepsilon^{\rm BO}\) 缩放阶 | 物理机制与说明 |
|---|---|---|---|
| 稠密分布（Dense, \(v_i \sim 1/\sqrt{k}\)） | \(\Theta(d)\) | \(\Theta(1)\) | 信号完全离域，误差出现下界无法随 \(d\) 衰减 |
| 弱幂律分布（Power-law, \(\beta < 1/2\)） | \(\Theta(d)\) | \(\Theta(1)\) | 尾部特征密集如常数，表现与稠密情况一致 |
| 临界幂律分布（Power-law, \(\beta = 1/2\)） | \(\Theta(d / \ln d)\) | \(\Theta(\ln\ln d / \ln d)\) | 对数级边缘衰减，临界交叉相变 |
| 强幂律分布（Power-law, \(\beta > 1/2\)） | \(\Theta(d^{\frac{1}{2\beta}})\) | \(\Theta(d^{\frac{1}{2\beta} - 1})\) | 局域化特征结构，误差展现非平凡多项式收敛 |
| 指数衰减（Exponential, \(v_i \propto e^{-ci}\)） | \(\Theta(\ln d)\) | \(\Theta(\ln d / d)\) | 极少关键主成分，误差以近线性衰减 |
| 超稀疏分布（Ultra-sparse, \(p=O(1)\)） | \(\Theta(1)\) | \(\Theta(1/d)\) | 退化为有限多指标模型，达到参数估计极速 |
关键发现¶
- 学生宽度存在尖锐截断阈值：当数据量固定在 \(n/(kd)=2\) 时，随着学生网络宽度 \(k_s\) 增加，测试误差先以 \(k_s^{1-2\beta}\) 的幂律快速下降；但在越过临界宽度 \(k_c\) 后，测试误差转而持续上升。这证实过宽的学生模型会强行拟合本不可学的弱信号方向，导致泛化性能受损。
- 阶梯式相变与动态涌现对应：特征重叠度 \(q_i\) 随数据量的增加展现出一连串尖锐的不连续跃迁（\(0 \to q_\sigma\)），不仅定量印证了理论方程中的一阶相变，且在物理图景上精确对应了实际梯度下降（SGD/Adam）中观察到的“特征突发涌现与能力跃迁”现象。
- 计算-统计残差间隙：用 Adam 训练的学生网络在特征学习阶段完美再现了理论预言的 \(n^{\frac{1}{2\beta}-1}\) 幂律斜率；但在精炼阶段极大样本下，约有 5% 的最弱尾部特征因处于计算硬度区无法被 Adam 学出（\(\lambda_\sigma^{\rm algo} > \lambda_\sigma\)），导致经验曲线轻微偏离 \(n^{-1}\) 极限速率。
亮点与洞察¶
- 无需 Replica 技巧的腔场分析范式：作者巧妙地借助高维留一法（Leave-One-Out）与高斯腔场近似，在没有繁复复本方法的情况下，直接将多元大宽度网络约化为一组闭合标量泛函不动点系统。
- 有效宽度 \(k_c\) 对 Scaling Laws 的大一统解释：将数据驱动的“特征学习阶段”与容量饱和的“精炼阶段”统一纳入单一方程 \(\varepsilon^{\rm BO} = \Theta(k_c d / n)\)，从信息论第一性原理彻底阐明了幂律斜率从何而来。
- 为模型蒸馏与超参扩展提供理论指导：明确给出了学生最佳容量设计的解析准则 \(k_s \approx k_c \propto (n/d)^{1/(2\beta)}\)，为工程实践中根据数据预算无损压缩学生模型规模提供了坚实依据。
局限与展望¶
- 理论推导的假设依赖：当前腔场解耦依赖后验高斯涨落与特征解耦假设，虽然数值上被 HMC 严格印证，但尚未完成完全严格的测度论数学证明。
- 第二埃尔米特系数消失的约束：模型严格要求 \(\mu_2=0\)（信息指数 \(k_\star \ge 3\)，即所有奇激活函数如 \(\tanh\)），对于 ReLU 等含有非零 \(\mu_2\) 的常见激活函数尚未完全打通。
- 深层网络与跨模态扩展：目前分析严格针对单隐层教师-学生网络，将大宽度有效信噪比相变推广至多层深层感知机及多头注意力机制仍属开放前沿。
相关工作与启发¶
- vs Defilippis et al. (2026b)：他们局限于固定有限宽度的多指标模型（\(k=\Theta(1)\)），且需依赖非零 \(\mu_2\) 激活；本文攻克了大宽度高维极限（\(k=\Theta(d)\)），处理了 \(\mu_2=0\) 的奇函数类，两者在幂律指数上展现出深远的普遍一致性（Universality）。
- vs Barbier et al. (2026)：该工作采用物理学复本法（Replica Method）分析了近插值极限下的稠密读出网络；本文通过直接腔方法将分析推广到任意稠密、幂律、指数及超稀疏读出分布，并首次揭示了由此衍生的各类数据缩放法则。
- vs Michaud et al. (2023)（量化模型）：Michaud 等人假设网络按重要性离散学习知识单元；本文从神经元高维推断第一性原理出发，严格推导出了这种“离散量化”机制背后的微观根源——激活函数临界信噪比阈值所引发的一阶相变。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次在大宽度大样本下解析推导单隐层网络的贝叶斯最优相变与缩放法则，理论视角极具颠覆性。
- 实验充分度: ⭐⭐⭐⭐⭐ 理论闭合解、HMC 后验金标准采样与实际 Adam 优化实验三者完美咬合，证据链极具说服力。
- 写作质量: ⭐⭐⭐⭐⭐ 物理图景清晰透彻，公式推导严谨精简，逻辑从微观相变层层递进至宏观 Scaling Law。
- 价值: ⭐⭐⭐⭐⭐ 连接了统计物理、高维统计与大模型神经缩放法则的底层基石，对理解模型蒸馏与架构容量具指导意义。