Optimal Scaling Laws in Learning Hierarchical Multi-Index Models¶
会议: NeurIPS 2026
arXiv: 2602.05846
OpenReview: https://openreview.net/forum?id=odXDV3exT8
领域: 预训练
关键词: 神经缩放法则, 层次多指标模型, 特征学习, 贝叶斯最优界, 谱估计器
一句话总结¶
针对受限于表征学习的层次多指标目标，本文严格推导出子空间恢复与泛化超额风险的贝叶斯最优 Scaling Laws，证明简单的目标无关谱估计器及两层神经网络能够达到信息论最优率并解释特征序贯涌现与误差平台现象。
研究背景与动机¶
现代深度学习中神经缩放法则（Scaling Laws）的经验发现表明，模型性能通常关于训练资源（数据量、参数量等）呈现出稳定的幂律衰减。然而现有的数学理论大多局限于线性模型或核机制（Lazy / NTK Regime），在这类体制下网络参数几乎不发生实质性的表征调整，特征依赖于固定的协变量谱结构，无法解释真正的特征学习（Feature Learning）过程。与此同时，实验研究观察到神经网络表征学习通常并非平滑演进，而是伴随着长时间的性能平台（Plateau）和特征的突变式序贯涌现（Sequential Emergence），且训练后的权重矩阵常表现出重尾奇点谱等非平凡谱结构。目前学界严重缺乏能够从第一性原理同时预测表征适应顺序、临界样本复杂度以及统计泛化效率的统一理论。
现有关于非线性特征学习缩放法则的解析多局限于对角网络、二次网络或一趟 SGD 动态，且以往对缩放幂律的推导高度依赖特定的二次激活形式或启发式统计物理方法，未能确立信息论意义下的绝对最优边界与普适性。更核心的矛盾在于：在表征受限体制下，标签由输入的高维未知低维子空间通过非线性链接函数复合生成，网络必须在没有目标函数先验信息的前提下从有限样本中逐步识别特征子空间。究竟怎样的算法能够在计算上不依赖目标链接函数细节而实现统计最优的特征子空间恢复，并将这种子空间恢复率无损传递为端到端的预测风险，一直悬而未决。
本文从统计物理近似消息传递（AMP）和高维统计的工具出发，研究输入维度为 \(d\)、样本量为 \(n=\Theta(d)\) 的高维比例极限下两层神经网络对尺度无关层次多指标模型的学习。核心 idea：证明层次多指标模型的子空间恢复存在明确的信息论贝叶斯下界，且该最优率可由一个完全目标无关的二阶谱估计器（对应损失 Hessian 的小学习率梯度下降极限）严格饱和，各级特征沿能量衰减级联发生相变涌现，进而由两层网络实现端到端统计最优的超额风险缩放。
方法详解¶
整体框架¶
本文考虑监督回归设定，训练数据 \(\mathcal{D}=\{(\boldsymbol{x}_i,y_i)\}_{i=1}^n\) 独立同分布采样自层次多指标模型 \(y_i=f_\star(\boldsymbol{x}_i)+\sqrt{\Delta}\xi_i\)，其中协变量 \(\boldsymbol{x}_i \sim \mathcal{N}(0,\frac{1}{d}\boldsymbol{I}_d)\)。目标函数由 \(m_\star\) 个正交方向 \(\boldsymbol{W}_\star = (\boldsymbol{w}_k^\star)_{k=1}^{m_\star}\)（满足 \(\|\boldsymbol{w}_k^\star\|^2=d\)）的偶链接函数 \(g_k\) 层次加权组合而成：\(f_\star(\boldsymbol{x})=\sum_{k=1}^{m_\star} a_k^\star g_k(\langle \boldsymbol{w}_k^\star, \boldsymbol{x}\rangle)\)。权重满足幂律衰减 \(a_k^\star = \Theta(k^{-\gamma})\)，由此引入表征的拟稀疏性（Quasi-sparsity）。整体学习流程由表征子空间发现与读出层训练两阶段串联而成。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入数据样本<br/>高维协变量与层次多指标标签"] --> B["阶段一：目标无关谱估计器<br/>构造加权外积矩阵识别孤立尖峰"]
B --> C["阶段二：序贯特征子空间恢复<br/>提取 top-r 特征向量并级联相变"]
C --> D["阶段三：两层网络读出层岭回归<br/>随机投影特征与凸优化求解"]
D --> E["输出泛化预测<br/>达到信息论最优 Scaling Laws"]关键设计¶
1. 贝叶斯最优特征恢复界：刻画层次子空间恢复的信息论极限 为了衡量网络对低维潜在特征子空间的识别精度，针对单个特征方向定义矩阵均方误差 \(\mathrm{mse}_k(\boldsymbol{w}):=\frac{1}{d^2}\mathbb{E}[\|\boldsymbol{w}\boldsymbol{w}^\top - \boldsymbol{w}_k^\star\boldsymbol{w}_k^{\star\top}\|_F^2]\)，并按信号能量加权定义整体子空间误差 \(\mathrm{MSE}_\gamma(\boldsymbol{W}):=\sum_{k=1}^{m_\star}(a_k^\star)^2 \mathrm{mse}_k(\boldsymbol{w}_k)\)。针对现有工作缺乏绝对基准的痛点，本文通过引入已知其余 \(m_\star-1\) 个真实权重的 Oracle 估计器，将其转化为单指标模型的自由熵泛函极值问题，求出后验均值估计下的最小加权均方误差 \(\mathrm{MMSE}_\gamma\)。结果表明，当 \(\gamma>1/2\) 时，弱可恢复相变阈值与样本复杂度存在清晰交叉，直接导出了特征恢复的最佳收敛速率：
2. 目标无关谱估计器与特征序贯涌现：以无偏二阶统计量饱和理论界 在实际学习中，网络无法预先知晓具体的链接函数 \(g_k\) 与衰减指数 \(\gamma\)。本文构造了完全目标无关的数据预处理谱矩阵 \(\boldsymbol{T} = \sum_{i=1}^n \mathcal{T}(y_i) \boldsymbol{x}_i \boldsymbol{x}_i^\top\)，其中 \(\mathcal{T}(y)\) 仅要求有界且不恒为零（例如取 \(\mathcal{T}(y)=y/(1+|y|)\)）。在高维比例极限 \(n,d\to\infty, n=\Theta(d)\) 下，矩阵 \(\boldsymbol{T}\) 的连续谱密度形成 Bulk，而可学特征对应孤立尖峰（Spikes）。利用尖峰间距大于临界间隙 \(C/\sqrt{d}\) 的准则自适应截断选取 \(r\) 个主特征向量 \(\hat{\boldsymbol{W}}^{\mathrm{sp}}\)。理论严格证明该谱估计器达到的恢复误差满足 \(\mathrm{MSE}_\gamma(\hat{\boldsymbol{W}})=\Theta_{\alpha,m_\star}(\mathrm{MMSE}_\gamma)\)。更重要的是，第 \(k\) 个方向的弱可恢复临界样本复杂度满足：
随着样本量 \(\alpha=n/d\) 的增长，新特征方向一个接一个从 Bulk 中脱离，诱导出一系列级联相变与误差平台，首次为语言模型等复杂网络中观察到的“概念序贯学习与突变涌现”提供了严格的谱机制解释。
3. 梯度下降等价性与两层网络端到端可学性：消除读出层统计瓶颈 上述谱估计方法不仅是一种代数技巧，本文揭示其与对两层网络第一层权重进行梯度下降（GD）的早期动力学完全等价：在经过正则化修正的损失函数下，第一层权重的经验 Hessian 矩阵在小学习率极限下恰好退化为动力学幂迭代 \((\boldsymbol{I}_d - a_k \sigma''(0)\boldsymbol{T})\boldsymbol{w}_k^t\)。在获得谱估计特征 \(\hat{\boldsymbol{W}}^{\mathrm{sp}}\in\mathbb{R}^{r\times d}\) 后，两层网络通过随机高斯矩阵 \(\boldsymbol{Z}\in\mathbb{R}^{p\times r}\) 将第一层权重初始化为 \(\boldsymbol{W}=\boldsymbol{Z}\hat{\boldsymbol{W}}^{\mathrm{sp}}\)，随后在独立子集 \(\mathcal{D}_2\) 上对第二层读出权重 \(\boldsymbol{a}\in\mathbb{R}^p\) 进行岭回归训练。本文证明，只要隐藏层宽度 \(p=\omega(n^{1/2})\) 且正则化参数 \(\lambda=\Theta(n^{-1/2})\)，随机特征岭回归的拟合误差即衰减为 \(O(n^{-1/2})\)，完全不构成统计瓶颈，网络的超额泛化风险满足：
端到端地实现了与贝叶斯最优特征子空间恢复一致的泛化 Scaling Laws。
损失函数 / 训练策略¶
端到端训练遵循数据切分与两阶段解耦策略（算法 1）： 1. 数据切分：将规模为 \(2n\) 的数据集均匀划分为 \(\mathcal{D}_1\) 与 \(\mathcal{D}_2\)，分别用于表征学习与读出层训练，防止估计偏差耦合； 2. 第一层表征初始化：利用 \(\mathcal{D}_1\) 构建矩阵 \(\boldsymbol{T}=\sum_{i=1}^n \mathcal{T}(y_i)\boldsymbol{x}_i\boldsymbol{x}_i^\top\)，求解前 \(r\) 个孤立特征向量得到 \(\hat{\boldsymbol{W}}^{\mathrm{sp}}\)，再经由 \(\boldsymbol{Z} \sim \mathcal{N}(0, r^{-1}\boldsymbol{I})\) 投影为第一层权重 \(\boldsymbol{W}=\boldsymbol{Z}\hat{\boldsymbol{W}}^{\mathrm{sp}}\)； 3. 读出层岭回归求解：固定第一层权重，在 \(\mathcal{D}_2\) 上计算隐藏层特征矩阵 \(\Psi_{ij}=\sigma(\langle \boldsymbol{w}_j, \boldsymbol{x}_i^{(2)}\rangle + b_j)\)，第二层权重通过闭式岭回归显式求出：\(\boldsymbol{a} = (\Psi^\top \Psi + n\lambda \boldsymbol{I}_p)^{-1}\Psi^\top \boldsymbol{y}^{(2)}\)。
实验关键数据¶
主实验¶
论文对维度 \(d=1000\)、特征子空间维度 \(m_\star=10\)、衰减系数 \(\gamma=1.3\) 的层次多指标模型进行了广泛数值模拟（图 1 与图 2），对比了理论推导的 Scaling 渐近率与实际估计器误差。
| 评估阶段 / 体制 | 样本复杂度区间 \(\alpha=n/d\) | 理论收敛速率 | 谱估计器实测行为 (70次平均) | 与经典界对比 |
|---|---|---|---|---|
| 数据受限区（Data-scarce） | \(\alpha \ll m_\star^{2\gamma} \approx 400\) | \(\Theta(\alpha^{-1+\frac{1}{2\gamma}}) = \Theta(\alpha^{-0.615})\) | 严格沿斜率 \(-0.615\) 幂律下降 | 优于线性内核界，达 LASSO 拟稀疏极小极大界 |
| 模型受限区（Model-limited） | \(\alpha \gg m_\star^{2\gamma} \approx 400\) | \(\Theta(m_\star / \alpha) = \Theta(\alpha^{-1.0})\) | 跨越 Crossover 后转为斜率 \(-1.0\) | 饱和有限子空间全恢复的参数率 \(\mathcal{O}(1/\alpha)\) |
| 特征序贯相变（Spike 涌现） | \(\alpha \in \{5, 164, 611, 1638\}\) | \(\alpha_k \propto k^{2\gamma}\) 离散脱离 Bulk | 孤立特征值依次分离：1个 \(\to\) 4个 \(\to\) 8个 \(\to\) 10个 | 精确复现深度模型特征学习阶梯状平台 |
消融实验¶
针对链接函数形式 \(g_k(z)\) 以及预处理函数 \(\mathcal{T}(y)\) 的普适性消融分析：
| 链接函数 / 预处理配置 | 谱 Spikes 结构与重构精度 | 泛化超额风险渐近行为 | 理论相符性说明 |
|---|---|---|---|
| \(g_k(z)=\mathrm{He}_2(z)\) 纯二次项 | 孤立尖峰完全脱离 Bulk，间距稳定 | \(R_{\mathrm{NN}} = \Theta(\alpha^{-0.615})\) | 与统计物理启发式二次网络完全一致 |
| \(g_k(z)=\frac{1}{2}\mathrm{He}_2(z) + \frac{1}{48}\mathrm{He}_4(z)\) | 高阶埃尔米特多项式下孤立尖峰依然干净脱离 | \(R_{\mathrm{NN}} = \Theta(\alpha^{-0.615})\) | 证实指数为 2 的偶函数普适性（Assumption 2.3） |
| \(\mathcal{T}(y)=y/(1+\|y\|)\)（有界平滑） | 噪声 Bulk 被严格压缩，尖峰识别率 100% | 误差曲线无缝达到最优前常数 | 验证无需知道真实 \(g\) 的目标无关性 |
| 无表征学习对照（NTK/固定随机特征） | 无法提取低维正交子空间，特征散落在 Bulk | 误差衰减速率严重受限在 \(\mathcal{O}(\alpha^{-1/2})\) 以下 | 证实必须经历非线性表征发现相变 |
关键发现¶
- 在 \(\alpha \approx m_\star^{2\gamma}\) 附近存在极其清晰的交叉（Cross-over）点，清晰地将表征学习划分为“新特征不断被挖掘的数据受限区”与“全部特征均已检出后的参数精修区”；
- 误差衰减呈现“下降-平缓平台-突降”的阶梯状轨迹，每一级台阶的跌落都严格对应一个新特征方向跨过临界阈值 \(\alpha_k^{\mathrm{sp}} \propto k^{2\gamma}\) 并从谱密度 Bulk 中脱离出来；
- 理论渐近率与有限样本数值实验（\(d=1000\)）在常数级别高度吻合，且对非线性链接函数中的高阶扰动完全鲁棒。
亮点与洞察¶
- 普适性闭环：突破了过去理论仅适用于纯二次激活或线性核的严苛限制，证明只要偶链接函数的生成指数为 2，其最优 Scaling Exponent 严格普适，且与压缩感知中 LASSO 的拟稀疏恢复极小极大界完全同构。
- 目标无关算法的统计最优性：设计的谱估计器完全不依赖未知链接函数 \(g_k\) 的形式或特征衰减率 \(\gamma\)，通过简单的特征值间隔截断即可同时达到信息论极限，具备极高工程启发性。
- 特征涌现与平台的微观物理图像：将经验观察到的“大模型突现能力与学习平台”解构为高维随机矩阵谱中 Spikes 逐次脱离 Bulk 的相变过程，赋予了直观明晰的数学图像。
局限与展望¶
- 数据分布假设简化：当前严格证明建立在各向同性高斯输入 \(\boldsymbol{x} \sim \mathcal{N}(0, \frac{1}{d}\boldsymbol{I}_d)\) 基础之上，未覆盖真实多模态或文本数据中复杂的协变量相关结构。
- 一趟 SGD 动态的理论闭环尚未完成：文章虽然证明了小学习率批梯度下降的 Hessian 与谱估计器等价，但实际训练中常采用的小批量一趟（One-pass）SGD 在无显式谱初始化的条件下能否自发收敛至该贝叶斯最优 Scaling 界仍是开放问题。
- 链接函数奇偶性限制：目前理论要求偶链接函数以排除平庸的线性相关恢复，更一般的非对称链接函数需要更高阶的谱张量或多阶段投影分析。
相关工作与启发¶
- vs. Ben Arous et al. (2025) / Ren et al. (2025)：后者研究了一趟 SGD 在二次网络或层次模型上的动态，但无法给出信息论最优界的判定；本文从全批 ERM 与信息论下界出发，给出了绝对基准，并证明两阶段谱学习能够直接饱和该理论下界。
- vs. Defilippis et al. (2025b)：后者利用复刻对称方法推导了纯二次目标的 Scaling 指数；本文通过严格的 AMP 与大偏差分析将其推广至一般的尺度无关层次多指标模型，确立了普适性。
- vs. 神经缩放法则的 Lazy / 核机制理论：线性模型理论中的幂律通常由协变量协方差矩阵的特征值衰减引起，而本文的缩放幂律完全由任务内在的层次结构与非线性表征学习诱导。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次给出层次多指标模型下表征学习与预测误差的严格贝叶斯最优 Scaling Laws。
- 实验充分度: ⭐⭐⭐⭐☆ 高维数值模拟与随机矩阵谱分析详实，但受理论验证定位所限未包含超大规模真实网络微调。
- 写作质量: ⭐⭐⭐⭐⭐ 数学推导严密流畅，从直觉动机、理论主定理到证明框架层次极其清晰。
- 价值: ⭐⭐⭐⭐⭐ 为深入理解大模型特征学习、概念序贯涌现与缩放法则本质机理提供了坚实的第一性原理理论基石。