Emergence and Scaling Laws in SGD Learning of Shallow Neural Networks¶

会议: NeurIPS 2025
arXiv: 2504.19983
代码: 无
领域: 优化理论 / 神经网络学习理论
关键词: scaling laws, emergence, SGD, shallow neural networks, multi-index model

一句话总结¶

本文对浅层神经网络在线 SGD 学习加法模型（多个单指标函数叠加）的过程进行了精确分析，证明了每个教师神经元的学习呈现尖锐相变（emergence），而大量相变曲线的叠加自然产生平滑的幂律 scaling law。

研究背景与动机¶

领域现状：近年来关于梯度训练浅层网络学习低维目标函数的理论工作大量涌现，尤其是单指标模型和多指标模型的 SGD 学习复杂度分析。同时，经验上大规模模型训练展示出可预测的幂律 scaling law（损失随计算量/数据量平滑下降）。

现有痛点：(a) SGD 学习单个技能/方向时呈现"搜索 → 突然下降"的涌现（emergence）行为，与平滑 scaling law 似乎矛盾；(b) 已有多指标模型分析大多局限于窄宽度 \(P = O(1)\) 或相同信号强度，无法产生足够的时间尺度分离来解释幂律衰减；(c) 已有工作（如 OSSW24）分析分层训练（先优化方向再优化权重），需要 \(m \gtrsim P^{\Omega(1/a_{\min})}\) 的学生宽度，计算上不可行。

核心矛盾：emergence（离散跳变）和 scaling law（平滑幂律）看似冲突，能否在统一框架中解释？关键在于需要分析"大量神经元、大条件数、单阶段训练"的困难设定。

切入角度：将目标函数建模为 \(f_*(x) = \sum_{p=1}^P a_p \sigma(\langle x, v_p^* \rangle)\)，其中 \(a_p \asymp p^{-\beta}\) 服从幂律衰减。利用 2-齐次参数化的"自动消去"机制，证明不同方向的学习可以近似解耦。

核心 idea：单阶段 SGD 训练中，每个教师方向在特定时刻 \(T_p \propto a_p^{-1}\) 发生尖锐相变（emergent transtion），\(P \gg 1\) 个涌现曲线在不同时间尺度上叠加，自然产生 \(\mathcal{L}(t) \sim t^{(1-2\beta)/\beta}\) 的幂律 scaling law。

方法详解¶

整体框架¶

教师模型：\(f_*(x) = \sum_{p=1}^P a_p \sigma(v_p^* \cdot x)\)，\(x \sim \mathcal{N}(0, I_d)\)，\(\{v_p^*\}\) 正交，\(\sigma\) 为偶函数且信息指数 \(k_* > 2\)
学生模型：\(f(x) = \sum_{k=1}^m \|v_k\|^2 \sigma(\bar{v}_k \cdot x)\)，采用 2-齐次参数化（二层权重 = 一层范数的平方）
训练算法：在线 SGD，每步用一个新鲜样本，同时更新两层参数
目标：证明 SGD 的样本复杂度为多项式级别，并精确刻画每个教师神经元的恢复时间

关键设计¶

2-齐次参数化与自动消去机制
- 功能：将学生网络的二层权重设为 \(\|v_k\|^2\)，使得方向恢复和范数增长耦合
- 核心思路：当 \(\bar{v}_p\) 收敛到 \(v_{\pi(p)}^*\) 后，\(\|v_p\|^2\) 自动增长到 \(a_{\pi(p)}\)，此时该教师方向的信号从损失中被"消去"，相当于自动进行了 deflation
- 设计动机：避免分层训练的缺陷——分层训练用相关损失优化方向时，条件数 \(\kappa = a_{\max}/a_{\min}\) 的影响是指数级的；而单阶段 MSE 训练通过自动消去避免了这个问题
贪心最大选择（Greedy Maximum Selection）
- 功能：建立学生神经元到教师神经元的映射 \(\pi\)，确定学习顺序
- 核心思路：按 \(a_{\pi(p)} \cdot \bar{v}_{p,\pi(p)}^{2I-2}(0)\) 的大小排序，信号强度大且初始重叠大的方向先被学习
- 关键性质：通过行间距（row gap）、列间距（column gap）和阈值间距（threshold gap）三个条件，保证无关坐标始终保持小值
近似解耦动力学
- 功能：证明不同教师方向的学习过程可以近似独立分析
- 核心思路：相关坐标 \(\bar{v}_{p,\pi(p)}^2\) 的演化近似为 ODE \(\frac{d}{dt} \bar{v}^2 \approx 8a_{\pi(p)} \bar{v}^4\)，解为 \(\bar{v}^2(t) = (1/\bar{v}^2(0) - 8a t)^{-1}\)，在 \(T_p \simeq (8 a_{\pi(p)} \bar{v}_{p,\pi(p)}^2(0))^{-1}\) 时发生尖锐相变
- 无关坐标控制：利用信息指数 \(k_* > 2\)（即 \(2I > 2\)），无关坐标 \(\bar{v}_{p,\pi(q)}\) 的增长速度慢于相关坐标，在整个训练过程中保持 \(O(d^{-0.9})\) 级别
从梯度流到在线 SGD 的离散化
- 功能：将连续时间梯度流分析转化为离散 SGD 的严格证明
- 核心思路：使用 martingale-plus-drift 论证，通过 Doob 不等式控制随机项。选择学习率 \(\eta \propto a_{\min} \Delta^2 d^{-I}\)，使得 SGD 逃逸时间与梯度流的偏差在 \((1 \pm \Delta)\) 因子内
- 不稳定离散化技巧：如果只关心恢复前 \(P_*\) 个方向，学习率可以选为 \(\eta \propto a_{P_*}\)（而非 \(a_{\min}\)），得到更优的计算-样本 scaling

损失函数 / 训练策略¶

MSE 损失：\(\ell(x) = \frac{1}{2}(f_*(x) - f(x))^2\)
利用 Hermite 展开，群体 MSE 可表示为张量分解损失的形式
在线 SGD 每步用独立新鲜样本，学习率 \(\eta\) 需满足精确的条件以保证收敛

实验关键数据¶

主实验（理论预测 vs 实验验证）¶

设定	理论预测 scaling	实验观测	说明
固定学习率, \(\beta=0.8\)	\(\mathcal{L} \sim (mt)^{(1-2\beta)/(1+\beta)} = (mt)^{-1/3}\)	斜率约 \(-1/3\)	计算最优前沿匹配
样本 scaling	\(\mathcal{L} \sim n^{(1-2\beta)/\beta}\)	一致	匹配 minimax 最优率
宽度 scaling	近似误差 \(\sim m^{1-2\beta}\)	一致	学生宽度 \(m\) 决定能学到多少方向

消融实验（理论参数敏感性）¶

参数	影响	说明
信息指数 \(k_*\)	样本复杂度 \(\propto d^{k_*-1}\)	\(k_*\) 越大需要越多样本进入搜索阶段
幂律指数 \(\beta\)	scaling 斜率 = \((2\beta-1)/\beta\)	\(\beta > 1/2\) 时损失平方可和，scaling law 成立
条件数 \(\kappa\)	本文：poly 依赖 vs 之前：exp 依赖	核心改进点
学生宽度 \(m\)	\(m = \tilde{\Theta}(P_*)\) 即可	仅需对数过参数化

关键发现¶

单个学习曲线是阶梯形的（emergence），但 \(P \gg 1\) 个阶梯叠加后变成平滑幂律
\(d = 2048, P = 1024, \sigma = h_4\) 时，理论和实验的计算最优前沿斜率高度吻合
不稳定离散化方案（unstable discretization）给出了与高斯序列模型 minimax 最优率一致的样本 scaling 指数

亮点与洞察¶

Emergence → Scaling Law 的干净理论解释：之前关于 scaling law 的理论要么假设线性模型，要么假设解耦——本文首次在非线性特征学习设定下证明了这一联系
自动消去机制：2-齐次参数化使得已学到的方向自动从损失中移除，巧妙避免了分层训练中条件数的指数依赖
单阶段训练优于分层训练：与直觉相反，同时更新两层参数比先优化方向再优化权重更高效（样本复杂度从指数降为多项式）
不稳定离散化：选择"对弱信号方向过大"的学习率，放弃这些方向的精确跟踪，换取对强信号方向的更快收敛——思路可迁移到实际的自适应学习率设计

局限与展望¶

偶函数激活限制：假设 \(\sigma\) 为偶函数，排除了 ReLU 等常见激活（ReLU 的信息指数为 1，不满足 \(k_* > 2\)）
正交教师方向：要求 \(\{v_p^*\}\) 正交，实际模型中特征方向可能高度相关
理论-实践 gap：分析在 \(d \to \infty\) 渐近下成立，有限维时 scaling law 斜率可能偏离理论值
仅考虑在线 SGD：未分析 mini-batch SGD 或 Adam 等实际使用的优化器

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次在非线性特征学习设定下建立 emergence → scaling law 的理论
实验充分度: ⭐⭐⭐ 以理论为主，数值实验仅验证 scaling 斜率，无大规模实验
写作质量: ⭐⭐⭐⭐ 数学严谨，主文通过 proof sketch 很好地传达了核心思路
价值: ⭐⭐⭐⭐⭐ 为 scaling law 提供了新的理论理解视角，对理论社区有重要意义

补充说明¶

本文的理论分析框架和技术工具对相邻领域的研究也有启示价值
核心贡献在于理论层面的深入理解，为后续实践优化提供了基础
与同期发表的其他 NeurIPS 2025 论文在技术和方法论上有互补性
论文的写作对问题动机和技术路径的阐述值得学习
建议结合 paper 中的附录部分获取更完整的实验细节和证明