Mildly Overparameterized ReLU Networks on Orthogonal Data: Incremental Learning Dynamics and Edge of Stability¶

会议: NeurIPS 2026
arXiv: 2605.27097
论文: arXiv:2605.27097
领域: 优化/理论
关键词: 隐式偏差, 增量学习, 鞍点动力学, 过参数化ReLU网络, 正交数据

一句话总结¶

本文证明了在正交数据回归任务中，微过参数化双层ReLU网络在小初始化极限下的梯度流动力学收敛为离散鞍点跳转过程，不仅首次在非线性激活网络中严格刻画了神经元逐个激活的增量学习机制，还证明了所获插值解的参数平方 $\ell_2$ 范数按 $\mathcal{O}(\sqrt{n})$ 缩放，达到最小范数插值解的常数倍界。

研究背景与动机¶

深度学习在实际任务中高度依赖一阶梯度优化方法，然而理论界对其特征学习动力学与隐式偏差的刻画仍严重滞后，特别是在更具实际意义的“微过参数化”（mild overparameterization）与“小初始化回归”（regression under small initialization）场景下。神经正切核（NTK）理论虽然为大宽度网络的全局收敛性提供了开创性工具，但其依赖大尺度初始化，导致特征在训练过程中近乎静止，属于与实际相背离的“懒惰训练”范式；而在小初始化诱导的“丰富特征学习”机制下，损失曲面呈现极高非凸性，现有针对增量学习（incremental learning）或鞍点跃迁动力学的理论分析，严格意义上几乎全部局限于线性网络（如对角线性网络或矩阵感知问题），无法推广到带非线性激活函数（如ReLU）的真实网络结构。

在带结构的数据假设中，正交输入数据构成了一个兼具解析可操作性与本质几何特性的典型分析台。以往针对双层ReLU网络在正交数据上的研究陷入了两难困境：要么需要指数级过参数化（神经元数量 $m \gtrsim 2^n$，其中 $n$ 为样本数）才能证明收敛到严格的最小 $\ell_2$ 范数插值器；要么虽然证明了仅需对数级微过参数化（$m \gtrsim \log n$）即可几乎必然收敛到全局零损失解，却完全无法刻画最终收敛解的隐式偏差及其参数范数复杂度，留下了关于微过参数化下网络究竟倾向于学习何种复杂度解的关键理论空白。

本文切入这一理论空白的角度在于：将时间尺度按 $\log(1/\alpha)$ 进行精确重标度（其中 $\alpha \to 0$ 为初始化尺度），深入追踪未拟合神经元在球面上由对齐梯度主导的瞬时切向对齐演化，以及由此积累并继承记忆的径向范数对数指数变化。本文的核心 idea 是：将微过参数化双层 ReLU 网络的训练轨迹严格解构为由未拟合数据残差驱动的离散鞍点跃迁过程，揭示神经元单步逐个激活的非线性增量学习动力学，并据此给出收敛解参数范数与最优插值器在同一量级 $\mathcal{O}(\sqrt{n})$ 的确定性常数倍隐式偏差上界。

方法详解¶

整体框架¶

本文考虑输入维度为 $d$、神经元数量为 $m$ 的双层 ReLU 网络回归模型 $h_\theta(x) = \sum_{j=1}^m a_j \sigma(w_j^\top x)$，拟合满足成对正交归一化条件 $x_i^\top x_{i'} = \mathbb{I}(i=i')$ 的样本集 $(x_i, y_i)_{i=1}^n$。权重初始化采用对称平衡的小尺度形式 $a_j(0) = \alpha s_j, w_j(0) = \alpha u_j$，其中 $s_j \in \{\pm 1\}$ 均匀独立采样，$u_j \in \mathbb{S}^{d-1}$ 在单位球面上均匀采样。在梯度流动力学作用下，网络层间平衡性保持不变，输出符号恒定，正负样本与神经元天然解耦。随着初始化尺度 $\alpha \to 0$，常规时间下逃离原点与鞍点的时间无限拉长；通过将时间加速为 $\tilde{t} = \log(1/\alpha) t$，连续梯度流退化为在鞍点之间离散跳转的确定性跳跃过程（Jump Process）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["正交数据与平衡小初始化<br/>输入满足成对正交，初始化尺度为 α"] --> B["时间重标度与切径向分离<br/>加速时间 log(1/α)t，分离单位方向与范数指数"]
    B --> C["瞬时切向对齐与动态驱动向量<br/>未拟合神经元极速对齐至残差方向 D_j"]
    C --> D["范数指数量级竞赛与记忆累积<br/>各神经元沿分段线性增长率竞逐到达零点"]
    D --> E["单神经元非线性激活跳跃<br/>胜出神经元瞬间增大并精确拟合对应残差样本"]
    E -->|未拟合样本集合非空| C
    E -->|所有训练样本拟合完毕| F["达到全局插值解与隐式偏差定界<br/>总范数平方不超过最优插值器常数倍"]

关键设计¶

1. 时间重标度与切径向分离：解决鞍点附近动力学无穷减速的极限解析痛点

由于在小初始化参数 $\alpha \to 0$ 极限下，神经元处于零点和鞍点附近的梯度极其微弱，常规时间下的动力学逃逸时间会趋于发散。为了捕捉非平庸的渐近轨迹，本文引入时间重标度变换 $\widetilde{\theta}(t) = \theta(\log(1/\alpha) t)$，并在该加速时间下将每个神经元内层权重严格正交分解为单位球面切向方向 $\widetilde{\overline{w}}_j = \widetilde{w}_j / \|\widetilde{w}_j\|_2$ 与径向范数指数 $\widetilde{\ell}_j$（满足 $\widetilde{w}_j = \alpha^{\widetilde{\ell}_j} \widetilde{\overline{w}}_j$）。切向变量追踪神经元在超球面上由数据相关性驱动的角度演化，而径向变量 $\widetilde{\ell}_j$ 从 $-1$ 开始单调上升；只有当某个神经元的 $\widetilde{\ell}_j \to 0$ 时，其真实参数范数 $\alpha^{\widetilde{\ell}_j}$ 才能脱离无穷小量级并在极限意义下成为非零神经元。这种变量重构将复杂的非凸非光滑连续梯度流精准投影到了几何演化与指数增长的清晰正交维度上。

2. 瞬时切向对齐与动态驱动向量：确定未激活神经元在损失曲面上的最优逃逸方向

在任意第 $k$ 个鞍点驻留阶段，由于时间因子 $\log(1/\alpha)$ 的放大效应，未拟合神经元在单位球面上的切向旋转相对径向增长以无穷大速度完成。对于任意尚未拟合的神经元 $j \in N_U^{(k)}$，其切向导数遵循约束在球面上的梯度上升/下降流，瞬时收敛并锁定在由当前未拟合样本残差构成的驱动向量方向 $\overline{D}_j^{(k)} = D_j^{(k)} / \|D_j^{(k)}\|_2$。该驱动向量由下式精确给定： $$ D_j^{(k)} = \frac{1}{n} \sum_{i \in S_U^{(k)} \cap S_j} y_i x_i, $$ 其中 $S_U^{(k)}$ 为当前尚未被任何神经元拟合的样本指标集合，$S_j = \{i \in [n] \mid w_j(0)^\top x_i > 0 \text{ 且 } \mathrm{sgn}(y_i) = \mathrm{sgn}(a_j(0))\}$ 为神经元 $j$ 在初始正激活锥内的样本子集。该设计不仅将非线性 ReLU 的半空间激活模式冻结为稳定的组合掩码，还保证了在整个当前鞍点期间，该神经元的增长速率完全由固定标量 $\|D_j^{(k)}\|_2$ 唯一决定。

3. 范数指数量级竞赛与记忆累积：决定鞍点跃迁时刻与获胜神经元

传统两层网络分析往往忽视了神经元在未激活时其范数梯度的跨鞍点历史累积效应。本文指出，每个未拟合神经元的范数指数 $\ell_j^\circ(t)$ 在相邻跃迁区间 $[t_k, t_{k+1}]$ 内呈现分段线性增长，其斜率严格等于当前驱动向量模长 $\|D_j^{(k)}\|_2$，并忠实保留了前 $k-1$ 个鞍点期间累积的记忆。跃迁的发生是由所有未拟合神经元发起的“首个到达零点”的竞速机制决定的。第 $k$ 轮胜出的神经元 $j_\star^{(k)}$ 及其跃迁时刻 $t_{k+1}$ 严格满足： $$ j_\star^{(k)} = \operatorname{argmax}{j \in N_U^{(k)}} \frac{\ell_j^\circ(t_k)}{|D_j^{(k)}|2}, \qquad t = t_k - \frac{\ell|}}^\circ(t_k)}{|D_{j_\star^{(k)}}^{(k)2}. $$ 在 $t_{k+1}$ 瞬间，获胜神经元 $j_\star^{(k)}$ 的范数瞬间增长至 $\mathcal{O}(1)$ 宏观尺度，直接跳变至拟合该神经元所覆盖全部未拟合样本的最优参数值： $$ w|}}^\circ(t_{k+1}) = s_j \frac{n D_{j_\star^{(k)}}^{(k)}}{\sqrt{|n D_{j_\star^{(k)}}^{(k)2}}, \qquad a. $$ 此时，该神经元所激活的样本残差瞬间清零并被从 }}^\circ(t_{k+1}) = s_j \sqrt{|n D_{j_\star^{(k)}}^{(k)}|_2$S_U$ 中移除；由于正交性，已拟合神经元所受梯度驱动永久归零并锁定在终态，其余未激活神经元则基于削减后的样本残差重新计算新的方向 $D_j^{(k+1)}$ 与新增长率，平滑步入下一个鞍点，从而呈现出精细的“阶梯式”增量学习动态。

损失函数 / 训练策略¶

训练目标为均方误差损失 $\mathcal{L}(\theta) = \frac{1}{2n}\sum_{i=1}^n (h_\theta(x_i) - y_i)^2$，采用全批量（full-batch）梯度流连续优化。为克服 ReLU 在零点处的非平滑性，理论推导严格基于 Clarke 广义次微分（Clarke subdifferential），并在实现与理论证明中遵循实际深度学习框架（如 PyTorch）的约定，将零点处次导数固定为 $0$（即采用指示函数 $\mathbb{I}(z>0)$）。优化过程在超参数上仅受初始化尺度 $\alpha$ 控制，通过令 $\alpha \to 0$ 诱导特征学习强富态（rich regime）。

实验关键数据¶

主实验¶

为了验证理论推导所得极限跳跃过程与实际小初始化梯度下降轨迹的一致性，作者在 $d=64$ 维空间中构建 $n=64$ 个正交样本，使用 $m=6$ 个神经元的双层 ReLU 网络进行全批量梯度下降拟合（初始化尺度 $\alpha = e^{-500}$，学习率 $\eta = 0.01$）。实验对比了真实训练轨迹的损失突降与神经元激活时间，与算法1纯符号预计算（无需训练）所得跳转时间 $t_k$ 的对应关系。同时，在不同样本规模 $n$ 下（宽度随 $n$ 对数增长），对比了网络收敛后的参数平方 $\ell_2$ 范数与理论最优插值器 $\theta_{\mathrm{opt}}$ 的范数缩放特性。

数据规模与网络配置	测试指标 / 物理量	本文实际梯度流解 ($\theta_{\mathrm{pred}}$)	最优插值解 ($\theta_{\mathrm{opt}}$)	相对比例 / 拟合一致性
$n=64, m=6$ (正交数据)	跃迁时间预测误差 (对齐算法1)	0.00% (时间线精确重合)	N/A (仅基线)	完美重现阶梯式平台期
$n=16, m \approx 25$	参数平方范数 $\frac{1}{2}\\|\theta\\|_2^2$	$13.2 \pm 0.4$	$7.8 \pm 0.3$	约 1.69 倍最优界
$n=64, m \approx 31$	参数平方范数 $\frac{1}{2}\\|\theta\\|_2^2$	$26.8 \pm 0.8$	$15.7 \pm 0.5$	约 1.71 倍最优界
$n=256, m \approx 36$	参数平方范数 $\frac{1}{2}\\|\theta\\|_2^2$	$53.5 \pm 1.2$	$31.2 \pm 0.7$	约 1.71 倍最优界
$n=1024, m \approx 42$	参数平方范数 $\frac{1}{2}\\|\theta\\|_2^2$	$107.1 \pm 2.1$	$62.5 \pm 1.1$	约 1.71 倍最优界
整体范数渐近标度	$\log(\frac{1}{2}\\|\theta\\|_2^2) / \log n$ 斜率	$\approx 0.50$ ($\propto \sqrt{n}$)	$\approx 0.50$ ($\propto \sqrt{n}$)	严格维持 $\mathcal{O}(\sqrt{n})$ 标度

消融实验¶

作者进一步考察了初始化机制（平衡小初始化 vs 均匀 He 初始化）对隐式偏差的影响，以及在不同过参数化程度（神经元宽度 $m$ 从微过参数化扩展至深层过参数化）下最终插值解参数范数的变化趋势（在 $n=32$ 正交样本上评估）。

权重初始化方案	网络宽度 $m$ 范围	收敛参数平方范数 $\frac{1}{2}\\|\theta\\|_2^2$ 变化趋势	与最优插值器范数对比	说明与行为机制
平衡小初始化 ($\alpha = \frac{10^{-30}}{\sqrt{m}}$)	$m=10$ (微过参数化)	约 18.5	理论最优值的 1.72 倍	增量鞍点动力学主导，范数受控在常数倍最优界
平衡小初始化 ($\alpha = \frac{10^{-30}}{\sqrt{m}}$)	$m=100$ (中度过参数化)	约 14.2	理论最优值的 1.32 倍	宽度增大提供更多方向，逐步趋近最小范数解
平衡小初始化 ($\alpha = \frac{10^{-30}}{\sqrt{m}}$)	$m=1000$ (重度过参数化)	约 11.1	接近理论最优解 ($10.8$)	贴合 Boursier 等人关于 $m \to \infty$ 的最小范数结论
均匀 He 初始化 (PyTorch 默认)	$m=10$	约 38.6	远超理论最优值	处于惰性/核机制过渡带，缺乏稀疏选择偏置
均匀 He 初始化 (PyTorch 默认)	$m=100$	约 112.4	随宽度单调爆炸增长	权重范数随宽度恶化，不具备优良隐式正则化特征
均匀 He 初始化 (PyTorch 默认)	$m=1000$	约 345.0	极度偏离最小范数解	缺乏小初始化下特征学习所赋予的模型简洁性偏好

关键发现¶

跳跃预测极度精准：由算法1离散计算出的跳跃时刻 $t_k$ 与真实全批量梯度流在时间坐标轴上的突降位置严格重合，真实损失曲线上长期停滞的水平平原与瞬时垂直下坠被鞍点跳转理论完全解释。
范数增长常数倍最优：在双对数坐标系下，微过参数化网络学得的插值解平方 $\ell_2$ 范数与最优插值器均呈现斜率精确为 $0.5$ 的直线，表明即使在极窄网络 $m \gtrsim \log n$ 下，隐式偏差也能保证参数复杂度严格受限于 $\mathcal{O}(\sqrt{n})$。
过参数化带来更简单解：随着神经元数量 $m$ 增加，小初始化网络最终解的参数范数呈现单调递减并逐渐逼近全局最小范数插值器；相反，默认 He 初始化下的网络范数随宽度持续增大，彰显了小初始化对双重下降现象（double descent）与简洁性偏置（simplicity bias）的决定性意义。

亮点与洞察¶

非线性增量学习首个闭环证明：打破了过去增量学习理论仅停留在对角线性网络或矩阵分解等简单凸模型的局限，在含非平滑 ReLU 激活的非凸两层网络上首次完成了从鞍点逃逸到跳跃收敛的严密测度论与分析闭环。
记忆累积机制的形式化：清晰揭示了未激活神经元在“休眠”期间并非静止，而是在参数空间中积累范数指数增长记忆（$\ell_j^\circ$），使多阶段连续学习的复杂依赖性能够通过简洁的贪心竞速公式刻画。
常数倍隐式偏差界限：在确定性证明了微过参数化网络几乎必然无法达到绝对最小范数的前提下，反常识地证明了其与理论最优界的差距仅为一个与样本规模无关的绝对常数（上界系数 5），为过参数化深度学习泛化能力提供了坚实的下界与上界保证。

局限与展望¶

数据正交性假设的约束：定理分析高度依赖样本间的完全正交性假设，尽管该设定是探究非凸动力学的黄金试验台，但尚未完全涵盖自然数据中普遍存在的相关性、流形聚集与共线性特征。
对数宽度下范数精细依赖尚未闭式表达：当前定理3中的范数上界尚未显式包含宽度 $m$ 对常数系数的递减规律，建立从 $m = \log n$ 到 $m = \exp(n)$ 的统一连续范数缩放公式仍待后续突破。
离散梯度下降步长分析的拓展空间：目前主要理论成果立足于连续时间梯度流（$\alpha \to 0$），在实际有限学习率与随机微批次（SGD）噪声扰动下，跳跃过程是否会演化为边缘稳定性（Edge of Stability）或混沌混沌跃迁，是极具价值的后续研究方向。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立非线性ReLU网络小初始化下的严格鞍点跳转理论，理论突破性极高。
实验充分度: ⭐⭐⭐⭐☆ 数值模拟高度精细，从对数指数增长到投影极图均与理论严格对照，但受限于正交假设。
写作质量: ⭐⭐⭐⭐⭐ 结构严密，数学符号系统与直观物理图像融合极佳，动力学阶段划分清晰。
价值: ⭐⭐⭐⭐⭐ 彻底澄清了微过参数化小初始化网络的特征学习机制与隐式偏差量级，理论奠基价值重大。

数据规模与网络配置	测试指标 / 物理量	本文实际梯度流解 (\(\theta_{\mathrm{pred}}\))	最优插值解 (\(\theta_{\mathrm{opt}}\))	相对比例 / 拟合一致性
\(n=64, m=6\) (正交数据)	跃迁时间预测误差 (对齐算法1)	0.00% (时间线精确重合)	N/A (仅基线)	完美重现阶梯式平台期
\(n=16, m \approx 25\)	参数平方范数 \(\frac{1}{2}\\|\theta\\|_2^2\)	\(13.2 \pm 0.4\)	\(7.8 \pm 0.3\)	约 1.69 倍最优界
\(n=64, m \approx 31\)	参数平方范数 \(\frac{1}{2}\\|\theta\\|_2^2\)	\(26.8 \pm 0.8\)	\(15.7 \pm 0.5\)	约 1.71 倍最优界
\(n=256, m \approx 36\)	参数平方范数 \(\frac{1}{2}\\|\theta\\|_2^2\)	\(53.5 \pm 1.2\)	\(31.2 \pm 0.7\)	约 1.71 倍最优界
\(n=1024, m \approx 42\)	参数平方范数 \(\frac{1}{2}\\|\theta\\|_2^2\)	\(107.1 \pm 2.1\)	\(62.5 \pm 1.1\)	约 1.71 倍最优界
整体范数渐近标度	\(\log(\frac{1}{2}\\|\theta\\|_2^2) / \log n\) 斜率	\(\approx 0.50\) (\(\propto \sqrt{n}\))	\(\approx 0.50\) (\(\propto \sqrt{n}\))	严格维持 \(\mathcal{O}(\sqrt{n})\) 标度

权重初始化方案	网络宽度 \(m\) 范围	收敛参数平方范数 \(\frac{1}{2}\\|\theta\\|_2^2\) 变化趋势	与最优插值器范数对比	说明与行为机制
平衡小初始化 (\(\alpha = \frac{10^{-30}}{\sqrt{m}}\))	\(m=10\) (微过参数化)	约 18.5	理论最优值的 1.72 倍	增量鞍点动力学主导，范数受控在常数倍最优界
平衡小初始化 (\(\alpha = \frac{10^{-30}}{\sqrt{m}}\))	\(m=100\) (中度过参数化)	约 14.2	理论最优值的 1.32 倍	宽度增大提供更多方向，逐步趋近最小范数解
平衡小初始化 (\(\alpha = \frac{10^{-30}}{\sqrt{m}}\))	\(m=1000\) (重度过参数化)	约 11.1	接近理论最优解 (\(10.8\))	贴合 Boursier 等人关于 \(m \to \infty\) 的最小范数结论
均匀 He 初始化 (PyTorch 默认)	\(m=10\)	约 38.6	远超理论最优值	处于惰性/核机制过渡带，缺乏稀疏选择偏置
均匀 He 初始化 (PyTorch 默认)	\(m=100\)	约 112.4	随宽度单调爆炸增长	权重范数随宽度恶化，不具备优良隐式正则化特征
均匀 He 初始化 (PyTorch 默认)	\(m=1000\)	约 345.0	极度偏离最小范数解	缺乏小初始化下特征学习所赋予的模型简洁性偏好