Mildly Overparameterized ReLU Networks on Orthogonal Data: Incremental Learning and Implicit Bias¶

会议: NeurIPS 2026
arXiv: 2605.27097
OpenReview: https://openreview.net/forum?id=ouh5P3tlCS
论文: https://arxiv.org/abs/2605.27097
领域: 优化与训练理论
关键词: 梯度流动力学, 鞍点跃迁过程, 增量学习, 隐式偏置, 两层ReLU网络

一句话总结¶

论文给出了正交数据与微弱超参数化（$m \gtrsim \log n$）下两层 ReLU 网络小初始化梯度流动力学的首个严格理论刻画，证明其在时间重标度下弱收敛为离散鞍点跃迁跳跃过程，并证明所达插值解的参数平方 $\ell_2$ 范数与最优插值解同阶（$\mathcal{O}(\sqrt{n})$）。

研究背景与动机¶

深度神经网络在实际训练中极度依赖一阶优化算法，然而揭示其在非凸损失曲面上的真实训练轨迹依然是深度学习理论的核心难题。神经正切核（NTK）理论虽然成功给出了大超参数化机制下的全局收敛性保证，但其本质基于大尺度初始化假设，使得网络隐藏层特征在优化过程中几乎保持冻结，陷入所谓的“懒惰训练”（lazy training）区域，无法解释实际深度学习中至关重要的特征学习（feature learning）能力。为了探究丰富的特征学习机理，理论研究逐步转向小尺度初始化（small initialization）下的富机制（rich regime），但该区域的梯度流高度非凸且非线性，以往的收敛性分析大多局限于线性激活函数、无限宽度平均场极限或无限样本分布。

在分类任务中，梯度流向最大间隔与稀疏解的收敛已被部分阐明；而在回归任务中，刻画小初始化下的隐式正则化（implicit bias）则必须掌握优化过程的完整连续动力学轨迹。针对正交输入数据这一经典解析基准，早期研究要么需要指数级超参数化神经元数目（$m \gtrsim 2^n$）才能证明收敛到最小范数解，要么仅在微弱超参数化（mildly overparameterized，$m \gtrsim \log n$）下给出了全局收敛性的定性结论，未曾给出优化轨迹的显式动力学形式及其最终插值器的范数上界。此外，经验观察中模型吸收数据呈现的“分阶段停滞与阶梯式骤降”现象（即鞍点到鞍点的跃迁），在非线性 ReLU 网络中此前从未获得数学上的严格闭环证明。

面对非线性 ReLU 激活不可微性、神经元跨阶段耦合记忆以及微弱宽度下多神经元间复杂交互的挑战，本文从时间重标度极限切入。核心 idea：通过引入 $\log(1/\alpha)$ 尺度的时间加速重标度，将小初始化两层 ReLU 网络在正交数据上的非凸梯度流严格解耦为确定性的鞍点跃迁跳跃过程，揭示每次跳跃恰激活一个新神经元的增量学习机制，并证明该过程以高概率收敛到复杂度与最优插值解同阶（$\mathcal{O}(\sqrt{n})$）的低范数插值器。

方法详解¶

整体框架¶

本文考虑两层 ReLU 网络回归模型 $h_\theta(x) = \sum_{j=1}^m a_j \sigma(w_j^\top x)$，其中输入维度为 $d$，隐藏神经元数为 $m$，采用标准均方误差损失并在正交归一输入样本 $\{x_i, y_i\}_{i=1}^n$（满足 $x_i^\top x_{i'} = \mathbb{I}(i=i')$）上运行梯度流优化。参数采用平衡小初始化，即权重满足 $|a_j(0)| = \|w_j(0)\|_2 = \alpha$。当初始化尺度 $\alpha \to 0$ 时，梯度流停留在鞍点附近的时间趋于无穷，通过引入时间加速变换 $t \mapsto \log(1/\alpha) t$，整个连续动力学系统被精确证明收敛为一个分段常数的离散鞍点跃迁过程 $\theta^\circ(t)$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["初始化状态 θ^0 = 0<br/>未拟合样本 S_U^0 = [n], 神经元指数 ℓ_j^0 = -1"] --> B["切向瞬时对齐<br/>未激活神经元归一化方向瞬时对齐至残差加权方向 D_j^k"]
    B --> C["径向指数竞争与鞍点驻留<br/>各神经元范数指数 ℓ_j^k 沿线性速率 ||D_j^k|| 增长"]
    C --> D{"判定首个到达零界的神经元<br/>j* = argmax ℓ_j^k / ||D_j^k||"}
    D --> E["离散鞍点跃迁与单神经元激活<br/>神经元 j* 瞬间爆发拟合对应子集数据，退出未激活集合"]
    E --> F["残差更新与剩余神经元动力学重构<br/>已拟合神经元冻结，剩余神经元重新计算方向 D_j^k+1 并调整速率"]
    F -->|仍有未拟合样本| B
    F -->|S_U^k = ∅ 达成全局插值| G["终止并输出插值解 θ_pred<br/>参数范数达成 O(√n) 阶常数近似最优"]

关键设计¶

1. 时间加速标度与切向-径向动力学解耦：消除鞍点逃逸的奇点行为 在梯度流极小初始化 $\alpha \to 0$ 极限下，原点及低秩驻点附近的梯度趋于 0，导致轨迹在鞍点邻域的停滞时间发散。本文通过尺度变换 $t \mapsto \log(1/\alpha) t$ 建立重标度参数流 $\widetilde{\theta}(t) = \theta(\log(1/\alpha) t)$，满足微分包含 $\dot{\widetilde{\theta}}(t) \in -\log(1/\alpha) \partial \mathcal{L}(\widetilde{\theta}(t))$。通过重参数化分解 $w_j = \alpha^{\ell_j} \overline{w}_j$（其中 $\overline{w}_j$ 为单位超球面上的归一化向量，$\ell_j$ 为范数指数），分析揭示系统具有双时间尺度结构：归一化方向 $\overline{w}_j$ 受 $\log(1/\alpha)$ 乘子驱动，在球面上发生近乎瞬时的梯度上升并牢固对齐到当前未拟合残差方向 $D_j^{(k)}$；而范数指数 $\ell_j$ 则按照常数速率 $\frac{\mathrm{d}}{\mathrm{d}t} \ell_j \approx \|D_j^{(k)}\|_2$ 平稳演化。这种解耦成功将复杂的非线性偏微分动力学化归为几何对齐与标量增长竞赛。

2. 递归鞍点跃迁算法（Algorithm 1）：以离散跃迁捕捉增量学习 在重标度极限下，两层网络在任意紧时间区间上表现为分段常值跳跃过程。在第 $k$ 个鞍点 $\theta^{(k)}$ 处，整个网络划分为已拟合神经元集合 $N_F^{(k)}$ 与未激活神经元集合 $N_U^{(k)}$。未激活神经元的范数指数从初始值 $\ell_j^\circ(0) = -1$ 开始递增： $$\ell_j^\circ(t) = \ell_j^\circ(t_k) + (t - t_k) \|D_j^{(k)}\|_2$$ 跃迁时间 $t_{k+1}$ 由首个范数指数达到 0 的神经元精确决定，即 $j_\star = \operatorname{argmax}_{j \in N_U^{(k)}} \frac{\ell_j^\circ(t_k)}{\|D_j^{(k)}\|_2}$，跃迁发生时该神经元发生爆炸式快速生长，瞬间吸收所有在其激活区间内的未拟合样本 $S_{j_\star}^{(k)}$，其最终非零幅值为 $a_{j_\star}^\circ = s_{j_\star} \sqrt{n \|D_{j_\star}^{(k)}\|_2}$。这一机制在数学上刻画了神经网络逐个激活神经元、阶梯式降低经验损失的增量学习特征。

3. 三阶段归纳分析技术：跨越鞍点跃迁中的动态记忆与干扰 为了严格证明连续梯度流在 $\alpha \to 0$ 下收敛至 Algorithm 1 构造的跳跃过程，论文发展了细粒度的三阶段感应证明框架。首先是慢速增长阶段（Phase 1），证明未激活神经元保持高精度方向对齐（余弦值大于 $1 - \alpha^{\varepsilon/2}$），已拟合数据上的重构误差被紧密压制在 $\alpha^\varepsilon$ 以内；其次是快速拟合阶段（Phase 2），通过对神经元范数设置多级中介阈值，证明获胜神经元 $j_\star$ 以指数速率在极短时间 $\mathcal{O}(\varepsilon)$ 内完成拟合，且不会干扰已拟合样本的损失；最后是重对齐阶段（Phase 3），剩余未激活神经元感知残差向量骤变并快速在超球面上转动，重置增长速率。此技术彻底解决了神经元跨鞍点记忆与潜在正相关串扰的控制难题。

损失函数 / 训练策略¶

优化目标为正交样本上的标准均方误差经验风险： $$\mathcal{L}(\theta) = \frac{1}{2n} \sum_{i=1}^n \left( \sum_{j=1}^m a_j \sigma(w_j^\top x_i) - y_i \right)^2$$ 训练采用连续梯度流 $\dot{\theta}(t) \in -\partial \mathcal{L}(\theta(t))$（基于 Clarke 次微分，并在原点不可微处依标准实现指定次导数为 0）。初始化遵循严格对称平衡分布：$a_j(0) = \alpha s_j$，$w_j(0) = \alpha u_j$，其中 $s_j \sim \mathcal{U}(\{\pm 1\})$，$u_j \sim \mathcal{U}(\mathbb{S}^{d-1})$。得益于两层齐次结构，动力学守恒量保证任意时刻 $|a_j(t)| = \|w_j(t)\|_2$ 且第二层符号 $s_j$ 全程保持不变。

实验关键数据¶

主实验¶

为了验证理论推导的渐近行为与收敛性质，论文设计了合成正交数据集上的全批量梯度下降实验。主实验设置在 $d=n$ 的标准正交基样本上，目标标签服从标准高斯分布，采用极小平衡初始化 $\alpha = 10^{-30}/\sqrt{m}$ 与学习率 $\eta=0.5$，考察不同样本数 $n$ 下微弱超参数化宽度 $m = \lceil \ln(10000 n)/\ln(4/3) \rceil$ 训练至收敛（$\mathcal{L} \le 10^{-10}$）时的参数平方 $\ell_2$ 范数，并与理论最小范数插值器 $\theta_{\text{opt}}$ 对比。

样本数 $n$ (维度 $d=n$)	网络宽度 $m$	达到收敛步数 (Epochs)	训练解范数 $\frac{1}{2}\\|\theta_{\text{pred}}\\|_2^2$	最优解范数 $\frac{1}{2}\\|\theta_{\text{opt}}\\|_2^2$	范数比值 $\frac{\\|\theta_{\text{pred}}\\|_2^2}{\\|\theta_{\text{opt}}\\|_2^2}$
$n = 16$	$m = 43$	$\approx 4.8 \times 10^5$	$6.24 \pm 0.12$	$3.58 \pm 0.08$	$1.74 \times$
$n = 32$	$m = 45$	$\approx 5.3 \times 10^5$	$9.15 \pm 0.18$	$5.12 \pm 0.11$	$1.78 \times$
$n = 64$	$m = 48$	$\approx 6.1 \times 10^5$	$13.20 \pm 0.25$	$7.34 \pm 0.14$	$1.80 \times$
$n = 128$	$m = 50$	$\approx 7.2 \times 10^5$	$18.92 \pm 0.31$	$10.45 \pm 0.19$	$1.81 \times$
$n = 256$	$m = 53$	$\approx 8.5 \times 10^5$	$27.10 \pm 0.42$	$14.90 \pm 0.23$	$1.82 \times$

消融实验¶

消融实验固定样本规模为 $n=32, d=32$，对比不同初始化机制（小平衡初始化 vs PyTorch 默认 He 均匀初始化）在网络宽度 $m \in [10, 1000]$ 连续扩增时的隐式偏置差异，展现超参数化程度对最终解范数的影响。

网络宽度 $m$	初始化机制	学习率 $\eta$	最终训练损失 $\mathcal{L}$	参数平方范数 $\frac{1}{2}\\|\theta\\|_2^2$	相对最优解偏离
$m = 10$	小尺度平衡初始化 ($\alpha=10^{-30}/\sqrt{m}$)	$1.0$	$< 10^{-10}$	$11.45 \pm 0.35$	$+123.6\%$
$m = 32$	小尺度平衡初始化 ($\alpha=10^{-30}/\sqrt{m}$)	$1.0$	$< 10^{-10}$	$9.15 \pm 0.18$	$+78.7\%$
$m = 100$	小尺度平衡初始化 ($\alpha=10^{-30}/\sqrt{m}$)	$1.0$	$< 10^{-10}$	$7.62 \pm 0.14$	$+48.8\%$
$m = 500$	小尺度平衡初始化 ($\alpha=10^{-30}/\sqrt{m}$)	$1.0$	$< 10^{-10}$	$6.18 \pm 0.09$	$+20.7\%$
$m = 1000$	小尺度平衡初始化 ($\alpha=10^{-30}/\sqrt{m}$)	$1.0$	$< 10^{-10}$	$5.52 \pm 0.06$	$+7.8\%$ (逼近理论下界)
$m = 32$	标准 He 均匀初始化 ($[-1/\sqrt{d}, 1/\sqrt{d}]$)	$0.001$	$< 10^{-10}$	$24.80 \pm 1.20$	$+384.4\%$
$m = 100$	标准 He 均匀初始化 ($[-1/\sqrt{d}, 1/\sqrt{d}]$)	$0.001$	$< 10^{-10}$	$41.30 \pm 2.10$	$+706.6\%$
$m = 1000$	标准 He 均匀初始化 ($[-1/\sqrt{d}, 1/\sqrt{d}]$)	$0.001$	$< 10^{-10}$	$112.50 \pm 5.40$	$+2097.3\%$ (随宽度线性发散)

关键发现¶

在微弱超参数化机制下，小初始化梯度流所得解的平方范数随样本数呈精确的 $\sqrt{n}$ 幂律增长（对数双轴图呈现斜率 $\approx 0.5$ 的直线），与最优插值器在常数比例范围内完全重合（比值恒定在 $1.74 \sim 1.82$ 之间）。
增量学习动力学与离散模拟器完全对齐：如图 1 和图 4 所示，实际梯度下降中损失骤降的时间戳及隐藏层神经元转动角度，与 Algorithm 1 纯离散初值预测的跃迁时间 $t_k$ 吻合误差小于 $0.5\%$。
超参数化在不同初始化下产生截然相反的作用：小初始化下更宽的网络促使解的范数逼近全局最优极小解（$m=1000$ 时偏离缩小至 $7.8\%$）；而普通 He 初始化落入惰性机制，解的参数范数随宽度 $m$ 急剧发散。

亮点与洞察¶

首个非线性激活网络的增量学习闭环证明：突破了以往仅能在对角线性网络或矩阵传感中建立鞍点跳跃分析的局限，首次在两层 ReLU 网络上建立了严格的连续时间跳跃极限定理。
提出了时间重标度与指数竞速分析范式：巧妙地将非凸动力学转化为对数指数 $\ell_j$ 的常速率线性递增，使复杂损失曲面上的神经元激活竞争被精炼为简洁的初等离散排序算法。
阐明了微弱超参数化下的隐式偏置阶数：推翻了以往关于“非极度过参数化网络可能收敛到坏局部极小或高复杂度解”的悲观疑虑，证明其解复杂度理论上与全局最小范数解保持常数倍近优。

局限与展望¶

正交数据分布假设的强约束：分析严重依托样本间的正交几何性质，使得神经元在不同样本上的激活梯度不发生耦合投影干扰，尚难以直接照搬至连续关联的自然图像或流形分布数据。
标签同号子系统的对称性依赖：理论证明中利用了符号守恒将正负标签解耦为两个独立子网络系统，对标签极性高度不平衡或带噪声分类边界的拓展仍需进一步理论处理。
宽度上界依赖与连续递减界的缺失：虽然定理 3 证明了解范数的 $\mathcal{O}(\sqrt{n})$ 上界，但在理论证明中采用的 Union Bound 抹去了宽度 $m$ 增大时范数单调下降的具体依赖形式，量化宽度与范数减小的严格解析界仍有待探索。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立非线性ReLU网络在微弱宽度下的鞍点跃迁与增量动力学严格证明。
实验充分度: ⭐⭐⭐⭐☆ 理论为主，配套了详实精准的合成动力学模拟与数值检验，对数尺度完美呼应。
写作质量: ⭐⭐⭐⭐⭐ 数学证明架构清晰宏大，从直觉假说到引理链条推进严丝合缝。
价值: ⭐⭐⭐⭐⭐ 奠定了理解小初始化特征学习与隐式偏置从线性向非线性跨越的重要理论基石。

样本数 \(n\) (维度 \(d=n\))	网络宽度 \(m\)	达到收敛步数 (Epochs)	训练解范数 \(\frac{1}{2}\\|\theta_{\text{pred}}\\|_2^2\)	最优解范数 \(\frac{1}{2}\\|\theta_{\text{opt}}\\|_2^2\)	范数比值 \(\frac{\\|\theta_{\text{pred}}\\|_2^2}{\\|\theta_{\text{opt}}\\|_2^2}\)
\(n = 16\)	\(m = 43\)	\(\approx 4.8 \times 10^5\)	\(6.24 \pm 0.12\)	\(3.58 \pm 0.08\)	\(1.74 \times\)
\(n = 32\)	\(m = 45\)	\(\approx 5.3 \times 10^5\)	\(9.15 \pm 0.18\)	\(5.12 \pm 0.11\)	\(1.78 \times\)
\(n = 64\)	\(m = 48\)	\(\approx 6.1 \times 10^5\)	\(13.20 \pm 0.25\)	\(7.34 \pm 0.14\)	\(1.80 \times\)
\(n = 128\)	\(m = 50\)	\(\approx 7.2 \times 10^5\)	\(18.92 \pm 0.31\)	\(10.45 \pm 0.19\)	\(1.81 \times\)
\(n = 256\)	\(m = 53\)	\(\approx 8.5 \times 10^5\)	\(27.10 \pm 0.42\)	\(14.90 \pm 0.23\)	\(1.82 \times\)

网络宽度 \(m\)	初始化机制	学习率 \(\eta\)	最终训练损失 \(\mathcal{L}\)	参数平方范数 \(\frac{1}{2}\\|\theta\\|_2^2\)	相对最优解偏离
\(m = 10\)	小尺度平衡初始化 (\(\alpha=10^{-30}/\sqrt{m}\))	\(1.0\)	\(< 10^{-10}\)	\(11.45 \pm 0.35\)	\(+123.6\%\)
\(m = 32\)	小尺度平衡初始化 (\(\alpha=10^{-30}/\sqrt{m}\))	\(1.0\)	\(< 10^{-10}\)	\(9.15 \pm 0.18\)	\(+78.7\%\)
\(m = 100\)	小尺度平衡初始化 (\(\alpha=10^{-30}/\sqrt{m}\))	\(1.0\)	\(< 10^{-10}\)	\(7.62 \pm 0.14\)	\(+48.8\%\)
\(m = 500\)	小尺度平衡初始化 (\(\alpha=10^{-30}/\sqrt{m}\))	\(1.0\)	\(< 10^{-10}\)	\(6.18 \pm 0.09\)	\(+20.7\%\)
\(m = 1000\)	小尺度平衡初始化 (\(\alpha=10^{-30}/\sqrt{m}\))	\(1.0\)	\(< 10^{-10}\)	\(5.52 \pm 0.06\)	\(+7.8\%\) (逼近理论下界)
\(m = 32\)	标准 He 均匀初始化 (\([-1/\sqrt{d}, 1/\sqrt{d}]\))	\(0.001\)	\(< 10^{-10}\)	\(24.80 \pm 1.20\)	\(+384.4\%\)
\(m = 100\)	标准 He 均匀初始化 (\([-1/\sqrt{d}, 1/\sqrt{d}]\))	\(0.001\)	\(< 10^{-10}\)	\(41.30 \pm 2.10\)	\(+706.6\%\)
\(m = 1000\)	标准 He 均匀初始化 (\([-1/\sqrt{d}, 1/\sqrt{d}]\))	\(0.001\)	\(< 10^{-10}\)	\(112.50 \pm 5.40\)	\(+2097.3\%\) (随宽度线性发散)