Learning Orthogonal Multi-Index Models Beyond Small Initialization: Incremental Learning, Competitive Dynamics and Symmetry¶

会议: NeurIPS 2026
arXiv: 2609.10879
领域: 优化/理论
关键词: 正交多指标模型, 增量学习, 竞争动力学, 标准初始化, 对称化网络

一句话总结¶

证明了多项式宽度两层神经网络在标准随机初始化下学习正交多指标模型仍遵循 Hermite 阶数的增量学习，揭示了参数质量竞争性重分配机制，并提出基于对称性的有限宽逼近分析框架。

研究背景与动机¶

理解神经网络如何从高维数据中学习低维结构目标函数是表征学习理论的核心问题。以单指标与多指标模型（multi-index models）为代表的高维统计物理与学习理论设定中，目标函数仅依赖于输入的少数低维投影方向，特征学习的本质即通过基于梯度的优化发现这些隐藏方向。近期一系列理论工作揭示了浅层网络训练中的“增量学习”（incremental learning）现象：网络并非一次性拟合所有特征，而是沿着高斯测度下目标函数的 Hermite 展开，由低阶到高阶分阶段逐阶学习分量并逐步恢复目标子空间与方向。

然而，现存绝大多数严格证明均高度依赖于人为简化的理论技巧，例如极小初始化（small initialization $\alpha \ll 1$）、相关性损失（correlation loss）或逐层交替训练（layer-wise training）。在极小初始化设定下，网络输出在特征学习早期始终保持微小（$f_t \ll f_*$），使得每个神经元的梯度更新几乎完全由自身与目标函数的微弱初始相关性驱动，神经元之间的耦合与相互作用被完全解耦或忽略；而在标准初始化（standard initialization $\|{\bm{w}}_i(0)\|_2 \approx 1$）下，网络初始输出即具有非微观量级，神经元之间通过集体预测的残差产生强烈的非线性相互作用，使得原有的解耦放大机制失效。

面对标准初始化下神经元强相互作用带来的分析壁垒，本文直接研究多项式样本与多项式宽度两层网络在平方损失下的标准梯度流训练全轨迹。核心 idea：证明标准初始化下增量学习依然严格成立，但其驱动机制转变为基于 Lotka–Volterra 型的“竞争性质量重分配”；并通过构建有限宽对称化参考网络，以直接有限粒子耦合替代传统的无限宽均场极限，克服了粒子对齐漂移带来的分析困难。

方法详解¶

整体框架¶

考虑输入数据服从标准高斯分布 ${\bm{x}} \sim \mathcal{N}({\bm{0}}, {\bm{I}}_d)$，目标函数为正交多指标模型： $$f_*({\bm{x}}) = \sum_{j=1}^r \sigma({\bm{w}}_j^{*\top}{\bm{x}})$$ 其中目标方向 $\{{\bm{w}}_j^*\}_{j=1}^r$ 两两正交（不失一般性设为标准基 $\{{\bm{e}}_j\}_{j=1}^r$），且激活函数 $\sigma$ 为偶函数（或由非偶激活通过对称初始化等价诱导）。学习器采用 2-齐次均场参数化两层网络： $$f_{\bm{W}}({\bm{x}}) = \frac{1}{m} \sum_{i=1}^m \|{\bm{w}}_i\|_2^2 \, \sigma(\overline{{\bm{w}}}_i^\top {\bm{x}}), \quad \overline{{\bm{w}}}_i := \frac{{\bm{w}}_i}{\|{\bm{w}}_i\|_2}$$ 模型从标准高斯初始化 ${\bm{w}}_i(0) \sim \mathcal{N}({\bm{0}}, \frac{1}{d}{\bm{I}}_d)$ 出发，遵循带权重衰减的梯度流更新： $$\frac{\mathrm{d}{\bm{w}}_i}{\mathrm{d}t} = -\lambda_t {\bm{w}}_i - m \gamma_{t,i} \nabla_{{\bm{w}}_i}\widehat{\mathcal{L}}({\bm{W}})$$ 整个训练过程在种群损失意义下严格划分为 0 阶均值拟合、2 阶目标子空间恢复、以及 $\ge 4$ 阶目标方向识别与范数拟合三大阶段。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["标准随机初始化<br/>||w_i|| ≈ 1, 均匀分布在整个空间"] --> B["阶段1.1：0阶均值拟合<br/>总质量快速扩张至平衡，方向保持均匀"]
    B --> C["阶段1.2：2阶子空间竞争重分配<br/>正交竞争ODE驱动质量从非相关维度挤压至目标子空间"]
    C --> D["阶段2.1：高阶张量幂驱动方向对齐<br/>极少数优势神经元在目标坐标轴实现对齐"]
    D --> E["阶段2.2-2.3：范数竞争拟合与局部收敛<br/>对齐神经元吸纳弥散质量，权重衰减归零消除偏置"]
    E --> F["输出：收敛至极小种群损失<br/>完整恢复正交目标函数与特征方向"]

关键设计¶

1. 0阶均值拟合：各向同性质量快速扩张 在训练初始阶段，高阶项的驱动力相较于全局均值残差处于次要地位，梯度流由 0 阶 Hermite 张量分量 $\mathcal{T}_0^* - \mathcal{T}_0$ 绝对主导。由于网络总质量 $\tilde{\alpha} := \tilde{\mathbb{E}}\|{\bm{w}}\|^2$ 初始约为 1，而目标 0 阶分量要求 $\mathcal{T}_0^* = r$，所有神经元的各个坐标按统一倍率被成比例缩放： $$\frac{\mathrm{d}\tilde{\alpha}}{\mathrm{d}t} \approx 4\widehat{\sigma}_0^2 \tilde{\alpha}\left(r - \frac{\lambda}{2\widehat{\sigma}_0^2} - \tilde{\alpha}\right)$$ 在极短时间 $\tau_0 = \widetilde{\Theta}(1/r)$ 内，总参数质量 $\tilde{\alpha}$ 迅速从 $1$ 暴增至稳定平衡态 $r - \lambda/(2\widehat{\sigma}_0^2)$。此阶段各神经元方向与相对比例基本冻结，损失完成首次阶跃式下降。

2. 2阶子空间竞争重分配：正交非相关维度的质量挤出 当均值拟合完成并被全局约束锁死后，2 阶 Hermite 分量成为主要动力来源。目标函数的能量仅集中在前 $r$ 个相关维度，而非目标子空间包含 $d-r$ 个冗余维度。定义子空间平均质量 $\beta_1 := \frac{1}{r}\sum_{i\le r}\tilde{\mathbb{E}}w_i^2$ 与冗余坐标平均质量 $\beta_2 := \tilde{\mathbb{E}}w_j^2$（$j > r$），两者共同受制于 0 阶质量守恒约束，形成广义 Lotka–Volterra 竞争微分动力系统： $$\dot{\beta}_1 \approx 2\beta_1 \left(-\lambda + 2\widehat{\sigma}_0^2(r - r\beta_1 - (d-r)\beta_2) + 2\widehat{\sigma}_2^2(1 - \beta_1)\right)$$ $$\dot{\beta}_2 \approx 2\beta_2 \left(-\lambda + 2\widehat{\sigma}_0^2(r - r\beta_1 - (d-r)\beta_2)\right)$$ $\beta_1$ 相比 $\beta_2$ 独享 $2\widehat{\sigma}_2^2(1-\beta_1)$ 的净增长优势，导致质量比值 $q(t) := \frac{\widehat{\sigma}_0^2(d-r)\beta_2(t)}{(\widehat{\sigma}_0^2 r + \widehat{\sigma}_2^2)\beta_1(t)}$ 以恒定指数速率衰减： $$\frac{\mathrm{d}}{\mathrm{d}t}\log \frac{\beta_2}{\beta_1} \le -\rho \implies q(t) \lesssim \frac{d}{r} e^{-\rho t}$$ 在时间 $\tau_2 = \mathcal{O}(\log d)$ 内，参数质量被彻底从 $d-r$ 个非相关方向驱赶并重分配到前 $r$ 维目标子空间，神经元范数满足 $\|\overline{{\bm{v}}}_{\le r}\|_2 / \|\overline{{\bm{v}}}\|_2 = 1 - \mathcal{O}(1/r)$。权重衰减项 $\lambda = r\lambda_0$ 在此起到了加速竞争衰减的关键作用，避免了无正则化时中心流形导致的 $\Theta(1/t)$ 缓慢多项式衰减。

3. 高阶方向对齐与对齐神经元范数竞争 当子空间恢复后，绝大多数神经元依然弥散在目标子空间中。此后 $\ge 4$ 阶 Hermite 分量接管动态，呈现类张量幂迭代（tensor-power dynamics）： $$\frac{\mathrm{d}}{\mathrm{d}t}p_i \approx 2(1 - p_i) \sum_{j\ge 2} 2j \widehat{\sigma}_{2j}^2 p_i^j$$ 其中 $p_i = (\overline{{\bm{v}}_{\le r}})_i^2$ 为神经元在基底 ${\bm{e}}_i$ 上的投影平方。得益于过参数化，初始在各个轴向具有轻微优势（最大坐标平方约为 $2\log(m)/r$）的候选神经元集合 $S_{\mathrm{pot},i}$ 经历非线性放大，耗时 $\widetilde{\Theta}(r)$ 成功对齐到特定目标方向 ${\bm{e}}_i$（达到 $1-\varepsilon_{\mathrm{dir}}$ 精度）。随后，对齐神经元群体 $G_i$ 与剩余弥散神经元群 $S_{\mathrm{dense}}$ 再次展开范数层面的 Lotka–Volterra 竞争，对齐组凭借更高阶信号优势逐步吞噬弥散组的能量，最终通过将权重衰减归零消除偏置，达成任意高精度的目标恢复。

4. 基于对称化网络的有限宽紧密耦合框架 为克服传统均场理论中“无限宽极限在目标方向存在任意优越初始粒子、从而无法直接与有限样本粒子紧密耦合”的理论死结，本文引入变换群 $\mathscr{P}$（坐标符号翻转与 $d-r$ 个无关维度的置换）。利用目标函数与高斯测度的 $\mathscr{P}$-不变性，构造有限宽对称化网络： $$\widetilde{f}({\bm{x}}) := \frac{1}{|\mathscr{P}|} \sum_{\rho \in \mathscr{P}} f(\rho({\bm{x}}))$$ 这一构造实现了函数空间精确的方差-偏差正交分解： $$\mathcal{L}(f) = \frac{1}{2}\mathbb{E}\left[(\widetilde{f}-f_*)^2\right] + \frac{1}{2}\mathbb{E}\left[(f-\widetilde{f})^2\right]$$ 通过引入中间代表粒子 $\check{{\bm{v}}}_i(t) = \widetilde{{\bm{v}}}_{i,\mathrm{Id}}(t)$，将误差精细拆解为有限样本浓度误差与有限粒子对称采样误差，运用分阶段 Gronwall 估计证明了经验有限宽轨迹与对称化轨迹在全过程中的严格逼近（$\|f - \widetilde{f}\|_{L^2} \le \frac{1}{2} e^{-\log^2 r}$），从而仅需多项式宽度 $m \ge d^3$ 与样本数 $n = \Theta(d^{3+c})$ 即可闭环。

实验关键数据¶

主实验¶

论文通过合成高斯数据实验，在标准参数规模（$d=100, r=20, m=250, n=50000$）下对比了理论预测的阶段性跃迁与实际梯度下降（Vanilla GD）的动力学行为。

训练阶段 / Hermite分量	理论跃迁时间	理论损失下界（跃迁前）	跃迁后种群损失 $\mathcal{L}$	参数质量重分配特征
0阶 (均值拟合)	$\tau_0 = \widetilde{\Theta}(1/r)$	$\ge (1-\eta)E_{\ge 0}$	$\le \eta E_0 + (1+\eta)E_{\ge 2}$	初始总质量 $\approx 1$ 迅速扩张至 $r$ 平衡态
2阶 (子空间学习)	$\tau_2 = \widetilde{\Theta}(1)$	$\ge \eta E_0 + (1-\eta)E_{\ge 2}$	$\le \eta E_{\le 2} + (1+\eta)E_{\ge 4}$	质量自无关维度指数级撤出，富集于目标子空间
$\ge 4$阶 (方向与范数拟合)	$\tau_4 = \widetilde{\Theta}(r)$	$\ge \eta E_{\le 2} + (1-\eta)E_{\ge 4}$	$\le \varepsilon$ ($\le e^{-\log^2 r}$)	质量从弥散神经元集中迁移至对齐神经元

消融实验¶

针对理论机制中关键模块（权重衰减、激活函数类型、样本数与网络宽度规模）的有效性与收敛行为进行了系统分析。

配置	核心性能 / 收敛时间	动力学特性与说明
带权重衰减 ($\lambda > 0$, 本文基准)	收敛时间 $T_{\mathrm{conv}} = \mathcal{O}(\log d)$	维持正向竞争优势 $\kappa\lambda/(A+\kappa)$，非相关质量实现指数级衰退
无权重衰减 ($\lambda = 0$)	竞争衰退减速至 $\Theta(1/t)$	中心流形效应导致质量转移极为缓慢，退化为多项式收敛
光滑对称激活 (GeLU/Swish)	最终误差 $\le e^{-\log^2 r}$	阶段跃迁规律保持一致，高阶展开光滑收敛
绝对值激活 ($\sigma(x)=\\|x\\|$ / ReLU)	最终误差 $\le \varepsilon$ (任意精度)	结合局部收敛理论（Zhou et al. 2021），后期可无缝切换局部线性收敛
有限宽逼近 ($m \ge d^3, n \ge d^{3+c}$)	耦合误差 $\le \varepsilon_{\mathrm{norm}}^{1/4}/2$	对称化有限宽网络与实际经验动态紧密贴合，保证定理全程成立

关键发现¶

增量学习的必然性：不同于极小初始化下人为控制的弱耦合阶段，在标准初始化下强神经元交互体系中，阶数分立的 Hermite 能量梯度自然构成了多时间尺度的分离（$\tau_0 \ll \tau_2 \ll \tau_4$），从而严格维持了自低阶至高阶的级联式收敛。
质量重分配的排他性：总质量在 0 阶阶段快速饱和后形成了一个“零和竞争”的环境，2 阶学习阶段本质上是目标特征向无关维度的挤压，而更高阶学习阶段则是特定对齐神经元对普通弥散神经元的“掠夺”，完美吻合生态学 Lotka–Volterra 竞争模型。

亮点与洞察¶

跳出极小初始化范式：以往证明深度依赖“解耦放大（independent amplification）”模型 $\dot{x} = ax^P$；本文首次在标准初始化下建立了“竞争重分配（competitive reallocation）”的动力学闭环。
有限宽对称化参考系：放弃难以在边缘极端粒子处做精细粒子匹配的无限宽均场极限，构造具有紧密粒子对应关系的有限对称网络，为有限宽非凸特征学习理论提供了全新的数学工具。
加权衰减的动态催化作用：阐明了 weight decay 不仅用于防过拟合，在动力学层面更是维持竞争鞍点不稳定、驱使无关参数质量指数级衰减的必要催化剂。

局限与展望¶

学习率与流调整的局部补丁：在阶段 2.2 证明中，为了技术严谨性不得不引入针对大范数神经元的步长调整系数 $\gamma_t = m$，未来需要进一步消除该技术性修改以完全覆盖标准原生梯度流。
样本复杂度边界非最优：当前为了通过对称化粒子耦合保证函数空间误差，所得的宽度 $m \ge d^3$ 和样本量 $n = \Theta(d^{3+c})$ 留有相当的冗余，与信息指数理论（Information Exponent）给出的最优统计极限仍有距离。
正交各向同性假设：目前理论局限于完全正交且权重各向同性的多指标情形，推广至近正交（near-orthogonal）或非均匀特征权重是亟待探索的重要方向。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次在标准初始化下严格证明正交多指标模型的增量学习，并提出有限宽对称化逼近分析法。
实验充分度: ⭐⭐⭐⭐ 理论证明严丝合缝，数值实验清晰复现并支撑了阶段性损失跃迁与质量竞争特征。
写作质量: ⭐⭐⭐⭐⭐ 数学表达极为精炼，各阶段物理图像直观且前后呼应。
价值: ⭐⭐⭐⭐⭐ 极大地推进了多层网络在标准初始化下的非线性特征学习与均场有限宽耦合理论。

训练阶段 / Hermite分量	理论跃迁时间	理论损失下界（跃迁前）	跃迁后种群损失 \(\mathcal{L}\)	参数质量重分配特征
0阶 (均值拟合)	\(\tau_0 = \widetilde{\Theta}(1/r)\)	\(\ge (1-\eta)E_{\ge 0}\)	\(\le \eta E_0 + (1+\eta)E_{\ge 2}\)	初始总质量 \(\approx 1\) 迅速扩张至 \(r\) 平衡态
2阶 (子空间学习)	\(\tau_2 = \widetilde{\Theta}(1)\)	\(\ge \eta E_0 + (1-\eta)E_{\ge 2}\)	\(\le \eta E_{\le 2} + (1+\eta)E_{\ge 4}\)	质量自无关维度指数级撤出，富集于目标子空间
\(\ge 4\)阶 (方向与范数拟合)	\(\tau_4 = \widetilde{\Theta}(r)\)	\(\ge \eta E_{\le 2} + (1-\eta)E_{\ge 4}\)	\(\le \varepsilon\) (\(\le e^{-\log^2 r}\))	质量从弥散神经元集中迁移至对齐神经元

配置	核心性能 / 收敛时间	动力学特性与说明
带权重衰减 (\(\lambda > 0\), 本文基准)	收敛时间 \(T_{\mathrm{conv}} = \mathcal{O}(\log d)\)	维持正向竞争优势 \(\kappa\lambda/(A+\kappa)\)，非相关质量实现指数级衰退
无权重衰减 (\(\lambda = 0\))	竞争衰退减速至 \(\Theta(1/t)\)	中心流形效应导致质量转移极为缓慢，退化为多项式收敛
光滑对称激活 (GeLU/Swish)	最终误差 \(\le e^{-\log^2 r}\)	阶段跃迁规律保持一致，高阶展开光滑收敛
绝对值激活 (\(\sigma(x)=\\|x\\|\) / ReLU)	最终误差 \(\le \varepsilon\) (任意精度)	结合局部收敛理论（Zhou et al. 2021），后期可无缝切换局部线性收敛
有限宽逼近 (\(m \ge d^3, n \ge d^{3+c}\))	耦合误差 \(\le \varepsilon_{\mathrm{norm}}^{1/4}/2\)	对称化有限宽网络与实际经验动态紧密贴合，保证定理全程成立