Random Matrix Theory of Early-Stopped Gradient Flow: A Transient BBP Scenario¶

会议: NeurIPS 2026
arXiv: 2604.18450
OpenReview: https://openreview.net/forum?id=lycAOHlEXy
领域: 其他
关键词: 随机矩阵理论, 早停机制, BBP相变, 梯度流, 各向异性协方差

一句话总结¶

本文针对线性教师-学生模型下的梯度流动力学，引入输入协方差的双块各向异性结构，通过 $2\times 2$ Dyson 方程与秩二行列式条件严格解析刻画了权重谱的瞬态 BBP 相变，首次从随机矩阵理论角度为早停机制提供了极简且自洽的谱分离物理图像。

研究背景与动机¶

在现代深度学习的实证研究中，研究人员经常观察到模型权重矩阵的经验谱在训练过程中经历一个典型的“先分离、后淹没”的瞬态演化过程：在梯度下降的早期或中期阶段，代表真实数据信号的孤立特征值会脱离杂乱的噪声主体谱；而随着训练时间推移，模型逐渐走向过拟合，孤立特征值又被膨胀变宽的噪声主体重新吞噬。这一现象在直觉上与实践中“早停（early stopping）”能够防止过拟合、获得更佳泛化性能的经验高度吻合。然而，长期以来缺乏能够在有限训练时间步下完全可解的理论分析工具，使得人们对该瞬态谱分离现象背后的确切数学机制缺乏透彻理解。

现有的理论工作要么聚焦于无限时间收敛后的稳态性质（如最小二乘渐近估计），此时早停带来的动态正则化效应已被抹平；要么基于各向同性的白噪声输入假设，导致各个特征方向的收敛速度完全退化一致，从而无法诱导任何非单调的谱动力学行为。在各向同性设定下，有效信噪比随时间严格单调增加，信号尖峰一旦浮现便永不沉没，根本无法复现真实场景中过拟合阶段特征值重回主体谱的现象。

本文的切入角度是：必须在数据输入协方差中显式引入各向异性结构，利用快速学习特征方向与慢速学习噪声方向的时间尺度分离来打破单调性。核心 idea：将梯度流动力学映射至双块各向异性协方差的线性教师-学生框架中，证明快方向在训练初期率先拟合信号并促成孤立尖峰分离，而慢方向在后期被逆协方差放大并持续注入噪声重新淹没信号，从而构建出首个解析可解的瞬态 BBP（Baik–Ben Arous–Péché）相变机制。

方法详解¶

整体框架¶

本文考虑高维极限下的线性教师-学生回归任务，输入数据矩阵 $X \in \mathbb{R}^{N \times M}$，样本目标 $Y \in \mathbb{R}^{N \times M}$，在 $N, M \to \infty$ 且 $M/N \to \gamma \ge 1$ 的渐近比例下进行。真实目标由秩一教师矩阵 $A_{\mathrm{teach}}^{\theta} = \theta v v^\top$ 生成并叠加高斯白噪声 $Z$。学生模型通过梯度流最小化平方误差损失函数，权重矩阵 $A_t$ 从 GOE 高斯正交系综初始化出发沿连续时间演化。为了使有限时间下的谱分析在随机矩阵理论中严格闭合，本文对学生权重矩阵取加法对称化构建 $S_t^\theta = A_t^\theta + (A_t^\theta)^\top$。整体动力学被精确拆解为“纯噪声演化块”与“加权有限秩教师扰动”的叠加。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["各向异性数据输入与教师信号<br/>双块协方差特征值 1 与 λ-"] --> Dyn["连续时间梯度流演化<br/>半群解析解分解为噪声与信号"]
    Dyn --> SDiff["对称化权重矩阵构建<br/>拆解为纯噪声块与加权扰动"]
    SDiff --> Dys["双块 Dyson 方程求解<br/>耦合非线性方程确定主体谱边缘"]
    SDiff --> Det["秩二行列式 BBP 条件<br/>确定孤立尖峰产生与吸收阈值"]
    Dys --> Reg["三相动态相图与早停窗口<br/>弱信号 / 强信号 / 瞬态早停相"]
    Det --> Reg
    Reg --> Max["最优早停时间点确定<br/>最大化特征向量与教师方向重叠度"]

关键设计¶

1. 双块输入协方差模型：以离散各向异性解耦多尺度学习动态

传统各向同性假定无法产生过拟合重吸收，而一般连续谱在有限时间又难以精确求解预解式。本文设计了极简的双块协方差结构：假定矩阵 $X X^\top$ 的特征值仅取两个离散值，比例为 $\alpha$ 的主特征值为 $\lambda_+ = 1$（快方向），其余比例为 $1-\alpha$ 的特征值为 $\lambda_- \in (0, 1]$（慢方向）。在梯度流解的矩阵指数算子 $e^{-t X X^\top}$ 作用下，快方向的时间衰减速率为 $e^{-t}$，能以极快速度收敛并提取教师信号；而慢方向的阻尼速率仅为 $e^{-\lambda_-^2 t}$。更关键的是，噪声项中包含的逆协方差放大因子 $(X X^\top)^{-1}$ 会在慢方向上产生 $1/\lambda_-$ 级别的噪声放大效应。正是这种快慢方向在时间尺度与噪声放大系数上的非对称性，构成了瞬态谱行为的物理发动机。

2. 2×2 Dyson 方程：精确闭式解构时变主体谱分布

经过奇异值分解与旋转变换后，纯噪声矩阵 $S_t$ 转化为具有分块常数方差分布的广义 Wigner 矩阵。在极限维度下，块内与块间的非对角方差剖面满足： $$\sigma_{AA}(t) = 4 a_t^2 + \frac{2 c_t^2}{\gamma}, \quad \sigma_{BB}(t) = 4 b_t^2 + \frac{2 d_t^2}{\gamma}, \quad \sigma_{AB}(t) = (a_t + b_t)^2 + \frac{c_t^2 + d_t^2}{\gamma}$$ 其中时间演化系数分别为 $a_t = e^{-t}, b_t = e^{-\lambda_-^2 t}, c_t = 1 - e^{-t}, d_t = (1 - e^{-\lambda_-^2 t})/\lambda_-$。利用预解式对角元在各块内的自平均特性，本文推导出了复上半平面上局域 Stieltjes 变换 $(m_A(z,t), m_B(z,t))$ 所满足的封闭非线性耦合方程组： $$\begin{cases} \frac{1}{m_A(z,t)} = -z - \alpha \sigma_{AA}(t) m_A(z,t) - (1-\alpha) \sigma_{AB}(t) m_B(z,t) \\[6pt] \frac{1}{m_B(z,t)} = -z - \alpha \sigma_{AB}(t) m_A(z,t) - (1-\alpha) \sigma_{BB}(t) m_B(z,t) \end{cases}$$ 该方程在 Stieltjes 物理分支条件限制下存在唯一解析解。由此可以严格求得任意有限时刻 $t$ 的总体谱密度 $\rho_{S_t}(\lambda) = -\frac{1}{\pi} \lim_{\eta \downarrow 0} \Im [\alpha m_A + (1-\alpha) m_B]$ 以及主体谱上边缘 $L_+(t)$。

3. 秩二 Schur 补行列式：刻画非各向同性下的瞬态 BBP 突变与临界阈值

在各向异性条件下，扰动方向向量 $w_t = (I - e^{-t \Lambda^2}) \widetilde{v}$ 不再与原始教师方向 $\widetilde{v}$ 平行，导致扰动项 $\theta (\widetilde{v} w_t^\top + w_t \widetilde{v}^\top)$ 在有限时间下严格退化为秩二扰动，使得经典秩一 BBP 跃迁公式失效。通过矩阵行列式引理，外层孤立特征值 $\xi_{\theta, t} \notin [L_-(t), L_+(t)]$ 的存在性被精确约化为 $2 \times 2$ 阶 Schur 补矩阵行列式置零的标量条件： $$(1 - \theta \psi_t(\xi_{\theta, t}))^2 = \theta^2 \phi_t(\xi_{\theta, t}) \chi_t(\xi_{\theta, t})$$ 其中二次型极限集中为 $\phi_t(z) = \alpha m_A + (1-\alpha) m_B$、$\psi_t(z) = \alpha f_{A,t} m_A + (1-\alpha) f_{B,t} m_B$、$\chi_t(z) = \alpha f_{A,t}^2 m_A + (1-\alpha) f_{B,t}^2 m_B$，对应时间权重函数为 $f_{A,t} = 1 - e^{-t}, f_{B,t} = 1 - e^{-\lambda_-^2 t}$。当且仅当信号强度超过时变临界阈值： $$\theta_c(t) = \frac{1}{\psi_t(L_+(t)^+) + \sqrt{\phi_t(L_+(t)^+) \chi_t(L_+(t)^+)}}$$ 孤立特征值才会从主体谱右侧边缘浮现。由于 $\theta_c(t)$ 在各向异性下呈现先减小后增大的非单调 U 形曲线，信号空间被自然切分为三个动力学相：永久无尖峰的欠拟合相、永久分离的过拟合强信号相、以及仅在有限时间窗口 $\mathcal{T}_\theta = (t_1, t_2)$ 浮现孤立尖峰的早停相。

损失函数 / 训练策略¶

学生权重通过梯度流连续求解最小二乘目标 $J(A) = \frac{1}{2} \|AX - Y\|_F^2$。梯度流初值为 $A_0 = A_{\mathrm{init}} \sim \mathrm{GOE}(1/\sqrt{N})$，其解析积分为半群演化形式 $A_t = A_{\mathrm{init}} e^{-t XX^\top} + Y X^\top (X X^\top)^{-1} (I - e^{-t XX^\top})$。理论预测采用数值不动点迭代求解 $2 \times 2$ 耦合 Dyson 方程（虚部步长 $\varepsilon=10^{-2}$，收敛阈值 $\ell^\infty < 10^{-10}$），并利用二分法精确追踪实数边缘 $L_+(t)$ 与符号翻转时间点。

实验关键数据¶

主实验¶

为了验证解析理论在有限尺寸下的精确性，作者在 $N=500, \gamma=1, \alpha=0.5, \lambda_+=1, \lambda_-=0.1$ 参数下对梯度流动力学进行 20 次独立模拟，并在不同时间切片比对经验谱与理论谱线，同时在 $(\theta, t)$ 平面检验早停区间 $[t_1, t_2]$。

训练时间阶段 $t$	主体谱形态特征	信号强度 $\theta=6$ 时孤立峰状态	经验直方图与 Dyson 方程符合度	理论物理机制解析
$t = 0.1$	接近标准半圆律	未分离（埋于主体中）	高度吻合	GOE 初始权重占据主导，快慢块尚未分化
$t = 1.0$	双块开始变形	刚脱离上边缘	高度吻合	快方向迅速学习教师信号，临界阈值降低
$t = 5.0$	明显呈现双峰/宽带	显著分离于右侧边缘	高度吻合	达到早停窗口最优阶段，信噪比最高
$t = 20.0$	主体右侧边缘右移	接近被吸收边界	高度吻合	慢方向噪声开始累积，$\theta_c(t)$ 显著反弹回升
$t = 100.0$	主体谱因逆协方差膨胀变宽	完全被重吸收消失	高度吻合	慢方向被放大，噪声淹没信号，呈现过拟合

消融实验¶

消融实验聚焦于输入协方差各向异性参数 $\lambda_-$ 与过采样率 $\gamma$ 对瞬态窗口存在性的影响，分析不同退化模式下的理论极限。

实验配置说明	各向异性程度 ($\lambda_-$)	过采样率 ($\gamma$)	瞬态早停相（黄色楔形）是否存在	临界阈值 $\theta_c(t)$ 演化规律
各向同性对照组	$\lambda_- = 1.0$	$\gamma = 1.0$	否（完全消失）	单调递减趋于常数，仅有全无或全有两相
弱各向异性配置	$\lambda_- = 0.6$	$\gamma = 1.0$	极窄或消失 ($\lambda_- > \lambda_-^\star$)	曲线仅有极其微弱的局部平坦，难以支撑稳定窗口
强各向异性（基准）	$\lambda_- = 0.1$	$\gamma = 1.0$	显著存在，窗口宽广	呈现深 V 形非单调曲线，存在显著全局极小值
欠采样阻尼配置	$\lambda_- = 0.1$	$\gamma < 1.0$ (如 0.8)	存在但窗口明显收窄	零空间冻结恒定噪声，各时刻主体谱均变宽，提高分离门槛
幂律谱泛化验证	$\beta=1.5, \lambda \in [0.1, 5]$	$\gamma = 1.0$	显著存在（跨全连续谱）	教师投影重叠度呈现单峰并在后期回归至随机底噪

关键发现¶

各向异性阈值存在性：在 $(\theta, \lambda_-)$ 相图中，瞬态早停相（教师特征值先分离后吞噬）仅在各向异性超过临界阈值（即 $\lambda_- < \lambda_-^\star$）时才会打开；对于接近各向同性的数据，早停机制在谱层面上失去意义。
最优早停时间点严格位于窗口内部：通过 Woodbury 恒等式计算孤立特征向量与教师真值方向的重叠度 $q_t = (u_t^\star \cdot v)^2$，发现其在 $(t_1, t_2)$ 内严格呈现单峰形态。极值点 $t_{\mathrm{opt}}(\theta)$ 严格位于开区间内部，而非出现在边缘，证明早停时间存在确定性的谱最优解。
连续特征谱下的普遍性：附录针对输入奇异值服从截断幂律分布 $p(\lambda) \propto \lambda^{-1.5}$ 进行的非双块模拟显示，重叠度曲线同样展现出清晰的单峰瞬态突起并衰减回底噪，表明该机制并不依赖离散两块的特殊构造。

亮点与洞察¶

极简但严格自洽的可解物理图景：论文摒弃了复杂的深层非线性网络黑盒，仅用包含快慢两个尺度的线性回归模型与加法对称化，就精准还原了实证中深度网络谱演化的“主体+孤立峰+重吸收”全生命周期。
为早停赋予了首个微观谱学判据：打破了过去仅将早停视为纯经验验证集启发式策略的局限，首次从随机矩阵理论层面给出了解析可计算的临界判定方程与重叠度最优解。
揭示过拟合的本质是慢方向的噪声放大：指明过拟合不只是训练步数过多的抽象现象，而是逆协方差项 $(X X^\top)^{-1}$ 在近奇异小特征值方向上持续累积并放大噪声的直接谱学后果。

局限与展望¶

模型局限于线性教师-学生设定：未直接涵盖多层非线性深度神经网络中观察到的重尾（heavy-tailed）幂律主体分布以及层间非线性耦合效应。
采用加法对称化而非乘法 Gram 矩阵：为了保持有限时间下 Wigner 型方差分布的可解性，研究采用了 $S_t = A_t + A_t^\top$。若采用标准的乘法 Wishart 形式 $A_t A_t^\top$，理论将涉及双自由随机变量卷积的高阶分析，计算负担极重。
泛化测试误差的严格解耦有待完善：虽然特征向量重叠度 $q_t$ 控制了教师信号的低秩恢复分量，但权重主体噪声对最终测试泛化误差的精确贡献仍需后续工作给出严格的闭式泛化界分解。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立有限时间梯度流各向异性导致瞬态 BBP 相变的解析理论。
实验充分度: ⭐⭐⭐⭐☆ 理论与数值模拟严格重合，补充了幂律谱扩展，唯缺乏真实大规模网络对照。
写作质量: ⭐⭐⭐⭐⭐ 数学论证严谨清晰，物理直觉刻画精炼深刻。
价值: ⭐⭐⭐⭐⭐ 奠定了基于随机矩阵理论解释深度学习动态正则化与早停机制的坚实基石。

训练时间阶段 \(t\)	主体谱形态特征	信号强度 \(\theta=6\) 时孤立峰状态	经验直方图与 Dyson 方程符合度	理论物理机制解析
\(t = 0.1\)	接近标准半圆律	未分离（埋于主体中）	高度吻合	GOE 初始权重占据主导，快慢块尚未分化
\(t = 1.0\)	双块开始变形	刚脱离上边缘	高度吻合	快方向迅速学习教师信号，临界阈值降低
\(t = 5.0\)	明显呈现双峰/宽带	显著分离于右侧边缘	高度吻合	达到早停窗口最优阶段，信噪比最高
\(t = 20.0\)	主体右侧边缘右移	接近被吸收边界	高度吻合	慢方向噪声开始累积，\(\theta_c(t)\) 显著反弹回升
\(t = 100.0\)	主体谱因逆协方差膨胀变宽	完全被重吸收消失	高度吻合	慢方向被放大，噪声淹没信号，呈现过拟合

实验配置说明	各向异性程度 (\(\lambda_-\))	过采样率 (\(\gamma\))	瞬态早停相（黄色楔形）是否存在	临界阈值 \(\theta_c(t)\) 演化规律
各向同性对照组	\(\lambda_- = 1.0\)	\(\gamma = 1.0\)	否（完全消失）	单调递减趋于常数，仅有全无或全有两相
弱各向异性配置	\(\lambda_- = 0.6\)	\(\gamma = 1.0\)	极窄或消失 (\(\lambda_- > \lambda_-^\star\))	曲线仅有极其微弱的局部平坦，难以支撑稳定窗口
强各向异性（基准）	\(\lambda_- = 0.1\)	\(\gamma = 1.0\)	显著存在，窗口宽广	呈现深 V 形非单调曲线，存在显著全局极小值
欠采样阻尼配置	\(\lambda_- = 0.1\)	\(\gamma < 1.0\) (如 0.8)	存在但窗口明显收窄	零空间冻结恒定噪声，各时刻主体谱均变宽，提高分离门槛
幂律谱泛化验证	\(\beta=1.5, \lambda \in [0.1, 5]\)	\(\gamma = 1.0\)	显著存在（跨全连续谱）	教师投影重叠度呈现单峰并在后期回归至随机底噪