Sharpness of Minima in Deep Matrix Factorization¶

会议: NeurIPS 2026
arXiv: 2509.25783
领域: 最优化
关键词: 深度矩阵分解, 极小值锐度, Hessian最大特征值, 谱范数平衡, 逃逸现象

一句话总结¶

本文推导出了深度矩阵分解与深度线性神经网络任意全局极小值处 Hessian 矩阵最大特征值的首个精确闭式解，证明了平坦极小值本质上由谱范数平衡决定而非 Frobenius 范数平衡，并首次在深度矩阵分解中经验性刻画了基于动力学稳定性的逃逸现象。

研究背景与动机¶

在现代深度学习中，模型参数量通常远超样本量，损失曲面上存在无穷多个经验误差为零的全局极小值（即处于过参数化插值区间）。然而，基于梯度的优化算法在实践中总能收敛到具有优良泛化能力的解。学习理论长期将这种现象归因于梯度下降（GD）的隐式正则化偏置，而极小值附近的损失曲面几何特征——尤其是局部锐度（Sharpness）与线性动力学稳定性——被普遍认为是决定优化轨迹选择何种极小值的核心几何机制。

为了量化损失曲面在极小值处的锐度，Hessian 矩阵的最大特征值 $\lambda_{\max}(\nabla^2 \mathcal{L}(\mathbf{w}^*))$ 成为了最核心的理论指标。根据动力系统中的线性稳定性理论，梯度下降在极小值局部稳定的充要条件是步长满足 $\eta \le 2 / \lambda_{\max}(\nabla^2 \mathcal{L}(\mathbf{w}^*))$。然而，尽管该指标至关重要，以往文献却只能在极度受限的情形下（例如双层标量网络或特定对称平衡初始化下）给出近似估计或界限。开创性工作 Mulayoff & Michaeli (2020) 虽然给出了深度线性网络平坦极小值处的特征值表达式，却断言对“任意”全局极小值求解精确闭式解在数学上是不可行的，这直接导致学术界对任意极小值几何与动力学逃逸行为的精确分析陷入停滞。

面对这一长期未决的理论瓶颈，本文的切入角度是直接打破以往基于特殊初始化或平衡流形的狭隘视角，利用矩阵微积分、Gâteaux 二阶方向导数与张量积性质，重新审视任意零误差解处的严格二阶变分展开。核心 idea：通过将二阶方向导数转化为分块 Kronecker 积算子的最大奇异值，本文给出了任意深度矩阵分解极小值处 Hessian 最大特征值的首个全局精确闭式解，进而严格证明平坦极小值的本质等价特征是谱范数平衡而非此前广为流传的 Frobenius 范数平衡。

方法详解¶

整体框架¶

本文研究目标为一般过参数化深度矩阵分解的均方误差极小化问题：给定目标矩阵 $\mathbf{M} \in \mathbb{R}^{d_L \times d_0}$ 与深度 $L \ge 2$，优化参数化因子序列 $\mathbf{w} = \text{vec}([\mathbf{W}_1, \dots, \mathbf{W}_L])$，使得 $\mathcal{L}(\mathbf{w}) = \|\mathbf{M} - \mathbf{W}_L \mathbf{W}_{L-1} \cdots \mathbf{W}_1\|_F^2$ 最小。在满足隐层维度条件 $\min_i d_i \ge \min\{d_0, d_L\}$ 下，系统不存在虚假局部极小值，所有局部极小值皆为全局极小值集合 $\Omega = \{\mathbf{w} : \prod_{i=1}^L \mathbf{W}_i = \mathbf{M}\}$。分析流程从扰动方向张量化出发，构建精确的瑞利商极限，求解特征值极值，再退化到具体结构并推导逃逸边界。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["深度矩阵分解全局极小值点<br/>w* in Omega, 目标误差为零"] --> B["基于张量化瑞利商与Gâteaux导数的Hessian闭式刻画<br/>构建块矩阵K与Kronecker积展开"]
    B --> C["深度标量与深度2矩阵分解的特征值退化与精确简化<br/>从张量和到奇异值平方求和"]
    C --> D["极小值平坦性与谱范数平衡理论<br/>左右中间因子谱范数积跨层恒定"]
    D --> E["梯度下降逃逸现象与动态不稳定性阈值<br/>以2/lambda_max为界的相变动态"]

关键设计¶

1. 基于张量化瑞利商与Gâteaux导数的Hessian闭式刻画：将矩阵二阶方向导数精确转化为Kronecker积形式

以往尝试难以求解一般极小值特征值的主要障碍在于，矩阵变量函数在展开二阶导数时会形成高阶张量，各层参数之间的交叉耦合项极其复杂。本文首先借助 Gâteaux 二阶方向导数定义：对任意满足 $\sum_{i=1}^L \|\mathbf{U}_i\|_F^2 = 1$ 的扰动方向矩阵组 $[\mathbf{U}_1, \dots, \mathbf{U}_L]$，通过标量参数 $t$ 的二次导数提取二阶变分。在任意全局极小值 $\mathbf{w}^* \in \Omega$ 处，残差项 $\mathbf{M} - \prod_{j=1}^L \mathbf{W}_j^*$ 严格等于零，从而消去了所有复杂的二阶扰动残差交叉项，使二阶方向导数精确简化为单层一阶扰动和的 Frobenius 范数平方。随后，利用向量化算子与 Kronecker 积恒等式 $\text{vec}(\mathbf{A}\mathbf{U}\mathbf{B}) = (\mathbf{B}^\top \otimes \mathbf{A})\text{vec}(\mathbf{U})$，将全网络扰动的叠加形式收敛为紧凑的块矩阵乘积 $\mathbf{K}\mathbf{u}$。于是，广义瑞利商的最大化问题被等价转化为计算块矩阵 $\mathbf{K}\mathbf{K}^\top$ 的最大奇异值，最终得出定理 3.1 的通用精确解析闭式解： $$\lambda_{\max}(\nabla^2 \mathcal{L}(\mathbf{w}^*)) = 2 \sigma_{\max}\left(\sum_{i=1}^L \mathbf{B}_i^\top \mathbf{B}_i \otimes \mathbf{A}_i \mathbf{A}_i^\top \right)$$ 其中 $\mathbf{A}_k = \prod_{j=k+1}^L \mathbf{W}_j^*$ 表示第 $k$ 层左侧因子的累乘，$\mathbf{B}_k = \prod_{j=1}^{k-1} \mathbf{W}_j^*$ 表示第 $k$ 层右侧因子的累乘（边界处定义为空乘积即单位阵）。

2. 深度标量与深度2矩阵分解的特征值退化与精确简化：从张量和到奇异值平方求和

通用闭式解中的求和项位于 Kronecker 积内部，一般情形下求和与求最大奇异值不可直接交换。然而在典型的过参数化网络退化结构中，该结构呈现出极高的对称性与可解性。对于深度为 $L$ 的过参数化标量分解问题（$d_0 = d_L = 1$），左因子 $\mathbf{A}_i$ 与右因子 $\mathbf{B}_i$ 分别退化为行向量和列向量，其外积矩阵 $\mathbf{B}_i^\top \mathbf{B}_i$ 与 $\mathbf{A}_i \mathbf{A}_i^\top$ 均为标量。此时柯西-施瓦茨不等式上界可严格取等，定理 3.1 直接退化为奇异值平方乘积的代数累加： $$\lambda_{\max}(\nabla^2 \mathcal{L}(\mathbf{w}^*)) = 2 \sum_{i=1}^L \sigma_{\max}\left(\prod_{j=i+1}^L \mathbf{W}_j^*\right)^2 \sigma_{\max}\left(\prod_{j=1}^{i-1} \mathbf{W}_j^*\right)^2$$ 而在经典的深度为 2 的矩阵分解 $\mathcal{L}(\mathbf{L}, \mathbf{R}) = \|\mathbf{M} - \mathbf{L}\mathbf{R}^\top\|_F^2$ 中，由于中间隐藏维度 $k \ge \min\{d_0, d_L\}$，对应的块矩阵呈现正交正定分解，其最大特征值进一步简化为左右两个因子矩阵谱范数平方的直接加和： $$\lambda_{\max}(\nabla^2 \mathcal{L}(\mathbf{L}^*, \mathbf{R}^*)) = 2\left(\sigma_{\max}(\mathbf{L}^*)^2 + \sigma_{\max}(\mathbf{R}^*)^2\right)$$ 这一结果直接统一了解析理论，并证明了局部极小值处的锐度本质上完全由各层因子在最大奇异值方向上的投影能量所主导。

3. 极小值平坦性与谱范数平衡理论：打破Frobenius范数平衡神话

学术界过去大量工作（如 Ding et al. 2024; Ghosh et al. 2025）认为深度分解中的“平坦极小值”与“Frobenius 范数平衡极小值”（即满足各层 $\mathbf{W}_{i+1}^\top \mathbf{W}_{i+1} = \mathbf{W}_i \mathbf{W}_i^\top$ 或 $\mathbf{L}\mathbf{L}^\top = \mathbf{R}\mathbf{R}^\top$）等价。本文通过精确表达式彻底推翻了这一直觉。在深度为 2 的矩阵分解中，由均值不等式（AM-GM）可知，$\sigma_{\max}(\mathbf{L}^*)^2 + \sigma_{\max}(\mathbf{R}^*)^2 \ge 2\sigma_{\max}(\mathbf{L}^*)\sigma_{\max}(\mathbf{R}^*) \ge 2\sigma_{\max}(\mathbf{M})$，等号当且仅当 $\sigma_{\max}(\mathbf{L}^*) = \sigma_{\max}(\mathbf{R}^*) = \sqrt{\sigma_{\max}(\mathbf{M})}$ 时成立。这意味着平坦极小值（即达到理论最小曲率 $4\sigma_{\max}(\mathbf{M})$ 的极小值）的充要条件是谱范数平衡（Spectral-norm Balanced）。同样，在深度为 $L$ 的标量分解中，平坦的充要条件是每层的左右谱范数乘积严格满足 $\sigma_{\max}(\mathbf{A}_k)\sigma_{\max}(\mathbf{B}_k) = |m|^{1 - 1/L}$。由于谱范数仅约束最大奇异值，其他次级奇异值可以完全不平衡，因此平坦极小值集合远大于 Frobenius 平衡极小值集合，后者仅是前者在特定对称初始化下的一个狭窄子集。

4. 梯度下降逃逸现象与动态不稳定性阈值：以2/lambda_max为界的相变动态

基于动力系统线性化稳定性理论，当梯度下降优化器以学习率 $\eta$ 更新时，在极小值局部满足 $\mathbf{w}_{t+1} - \mathbf{w}^* = (\mathbf{I} - \eta \nabla^2 \mathcal{L}(\mathbf{w}^*))(\mathbf{w}_t - \mathbf{w}^*)$。极小值具备动力学稳定性的充要条件是谱半径 $\rho(\mathbf{I} - \eta \nabla^2 \mathcal{L}(\mathbf{w}^*)) \le 1$，即步长严格受限于 $\eta \le 2 / \lambda_{\max}(\nabla^2 \mathcal{L}(\mathbf{w}^*))$。一旦 $\eta > 2/\lambda_{\max}$，误差在最大特征值对应的特征向量 $\mathbf{v}_1$ 方向将呈几何级数放大并逃逸出局部吸引子盆地。因为均方误差下的 Hessian 在极小值处具有高维退化特性（零特征值比例至少为 $1 - 1/L$），任意随机微扰方向以概率 1 包含非零不稳定分量与零特征值分量。本文据此确立了以计算出的精确 $\lambda_{\max}$ 指导微扰方向与步长选取的实验准则，能够精准复现与观测深层矩阵因式分解中的非凸逃逸相变。

一个完整示例¶

为了清晰展现“谱范数平衡”与“Frobenius 范数平衡”的本质脱钩，考虑一个具体的 3 维深度为 2 的矩阵分解反例：目标对角矩阵设定为 $\mathbf{M} = \text{diag}(11, 2, 1) \in \mathbb{R}^{3 \times 3}$，其最大奇异值为 $\sigma_{\max}(\mathbf{M}) = 11$。

根据平坦极小值的理论定义，其曲率下界为 $\lambda_{\max}^* = 4 \sigma_{\max}(\mathbf{M}) = 44$。现在构造一对分解因子矩阵： $$\mathbf{L}^* = \text{diag}\left(\sqrt{11}, \frac{2}{3}, 1\right), \quad \mathbf{R}^* = \text{diag}\left(\sqrt{11}, 3, 1\right)$$ 首先验证全局极小值有效性：乘积 $\mathbf{L}^* {\mathbf{R}^*}^\top = \text{diag}(11, \frac{2}{3} \times 3, 1 \times 1) = \text{diag}(11, 2, 1) = \mathbf{M}$，误差严格为零，因此确实处于全局极小值集合 $\Omega$。

其次计算两因子的谱范数：$\sigma_{\max}(\mathbf{L}^*) = \sqrt{11}$，$\sigma_{\max}(\mathbf{R}^*) = \sqrt{11}$。代入推导的特征值公式： $$\lambda_{\max}(\nabla^2 \mathcal{L}(\mathbf{L}^*, \mathbf{R}^*)) = 2\left(\sigma_{\max}(\mathbf{L}^*)^2 + \sigma_{\max}(\mathbf{R}^*)^2\right) = 2(11 + 11) = 44$$ 该锐度恰好等于全局最平坦极小值的理论下界 44，因此根据定义，$(\mathbf{L}^*, \mathbf{R}^*)$ 是一个严格的平坦极小值。

最后检查 Frobenius 范数平衡条件： $$\mathbf{L}^* {\mathbf{L}^*}^\top = \text{diag}\left(11, \frac{4}{9}, 1\right) \neq \mathbf{R}^* {\mathbf{R}^*}^\top = \text{diag}(11, 9, 1)$$ 第二对角元分别为 $4/9$ 与 $9$，两者显著不相等，故矩阵差 $\mathbf{L}^* {\mathbf{L}^*}^\top - \mathbf{R}^* {\mathbf{R}^*}^\top \neq \mathbf{0}$。此例无懈可击地从代数构造上证明了：平坦极小值并不要求全局的 Frobenius 范数平衡，仅需要最大奇异值分量达到谱范数平衡即可。

损失函数 / 训练策略¶

问题采用二次均方误差损失 $\mathcal{L}(\mathbf{w}) = \|\mathbf{M} - \prod_{i=1}^L \mathbf{W}_i\|_F^2$。梯度下降离散更新规则为 $\mathbf{w}_{t+1} = \mathbf{w}_t - \eta \nabla \mathcal{L}(\mathbf{w}_t)$。在线性化近似区间 $B_\delta(\mathbf{w}^*)$ 内（试验中扰动半径 $\delta$ 选取在 $10^{-15} \sim 10^{-9}$ 之间），残差序列 $\boldsymbol{\epsilon}_t = \mathbf{w}_t - \mathbf{w}^*$ 满足线性演化方程 $\boldsymbol{\epsilon}_{t+1} = (\mathbf{I} - \eta \nabla^2 \mathcal{L}(\mathbf{w}^*)) \boldsymbol{\epsilon}_t$。训练策略重点考察两种步长设定：次临界步长 $\eta < 2/\lambda_{\max}$（动力学收敛）与超临界步长 $\eta > 2/\lambda_{\max}$（动力学逃逸与弹射相变）。

实验关键数据¶

主实验¶

本文首次为深度矩阵分解各个层次建立了完整的 Hessian 最大特征值解析谱体系，下表总结了文献既有结论与本文定理 3.1 及推论的理论边界对比：

研究工作 / 定理	分解深度 $L$	输入 / 输出维数	极小值适用范围	算子空间	$\lambda_{\max}(\nabla^2 \mathcal{L}(\mathbf{w}^*))$ 精确闭式表达式
Mulayoff & Michaeli (2020)	$L$	$d_0, d_L$	仅限平坦极小值 $\mathbf{w} \in \Omega_F$	$\mathbb{R}^{a \times b}$	$2L \cdot \sigma_{\max}(\mathbf{M})^{2(1 - 1/L)}$
Zhu et al. (2023)	2	1, 1	标量分解极小值 $\mathbf{w} \in \mathbb{R}^N$	$\mathbb{R}$	$2(\\|\mathbf{w}_1\\|_2^2 + \\|\mathbf{w}_2\\|_2^2)$
Singh & Hofmann (2024)	2	1, 1	单隐层标量极小值 $\mathbf{w} \in \mathbb{R}^N$	$\mathbb{R}^a$	$2 \cdot \sigma_x^2(\\|\mathbf{w}_1\\|_2^2 + \\|\mathbf{w}_2\\|_2^2)$
Ghosh et al. (2025)	$L$	$d_0, d_L$	仅限 Frobenius 平衡解 $\mathbf{w} \in \Omega_B$	$\mathbb{R}^{a \times b}$	$2L \cdot \sigma_{\max}(\mathbf{M})^{2(1 - 1/L)}$
定理 3.1（本文通用解）	$L$	$d_0, d_L$	任意全局极小值 $\mathbf{w} \in \Omega$	$\mathbb{R}^{a \times b}$	$2 \sigma_{\max}\left(\sum_{i=1}^L \mathbf{B}_i^\top \mathbf{B}_i \otimes \mathbf{A}_i \mathbf{A}_i^\top \right)$
推论 3.2（本文深度标量）	$L$	1, 1	任意标量极小值 $\mathbf{w} \in \Omega$	$\mathbb{R}$	$2 \sum_{i=1}^L \sigma_{\max}(\mathbf{A}_i)^2 \sigma_{\max}(\mathbf{B}_i)^2$
推论 3.3（本文深度-2 矩阵）	2	$d_0, d_L$	*任意矩阵分解解 $(\mathbf{L}^, \mathbf{R}^) \in \Omega$*	$\mathbb{R}^{a \times b}$	*$2\left(\sigma_{\max}(\mathbf{L}^)^2 + \sigma_{\max}(\mathbf{R}^)^2\right)$*

消融实验¶

下表对比了不同几何平坦性定义、平衡条件及其在梯度下降动力学逃逸实验中的预测行为与检验结果：

平坦性 / 平衡准则	数学判定条件	对应的锐度指标定义	是否为平坦充要条件	逃逸阈值预测 $\eta_{\text{crit}}$	动力学模拟吻合度
Frobenius 范数平衡	$\mathbf{L}\mathbf{L}^\top = \mathbf{R}\mathbf{R}^\top$ 或 $\\|\mathbf{W}_i\\|_F$ 均等	缩放迹 $\text{Tr}(\nabla^2 \mathcal{L})$ / 局部范数	否（仅为极窄充分条件）	偏离实际最差方向	在非对角解处预测失效
谱范数平衡（本文）	$\sigma_{\max}(\mathbf{L}^) = \sigma_{\max}(\mathbf{R}^)$	最大特征值 $\lambda_{\max}(\nabla^2 \mathcal{L})$	是（深度-2 与标量分解充要）	*$2 / \lambda_{\max}(\nabla^2 \mathcal{L}(\mathbf{w}^))$**	完全精确吻合相变界限
跨层中间因子平衡（深层）	$\sigma_{\max}(\mathbf{A}_k)\sigma_{\max}(\mathbf{B}_k) = \text{const}$	块 Kronecker 谱上界	是（标量充要，深层矩阵充分）	$2 / (2L\sigma_{\max}(\mathbf{M})^{2(1-1/L)})$	高维深层网络严格符合
任意非平衡全局解	奇异值分布无约束	通用张量谱范数	否（对应更尖锐的极小值）	$2 / [2\sigma_{\max}(\sum \mathbf{B}_i^\top \mathbf{B}_i \otimes \dots)]$	微扰演化精准触发逃逸

关键发现¶

动力学逃逸的相变分水岭：在 2 层矩阵分解（$\mathbf{L} \in \mathbb{R}^{10 \times 20}, \mathbf{R} \in \mathbb{R}^{20 \times 20}$）以及 5 层、15 层、20 层超参数化标量网络中，当学习率 $\eta \le 2/\lambda_{\max}$ 时，沿最大特征向量微扰的优化轨迹单调收敛至目标极小值；一旦 $\eta > 2/\lambda_{\max}$，训练误差立即发生弹射（Catapult），模型脱离原极小值吸引盆并转移至其他平坦区域，完美证实了 $2/\lambda_{\max}$ 是动力学稳定的不可逾越界限。
锐度度量对几何推断的误导性：Ding et al. (2024) 采用的缩放 Hessian 迹（Scaled Trace）平滑了不同特征方向的各向异性，从而得出了平坦极小值与 Frobenius 平衡极小值重合的片面结论；而一旦回归决定动力学最坏情况的 $\lambda_{\max}$，平坦解的真实几何本质必然是谱范数平衡。
退化流形对随机微扰的敏感性：由于深度矩阵分解 Hessian 矩阵具有至少 $1 - 1/L$ 的零特征值退化空间，若采用球面上各向同性随机微扰，轨迹几乎必然包含零曲率漂移分量从而无法收敛回原极小值点；只有沿精确解析算出的 $\mathbf{v}_1$ 方向微扰，才能无歧义地解耦出逃逸现象的动力学本质。

亮点与洞察¶

攻克长期理论猜想：推翻了 Mulayoff & Michaeli (2020) 关于“一般全局极小值闭式特征值求解不可行”的断言，利用 Gâteaux 二阶导与 Kronecker 展开找到了简洁优雅的闭式解。
厘清平衡态概念混淆：明确界定了谱范数平衡（Spectral-norm Balancing）与 Frobenius 范数平衡的区别，用极简构造反例证明了以往文献中将两者混为一谈的理论缺陷。
连接损失几何与非凸优化动力学：给出的解析解不仅是静态几何性质，而且直接充当了预测超参数化非凸网络在稳定性边缘（Edge of Stability）与弹射逃逸行为中的定量物理相变点。

局限与展望¶

数据协方差与非线性激活限制：论文理论严格建立在深度矩阵分解与具有恒等协方差的深度线性网络上；对于包含 ReLU 等非线性激活函数的深度神经网络，Hessian 谱在非光滑分段线性边界处的退化行为仍需进一步推广。
欠参数化低秩因式分解尚未涵盖：当前分析假设中间隐层维度满足过参数化充分条件（$\min_i d_i \ge \min\{d_0, d_L\}$），未深入探讨受限低秩瓶颈（Bottleneck）下虚假局部鞍点与极小值的复杂几何。
未来方向：可进一步将该闭式特征值框架应用于研究随机梯度下降（SGD）噪声协方差与损失 Hessian 的对齐机制，以及大步长优化诱导隐式谱正则化的深层动力学机理。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 攻克了深度矩阵分解领域悬而未决的 Hessian 最大特征值精确求解问题，建立了谱范数平衡新认知。
实验充分度: ⭐⭐⭐⭐☆ 理论推导无懈可击，数值模拟在不同维度、深度及步长下完美验证了动力学稳定性与逃逸相变。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，数学符号规范，从直觉构建到定理证明及文献反例辨析层层递进。
价值: ⭐⭐⭐⭐⭐ 为深度学习隐式正则化、稳定性边缘现象及损失曲面几何分析提供了基石级的理论解析工具。

研究工作 / 定理	分解深度 \(L\)	输入 / 输出维数	极小值适用范围	算子空间	\(\lambda_{\max}(\nabla^2 \mathcal{L}(\mathbf{w}^*))\) 精确闭式表达式
Mulayoff & Michaeli (2020)	\(L\)	\(d_0, d_L\)	仅限平坦极小值 \(\mathbf{w} \in \Omega_F\)	\(\mathbb{R}^{a \times b}\)	\(2L \cdot \sigma_{\max}(\mathbf{M})^{2(1 - 1/L)}\)
Zhu et al. (2023)	2	1, 1	标量分解极小值 \(\mathbf{w} \in \mathbb{R}^N\)	\(\mathbb{R}\)	\(2(\\|\mathbf{w}_1\\|_2^2 + \\|\mathbf{w}_2\\|_2^2)\)
Singh & Hofmann (2024)	2	1, 1	单隐层标量极小值 \(\mathbf{w} \in \mathbb{R}^N\)	\(\mathbb{R}^a\)	\(2 \cdot \sigma_x^2(\\|\mathbf{w}_1\\|_2^2 + \\|\mathbf{w}_2\\|_2^2)\)
Ghosh et al. (2025)	\(L\)	\(d_0, d_L\)	仅限 Frobenius 平衡解 \(\mathbf{w} \in \Omega_B\)	\(\mathbb{R}^{a \times b}\)	\(2L \cdot \sigma_{\max}(\mathbf{M})^{2(1 - 1/L)}\)
定理 3.1（本文通用解）	\(L\)	\(d_0, d_L\)	任意全局极小值 \(\mathbf{w} \in \Omega\)	\(\mathbb{R}^{a \times b}\)	\(2 \sigma_{\max}\left(\sum_{i=1}^L \mathbf{B}_i^\top \mathbf{B}_i \otimes \mathbf{A}_i \mathbf{A}_i^\top \right)\)
推论 3.2（本文深度标量）	\(L\)	1, 1	任意标量极小值 \(\mathbf{w} \in \Omega\)	\(\mathbb{R}\)	\(2 \sum_{i=1}^L \sigma_{\max}(\mathbf{A}_i)^2 \sigma_{\max}(\mathbf{B}_i)^2\)
推论 3.3（本文深度-2 矩阵）	2	\(d_0, d_L\)	*任意矩阵分解解 \((\mathbf{L}^, \mathbf{R}^) \in \Omega\)*	\(\mathbb{R}^{a \times b}\)	*\(2\left(\sigma_{\max}(\mathbf{L}^)^2 + \sigma_{\max}(\mathbf{R}^)^2\right)\)*

平坦性 / 平衡准则	数学判定条件	对应的锐度指标定义	是否为平坦充要条件	逃逸阈值预测 \(\eta_{\text{crit}}\)	动力学模拟吻合度
Frobenius 范数平衡	\(\mathbf{L}\mathbf{L}^\top = \mathbf{R}\mathbf{R}^\top\) 或 \(\\|\mathbf{W}_i\\|_F\) 均等	缩放迹 \(\text{Tr}(\nabla^2 \mathcal{L})\) / 局部范数	否（仅为极窄充分条件）	偏离实际最差方向	在非对角解处预测失效
谱范数平衡（本文）	\(\sigma_{\max}(\mathbf{L}^) = \sigma_{\max}(\mathbf{R}^)\)	最大特征值 \(\lambda_{\max}(\nabla^2 \mathcal{L})\)	是（深度-2 与标量分解充要）	*\(2 / \lambda_{\max}(\nabla^2 \mathcal{L}(\mathbf{w}^))\)**	完全精确吻合相变界限
跨层中间因子平衡（深层）	\(\sigma_{\max}(\mathbf{A}_k)\sigma_{\max}(\mathbf{B}_k) = \text{const}\)	块 Kronecker 谱上界	是（标量充要，深层矩阵充分）	\(2 / (2L\sigma_{\max}(\mathbf{M})^{2(1-1/L)})\)	高维深层网络严格符合
任意非平衡全局解	奇异值分布无约束	通用张量谱范数	否（对应更尖锐的极小值）	\(2 / [2\sigma_{\max}(\sum \mathbf{B}_i^\top \mathbf{B}_i \otimes \dots)]\)	微扰演化精准触发逃逸