A Unified Stability Analysis of SAM vs SGD: Role of Data Coherence and Emergence of Simplicity Bias¶

会议: NeurIPS 2025
arXiv: 2511.17378
代码: https://github.com/changwk1001/Stability_Analysis_and_Simplicity-Bias.git
领域: 优化理论
关键词: SAM, SGD, 线性稳定性, 数据一致性, 简单性偏好

一句话总结¶

通过线性稳定性分析框架，证明了"平坦极小值⇒好泛化"和"SGD偏好简单函数"是同一枚硬币的两面——数据一致性(coherence)同时控制着两者，且SAM通过更严格的稳定性条件进一步放大了简单性偏好。

研究背景与动机¶

领域现状：深度学习中两个核心泛化假说：(1)"平坦极小值假说"——SGD/SAM 偏好宽而浅的损失盆地，平坦度与泛化正相关；(2)"简单性偏好假说"——过参数化网络倾向于学习依赖少数共享特征的简单解

现有痛点：这两个假说各自有大量经验证据，但缺乏统一理论框架解释两者的内在联系。特别是：为什么 SGD 偏好平坦极小值？为什么 SAM 即使在等平坦度场景下也能选择更好的解？数据结构如何影响优化偏好？

核心矛盾：SAM 被设计为"寻找平坦极小值"，但实验表明它还有超越平坦度的选择性——在等平坦度的极小值中仍偏好某些解。这说明仅用平坦度不足以解释泛化

切入角度：线性稳定性分析——将优化动力学在极小值附近线性化，通过迭代矩阵的谱性质判断稳定性

核心 idea：数据一致性（per-sample Hessian 的对齐程度）同时控制了平坦性偏好和简单性偏好，SAM 通过额外的曲率惩罚项放大了这种选择性

核心问题¶

能否建立一个统一的理论框架，同时解释 SGD 和 SAM 对极小值的选择性偏好，并揭示数据几何结构（特别是训练样本间的梯度对齐）如何决定了哪些解是稳定吸引子？具体地：(1) 噪声注入是否改变稳定极小值集合？(2) SAM 相对 SGD 额外引入了什么选择性？(3) 这些选择性如何在具体网络中实现为对简单解的偏好？

方法详解¶

整体框架¶

围绕线性稳定性分析展开：在极小值 \(w^*\) 附近Taylor展开更新动力学，分析迭代矩阵的谱性质来判断该极小值是否为吸引子。核心物理直觉：如果迭代过程中 \(\mathbb{E}[\|w_k\|^2]\) 发散则解不稳定（SGD会逃离），收敛则稳定（SGD会停留）。

关键设计¶

数据一致性度量(Coherence): 定义一致性矩阵 \(S_{ij} = \text{Tr}(H_i H_j)\)，其中 \(H_i\) 是样本 \(i\) 的per-example Hessian。一致性度量 \(\sigma = \lambda_{\max}(S)/\max_i \lambda_{\max}(H_i)\)。高一致性意味着不同训练样本的曲率方向高度对齐——即模型用少数共享特征拟合多个样本。证明了：高一致性解更稳定（允许更大学习率），因为共享方向的梯度产生更强的恢复力。
SGD vs. 随机扰动 vs. SAM的稳定性条件:
- SGD发散条件(已知): \(\lambda_{\max}(H) \geq \frac{\sigma}{\eta}(\frac{n}{B}-1)^{-1/2}\)
- 随机扰动(Theorem 3.1): 发散条件与SGD完全相同（噪声不改变哪些极小值稳定），但逃离速度快常数倍；稳定时不精确收敛而是在极小值附近振荡
- SAM发散条件(Theorem 3.2): \(\lambda_{\max}(H) \geq \frac{\sigma}{\eta}(\frac{n}{B}-1)^{-1/2}(1+\frac{\rho}{\alpha}\lambda_{\min}(H))^{-1}\)。额外的曲率因子使SAM更严格——边际稳定的SGD极小值可能在SAM下不稳定。且匹配下界(Theorem 3.3)证明了该条件的tight性。
两层ReLU网络中的简单性偏好实现:
- 记忆解 vs. 泛化解(Theorem 3.4): 记忆解（每个样本激活独立神经元）的一致性矩阵是对角的（\(S_{ij}=0, i\neq j\)），一致性最低→最不稳定；泛化解（共享神经元）有非零off-diagonal→更高一致性→更稳定
- \((C,r)\)-泛化解(Theorem 3.5): 固定 \(r\)（等平坦度），\(\lambda_{\max}(S) = O(n/2^C \cdot (d+1)^{1/2})\)。\(C\) 越小（使用越少特征）→一致性越高→收敛越快。这直接证明了SGD在等平坦度条件下仍偏好简单解
- SAM放大简单性偏好(Theorem 3.6): SAM的有效一致性矩阵中包含额外的 \(\rho/\alpha\) 相关项，使得不同 \(C\) 值的稳定性差异被放大

损失函数 / 训练策略¶

理论分析在二次损失近似下进行。实验使用两层ReLU网络，MSE损失，\(d=100\)隐层50，batch=10，\(\eta=0.01\)，\(\rho \in \{0.01, 0.05, 0.1, 0.2\}\)。附加CIFAR-10+ResNet-18验证。

实验关键数据¶

主实验：一致性度量随 SAM 扰动半径变化¶

指标	SGD	SAM(ρ=0.05)	SAM(ρ=0.1)	SAM(ρ=0.2)
\(\lambda_{\max}(S)\)	133.9	121.5	90.3	65.7
\(\max_i \lambda_{\max}(H_i)\)	12740	10103	6422	3446
Hessian max eigenvalue	6.776	-	3.834	-
有效秩 (PCA 90%)	94.39	-	-	29.14

设置：两层 ReLU 网络，\(n=100\), \(d\) 可变，\(x \in \{-1,1\}^d\), \(y = x[0] \cdot x[1]\)（确保简单/复杂解同时存在）

消融实验¶

配置	说明
\((B,\sigma)\) 空间稳定性边界	SGD 与随机扰动边界高度重合（验证 Thm 3.1）；SAM 边界更严格
不同 \(\rho/\alpha\)	增大 SAM 扰动半径→稳定区域进一步缩小
固定 \(r\) 不同 \(C\)	SAM 对低 \(C\) 解收敛更快（验证 Thm 3.5, 3.6）
训练过程动态	一致性是动态量，SAM 强力降低 \(\max_i \lambda_{\max}(H_i)\)
CIFAR-10/ResNet-18	SAM 降低特征有效秩，近似一致性度量随 SAM \(\rho\) 增大而降低

关键发现¶

SAM 的效果超越"寻找平坦极小值"——在等平坦度条件下仍选择高一致性（简单）解
一致性是动态量：训练过程中 \(\lambda_{\max}(S)\) 持续变化，SAM 比 SGD 更有效地降低它
随机扰动（noise injection）不改变哪些极小值是稳定的，仅加速逃离不稳定极小值

亮点与洞察¶

理论统一的优雅：用一致性度量 \(\sigma\) 同时解释平坦极小值偏好和简单性偏好，是同一枚硬币的两面
Theorem 3.4（记忆解⇔对角一致性矩阵）极其优雅：将抽象的一致性概念与具体的神经元激活模式联系起来
SAM 超越平坦度搜索：SAM 不仅偏好平坦解，还偏好"共享特征"的解——在等平坦度的解空间中仍有区分能力
匹配下界 (Theorem 3.3)：证明了 SAM 发散条件的 tightness，上下界差仅常数因子
实践启示：SGD/SAM 的简单性偏好可能部分解释了为什么简单模型/prompt在某些设置下比复杂方案更有效

局限与展望¶

核心分析依赖于极小值附近的线性近似（二次损失），非局部动力学未覆盖
仅分析了 SGD 和 SAM，未涉及 Momentum SGD 和 Adam 等实际常用优化器
\((C,r)\)-泛化解的构造虽合理但限制性较强，真实网络的解结构更复杂
一致性度量计算成本高（需要 per-sample Hessian），目前不适合实际训练中使用
CIFAR-10 实验使用了近似一致性度量，与理论定义有 gap
实验主要在合成二值数据上验证，真实数据集（ImageNet 等）的行为可能有差异

评分¶

新颖性: ⭐⭐⭐⭐⭐ 用一致性度量统一平坦性和简单性两大假说是真正有洞察力的理论贡献
实验充分度: ⭐⭐⭐ 合成数据验证充分但真实数据验证偏弱（仅CIFAR-10近似实验）
写作质量: ⭐⭐⭐⭐ 理论主线清晰，定理→讨论→实证的结构好，但符号较多
价值: ⭐⭐⭐⭐ 对理解DL泛化机制有深刻贡献，但实践指导价值有限（一致性不可高效计算）