does sparse connectivity improve generalization convolutional networks below the

会议: NeurIPS 2026
arXiv: 2603.04807
领域: 学习理论
关键词: 稀疏连接性, 稳定性边缘, 隐式正则化, 卷积神经网络, 泛化理论

一句话总结

本文证明了在梯度下降的稳定性边缘（BEoS）机制下，稀疏连接（卷积局部感受野）将损失海森矩阵的曲率约束从高维全图空间转换至局部低维补丁多重集，在全连接网络保证完全退化的超球面数据上诱导非平凡泛化界并抵抗维度灾难。

研究背景与动机

现代深度学习中，过参数化卷积神经网络（CNN）即便在无显式正则化的前提下，依然展现出远优于全连接网络（FCN）的泛化能力。为了理解梯度下降的隐式正则化本质，近期理论研究聚焦于梯度下降在动态平衡中所处的“稳定性边缘”（Edge of Stability, EoS）体制——在训练过程中损失函数的海森矩阵最大特征值 \(\lambda_{\max}(\nabla^2 \mathcal{L})\) 持续上升并最终徘徊在步长决定的阈值 \(2/\eta\) 附近。对于处于稳定性边缘下方（Below Edge of Stability, BEoS）的参数解集合，动力学稳定性天然施加了强烈的几何曲率约束。

然而现有针对两层全连接 ReLU 网络的 BEoS 泛化分析暴露出了严重的理论瓶颈：当输入数据分布靠近或位于高维单位超球面 \(\mathbb{S}^{d-1}\) 时，全连接网络所承受的曲率约束在维度 \(d\) 增长时急剧弱化，导致的泛化界彻底失效（vacuous）。与此形成鲜明矛盾的是，计算机视觉领域的标准图像归一化预处理通常将像素特征映射至高维超球面附近，但基于局部感受野的 CNN 模型在此类数据上却能稳定获得优异泛化，传统全连接稳定性理论无法解释这一关键归纳偏置。

这一现象的本质分歧在于网络架构对数据表征几何形态的根本重构。卷积层与全连接层的分水岭在于稀疏连接性（Sparse Connectivity）——每个隐藏神经元不再接收完整的高维输入向量，而是仅感知局部坐标子集映射出的低维补丁（patches）。在前向传播中模型处理的是补丁集合；在反向传播中梯度动力学直接与低维补丁多重集的几何结构耦合。核心 idea：稀疏连接将梯度下降的稳定性曲率约束从高维全图空间转移到低维补丁多重集，利用低维投影在球心附近的强聚集性形成紧致的加权路径范数惩罚，从而在超球面几何下打破全连接网络的维度灾难。

方法详解

整体框架

本文构建了包含稀疏连接、局部坐标投影与权重共享的极简两层 ReLU 卷积模型（\(\mathcal{S}\text{CN}\)），考察其在均方误差损失下由步长 \(\eta\) 约束的 BEoS 解集合 \(\mathbf{\Theta}_{\mathrm{BEoS}}^{\mathcal{S}}(\eta, \mathcal{D}) = \{\boldsymbol{\theta} \mid \lambda_{\max}(\nabla^2 \mathcal{L}(\boldsymbol{\theta})) \leq 2/\eta\}\)。系统分析了前向补丁提取、反向传播梯度流的结构分解，并严谨推导了从海森矩阵谱界到补丁几何加权路径范数（Weighted Path Norm）的转化关系，给出了泛化保证与失效条件的几何判据。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["高维输入向量 x 属于 𝕾^(d-1)"] --> PExtract["稀疏坐标投影提取<br/>局部感受野补丁集 {π_j(x)} 属于 ℝ^m"]
    PExtract --> PatchGeom["补丁多重集几何特征化<br/>低维投影聚集性与半空间深度"]
    PatchGeom --> FilterGrad["反向传播梯度因子分解<br/>∇_W ℒ = G(θ)^T X 限制于补丁子空间"]
    FilterGrad --> TangentBnd["正切特征下界与曲率耦合<br/>λ_max(∇^2 ℒ) 控制加权路径范数"]
    TangentBnd --> GenDichotomy{"补丁集合几何形态判定"}
    GenDichotomy -->|m 远小于 d: 紧密聚集且不可粉碎| BoundGen["非平凡泛化界 O(n^(-1/6 + O(m/d)))<br/>打破维度灾难，有效抵御标签噪声"]
    GenDichotomy -->|存在孤立补丁: 稀疏激活过拟合| InterpFail["平坦插值失效模式<br/>极低曲率代价下完美记忆噪声"]

关键设计

1. 补丁几何加权路径范数：将海森矩阵稳定性转化为模型容量正则化

为了量化稀疏连接下海森矩阵对网络参数的约束，必须建立曲率与模型参数范数之间的解析联系。两层稀疏网络输出为 \(f_{\boldsymbol{\theta}}(\boldsymbol{x}) = \sum_{k=1}^K v_k (\frac{1}{J}\sum_{j=1}^J \phi(\boldsymbol{w}_k^\top \pi_j(\boldsymbol{x}) - b_k)) + \beta\)，其损失海森矩阵可分解为正切特征协方差矩阵 \(\boldsymbol{T}_{\mathcal{D}}\) 与残差二阶矩阵 \(\boldsymbol{R}_{\mathcal{D}}\)。通过构造全 1 扰动向量并利用柯西-施瓦茨与均值不等式，定理 4.1 证明了 BEoS 稳定性条件 \(\lambda_{\max}(\nabla^2 \mathcal{L}) \leq 2/\eta\) 直接强制约束所有神经元的加权路径范数总和：

\[\sum_{k=1}^K |v_k| \|\boldsymbol{w}_k\| g_{\mathcal{D},\mathcal{S}}\left(\frac{\boldsymbol{w}_k}{\|\boldsymbol{w}_k\|}, \frac{b_k}{\|\boldsymbol{w}_k\|}\right) \leq \frac{1}{\eta} - \frac{1}{2} + (R+1)\sqrt{2\mathcal{L}(\boldsymbol{\theta})}\]

其中权重核函数 \(g_{\mathcal{D},\mathcal{S}}(\boldsymbol{u}, t)\) 完全由补丁多重集 \(\boldsymbol{X}_{\mathcal{D}}^{\mathcal{S}}\) 的经验几何测度决定：

\[g_{\mathcal{D},\mathcal{S}}(\boldsymbol{u}, t) := \mathbb{E}\left[\phi(\boldsymbol{u}^\top \boldsymbol{X}_{\mathcal{D}}^{\mathcal{S}} - t)\right] \sqrt{\mathbb{P}(\boldsymbol{u}^\top \boldsymbol{X}_{\mathcal{D}}^{\mathcal{S}} > t)^2 + \left\|\mathbb{E}\left[\boldsymbol{X}_{\mathcal{D}}^{\mathcal{S}} \mathbb{I}\{\boldsymbol{u}^\top \boldsymbol{X}_{\mathcal{D}}^{\mathcal{S}} > t\}\right]\right\|_2^2}\]

该机制揭示：神经元若要在大量补丁上激活（即具备统计代表性），\(\mathbb{P}(\boldsymbol{u}^\top \boldsymbol{X}_{\mathcal{D}}^{\mathcal{S}} > t)\) 显著大于零，从而 \(g_{\mathcal{D},\mathcal{S}}\) 产生坚硬的下界，使得参数的路径范数 \(|v_k|\|\boldsymbol{w}_k\|\) 被迫保持在极小范围，从根本上锁死过拟合容量。

2. 低维投影聚集效应：在高维超球面打破维度灾难

当全连接网络输入均匀分布于超球面 \(\mathbb{S}^{d-1}\) 时，任意样本点均分布在表面，神经元可以轻易切出单个孤立样本而使全局曲率极低。但在稀疏连接下，每个感受野仅观测 \(m\) 维坐标。由高维几何测度集中性质，当 \(m \ll d\) 时，均匀球面向量的 \(m\) 维投影模长高度集中于原点近邻，其概率测度在原点附近呈现致密的各向同性聚集。定理 4.2 证明，在此几何结构下，任何激活非平凡测度区域的神经元，其权重函数均满足 \(g_{\mathcal{P},\mathcal{S},\min}(\varepsilon) \geq c_L(d) \varepsilon^d\)。通过在截断阈值 \(\varepsilon\) 与经验过程覆盖数之间做精细平衡，证明当 \(1 \leq m < \frac{d(d-3)}{d+3}\) 时，经验泛化误差界满足：

\[\mathrm{GenGap}(f_{\boldsymbol{\theta}}, \mathcal{D}) \lessapprox_d \mathrm{poly}\left(\frac{1}{\eta}, J, M\right) n^{-\frac{(d-m)(d+3)}{6d^2 - 2md + 6d - 6m}}\]

当局部补丁大小 \(m\) 固定且全图维度 \(d \to \infty\) 时，收敛阶次收敛至渐近速率 \(n^{-1/6 + O(m/d)}\)。这一泛化界完全摆脱了维度灾难，在理论上解释了为何高维超球面输入下稀疏网络能展现出维度带来的良性泛化提升（Blessing of Dimensionality）。

3. 孤立补丁与平坦插值失效分析：划定稳定性正则化的几何边界

该框架不仅阐明了 CNN 为何泛化，还精确锁定了其潜在失效边界。定理 4.3 构造性证明了当补丁集合丧失内部紧密聚集结构时的平坦插值（Flat Interpolation）现象：若每个非零标签样本中均存在一个可在补丁空间被单一超平面孤立的唯一单位模长补丁，则存在一个宽度 \(K \leq n\) 的两层稀疏网络，不仅能完美插值训练集任意噪声标签（\(\mathcal{L}(\boldsymbol{\theta}) = 0\)），且其损失海森矩阵最大特征值满足严格有界性：

\[\lambda_{\max}(\nabla^2 \mathcal{L}) \leq 1 + \frac{D^2 + 2/J^2}{n}\]

当样本量 \(n\) 较大时，该谱范数上界甚至严格小于 \(2/\eta\)，意味着网络在深度处于 BEoS 平坦极小值的同时发生完全过拟合。在反向传播分解中，当神经元仅在极其稀疏且孤立的补丁上激活时，其有效梯度更新与曲率惩罚权重 \(g_{\mathcal{D},\mathcal{S}}\) 趋近于零，证明了仅凭优化算法的动力学稳定性无法自动保证泛化，必须依赖“网络架构与数据补丁几何”的协同匹配。

实验关键数据

主实验

论文在合成高维超球面数据上进行了不同环境维度 \(d \in \{100, 200, 400\}\) 与样本量 \(n\) 的泛化标度律实验，并在 CIFAR-10 数据集上开展了带噪回归实验，对比 SCN 与同等宽度全连接网络（FCN，宽度 \(K=1024\)，全批量梯度下降 \(\eta=0.2\)，BEoS 阈值 \(2/\eta=10\)）。

实验配置与架构	环境维度 \(d\)	感受野大小 \(m\) / 补丁数 \(J\)	样本量 \(n\)	泛化误差衰减斜率 (log-log)	最终测试过剩风险 (Excess Risk)	训练状态与拟合特性
FCN (全连接基线)	10	\(m=10, J=1\)	128~1024	-0.03 (几乎不衰减)	\(\approx 1.00\) (接近噪声方差 \(\sigma^2\))	记忆标签噪声，过拟合
SCN (合成超球面)	100	\(m=10, J=10\)	1024	-0.34	\(0.613 \pm 0.101\)	处于 BEoS，泛化平稳
SCN (合成超球面)	200	\(m=10, J=20\)	1024	-0.69	\(0.352 \pm 0.047\)	泛化速率加快
SCN (合成超球面)	400	\(m=10, J=40\)	1024	-0.86	\(0.147 \pm 0.010\)	维度越高泛化越优
FCN (CIFAR-10 噪声标签)	3072	\(m=3072, J=1\)	1024	-	0.98 (几乎无泛化)	\(\lambda_{\max} \approx 10\)，完全拟合噪声
SCN (CIFAR-10 卷积)	3072	\(3 \times 3 \times 3\), \(m=27, J=900\)	1024	-	0.18 (显著抑制过拟合)	训练损失稳定在噪声基底 \(\sigma^2\)

消融实验

论文在附录及主文中针对合成超球面数据的环境维度 \(d\) 与感受野补丁结构进行了对照评估（固定样本量 \(n=1024\)，高斯噪声 \(\sigma^2=1.0\)）：

配置与评估维度	补丁数量 \(J\)	泛化差距 (GenGap)	过剩风险 (Excess Risk)	说明
SCN (\(d=100\))	10	\(1.283 \pm 0.114\)	\(0.613 \pm 0.101\)	基准稀疏设置，开始显现正则化效应
SCN (\(d=200\))	20	\(0.780 \pm 0.076\)	\(0.352 \pm 0.047\)	相比 \(d=100\)，过剩风险下降 \(42.6\%\)
SCN (\(d=400\))	40	\(0.295 \pm 0.004\)	\(0.147 \pm 0.010\)	相比 \(d=100\)，过剩风险下降 \(76.0\%\)，验证高维红利
CIFAR-10 补丁 PCA (前3主成分方差占比)	-	90% (补丁空间)	vs 100+维 (全图空间)	真实图像补丁极端低维聚集

关键发现

• 维度红利（Blessing of Dimensionality）真实存在：在固定局部补丁大小 \(m=10\) 时，随着输入环境维度由 \(d=100\) 上升至 \(d=400\)，SCN 的测试过剩风险从 0.613 锐减至 0.147，对数泛化斜率由 -0.34 陡峭至 -0.86，完全打破了传统全连接网络在高维球面上退化的宿命。
• 真实图像补丁高度抗粉碎：在 CIFAR-10 数据集上提取的 \(3 \times 3\) 卷积补丁多重集中，前 3 个主成分即可解释超过 \(90\%\) 的方差，半空间深度集中曲线 \(\Psi(T)\) 下方积分远大于全图，表明自然图像补丁天然位于紧致低维流形内部，使得激活超平面极难孤立单个补丁。
• 平坦插值印证理论判据：当人为破坏补丁多重集的聚集性（使补丁各自分布在独立超球面上）时，SCN 同样会在海森谱半径低于 \(2/\eta\) 的状态下发生完全记忆，证实了架构与数据几何协同作用的理论闭环。

亮点与洞察

• 将网络架构作为稳定性约束中的显式变量：区别于以往 BEoS 理论将架构视为不可见黑盒或仅研究全连接网络，本文首次将局部感受野与权重共享作为显式算子写入海森矩阵正切特征分解，导出了依赖补丁多重集经验测度的加权路径范数。
• 反向传播梯度因式分解的几何物理图像：明确提出了 \(\nabla_{\boldsymbol{W}}\mathcal{L} = \boldsymbol{G}(\boldsymbol{\theta})^\top \boldsymbol{X}\) 的梯度整流器视角，阐明稀疏连接不仅是减少参数数量的工程技巧，更在动力学底层锁定了参数空间更新的探索子空间。
• ViT 与现代视觉主干设计的统一解释：将理论洞见自然延伸至 Vision Transformer 的 Patch Token 演进（如 Swin、DeiT 以及单像素 Token 化），指出减小 Token Patch 尺寸本质上是在优化反向传播所遭遇的局部向量几何，强化隐式正则化效能。

局限与展望

• 理论分析停留在浅层网络范畴：当前严格的闭式推导建立在两层无隐藏层间级联的 ReLU 卷积模型上，尚未涵盖多层非线性堆叠及残差连接。
• 静态补丁几何 vs 动态特征演化：在深层网络中，中间层卷积核所感知的输入不再是静态的图像补丁，而是经过多层自注意力与归一化动态塑造的特征场，表征几何本身随训练演进。
• 未来方向：探索深层架构中层级稀疏连接对特征谱衰减率的累积效应，以及结合随机梯度下降（SGD）小批量噪声与 BEoS 约束的联合动力学。

相关工作与启发

• vs 全连接网络 BEoS 理论 (Mulayoff et al., 2021; Liang et al., 2026)：先前工作证明 FCN 在超球面数据上稳定性界退化为平凡界；本文通过引入局部投影算子，证明卷积稀疏连接在完全相同的球面上恢复了非平凡的 \(n^{-1/6}\) 泛化界。
• vs CNN 逼近论与样本复杂度理论 (Yarotsky, 2017; Oono & Suzuki, 2019)：传统逼近理论通常将 CNN 规约为受限的 FCN 或强设目标函数满足可复合性结构；本文在无标签复合性先验假设且处于过参数化体制下，纯粹基于优化算法的动态稳定性给出了卷积架构的分离性证明。
• vs 无显式正则化隐式偏置分析 (Soudry et al., 2018; Gunasekar et al., 2018)：早期研究多依赖线性可分、齐次激活或极小步长渐近流；本文直接立足于有限大步长引起的 Edge of Stability 非线性动力学，更贴合实际训练范式。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次从 Edge of Stability 动力学稳定性视角形式化证明卷积局部连接的泛化优越性，理论架构极为优美。
• 实验充分度: ⭐⭐⭐⭐ 包含了完备的合成数据标度律验证、CIFAR-10 几何深度测量与带噪拟合实验，理论与实证高度自洽。
• 写作质量: ⭐⭐⭐⭐⭐ 概念推进环环相扣，从极简玩具示例到加权路径范数推导，再到正反体制证明，逻辑非常清晰。
• 价值: ⭐⭐⭐⭐⭐ 成功打通了架构归纳偏置、数据内在几何与优化算法稳定性三者间的壁垒，对理解视觉骨干网络演变具有深远启发。

相关论文

• [NeurIPS 2026] Does Compression Imply Generalization? A Minimum Description Length Perspective
• [NeurIPS 2026] Generalization in Neural Networks Through the Lens of Magnitude Potential
• [NeurIPS 2026] Learning Sparse Compositional Functions with Norm-Constrained Neural Networks
• [NeurIPS 2026] Does Your Neural Network Extrapolate? Feature Engineering as Identifiability Bias for OOD Generalization
• [NeurIPS 2026] Does Weight Decay Enhance Training Stability?