Why Geometric Continuity Emerges in Deep Neural Networks: Residual Connections and Rotational Symmetry Breaking

会议: NeurIPS 2026
arXiv: 2605.04971
OpenReview: https://openreview.net/forum?id=PT9wd2ehVL
论文: https://arxiv.org/abs/2605.04971
领域: 学习理论
关键词: 几何连续性, 残差连接, 旋转对称性破缺, 奇异值分解, 投影空间特异性

一句话总结

揭示了深度残差网络中相邻层权重主奇异向量平滑演化的几何连续性机制：残差连接提供跨层梯度相干性，而破坏旋转对称性的非线性将层间权重约束在共享坐标系中以阻断旋转漂移。

研究背景与动机

近年来针对大语言模型与深度网络内部权重结构的研究发现，相邻网络层的权重矩阵呈现出惊人的结构相似度。当对深层网络的层权重执行奇异值分解（SVD）时，相邻层的主右奇异向量或主左奇异向量往往指向高度相近的方向，在随深度演进的层间形成平滑轨迹。这种现象被称为几何连续性（Geometric Continuity）。几何连续性在工程实践中展现出巨大价值，它构成了层剪枝（Layer Pruning）和跨层参数共享（Cross-Layer Parameter Sharing）等模型轻量化技术的物理根基。

然而，已有文献对几何连续性的解释多停留在经验测量或现象描述阶段，一个核心的基础理论问题始终悬而未决：几何连续性究竟是如何在网络训练过程中自发涌现的？它是网络优化过程中的必然产物，还是严格依赖于特定的网络架构组件或数据分布？先前关于残差雅可比对齐（Residual Alignment）的研究虽然注意到了跳跃连接的影响，却无法解释为何即便包含残差连接的线性网络仍会出现权重连续性崩溃的现象。

本文的切入点是将几何连续性的形成解耦为梯度的跨层相干生成与权重的旋转坐标系保持两个独立阶段，并通过在玩具 MLP 与小规模 Transformer 上的细粒度消融实验精准定位因果机制。核心 idea：几何连续性是由残差连接带来的跨层梯度相干性以及破坏旋转连续对称性的非线性变换共同催生的涌现属性，前者驱动层间更新方向对齐，后者将权重锚定在统一坐标系中以消除沿 \(SO(d)\) 旋转轨道的零能漂移。

方法详解

整体框架

本文通过奇异值分解（SVD）量化权重矩阵与累积梯度的方向结构。设第 \(l\) 层权重矩阵为 \(\mathbf{W}^{(l)} \in \mathbb{R}^{m \times n}\)，其分解式为 \(\mathbf{W}^{(l)} = \mathbf{U}^{(l)} \mathbf{\Sigma}^{(l)} (\mathbf{V}^{(l)})^\top\)，其中 \(\mathbf{v}_1^{(l)}\) 与 \(\mathbf{u}_1^{(l)}\) 分别代表主右奇异向量（输入空间）与主左奇异向量（输出空间）。两相邻层之间的主奇异向量几何连续性被定义为相邻层主奇异向量夹角余弦绝对值的平均值：

\[\text{Continuity}(\mathbf{v}_1) = \frac{1}{L-1} \sum_{l=1}^{L-1} \left| \cos\left(\mathbf{v}_1^{(l)}, \mathbf{v}_1^{(l+1)}\right) \right|\]

取绝对值是为了规避奇异向量内在的符号任意性（\((\mathbf{u}, \mathbf{v})\) 与 \((-\mathbf{u}, -\mathbf{v})\) 等价）。在此基础上，本文进一步引入考虑全体奇异向量及其 Frobenius 范数贡献占比的 \(\sigma^2\) 加权连续性（\(\text{Continuity}_{\sigma^2}\)），用于诊断结构是高度集中于主成分还是发散到多个正交子空间。整个因果机制包含两个不可或缺的核心要素：残差连接保障反向传播中的跨层梯度高度对齐，而对称性破缺非线性（激活函数与归一化）则消除正向传播的连续规范对称性，将梯度的对齐无损转印至权重本身。

关键设计

1. 残差驱动的跨层梯度相干性：反向误差恒等传递

深层网络在反向传播时，若没有残差连接，误差梯度经过多层连续矩阵乘积 \(\prod \mathbf{W}_l\) 变换，其方向在浅层会迅速偏转并退化为正交的伪随机噪声。而在残差网络中，第 \(l\) 层输入的状态梯度满足：

\[\frac{\partial\mathcal{L}}{\partial\mathbf{h}_{l}} = \frac{\partial\mathcal{L}}{\partial\mathbf{h}_{l+1}} \left(\mathbf{I} + \frac{\partial f_{l}}{\partial\mathbf{h}_{l}}\right)\]

恒等矩阵 \(\mathbf{I}\) 的存在确保了相邻层反向传递的误差信号具有直接的相似基底。在未经任何权重更新的第 1 次反向传播时，梯度主奇异向量 \(\mathbf{v}_1\) 的跨层连续性即刻达到 0.95，而初始权重连续性仅为随机基线（约 0.04）。累积梯度 \(\bar{\mathbf{G}}_l = \sum_t \mathbf{G}_l^{(t)}\) 继承了这一强相干性，成为权重形成连续几何结构的源动力。

2. 旋转对称性破缺：消除 \(SO(d)\) 轨道的无阻力漂移

仅有残差连接不足以保证权重连续性的持久存在。在线性残差网络中，虽然残差路径耦合了各层，但层间依然存在近乎平坦的损失曲面退化方向，即相邻权重沿着连续旋转群 \(SO(d)\) 轨道的自由度。如果没有坐标轴约束，各层权重的内部坐标系会在训练过程中沿着这些平坦方向发生独立旋转漂移（Rotation Drift），导致初期建立的对齐迅速瓦解。

逐元素激活函数（如 ReLU、GELU、SiLU）将这种全连续旋转对称群打破为仅含置换与正负缩放的离散子群，强制所有网络层共享统一的坐标框架。为了确证是「对称性破缺」而非「非线性」本身起效，论文设计了旋转等变非线性实验 \(\sigma_{\text{rad}}(\mathbf{x}) = \mathbf{x} \cdot \tanh(\|\mathbf{x}\|)\)。该激活函数具备强非线性但严格保持 \(SO(d)\) 旋转对称（\(\sigma_{\text{rad}}(\mathbf{R}\mathbf{x}) = \mathbf{R}\sigma_{\text{rad}}(\mathbf{x})\)），其实验结果与无激活线性网络完全一致（权重 \(\mathbf{v}_1\) 连续性暴跌至 0.22 左右，累积梯度与权重间的相干损失差距 \(\Delta_{\mathrm{GW}}\) 高达 0.633），无可辩驳地确立了旋转对称性破缺的因果核心地位。此外，LayerNorm 则扮演另一种对称性破缺角色，它不集中于单个主奇异方向，而是将连续性分散在多维谱空间中。

3. Transformer 架构的投影空间特异性机制

将上述理论推广至自注意力与门控 MLP 模块时，各投影矩阵呈现出高度精确的空间特异性连续模式。这一模式由投影矩阵所朝向的残差流方向及邻近的非线性机制严格决定： - 读取残差流的投影（Q、K、Gate、Up）：直接以残差流为输入，在输入空间发展出显著的右奇异向量 \(\mathbf{v}_1\) 连续性。其中 Q 和 K 受到紧随其后的 Softmax 非线性锚定；Gate 受到 SiLU 门控激活锚定；Up 受到逐元素相乘的非对称门控掩蔽保护。 - 写入残差流的投影（O、Down）：输出直接汇入残差流，其输入来自已经过非线性变换的状态（Softmax 加权聚合或门控激活乘积），因此在输出空间发展出高强度的左奇异向量 \(\mathbf{u}_1\) 连续性。 - 孤立线性投影（V 投影）：输入输出均无紧邻的非线性变换约束旋转自由度，其在输入空间与输出空间的连续性均保持在极低的随机水平（\(\mu \approx 0.14\)）。

实验关键数据

主实验

论文在 MNIST（16 层残差 MLP，隐藏层维度 256）与 WikiText-103（小规模 Llama 结构 Transformer，8 层，34M 参数，以及官方预训练 Llama-3.1-8B）上评估了几何连续性演化。

架构 / 模型配置	任务与指标	梯度 \(\mathbf{v}_1\) 连续性	权重 \(\mathbf{v}_1\) 连续性	权重 \(\mathbf{u}_1\) 连续性	权重 \(\sigma^2\)-WA	说明
Res + ReLU (16-layer MLP)	MNIST (Acc: 97.7%)	0.792	0.959	0.940	0.249	完整模型：高双向几何连续性
Res + GELU (16-layer MLP)	MNIST (Acc: 97.8%)	0.901	0.964	0.955	0.249	置换离散对称，连续性极高
Res + SiLU (16-layer MLP)	MNIST (Acc: 97.7%)	0.831	0.964	0.962	0.242	表现与 GELU/ReLU 类似
Res + None (线性残差)	MNIST (Acc: 91.2%)	0.927	0.217	0.218	0.059	梯度相干但权重发生旋转漂移
Res + Radial (旋转等变非线性)	MNIST (Acc: 92.9%)	0.941	0.225	0.241	0.059	非线性存在但对称性未破，连续性瓦解
Res + None + LN	MNIST (Acc: 91.8%)	0.885	0.631	0.622	0.303	LN 分散式破坏对称性
NoRes + ReLU (无残差)	MNIST (Acc: 84.8%)	0.067	0.378	0.701	0.089	梯度相干性丧失，\(\mathbf{v}_1\) 连续性失效
Llama-3.1-8B (Pretrained)	Q / Gate \(\mathbf{v}_1\) (Input)	—	0.82 / 0.80	—	—	真实大模型中验证读取残差端特异性
Llama-3.1-8B (Pretrained)	O / Down \(\mathbf{u}_1\) (Output)	—	—	0.89 / 0.74	—	真实大模型中验证写入残差端特异性
Llama-3.1-8B (Pretrained)	V 投影 (\(\mathbf{v}_1\) / \(\mathbf{u}_1\))	—	0.14	0.14	—	缺少紧邻非线性，连续性接近正交随机

消融实验

在 Transformer 架构中针对 MLP 激活函数以及各模块组件的系统消融证明了局部非线性对投影特异性的决定性调控：

实验配置	困惑度 (PPL)	Q \(\mathbf{v}_1\)	K \(\mathbf{v}_1\)	Gate \(\mathbf{v}_1\)	Up \(\mathbf{v}_1\)	O \(\mathbf{u}_1\)	Down \(\mathbf{u}_1\)	V \(\mathbf{v}_1\)
Res + SiLU + Norm (Baseline)	41.9	0.405	0.627	0.662	0.225	0.129	0.554	0.209
Res + ReLU + Norm	42.8	0.398	0.671	0.820	0.308	0.339	0.532	0.188
Res + GELU + Norm	41.9	0.370	0.609	0.804	0.350	0.147	0.507	0.115
Res + None + Norm (移除MLP激活)	43.2	0.492	0.668	0.366	0.359	0.221	0.517	0.237
NoRes + SiLU + Norm (移除残差)	1700.0	0.036	0.062	0.045	0.036	0.066	0.052	0.054
NoNorm (移除RMSNorm)	NaN	—	—	—	—	—	—	—

关键发现

• 两阶段动力学分离（形成 vs 保持）：在极小初始方差实验（\(\sigma = 0.0001\)）中，无激活的线性残差网络（Res+None）在第 1 个 epoch 权重连续性瞬时冲高至 0.99，但随后在第 15 个 epoch 崩溃至 0.18。权重旋转先发散，随后反向破坏隐藏层状态，诱发梯度相干性随之瓦解。这证实残差足以为初期的形成提供驱动，但对称性破缺是非线性网络持久保持几何连续性的必备屏障。
• \(\Delta_{\mathrm{GW}}\) 相干转印间隙的 200 倍分野：累积梯度连续性与权重连续性的差值指标 \(\Delta_{\mathrm{GW}}\) 明确区分了三类机制：对称破缺激活的 \(\Delta_{\mathrm{GW}} \le 0.07\)（相干性完全转印）；无激活（0.641）和径向等变激活（0.633）产生高达 200 倍的转印亏损；无残差模型则因累积梯度自始至终未形成相干性而呈现非正值。
• 投影特异性随参数尺度单调强化：在 34M 小 Transformer 到 8B、70B 的 Llama-3.1 及 Gemma、Qwen 系列中，Q/K/Gate/Up 的 \(\mathbf{v}_1\) 连续性与 O/Down 的 \(\mathbf{u}_1\) 连续性表现出强烈的跨尺度不变性，而 V 矩阵在所有参数量级下均因缺乏非线性而稳居极低连续性。

亮点与洞察

• 精巧的反例设计（Radial Activation）：构造纯径向缩放的激活函数 \(\sigma_{\text{rad}}(\mathbf{x}) = \mathbf{x} \tanh(\|\mathbf{x}\|)\)，完美剥离了「非线性计算能力」与「旋转对称性破缺」两个长期混杂的概念，为对称性破缺是几何连续性充要条件的论断提供了铁证。
• 揭开模型剪枝与参数共享的机理黑箱：将层剪枝与跨层 SVD 基底共享之所以能够奏效的物理根源，直接溯源至残差梯度驱动和空间特异性，为压缩算法指定了明确的投影方向指导——对 Q/K/Gate 应做输入基底共享，对 O/Down 应做输出基底共享，而对 V 矩阵则不应强行实施跨层压缩。

局限与展望

• Softmax 隔离消融的缺失：注意力机制中 Q 和 K 的对称破缺归因于 Softmax 操作，但由于 Softmax 与多头自注意力机制紧密内嵌，无法像 MLP 激活那样直接置空而不破坏注意力拓扑，相关因果推断仍存在间接性。
• 超大规模训练动态追踪受限：大模型的投影特异性主要来自对已完成预训练权重的静态几何分析，由于算力限制，未能在 70B 级别大模型的全训练周期中实时追踪旋转漂移的完整相位图谱。

相关工作与启发

• vs. Li & Papyan (NeurIPS 2023 Residual Alignment)：Li 等人发现残差连接诱导了雅可比矩阵奇异向量的跨层对齐，但未触及权重本身的几何演化；本文证明单纯拥有残差对权重连续性是不充分的，必须引入旋转对称性破缺才能阻止权重坐标系漂移。
• vs. Ji & Telgarsky (ICLR 2019 Signal-Flow Alignment)：Ji 等人证明了深度线性网络中相邻层信号流的对齐（\(|\mathbf{v}_{l+1}^\top \mathbf{u}_l| \to 1\)），而本文所揭示的是更严格且直接的同构连续性（\(\mathbf{v}_l \leftrightarrow \mathbf{v}_{l+1}\)），并澄清了其与信号流对齐的本质分野。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次从动力学与对称性视角完备解释了深度网络中几何连续性涌现的机理。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖玩具 MLP、自定义 Transformer 消融及开源 1.5B–70B 多尺度主流模型验证。
• 写作质量: ⭐⭐⭐⭐⭐ 论证链条严密，数学物理直觉清晰，图表与实验对照极具说服力。
• 价值: ⭐⭐⭐⭐⭐ 为模型结构可解释性、层剪枝设计及未来基于轨道感知的模型融合（Model Soup）提供了关键理论基石。

相关论文

• [ICLR 2026] Any-Subgroup Equivariant Networks via Symmetry Breaking
• [NeurIPS 2026] xHC: Expanded Hyper-Connections
• [ICLR 2026] On the Lipschitz Continuity of Set Aggregation Functions and Neural Networks for Sets
• [AAAI 2026] Faster Certified Symmetry Breaking Using Orders With Auxiliary Variables
• [ICLR 2026] Breaking Gradient Temporal Collinearity for Robust Spiking Neural Networks