Oversmoothing as Representation Degeneracy in Neural Sheaf Diffusion¶

会议: NeurIPS 2026
arXiv: 2605.11178
OpenReview: https://openreview.net/forum?id=UhbffncO5W
领域: 其他
关键词: 神经层扩散, 过平滑, 箭图表示论, 几何不变量理论, 矩映射正则化

一句话总结¶

本文利用箭图表示论将神经层扩散中的蜂窝层等同于关联箭图表示，首次将过平滑解释为表示退化，并揭示了等维茎架构中的稳定性壁垒，进而提出矩映射正则化与打破对称性的矩形茎架构以抑制非平凡谐波塌缩。

研究背景与动机¶

许多图神经网络（GNN）可以被形式化理解为图上的离散扩散过程，节点通过连续的消息聚合执行拉普拉斯平滑。然而在深层架构中，反复平滑会导致节点特征收敛至不可区分的低维或常数子空间，即过平滑问题。经典标量图拉普拉斯算子的热方程在时间趋于无穷时将信号正交投影到拉普拉斯算子的核空间，而连通图的核空间仅包含平凡的全局常数信号。这种“相连节点特征必然趋同”的先验假设在异质图（heterophilic graphs）上极度不匹配，促使研究者引入表达能力更丰富的几何结构。

神经层扩散（Neural Sheaf Diffusion, NSD）通过将扩散过程提升至类向量丛的结构，利用数据端到端学习限制映射构建层拉普拉斯算子，其扩散极限（全局截面空间）理论上能够容纳带符号、多维的复杂特征一致性以适应异质结构。然而，全参数化层限制映射的优化极其脆弱，过参数化神经网络在无约束梯度下降下具有收敛到低复杂度、低秩解的隐式偏置。优化轨迹极易自发滑向平凡的单位阵式限制映射，导致层的表达能力重新塌缩回传统的过平滑状态。

现有研究多局限于谱图论或狄利克雷能量衰减视角，缺乏对层扩散极限代数结构的本质刻画。核心 idea：将图上的蜂窝层等价建模为关联箭图的代数表示，将过平滑严格解释为表示退化，并借助几何不变量理论的矩映射正则化与非对称矩形茎架构，从代数结构上阻断向平凡全对象子表示的塌缩。

方法详解¶

整体框架¶

对于无向图 $G=(V, E)$，神经层扩散通过向节点 $v$ 分配茎空间 $\mathcal{F}(v)=\mathbb{R}^{d_v}$、向边 $e$ 分配茎空间 $\mathcal{F}(e)=\mathbb{R}^{d_e}$，并为每个关联对 $v \trianglelefteq e$ 配备可学习限制映射 $\mathcal{F}_{v \trianglelefteq e}: \mathbb{R}^{d_v} \to \mathbb{R}^{d_e}$。本文的核心洞察在于构造关联二分箭图 $Q_G=(Q_0, Q_1)$，其中对象集为 $Q_0 = V \sqcup E$，每个关联对应一条有向箭头 $a_{v,e}: v \to e$。由此，蜂窝层范畴严格等价于箭图表示范畴 $\operatorname{Rep}(Q_G)$，可学习参数对应表示空间中的几何点。

连续时间层扩散系统的长时间演化极限渐进投影到层拉普拉斯算子的核空间（即全局截面空间 $H^0(G; \mathcal{F})$）。当表示发生退化并包含平凡子表示 $\mathcal{F}_{\mathrm{triv}}$ 时，全局常数信号必然注入核空间。为消除此退化，本文通过几何不变量理论（GIT）的 King 稳定性施加约束，并构造矩映射损失；同时针对等维茎 $d_v = d_e$ 诱发的稳定性壁垒，设计了长方型限制映射架构。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["图拓扑与节点输入<br/>G=(V,E) 与 特征矩阵 X"] --> B["关联箭图表示建模<br/>蜂窝层与箭图表示等价"]
    B --> C["核空间函子分解<br/>Krull-Schmidt 分解与谐波注入"]
    C --> D["矩映射几何正则化<br/>CentMM 与 ThetaMM 惩罚"]
    D --> E["矩形茎架构对称性破缺<br/>解除稳定性壁垒 dv > de"]
    E --> F["非退化层扩散更新<br/>抑制全局常数过平滑"]

关键设计¶

1. 关联箭图表示建模与核空间分解：将层扩散极限转化为范畴极限 针对以往过平滑仅能在谱域观测能量衰减的局限，本文将蜂窝层与二分关联箭图 $Q_G$ 的有限维表示建立代数对应。在固定的维度向量 $\mathbf{d} = ((d_v)_{v \in V}, (d_e)_{e \in E})$ 下，全局截面空间 $H^0(G; \mathcal{F}) = \ker(\delta_{\mathcal{F}})$ 等价于表示图表在向量空间范畴内的范畴极限（Limit Functor $\Gamma$）。根据 Krull-Schmidt 定理，有限维阿贝尔范畴 $\operatorname{Rep}(Q_G)$ 中的任意表示均可唯一分解为不可分解子对象的直和： $$\mathcal{F} \cong \bigoplus_{k=1}^K \mathcal{F}^{(k)}$$ 由于极限界函是左正合的且保持有限直积，全局截面空间诱导精确同构： $$H^0(G; \mathcal{F}) \cong \bigoplus_{k=1}^K H^0\left(G; \mathcal{F}^{(k)}\right)$$ 同时根据谐波注入引理（Harmonic Injection Lemma），若存在子表示 $\mathcal{F}' \hookrightarrow \mathcal{F}$，则必有 $H^0(G; \mathcal{F}') \hookrightarrow H^0(G; \mathcal{F})$。这意味着过平滑的本质在于：梯度优化的隐式偏置诱导学习到的层几何退化到了平凡全对象子表示 $\mathcal{F}_{\mathrm{triv}}$ 的吸引盆，导致平凡常数分量无条件注入扩散极限。

2. 矩映射正则化：利用几何不变量理论平衡表示流形 为了在连续优化过程中引导限制映射避开不稳定的退化区域，本文将 King 稳定性与 Kempf-Ness 对应相结合。紧致规范群 $K_{\mathbf{d}} = \prod_{v \in V} \mathrm{U}(d_v) \times \prod_{e \in E} \mathrm{U}(d_e)$ 作用于表示空间，对于实数矩阵实现的限制映射 $A_{v,e} := \mathcal{F}_{v \trianglelefteq e}$，其在节点与边处的矩映射分量定义为： $$\mu_v(\mathcal{F}) = -\sum_{e: v \trianglelefteq e} A_{v,e}^\top A_{v,e}, \quad \mu_e(\mathcal{F}) = \sum_{v: v \trianglelefteq e} A_{v,e} A_{v,e}^\top$$ 为了平滑地将表示拉向平衡态而无需预设离散的稳定性腔室（chamber），设计中心矩正则项（Central Moment Regularization, CentMM）： $$\mathcal{R}_{\mathrm{cent}}(\mathcal{F}) = \sum_{i \in V \sqcup E} \left\| \mu_i(\mathcal{F}) - \frac{\operatorname{tr}(\mu_i(\mathcal{F}))}{d_i} I_{d_i} \right\|_F^2$$ 此外，对于自适应稳定性参数 $\theta_i$，进一步构建位移矩映射残差（ThetaMM）： $$\mathcal{R}_{\theta\text{-}\mu}(\mathcal{F}; \theta) = \sum_{i \in V \sqcup E} \| \mu_i(\mathcal{F}) - \theta_i I_{d_i} \|_F^2$$ 其中在每次前向传播中，通过将未约束参数正交投影到维度向量 $\mathbf{d}$ 的正交补空间，严格满足 King 稳定性相容条件 $\theta \cdot \mathbf{d} = 0$。

3. 矩形茎架构对称性破缺：消除等维稳定壁垒阻碍 在自适应 ThetaMM 机制中，欲将平凡子表示 $\mathcal{F}_{\mathrm{triv}}$ 判定为非稳定以将其排除，必须满足严格不等式 $\theta(\mathcal{F}_{\mathrm{triv}}) = \sum_{v \in V} \theta_v + \sum_{e \in E} \theta_e < 0$。然而在经典的等维茎架构中，所有节点和边的维度完全一致（即 $d_v = d_e = d$），GIT 相容性约束直接推导出： $$\sum_{i \in V \sqcup E} d_i \theta_i = d \left( \sum_{v \in V} \theta_v + \sum_{e \in E} \theta_e \right) = 0 \implies \theta(\mathcal{F}_{\mathrm{triv}}) \equiv 0$$ 这意味着在标准方形茎设置下，平凡全对象子表示必然死锁在“稳定性壁垒”（Stability Wall）之上，任何可行的自适应参数 $\theta$ 都无法将其代数排除。为此，本文设计了长方型限制映射架构，打破维度对称性（例如设置 $d_v = 3, d_e = 2$）。此时 $\mathbf{d}$ 与 $\mathbf{d}_{\mathrm{triv}}=(1,\dots,1)$ 不再严格成正比，使得 $\theta \cdot \mathbf{d} = 0$ 与 $\theta(\mathcal{F}_{\mathrm{triv}}) < 0$ 能够同时成立，首次在架构层面上赋予自适应稳定性排除常数塌缩的自由度。

损失函数 / 训练策略¶

模型的总体训练损失函数由下游节点分类交叉熵损失与几何矩映射正则项组合而成： $$\mathcal{L} = \mathcal{L}_{\mathrm{task}} + \lambda_\mu \mathcal{R}_{\mathrm{geom}}(\mathcal{F})$$ 其中 $\mathcal{R}_{\mathrm{geom}}$ 根据实验配置选取无参数的 $\mathcal{R}_{\mathrm{cent}}(\mathcal{F})$ 或可学习参数化的 $\mathcal{R}_{\theta\text{-}\mu}(\mathcal{F}; \theta)$。正则化惩罚直接作用于构建层拉普拉斯算子之前的原始关联映射 $A_{v,e}$。优化采用反向传播梯度下降，ThetaMM 中的稳定性向量 $\theta$ 在每轮更新后执行显式正交投影保证 $\sum_i d_i \theta_i = 0$。

实验关键数据¶

主实验¶

在异质图基准数据集 WebKB（Texas, Cornell, Wisconsin）上，比较方形基线（$3 \times 3$）与打破对称性的长方形架构（$3 \to 2$）在不同矩映射正则化下的节点分类准确率（%）。

架构配置	正则化方法	Texas (Test / Val)	Cornell (Test / Val)	Wisconsin (Test / Val)
Square ($3 \times 3$)	None (Gen-NSD)	78.65±5.60 / 81.02	79.73±8.82 / 80.17	80.20±3.97 / 80.25
Square ($3 \times 3$)	CentMM	— / —	76.22±6.82 / 81.36	80.00±2.60 / 79.50
Square ($3 \times 3$)	ThetaMM	77.57±6.28 / —	78.38±5.67 / 79.83	80.00±3.01 / 80.50
Rectangular ($3 \to 2$)	None (Gen-NSD)	77.84±3.78 / 81.19	79.73±6.86 / 82.54	81.18±3.84 / 80.25
Rectangular ($3 \to 2$)	CentMM	80.00±5.01 / 81.19	77.84±4.95 / 82.71	80.98±4.30 / 81.00
Rectangular ($3 \to 2$)	ThetaMM	79.46±5.30 / 80.68	78.11±7.09 / 81.53	81.76±4.81 / 81.75

消融实验¶

网络深度扩展消融实验（在 Wisconsin 数据集上，层数 $L \in \{2, 4, 8, 16, 32, 64, 128, 256\}$）：

深度 $L$	模型配置	测试准确率 (%)	状态说明
$L = 2$	Square None vs. Rect ThetaMM	80.20 vs. 81.76	矩形自适应稳定性在浅层显著占优
$L = 4$	Square None vs. Rect ThetaMM	80.78 vs. 82.35	几何先验持续引导早期流形结构
$L = 16$	Square None vs. Rect ThetaMM	~83.50 vs. ~84.20	两类架构均表现出极强的深度平滑抵抗力
$L = 128$	Rectangular ThetaMM	85.88	维持高准确率，瓶颈 $d_e < d_v$ 未破坏深层表达力
$L = 256$	全部模型 (All models)	NaN	矩阵连乘触发硬件浮点数值爆炸，达数值极限

关键发现¶

稳定性壁垒机制的实证支持：在方形设置下引入 ThetaMM 时，Texas 性能由 78.65% 下降到 77.57%，印证了等维约束死锁在稳定性壁垒处使自适应 $\theta$ 难以奏效；而在长方形设置下，Wisconsin 上的 ThetaMM 达到全场最佳的 81.76%，验证了破除壁垒后的有效性。
对称性破缺对优化稳定性的改善：在 Cornell 数据集上，未经正则化的长方形基线在平均准确率持平（79.73%）的同时，方差从 ±8.82 大幅收敛至 ±6.86，验证集准确率由 80.17% 提升至 82.54%。
深度韧性与物理瓶颈：NSD 在 $L=128$ 的极深配置下依然保持约 85% 的高精度，未发生传统 GNN 的灾难性过平滑；$L=256$ 崩溃源于未加约束的连续层拉普拉斯矩阵乘法引发的浮点数上溢（NaN），而非表示退化。

亮点与洞察¶

代数视角统一过平滑本质：将过平滑从单纯的谱能衰减（狄利克雷能量变小）升维到箭图表示论的子表示塌缩，证明了全局截面空间精确等于不可分解表示截面空间的直和。
数学壁垒与架构设计的优雅对应：严密推导出了经典等维茎设置下相容条件与去平凡化条件的代数冲突，用 $d_v \neq d_e$ 的矩形映射破除了稳定性壁垒。
迁移价值：基于箭图表示论和 GIT 矩映射的正则化范式，可推广至单纯复形神经网络（Simplicial Neural Networks）、细胞复形网络及高阶超图神经扩散系统的表示退化治理。

局限与展望¶

代数稳定性与连续损失的松弛差距：连续位移矩映射损失 $\mathcal{R}_{\theta\text{-}\mu}$ 在梯度下降中虽能驱使限制映射靠近平衡点，但无法在离散代数层面上严格保证严格的 GIT 半稳定性。
数据集依赖性显著：矩映射正则化作为一种强结构化的几何归纳偏置，在不同异质图上的收益并不完全一致，并非通用的无脑提点工具。
缺失高维与大规模图验证：实验目前仅集中在小规模 WebKB 基准上，未来亟需拓展至大规模分子图（如 OGB）以及全谱图调和截面空间的详细经验谱分析。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将箭图表示论与几何不变量理论引入神经层扩散，揭示了等维茎的稳定性壁垒。
实验充分度: ⭐⭐⭐☆☆ 实验聚焦于核心理论机制验证，深度消融扎实，但数据集覆盖面偏小（仅 WebKB）。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严密流畅，从范畴极限到具体正则化损失的映射清晰自洽。
价值: ⭐⭐⭐⭐☆ 为高阶拓扑图学习模型的表示退化机制奠定了扎实的代数几何理论基石。

架构配置	正则化方法	Texas (Test / Val)	Cornell (Test / Val)	Wisconsin (Test / Val)
Square (\(3 \times 3\))	None (Gen-NSD)	78.65±5.60 / 81.02	79.73±8.82 / 80.17	80.20±3.97 / 80.25
Square (\(3 \times 3\))	CentMM	— / —	76.22±6.82 / 81.36	80.00±2.60 / 79.50
Square (\(3 \times 3\))	ThetaMM	77.57±6.28 / —	78.38±5.67 / 79.83	80.00±3.01 / 80.50
Rectangular (\(3 \to 2\))	None (Gen-NSD)	77.84±3.78 / 81.19	79.73±6.86 / 82.54	81.18±3.84 / 80.25
Rectangular (\(3 \to 2\))	CentMM	80.00±5.01 / 81.19	77.84±4.95 / 82.71	80.98±4.30 / 81.00
Rectangular (\(3 \to 2\))	ThetaMM	79.46±5.30 / 80.68	78.11±7.09 / 81.53	81.76±4.81 / 81.75

深度 \(L\)	模型配置	测试准确率 (%)	状态说明
\(L = 2\)	Square None vs. Rect ThetaMM	80.20 vs. 81.76	矩形自适应稳定性在浅层显著占优
\(L = 4\)	Square None vs. Rect ThetaMM	80.78 vs. 82.35	几何先验持续引导早期流形结构
\(L = 16\)	Square None vs. Rect ThetaMM	~83.50 vs. ~84.20	两类架构均表现出极强的深度平滑抵抗力
\(L = 128\)	Rectangular ThetaMM	85.88	维持高准确率，瓶颈 \(d_e < d_v\) 未破坏深层表达力
\(L = 256\)	全部模型 (All models)	NaN	矩阵连乘触发硬件浮点数值爆炸，达数值极限