Spectral Graph Sparsification Preserves Representation Geometry in Graph Neural Networks¶
会议: NeurIPS 2026
arXiv: 2605.01136
代码: https://github.com/chimeraki/Spectral-Sparsification-Preserves-Representation-Geometry
领域: 图学习
关键词: 谱图稀疏化, 图神经网络, 表示几何, Gram 矩阵稳定性, 有效电阻采样
一句话总结¶
本文从表示几何视角建立了图神经网络的谱图稀疏化理论，证明任意 \(\varepsilon\)-谱稀疏图在多项式滤波器 GNN 中仅引发 \(O(\varepsilon)\) 级别的滤波器算子、多层隐层嵌入、Gram 矩阵及有限时间梯度下降参数轨迹扰动，并通过有效电阻稀疏化在合成与真实图数据集上验证了隐空间距离、局部邻域与类别质心几何的高度保持。
研究背景与动机¶
图神经网络（GNN）在引文网络、分子建模、推荐系统与单细胞数据分析等关系型学习任务中已成为标准框架，但其训练与推理开销高度依赖底图规模与边密度。尤其在基于拉普拉斯算子或多项式滤波器的谱图神经网络（如 ChebNet）中，多跳矩阵乘法在稠密图或大规模图上会带来严重的计算与显存瓶颈。经典的谱图稀疏化理论（如 Spielman-Srivastava 有效电阻采样）能够将稠密图替换为边数大幅减少的稀疏图 \(\widetilde{L}\)，同时以 \((1-\varepsilon)L \preceq \widetilde{L} \preceq (1+\varepsilon)L\) 的谱序关系保持拉普拉斯二次型。近期已有工作将谱稀疏化引入 GNN 加速，但现有评估几乎完全停留在算子逼近误差、运行时间或最终分类准确率三个维度。
仅靠预测准确率评估图稀疏化存在明显盲区：GNN 不仅是分类器，更是表示学习器，其隐层嵌入编码了节点间的成对相似度、类别分离度以及全局流形结构。两张不同的稀疏图完全可能在节点分类任务上取得相近的准确率，却诱导截然不同的隐空间几何结构，从而破坏下游的近邻检索、聚类、知识蒸馏、迁移学习与模型可解释性。与此同时，已有关于 GNN 稳定性的理论大多只给出了输出层的扰动上界，而关于 GNN 神经坍缩（Neural Collapse）与特征演化的研究则表明图拓扑深刻塑造着隐表示的几何形态，谱稀疏化究竟能否保持隐空间的几何关系与训练动态仍缺乏严格的理论刻画。
针对这一理论空白，本文跳出单纯的算子逼近与任务精度视角，直接追问谱稀疏化是否保持 GNN 学习到的隐表示几何。通过将拉普拉斯二次型的谱逼近性质沿多层非线性传播链与梯度流进行递推分析，核心 idea：证明对多项式滤波器 GNN 而言，任意 \(\varepsilon\)-谱图稀疏化都会建立从图算子、多项式滤波器、多层隐表示到 Gram 矩阵以及有限时间梯度下降参数轨迹的完整 \(O(\varepsilon)\) 线性稳定性传递链，从而在理论上保证隐空间成对距离、类别质心和协方差几何结构的严格保持。
方法详解¶
整体框架¶
本文围绕 \(K\) 层多项式滤波器图神经网络展开理论建模与实证检验。给定具有 \(n\) 个节点的原图对称半正定算子 \(L \in \mathbb{R}^{n \times n}\)（如组合拉普拉斯或归一化拉普拉斯）及其 \(\varepsilon\)-谱稀疏算子 \(\widetilde{L}\)，网络在第 \(k\) 层通过有限阶多项式滤波器 \(p_k(L) = \sum_{r=0}^{d_k^\star} a_{k,r} L^r\) 聚合特征，再与权重矩阵 \(W_k\) 相乘并经过逐元素 Lipschitz 激活函数 \(\sigma_k\) 得到下一层表示 \(H^{(k+1)} = \sigma_k(p_k(L) H^{(k)} W_k)\)。整体分析框架首先利用有效电阻采样（Effective-Resistance Sparsification）构造满足谱误差界 \(\varepsilon\) 的稀疏图算子，随后建立三级前向传播与几何稳定性传递链（多项式图滤波器扰动传播界 \(\to\) 多层隐表示与 Gram 矩阵几何稳定性），进而证明导出成对节点距离、类别均值与类内协方差的 \(O(\varepsilon)\) 扰动界，最后在反向传播侧建立有限时间梯度下降轨迹稳定性，从前向表示几何与训练动态两个维度完整刻画谱稀疏化对 GNN 的影响。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入：原图算子 L、节点特征 X<br/>及有效电阻稀疏化算子 L̃ (误差 ε)"] --> B["多项式图滤波器扰动传播界<br/>利用矩阵幂裂项恒等式约束 ‖p(L) - p(L̃)‖₂ ≤ C_p ε"]
B --> C["多层隐表示与 Gram 矩阵几何稳定性<br/>层间递推约束 ‖Z - Z̃‖_F 与 ‖ZZ⊤ - Z̃Z̃⊤‖ ≤ O(ε)"]
C --> D["隐空间局部与类别几何推论<br/>保持成对欧氏距离、类别均值 μ_c 与类内协方差 Σ_c"]
B --> E["有限时间梯度下降轨迹稳定性<br/>算子与参数双 Lipschitz 分解约束权重偏差 ‖Θ^t - Θ̃^t‖_F"]
D --> F["输出：保持邻域结构、类别质心<br/>与软标签决策结构的稀疏 GNN 嵌入"]
E --> F关键设计¶
1. 多项式图滤波器扰动传播界：将拉普拉斯二次型谱近似转化为有限阶滤波器算子范数界
在多项式滤波器 GNN 中，谱稀疏化直接作用于底图算子 \(L\)，但消息传递实际依赖的是高阶多项式算子 \(p(L) = \sum_{r=0}^d a_r L^r\)。为了将谱序近似关系 \((1-\varepsilon)L \preceq \widetilde{L} \preceq (1+\varepsilon)L\) 转化为算子范数下的滤波器误差，本文首先利用半正定矩阵性质与算子有界假设 \(\|L\|_2, \|\widetilde{L}\|_2 \leq B_L\)，推导出基础算子偏差满足 \(\|L - \widetilde{L}\|_2 \leq \varepsilon B_L\)（Lemma 2）。对于高阶矩阵幂 \(L^r - \widetilde{L}^r\)，由于矩阵乘法一般不满足交换律，不能直接套用标量二项式展开；本文引入矩阵幂裂项恒等式（Telescoping Identity）：
对该恒等式逐项取算子范数并结合算子上界 \(B_L\)，可得 \(r\) 阶算子幂的扰动满足 \(\|L^r - \widetilde{L}^r\|_2 \leq r B_L^r \varepsilon\)。将各阶单项式按多项式系数绝对值加权求和，即证得定理 1（多项式滤波器稳定性）：
这一步构成了整套理论的算子层基石：它严格证明了无论采用切比雪夫多项式还是任意有限跳数的谱滤波器，底图拉普拉斯的 \(\varepsilon\)-谱稀疏化都会在不引入高阶非线性爆炸的前提下，以线性比例 \(O(\varepsilon)\) 稳定住每一层的传播算子。
2. 多层隐表示与 Gram 矩阵几何稳定性：从逐层特征递推到内积空间、距离与类别统计量保持
仅有单层传播算子的稳定性并不足以说明深层嵌入几何不发生畸变，因为多层非线性激活与权重混合可能逐层放大误差，且隐空间的旋转或翻转即便保持较小范数误差也可能改变成对关系。为此，本文首先在输入特征有界（\(\|X\|_F \leq B_X\)）、权重算子范数有界（\(\|W_k\|_2 \leq B_W\)）及激活函数 \(L_{\sigma_k}\)-Lipschitz 的标准假设下，通过数学归纳法证明原图与稀疏图在每一层的隐表示范数均存在独立于 \(\varepsilon\) 的一致上界 \(B'_k\)。随后定义第 \(k\) 层表示误差 \(\Delta_k := \|H^{(k)} - \widetilde{H}^{(k)}\|_F\)，通过加减交叉项 \(\widetilde{A}_k H^{(k)} W_k\)（其中 \(A_k = p_k(L)\)）将层间误差拆解为“当前层算子扰动项”与“前一层表示误差传递项”，建立线性递推不等式 \(\Delta_{k+1} \leq \alpha_k \varepsilon + \beta_k \Delta_k\)。由初始条件 \(\Delta_0 = 0\) 展开有限 \(K\) 层递推，得到定理 2 的多层嵌入稳定性 \(\|Z - \widetilde{Z}\|_F \leq C_{\mathrm{rep}} \varepsilon\)。在此基础上，本文进一步考察编码所有节点对内积结构的 Gram 矩阵 \(Z Z^\top\)，利用分解恒等式 \(Z Z^\top - \widetilde{Z}\widetilde{Z}^\top = Z(Z - \widetilde{Z})^\top + (Z - \widetilde{Z})\widetilde{Z}^\top\) 证明定理 3（Gram 矩阵双范数稳定性）：
由于节点间的欧氏距离平方可完全由 Gram 矩阵对角元与非对角元线性表出（\(\|z_i - z_j\|_2^2 = \langle z_i, z_i \rangle + \langle z_j, z_j \rangle - 2\langle z_i, z_j \rangle\)），定理 3 直接推导出推论 1：任意节点对 \((i,j)\) 的嵌入距离平方差不超过 \(4 C_{\mathrm{gram}}\varepsilon\)。进一步地，将节点按 \(C\) 个类别划分为索引集 \(S_1, \dots, S_C\)（类别样本数为 \(n_c\)），结合 Cauchy-Schwarz 不等式可导出推论 2（类别统计量稳定性）：类别质心偏移满足 \(\|\mu_c - \widetilde{\mu}_c\|_2 \leq n_c^{-1/2}\|Z - \widetilde{Z}\|_F = O(\varepsilon)\)，类内经验协方差矩阵偏差满足 \(\|\Sigma_c - \widetilde{\Sigma}_c\|_2 \leq 8 B_Z n_c^{-1/2}\|Z - \widetilde{Z}\|_F = O(\varepsilon)\)。这意味着类间距离、质心夹角、类内方差 \(\operatorname{tr}(\Sigma_c)\)、类间/类内散度比以及神经坍缩（Neural Collapse）诊断指标在谱稀疏化下均最多发生 \(O(\varepsilon)\) 偏移，从根本上解释了为何谱稀疏化能够完整保留隐空间的局部邻域拓扑与全局类别结构。
3. 有限时间梯度下降轨迹稳定性：解耦参数 Lipschitz 与算子 Lipschitz 的训练动态约束
前向稳定性假设原图与稀疏图共享同一组权重，但在实际训练中，在稀疏图上直接运行梯度下降会使参数轨迹偏离原图训练轨迹。为了刻画训练动态的偏离程度，本文考察平方损失 \(J(\Theta; L) = \frac{1}{2}\|F(\Theta; L) - Y\|_F^2\) 下从相同初始化 \(\Theta^0 = \widetilde{\Theta}^0\) 出发的全批量梯度下降更新 \(\Theta^{t+1} = \Theta^t - \eta \nabla_\Theta J(\Theta^t; L)\)。在激活函数一阶导数有界且 Lipschitz（假设 A6/A6'）以及有限时间步 \(t \leq T\) 内迭代权重与隐状态有界（假设 A7/A7'）的条件下，本文通过将每一步的总梯度偏差拆分为“同一图算子下的参数差异项”与“同一参数下的图滤波器差异项”：
分别利用梯度对参数的 \(L_\Theta\)-Lipschitz 性质（Lemma 3/5）和对各层图滤波器集合 \(\{p_k(L)\}_{k=0}^{K-1}\) 的 \(L_S\)-Lipschitz 性质（Lemma 4/6），并代入定理 1 的滤波器误差界，推导出单层（定理 4）与多层（命题 1）参数轨迹偏差的有限时间递推界：
该式表明，谱稀疏化在每个训练步仅向梯度场注入 \(O(\varepsilon)\) 的微扰；在任意给定的有限训练时域 \(T\) 内，稀疏图与稠密图训练得到的参数轨迹间距至多与谱失真度 \(\varepsilon\) 成正比，从而将表示几何的保持性从静态固定权重推广到了动态训练过程。
损失函数 / 训练策略¶
在实证与理论对齐实验中，本文采用有效电阻采样（Effective-Resistance Sparsification）生成稀疏图：按边杠杆分数 \(w_e R_e\)（\(w_e\) 为边权，\(R_e\) 为端点间有效电阻）成比例的概率有放回抽取 \(q = \lfloor c n \log n \rfloor\) 条边并重加权，以确保拉普拉斯矩阵无偏且满足谱近似。在合成理论验证中，前向映射采用缩放拉普拉斯算子 \(\bar{L} = L / \|L\|_2\) 与二阶多项式滤波器 \(p(\bar{L}) = I - 0.6\bar{L} + 0.15\bar{L}^2\)；训练动态实验训练 100 个 epoch，单层模型学习率为 \(0.01\)，双层模型学习率为 \(0.003\)，权重衰减为 \(10^{-3}\) 并配合梯度裁剪。在真实数据（FashionMNIST、Cora、Paul15）上，采用截断拉普拉斯特征空间（秩为 16）估计近似有效电阻，预算乘子取 \(c \in \{0.45, 0.60, 0.80, 1.00, 1.25, 1.50\}\)，使用隐藏层维度为 48 的两层 ReLU GCN，通过 Adam 优化器（学习率 \(0.01\)，权重衰减 \(5 \times 10^{-4}\)）训练 200 个 epoch（注：附录 B.1–B.4 中因 LaTeX 宏重复排版存在将 20、30、40、50、200 渲染为 2020、3030、4040、5050、2020 的文本排版瑕疵，实际近邻数 \(k=20\) 在式 24 中已明确给出）。
实验关键数据¶
主实验¶
本文首先在两类可控合成图——4 社区加权随机块模型（SBM，每块 80 节点，块内连边概率 0.20、块间 0.05）和 4 簇高斯几何 \(k\)-NN 图（每类 80 节点，\(k=30\)）上检验定理 1–3 的扰动传递链。定义经验谱失真度为非平凡子空间上广义特征值包络的偏差 \(\varepsilon_{\mathrm{emp}} = \max\{1 - \lambda_{\min}, \lambda_{\max} - 1\}\)。下表汇总了不同采样预算下 5 次稀疏化抽样的平均经验谱失真度 \(\varepsilon_{\mathrm{emp}}\)、保留边比例（Retained Edge Fraction）以及对应的相对隐表示误差与 Gram 矩阵误差表现：
| 图类型 | 采样档位 | 经验谱失真度 \(\varepsilon_{\mathrm{emp}}\) | 保留边比例 (frac.) | 多项式滤波器 / 隐表示 / Gram 相对误差趋势 |
|---|---|---|---|---|
| Geometric \(k\)-NN | 预算档位 1（高密度） | 0.37 | 0.90 | 随 \(\varepsilon_{\mathrm{emp}}\) 近似线性平滑增长，低失真区误差极小 |
| Geometric \(k\)-NN | 预算档位 2 | 0.38 | 0.87 | 与定理 1–3 的 \(O(\varepsilon)\) 线性传递链高度吻合 |
| Geometric \(k\)-NN | 预算档位 3 | 0.41 | 0.87 | 滤波器、隐状态与 Gram 误差三者同步温和上升 |
| Geometric \(k\)-NN | 预算档位 4 | 0.54 | 0.70 | 删除 30% 边后隐空间几何仍保持高保真度 |
| Geometric \(k\)-NN | 预算档位 5 | 0.66 | 0.58 | 接近半数边被裁剪，相对表示与 Gram 失真仍处于低位 |
| Geometric \(k\)-NN | 预算档位 6（低密度） | 0.75 | 0.53 | 仅保留 53% 边时，相对隐表示与 Gram 失真仅在 $0.03\text |
| Weighted SBM | 预算档位 1（高密度） | 0.41 | 0.96 | 社区结构下滤波器误差与 Gram 误差呈单调线性标度 |
| Weighted SBM | 预算档位 2 | 0.42 | 0.96 | 5 次随机抽样标准差极小，表现稳定 |
| Weighted SBM | 预算档位 3 | 0.43 | 0.92 | 保持块内与块间算子传播特性 |
| Weighted SBM | 预算档位 4 | 0.43 | 0.89 | 嵌入内积矩阵相对误差远小于底图谱失真 \(\varepsilon_{\mathrm{emp}}\) |
| Weighted SBM | 预算档位 5 | 0.56 | 0.77 | 随边数进一步压缩，误差呈受控线性增长 |
| Weighted SBM | 预算档位 6（低密度） | 0.71 | 0.66 | 高失真压力测试下，相对表示与 Gram 失真依然保持在 $0.03\text{0.08$ |
消融实验¶
在真实数据集（FashionMNIST 图像构建的 15-NN 图、Cora 引文网络、Paul15 单细胞 RNA-seq 髓系祖细胞 15-NN 图）上，本文围绕不同稀疏化预算乘子 \(c \in \{0.45, 0.60, 0.80, 1.00, 1.25, 1.50\}\) 开展隐空间几何保真度分析，定量考察相对隐层 Gram 失真度 \(D_{\mathrm{Gram}}(Z, \widetilde{Z}) = \|Z Z^\top - \widetilde{Z}\widetilde{Z}^\top\|_F / \|Z Z^\top\|_F\) 对测试集节点局部 \(k\)-近邻重叠率 \(D_{\mathrm{NN}@20}(Z, \widetilde{Z})\)、PCA 类别质心对齐以及下游知识蒸馏（KD）传递的预测能力：
| 数据集 / 实验设置 | 核心评估指标 | 定量结果 / 相关性 | 几何与下游分析结论 |
|---|---|---|---|
| FashionMNIST (15-NN 图) | \(D_{\mathrm{Gram}}\) vs. \(D_{\mathrm{NN}@20}\) Spearman \(\rho\) | \(-0.92\) | Gram 失真越小，20-NN 局部邻域重叠率单调越高；PCA 类别质心几乎重合 |
| Cora (引文网络) | \(D_{\mathrm{Gram}}\) vs. \(D_{\mathrm{NN}@20}\) Spearman \(\rho\) | \(-0.90\) | 在真实拓扑引文图上，Gram 矩阵保真度强力预测局部邻域保持能力 |
| Paul15 (单细胞 RNA-seq) | \(D_{\mathrm{Gram}}\) vs. \(D_{\mathrm{NN}@20}\) Spearman \(\rho\) | \(-0.92\) | 在生物单细胞流形图上同样呈现极强的负单调相关，保留发育谱系聚类几何 |
| Procrustes 正交对齐分析 | 2D PCA + 最优正交变换重叠度 | 稠密与稀疏嵌入高度重合 | 证实稠密与稀疏嵌入的残余差异主要源于近似刚体旋转变换，而非流形坍缩 |
| 训练动态轨迹消融 (1层/2层) | 相对参数偏差 \(\|\Theta^t - \widetilde{\Theta}^t\|_F / \|\Theta^t\|_F\) | 随 \(\varepsilon_{\mathrm{emp}}\) 与 epoch 单调线性增长 | 验证定理 4 与命题 1：单步 \(O(\varepsilon)\) 梯度扰动随时间平滑累积，绝对偏差极小 |
| 下游知识蒸馏 (Teacher-Student) | 稠密教师与稀疏学生 KL 散度 / 准确率 | \(\varepsilon_{\mathrm{emp}} \uparrow \implies \mathrm{KL} \uparrow \implies \text{Acc} \downarrow\) | 谱失真增大会破坏稠密教师传递的软标签决策几何，直接导致学生蒸馏精度下降 |
关键发现¶
- 隐层表示失真远小于底图谱失真：在 SBM 与几何图上，即便删除近一半的边使底图经验谱失真度 \(\varepsilon_{\mathrm{emp}}\) 达到 $0.71\text
}0.75$ 的高压区间，多层隐表示和 Gram 矩阵的相对误差依然被抑制在 $0.03\text{0.08$ 之间，说明多项式低通滤波与特征混合对高频谱噪声具有天然的平滑阻尼作用。 - 隐层 Gram 失真度是局部邻域保持的强预测指标：在 FashionMNIST、Cora 和 Paul15 三个跨领域真实数据集上，隐层 Gram 矩阵相对误差 \(D_{\mathrm{Gram}}\) 与测试节点 20-NN 邻域重叠率之间的 Spearman 秩相关系数分别高达 \(-0.92\)、\(-0.90\) 和 \(-0.92\)，证明理论推导的 Gram 稳定性直接转化为下游检索与局部流形保持能力。
- 稀疏化误差本质上接近刚体正交变换：通过将稀疏图嵌入经最优正交 Procrustes 变换对齐到稠密图嵌入的 PCA 主成分空间，两者的节点分布与类别质心高度重合，揭示出谱稀疏化对隐空间的影响主要是轻微的全局正交旋转，而不会引起类别边界扭曲或拓扑结构崩塌。
亮点与洞察¶
- 打通“算子—表示—几何—训练动态”的四级理论闭环：已有图稀疏化与 GNN 稳定性工作大多止步于证明单层算子近似或最终预测误差有界，本文首次通过 \(L \approx \widetilde{L} \implies p(L) \approx p(\widetilde{L}) \implies Z \approx \widetilde{Z} \implies Z Z^\top \approx \widetilde{Z}\widetilde{Z}^\top\) 的完整不等式链，将谱图理论直接锚定到内积 Gram 矩阵与类内协方差几何上。这一视角将神经坍缩（Neural Collapse）和流形保持纳入了图压缩的理论保障范围。
- 用无旋转依赖的 Gram 矩阵刻画嵌入保真度：直接比较两个模型训练出的隐表示 \(Z\) 与 \(\widetilde{Z}\) 往往受限于隐空间的正交旋转模糊性，而本文聚焦于内积矩阵 \(Z Z^\top\) 的谱范数与 Frobenius 范数稳定性（定理 3），巧妙绕开了坐标系旋转问题，并一步导出成对欧氏距离与类别质心统计量的 \(O(\varepsilon)\) 界。
- 将表示几何稳定性迁移至图知识蒸馏与检索加速：本文揭示了当稠密图教师向稀疏图学生进行知识蒸馏时，软标签 KL 散度随谱失真单调恶化。这一发现可直接指导大规模图检索（Graph RAG）、单细胞图谱构建以及图模型蒸馏：在选择图裁剪或重连算法时，可利用低秩截断估计的隐层 Gram 失真度 \(D_{\mathrm{Gram}}\) 作为无需标签的代理指标来筛选最优稀疏度。
局限与展望¶
- 对精确 \(\varepsilon\)-谱近似假设的依赖：理论推导严格依赖于稀疏图满足双边谱序不等式 \((1-\varepsilon)L \preceq \widetilde{L} \preceq (1+\varepsilon)L\)；但在实际大规模图工程中，为了降低预处理开销常采用截断特征空间近似（如本文中秩为 16 的近似有效电阻）或启发式剪枝，此时全局谱包络可能出现局部违背。
- 训练动态分析局限于有限时间与全批量梯度下降：定理 4 和命题 1 给出的参数轨迹界包含随步数指数增长的累积因子 \(\sum_{j=0}^{t-1}(1+\eta L_\Theta)^j\)，仅适用于有界状态空间上的有限时间全批量（Full-Batch）梯度下降，尚未覆盖随机梯度下降（SGD）、Adam 自适应优化器或无穷时间渐近收敛（如神经正切核 NTK 极限）场景，且未包含图注意力网络（GAT）等依赖特征动态权重的消息传递架构。
- 针对低度与边缘节点的公平性隐患：作者在讨论中指出，谱稀疏化按有效电阻重加权虽然保持了全局二次型与整体类别质心，但可能不成比例地裁剪低度节点、边缘节点或少数群体节点的连接；未来工作可结合节点度感知正则或局部谱保真约束，在极限压缩率（如保留边比例 \(<10\%\)）和百万级大图（OGB）上探索兼顾群体公平性的几何保持稀疏化。
相关工作与启发¶
- vs 经典谱图稀疏化（Spielman & Srivastava, 2011; Ding et al., 2025）: 经典工作证明了基于有效电阻采样的稀疏图能以 \(O(n \log n / \varepsilon^2)\) 条边保持拉普拉斯二次型，近期 Ding et al. (2025) 将其用于加速大规模谱 GNN 的前向传播并維持分类准确率；本文的本质区别在于不再把稀疏化仅当作计算加速工具，而是证明了它在多层非线性变换后依然保持隐空间 Gram 几何、类内协方差与局部近邻结构。
- vs GNN 扰动稳定性与可迁移性理论（Gama et al., 2020; Ruiz et al., 2021, 2023）: Gama 与 Ruiz 等人分析了图移位算子在相对扰动或图极限（Graphon）下的输出稳定性；本文则在谱稀疏化的特定算子序结构下，将稳定性结果从一维预测输出推进到了高维隐表示矩阵 \(Z\)、Gram 矩阵 \(Z Z^\top\) 以及多步梯度下降参数轨迹 \(\Theta^t\)。
- vs GNN 神经坍缩与特征演化分析（Papyan et al., 2020; Kothapalli et al., 2023）: 神经坍缩文献揭示了深度网络与 GNN 在训练末期类别均值与类内协方差收敛到单纯形等角紧框架（ETF）的几何现象；本文的推论 2 证明了任何关于 \(\{\mu_c, \Sigma_c\}_{c=1}^C\) 局部 Lipschitz 的几何诊断量在 \(\varepsilon\)-谱稀疏化下至多偏移 \(O(\varepsilon)\)，为在稀疏图上研究特征演化与神经坍缩提供了严格的扰动界。
评分¶
- 新颖性: ⭐⭐⭐⭐ 将经典谱图稀疏化理论系统性地拓展至多层 GNN 的隐空间 Gram 几何、类别协方差统计量与有限时间梯度下降动态，切入点清晰且理论闭环完整。
- 实验充分度: ⭐⭐⭐ 在合成图（SBM、几何图）与三个真实数据集（FashionMNIST、Cora、Paul15）上完整验证了理论预测，但实验规模偏小，缺少在大规模基准（如 OGB）和极低边保留率下的对比。
- 写作质量: ⭐⭐⭐⭐ 定理叙述、假设条件与附录证明逻辑严密、层次分明（仅附录部分数字存在轻微 LaTeX 宏重复排版瑕疵）。
- 价值: ⭐⭐⭐⭐ 为利用谱稀疏化加速图表示学习、近邻检索、单细胞流形分析及图知识蒸馏提供了坚实的理论依据与几何评估准则。