Rank Is Not Capacity: Spectral Occupancy for Latent Graph Models¶

会议: NeurIPS 2026
arXiv: 2605.11142
OpenReview: https://openreview.net/forum?id=MdpohqZVhG
代码: https://github.com/nicolaosnakis/spectra
领域: 图学习
关键词: 图表示学习, 潜空间模型, 谱占有分布, 有效谱维度, 谱前缀提取

一句话总结¶

针对隐图模型将潜空间维度作为固定超参数导致表征容量无法度量与控制的缺陷，本文提出 Spectra 框架，利用迹归一化正定核的香农有效秩度量并端到端调控谱占有容量，仅凭单一模型即可 deterministic 地获得最优嵌套谱前缀视图。

研究背景与动机¶

图表示学习已成为网络化数据分析的核心基石，潜嵌入向量被广泛用于链路预测、社区发现及图拓扑推断。然而，在以随机游走（如 Node2Vec）、矩阵分解（如 NetMF）、混合隶属度模型（如 MNMF）和隐距离模型（如 HM-LDM）为代表的传统方法中，潜维度始终被当作训练前必须人为预设且脆弱的标称超参数，只能依赖耗时的验证集网格搜索。由于潜因子在旋转与全局缩放变换下具有内在规范对称性，标称秩极少能真实反映模型有效发挥作用的表征容量，维度错配更会带来显著的统计推断开销。

现有启发式模型选择手段（如特征值拐点轮廓似然、贝叶斯潜维度估计、网络交叉验证以及谱并行分析 NetFlipPA）均属于单次拟合前后的静态筛选机制。这类方法无法将表征容量显式呈现为一种在模型拟合过程中直接连续测量、反馈调控和审计核验的模型内在属性。核范数松弛等替代正则项又存在尺度与秩耦合的缺陷，无法区分整体数值规模与多模式的能量分布差异。

本文的切入角度是打破“以标称秩定义容量”的传统惯性，直接聚焦于隐正定核消除规范对称性后的内在谱能量分布。核心 idea：将隐正定核进行迹归一化以剥离整体尺度干扰，将其特征值分布解释为潜模式上的谱占有概率分布，并以其香农有效谱秩作为连续、单调的端到端容量调控坐标，配合二分搜索与即时截断的谱前缀实现按需容量约束与无损多分辨率表征提取。

方法详解¶

整体框架¶

Spectra 针对无特征简单无向图 $\mathcal{G}=(V, E)$ 构建边概率预测模型。输入为节点集合与二元邻接关系，模型首先为每个节点学习度异质性标量偏移 $a_i$ 以及受秩上限 $r$ 约束的隐因子矩阵 $L \in \mathbb{R}^{N \times r}$。隐因子通过外积与严格的迹归一化映射为全局谱质量固定的正定核 $K(L)$，使得总能量 $\operatorname{tr}(K)=N$ 恒定不变，剥离了全局缩放任意性。随后，核矩阵元素作为潜亲和度与敏感度斜率 $\beta$、节点偏移联合决定成对连边概率。

在此基础上，迹归一化核的降序特征值天然形成单纯形上的谱占有概率分布。模型以香农有效秩 $d_{\mathrm{spec}}$ 连续刻画实际有效维度，并在优化目标中引入谱熵正则化项（由标量 $\eta$ 加权控制）。优化过程中不仅能在固定秩上限 $r$ 的参数化天花板下通过一维二分法精确靶向任意预设有效容量 $d_{\mathrm{spec}}^\star$，拟合完毕后无需重训即可直接通过 Eckart–Young–Mirsky 定理截取前 $k$ 个主特征模式，得到严格嵌套、最优低秩正定的多粒度谱前缀表示。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["图拓扑输入与隐因子参数化<br/>节点集合 V、邻接矩阵 Y、因子 L ∈ ℝ^{N×r}"] --> B["迹归一化正定核建模<br/>固定谱质量 tr(K)=N 消除全局缩放"]
    B --> C["谱占有分布与有效谱维度<br/>特征值归一化为概率分布 p_i(K) 计算香农熵"]
    C --> D["端到端谱熵正则化训练<br/>控制标量 η 引导能量集中或扩散"]
    D --> E["靶向容量二分搜索校准<br/>单调响应线上根查找匹配 d_spec^★"]
    E --> F["嵌套谱前缀无损提取<br/>EYM 定理单次拟合确定性导出 K_k"]

关键设计¶

1. 迹归一化正定核建模：剥离规范缩放并统一度量尺度 在潜变量图模型中，潜因子 $L$ 的任意正交变换 $LQ$ 均保持外积不变，且单纯约束范数容易导致全局数值尺度与内在秩相互混淆。Spectra 显式构建正定对称核矩阵，并对其施加严格的迹归一化约束： $$K(L) = N \frac{LL^\top}{\operatorname{tr}(LL^\top)}, \quad L \neq 0$$ 此时 $\operatorname{tr}(K)=N$ 且 $K \succeq 0$。连边预测概率定义为两节点度偏移 $a_i, a_j$ 与潜亲和度项的加权 Sigmoid 响应： $$\mathbb{P}(\bm{Y}_{ij}=1 \mid L, \bm{a}, \beta) = \phi(a_i + a_j + \beta K_{ij}(L)), \quad i < j$$ 由于核迹被固定，全局敏感度参数 $\beta > 0$ 无法被因子幅值任意吸收，从而具备了纯粹的度量敏感度物理含义；同时，秩上限 $r$ 仅充当优化器的参数化天花板，真正的主动容量完全由核矩阵内部特征值比例决定。

2. 谱占有分布与有效谱维度：从离散硬秩转向连续香农有效秩 设核矩阵特征值为 $\lambda_1(K) \geq \lambda_2(K) \geq \cdots \geq \lambda_N(K) \geq 0$。由 $\sum_{i=1}^N \lambda_i(K) = N$，定义归一化谱占有分布 $p_i(K) = \lambda_i(K) / N$。该分布表征了固定能量在各个潜模式上的配比。Spectra 采用香农有效秩定义有效谱维度： $$d_{\mathrm{spec}}(K) := \exp(H(p(K))) = \exp\left(-\sum_{i: p_i(K)>0} p_i(K) \log p_i(K)\right)$$ 相比仅统计非零项个数且对微小噪声极度敏感的硬秩 $\operatorname{rank}(K)$，以及过度偏向少数大特征值的参与比（Participation Ratio），$d_{\mathrm{spec}}$ 是唯一兼具对谱分布连续敏感、能量成比例、且在均匀能量极值下精确退化为硬秩的平滑度量，取值范围连续覆盖 $[1, \operatorname{rank}(K)]$。

3. 端到端谱熵正则化训练：一维可微标量驱动容量连续塑形 为了在训练期主动调控表征容量，模型将边预测对数似然损失 $\ell(L, \bm{a}, \beta)$、参数二次正则项 $R(L, \bm{a}, \beta)$ 与谱熵项结合： $$F_\eta(L, \bm{a}, \beta) = \ell(L, \bm{a}, \beta) - \eta \log d_{\mathrm{spec}}(K(L)) + R(L, \bm{a}, \beta)$$ 调节标量 $\eta \in \mathbb{R}$ 扮演了拉格朗日控制因子的角色。当 $\eta > 0$ 时，模型惩罚能量过分集中，促使特征值扩散、增大有效谱维度；当 $\eta < 0$ 时，模型强化谱稀疏性，压低有效维度。理论证明在规范固定流形与简单谱非简并条件下，局域解分支满足严格的 $\mathcal{C}^1$ 光滑性与单调性 $\frac{d}{d\eta}\log d_{\mathrm{spec}}(\eta) \geq 0$。实际实现中通过截断 SVD 参数化 $L = Q \operatorname{diag}(\sigma)$（$Q$ 保持列正交，$\sigma$ 过 softplus 保证正定），每步计算复杂度仅为 $\mathcal{O}(|E_{\mathrm{batch}}|r + Nr)$。

4. 靶向容量二分搜索校准与嵌套谱前缀无损提取：无需重训的确定性多粒度分解 基于容量曲线的局部单调性，当用户指定目标容量 $d_{\mathrm{spec}}^\star$ 时，系统从 $\eta=0$ 锚点出发，通过几何区间扩张确定界限后进行一维二分搜索，仅需 $\mathcal{O}(\log(1/\delta))$ 次轻量级预拟合即可收敛到满足容差 $|d_{\mathrm{spec}}(\eta) - d_{\mathrm{spec}}^\star| / d_{\mathrm{spec}}^\star \leq \tau$（默认 $\tau=0.02$）的精准参数 $\eta^\star$。更为关键的是，依据 Eckart–Young–Mirsky 定理，对于任意单次拟合得到的核 $K = U \Lambda U^\top$，直接截取前 $k$ 个特征分量所构造的谱前缀： $$K_k = \sum_{j=1}^k \lambda_j u_j u_j^\top = U_{1:k} \Lambda_{1:k} U_{1:k}^\top, \quad k=1, \dots, r$$ 在 Frobenius 范数下严格构成了 $K$ 在所有秩不超过 $k$ 的正定矩阵中的最优低秩近似。这使得 Spectra 天然拥有类似于俄罗斯套娃（Matryoshka）的多分辨率嵌套特征结构，却完全免除了复杂的多尺度联合训练目标。

损失函数 / 训练策略¶

训练采用负采样平衡二值交叉熵。每个正样本边均匀采样 5 个负样本非边，正负项赋予等权重。模型采用 Adam 优化器，学习率设为 $10^{-2}$，基准训练迭代步数为 6,000 步。二次权重衰减系数固定为 $\lambda = 10^{-4}$，在各数据集中均表现出强鲁棒性无需微调。在进行目标容量二分标定时，探测训练达到谱指标平稳后即可早停，大幅降低了搜索开销。

实验关键数据¶

主实验¶

实验采用标准无向图无监督链路预测协议（随机屏蔽 50% 边作为测试集，保证训练图连通），在涵盖合作引文网络（ca-GrQc、ca-HepTh）、社交网络（socfb-American75、socfb-Amherst41）、生物 PPI 网络（bio-grid-human、bio-grid-worm）以及基础设施网络（inf-power、inf-openflights）共 8 个数据集上进行评估。在标称维度 $d \in \{16, 32, 64, 128\}$ 下，Spectra 分别与 Node2Vec、Role2Vec、NetMF、GraRep、MNMF 及 HM-LDM 对比。下表展示了 $d=64$ 及 $d=128$ 下的测试 AUC-ROC 及对应实现的有效谱维度 $d_{\mathrm{spec}}$（5 次独立随机种子均值）：

数据集	维度 $d$	Node2Vec (AUC / $d_{\mathrm{spec}}$)	GraRep (AUC / $d_{\mathrm{spec}}$)	HM-LDM (AUC / $d_{\mathrm{spec}}$)	Spectra $\eta=0$ (AUC / $d_{\mathrm{spec}}$)	Spectra med-$d_{\mathrm{spec}}$ (AUC / $d_{\mathrm{spec}}$)	Spectra min-$d_{\mathrm{spec}}$ (AUC / $d_{\mathrm{spec}}$)
ca-GrQc	64	.937 / 59.64	.897 / 22.45	.937 / 48.40	.949 / 63.74	.950 / 57.76	.944 / 22.45
ca-GrQc	128	.934 / 86.41	.893 / 35.08	.949 / 90.85	.952 / 124.51	.953 / 103.59	.946 / 35.08
ca-HepTh	64	.892 / 63.36	.832 / 13.11	.874 / 56.30	.915 / 63.94	.917 / 60.61	.905 / 13.11
ca-HepTh	128	.892 / 109.57	.825 / 21.59	.891 / 95.85	.921 / 127.00	.920 / 109.04	.908 / 21.59
socfb-Am.75	64	.930 / 57.64	.942 / 16.95	.938 / 17.24	.954 / 47.65	.952 / 54.93	.947 / 16.95
socfb-Am.75	128	.914 / 114.33	.943 / 26.44	.939 / 20.99	.955 / 64.58	.949 / 107.51	.949 / 20.99
bio-grid-h.	64	.892 / 62.43	.918 / 23.99	.919 / 45.53	.925 / 63.68	.946 / 58.54	.910 / 23.99
bio-grid-h.	128	.883 / 119.15	.913 / 38.77	.923 / 76.82	.932 / 122.87	.938 / 114.16	.919 / 38.77
inf-power	64	.914 / 60.28	.953 / 31.07	.847 / 50.53	.895 / 63.98	.896 / 57.91	.916 / 31.07
inf-power	128	.901 / 80.41	.945 / 45.15	.889 / 95.65	.880 / 127.89	.884 / 88.03	.910 / 45.15
inf-openfl.	64	.974 / 55.31	.985 / 21.90	.991 / 26.67	.987 / 57.73	.987 / 51.72	.988 / 21.90
inf-openfl.	128	.973 / 87.94	.982 / 26.60	.991 / 38.86	.987 / 96.43	.987 / 91.31	.988 / 26.60

消融实验¶

论文在针对过参数化表征的校准质量与泛化间隙上进行了深入的配对比较消融。在 ca-GrQc 与 bio-grid-human 上设定目标有效容量 $d_{\mathrm{spec}}^\star \in \{16, 32, 64\}$ 与不同参数化上限 $r \in \{d_{\mathrm{spec}}^\star, 64, 128, 256\}$，对比单纯依靠标称秩上限截断的无控制基线（$\eta=0$）与 Spectra 谱熵靶向重训（$\eta^\star$）。度量指标为测试集对数似然（TLL，越大越好）和泛化间隙（$\text{GenGap} = \text{trNLL} + \text{TLL}$，越小越好）。下表汇总之配对 Wilcoxon 符号秩检验分析（每组 10 个独立随机种子，共有多组配对）：

实验对比类型	比较条件	样本数 / 配对数	泛化间隙 GenGap 表现	测试似然 TLL 表现	统计显著性结论
对比 A：同秩消融 $\eta$ 效果	固定相同秩上限 $r$，比较未受控锚点 ($\eta=0$) vs 谱受控重训 ($\eta^\star$)	240 对	谱受控重训泛化间隙显著收窄	谱受控重训测试似然显著更优	缺乏谱控制的过参数化导致严重过拟合；校准改善 $p < 10^{-30}$
对比 B：匹配有效容量 $d_{\mathrm{spec}}^\star$	相同实现有效容量下，过参数化受控模型 ($r > d_{\mathrm{spec}}^\star$) vs 纯标称秩模型 ($r = d_{\mathrm{spec}}^\star$)	180 对	过参数化受控模型泛化间隙持续占优	过参数化受控模型测试似然显著提升	更大参数化空间改善了优化景观，且容量受控不导致过拟合；$p \approx 10^{-11}$

关键发现¶

容量与性能前沿解耦出两类拓扑机制：跨多组上限 $r \in \{64, 128, 256\}$ 的全局容量前沿扫描显示，当 AUC 映射到真实实现的 $d_{\mathrm{spec}}$ 时，不同 $r$ 曲线高度重合。网络展现出两类鲜明模式：基础设施与社交网络属于“饱和型”，最优容量极小（如 socfb-American75 在 $d_{\mathrm{spec}} \approx 20$ 处即达性能峰值，继续增大容量反而因噪声模式均匀化导致性能倒退）；而学术合作与生物 PPI 网络属于“容量绑定型”，其最优性能随 $r$ 与 $d_{\mathrm{spec}}$ 的推高持续增长。
低容量下以少胜多：靶向基线中最小有效秩的 Spectra (min $d_{\mathrm{spec}}$) 仅用基线 $1/5$ 至 $1/10$ 的有效维度，便在 8 个数据集中全面逼近甚至超过了基线的满秩预测能力。
过参数化优化红利需谱调控保驾护航：在相同实现有效容量的前提下，增大标称参数空间 $r$ 并配合 $\eta^\star$ 进行谱约束，能显著战胜小规模硬标称参数化模型，证明过参数化带来的优化收益完全可以通过谱熵约束安全兑现。

亮点与洞察¶

将容量重塑为模型内部的可测坐标：首次跳出了“把潜空间维度视作黑盒超参数”的传统范式，通过迹归一化正定核的谱熵定义连续有效维度，让表征容量在拟合过程中可直接测量、动态优化与精准审计。
单模型即时确定性导出嵌套多分辨率表示：借助 Eckart–Young–Mirsky 定理证明了单次训练核截取的谱前缀在 Frobenius 范数下的最优性，无需设计复杂的多分支、多尺度加权损失，即可直接获得即插即用的多分辨率层级表征。
为跨网络图拓扑内在复杂性比较提供普适标尺：$d_{\mathrm{spec}}$ 剥离了图节点规模与全局边密度的绝对数量干扰，可直接作为定量表征真实世界不同领域复杂网络结构内在信息维度的统一度量标尺。

局限与展望¶

几何假设局限于欧氏空间：现有谱分解严重依赖欧几里得内积下 $O(r)$ 不变的 Gram 谱结构。对于双曲图嵌入空间或针对单纯形成分特性的 Aitchison 几何核，尚需进一步推导几何原生的谱不变算子。
一维连续性保证仅为局部非简并分支：虽然理论证明了 $\mathcal{C}^1$ 局域单调性，但当极端 $\eta$ 导致特征值发生碰撞交叠或退出支撑集时，全局优化景观可能发生分支跳跃，未来可探索多参数自适应跟踪策略。
跨网络对比基准协议待规范：将 $d_{\mathrm{spec}}$ 推广至跨实体大型网络演化或社会学干预分析时，仍需建立兼顾图大小归一化与稀疏度对齐的标准预处理规范。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙重构正定核谱能量分布与连续香农有效秩，完全跳出了固定潜维度的传统死穴。
实验充分度: ⭐⭐⭐⭐⭐ 8 个跨领域数据集覆盖全面，包含理论分支验证、严格盲测主实验、配对统计消融及前缀可视化。
写作质量: ⭐⭐⭐⭐⭐ 理论推导严丝合缝，几何流形切空间分析清晰，概念动机阐述极为透彻。
价值: ⭐⭐⭐⭐⭐ 既澄清了图模型中容量的本质定义，又提供了极具实用价值的容量调控与嵌套压缩工具。

实验对比类型	比较条件	样本数 / 配对数	泛化间隙 GenGap 表现	测试似然 TLL 表现	统计显著性结论
对比 A：同秩消融 \(\eta\) 效果	固定相同秩上限 \(r\)，比较未受控锚点 (\(\eta=0\)) vs 谱受控重训 (\(\eta^\star\))	240 对	谱受控重训泛化间隙显著收窄	谱受控重训测试似然显著更优	缺乏谱控制的过参数化导致严重过拟合；校准改善 \(p < 10^{-30}\)
对比 B：匹配有效容量 \(d_{\mathrm{spec}}^\star\)	相同实现有效容量下，过参数化受控模型 (\(r > d_{\mathrm{spec}}^\star\)) vs 纯标称秩模型 (\(r = d_{\mathrm{spec}}^\star\))	180 对	过参数化受控模型泛化间隙持续占优	过参数化受控模型测试似然显著提升	更大参数化空间改善了优化景观，且容量受控不导致过拟合；\(p \approx 10^{-11}\)