A Unified Uncertainty Representation for Graph Neural Networks via Doubly-Spectral Stochastic Expansion¶

会议: NeurIPS 2026
arXiv: 2609.35703
代码: https://github.com/heraclixus/DSSGNN
领域: 其他
关键词: 图神经网络、多项式混沌展开、谱滤波、不确定性校准、分布外检测

一句话总结¶

DSS-GNN 把节点表示展开到图频率与随机混沌阶数两个谱轴，以确定性求积传播不确定性；独立模式在 14 个校准基准上取得比较方法中最低的平均 Brier，混合模式则在多数节点 OOD 场景和全部 7 个 GOOD 概念偏移设置上优于所列基线。

研究背景与动机¶

图神经网络的可靠性不只是分类准确率：在训练分布内，概率需要与实际正确率相称；遇到分布外节点，需要识别证据不足；数据分布改变时，分类又不能迅速失效。图结构让这三件事相互关联，因为邻居既可能提供稳定证据，也可能把错误或不适用的信息传播过来。已有方法往往各管一段：GNNSafe 用能量与邻域传播检测 OOD，GPN 传播 Dirichlet 证据，G-ΔUQ 借助嵌入锚点估计不确定性，IRM、GroupDRO、TAR 则从训练目标或样本重加权改善偏移泛化。多次 dropout 或集成能够提供预测变化，却增加推理成本，而且不自动解决图频率响应不合适的问题。

单个确定性隐藏向量没有明确位置存放“这一节点的类别证据会怎样变化”。另一方面，直接给每个节点注入独立噪声，会使全图随机传播与积分变得昂贵。本文选择较窄但可计算的模型族：全图共享一个标量高斯潜变量，节点表示是这个变量的不同函数。图傅里叶轴描述结构变化，Hermite 多项式轴描述随机变化；把两者联合建模，可以在保留图滤波的同时，显式学习均值和高阶变化系数。代价是它不能表达独立的逐节点噪声，因此“统一”指多个任务使用同一表示，而非覆盖任意联合不确定性。

这也要求区分不同任务真正需要的读出。分类概率关心各类别的相对差异，softmax 会抹去全部类别共同升降的证据；OOD 检测却可能恰好需要这部分信号。偏移泛化还需要合适的确定性编码器与频率响应，不能仅靠一个不确定性标量解决。核心 idea：让一个双谱随机表示同时保存平均类别证据与结构化 logit 变化，再分别用求积平均概率、均值能量和可选的残差部署服务校准、OOD 检测与偏移分类。

方法详解¶

整体框架¶

输入是图结构与节点特征，输出不是一组随机抽样预测，而是每个节点的有限阶表示系数。DSS 层反复执行双路图滤波、按混沌阶数门控、求积点上的非线性和系数投影，最后得到各阶 logit 系数。独立模式直接使用这些系数；DSS-Hybrid 则把 DSS 分支作为残差接到预热后的 GCN 旁边，随后使用相同的任务读出。

整个随机轴的数值计算由固定 Gauss–Hermite 节点和权重完成，不在训练或推理时抽取高斯噪声。所谓一次前向，是一个网络前向内批量处理多个求积点，不是与普通 GCN 相同的计算量，也不是多个独立模型的集成。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["图结构与节点特征"] --> B["双谱系数表示"]
    B --> C["双路滤波与求积投影<br/>堆叠 DSS 层"]
    C --> D["可选残差部署"]
    A -->|混合模式| G["预热 GCN"]
    G --> D
    D --> E["任务匹配读出"]
    E --> F["推理：平均概率分类<br/>均值能量与传播检测 OOD"]
    E -.->|均值交叉熵与混沌能量| T["训练监督；OOD 另加能量间隔"]

图中的可选残差部署放在读出之前，是为了显示两种编码器输出如何进入同一套概率与能量计算；关键设计也按这个数据流顺序展开。

关键设计¶

1. 双谱系数表示：给平均证据与随机变化各自留出可学习空间

对每个节点，模型存储从零阶到 \(P\) 阶的 \(P+1\) 个隐藏向量。零阶向量是随机表示的均值，高阶向量是沿正交 Hermite 基的变化幅度；每阶又是定义在同一张图上的信号，因此可以沿图频率轴继续滤波。输入特征通过各阶独立的线性提升初始化这些系数，而不是先产生一个均值，再固定给它加同分布噪声。

\[ H^{(\ell)}(\omega)=\sum_{n=0}^{P}H_n^{(\ell)}\Psi_n(\omega),\qquad \omega\sim\mathcal N(0,1). \]

这里的高斯变量是定义表示族的坐标，不是运行时必须生成的样本。\(P=0\) 时表示完全确定；\(P=1\) 时，在共享因子模型内是高斯表示；更高阶通过高斯变量的非线性多项式产生非高斯结构。增加阶数改变的是同一个因子的函数复杂度，不等于增加独立随机源。把全图所有 logit 展平后，其协方差秩最多为 \(P\)；两个不同节点仍然受同一个潜变量驱动。

理论上的双谱基是图拉普拉斯特征向量与 Hermite 基的张量积，但实现并不计算完整图特征分解。图轴由局部多项式滤波实现，随机轴由有限系数实现，这才使模型能够在普通节点分类管线里训练。

2. 双路滤波与求积投影：在结构传播中保留随机阶数，而非只传播均值

每个阶数的系数都分别经过可学习低通与高通 Chebyshev 滤波器，再由该阶数的门控权重组合。低通能够利用同配邻域，高通为异配或结构边界提供另一种响应；门控让不同随机阶数不必采用相同的低高频混合比例。论文允许门控本身是低阶混沌展开，但报告实验主要使用确定性标量门控，不能把随机门控当作实验收益的已验证来源。

真正的难点是非线性：对一个多项式表示做 ReLU 后，输出通常不再是同阶多项式，不能只逐阶独立激活。模型先在固定求积点重建门控后的表示，应用共享线性映射与激活，再把结果投影回保留的 Hermite 阶数。这个“重建—非线性—投影”过程使均值与高阶系数发生耦合，即使训练只监督均值，高阶也能影响下一层的均值和最终分类。

\[ H_m^{(\ell+1)}=\sum_{s=1}^{S}\mu_s\,\sigma\!\left(\widetilde H^{(\ell+1)}(\omega_s)\right)\Psi_m(\omega_s),\qquad m=0,\ldots,P. \]

其中求积权重为正且总和为 1，预激活场由全部输入阶数的双路滤波结果组合而成。滤波器和层间线性映射在各阶之间共享，额外参数主要来自输入提升和逐阶门控，避免为每个求积点训练一个完整 GNN。

精确性有明确边界：若门控阶数为 \(P_g\)，多项式三重积需要 \(S\geq\lceil(P_g+2P+1)/2\rceil\)；当 \(P_g\leq1\) 时，\(S\geq P+1\) 足够。这个条件只保证对应多项式项的求积精确，不保证 ReLU 后非多项式函数的积分精确。附录把误差分成阶数截断与数值求积两部分；实验固定 \(S=4\) 时，\(P\geq4\) 的高阶项只是近似积分。

3. 可选残差部署：保留强编码器，同时让 DSS 分支补充频率响应

独立 DSS-GNN 不依赖 GCN 基座，因此在低通 GCN 不合适的异配图上可以自由学习。混合模式面向已有强确定性编码器的场景：先预热两层 GCN，再激活 DSS 分支，以可学习缩放系数把它加到基座输出上，并共享类别读出。基座提供已学习的分类证据，DSS 分支作为受约束的低高通残差，而不是替换整个编码器。

\[ z_i^{\mathrm{hyb},(s)}=z_i^{\mathrm{base}}+\gamma_{\mathrm{res}}\sum_{n=0}^{P}Z_{i,n}\Psi_n(\omega_s). \]

混合均值就是基座 logit 加缩放后的 DSS 零阶 logit；高阶变化来自残差分支。混沌能量惩罚约束 DSS 高阶系数，意在避免分支过度拟合训练分布的变化，同时保留改变频率响应的能力。但这只是一种归纳偏置：正则项不直接惩罚所有零阶残差，也没有分布无关的稳健性保证。

两个模式不能把结果合并成一个“全任务最佳模型”。单图校准通常推荐独立模式；稀疏标签 OOD、跨图迁移及存在强传统编码器时通常推荐混合模式。基座不适合小型异配图时，残差未必救得回来；相反，独立模式在 Twitch 跨图 OOD 上虽能训练分类器，却没有有效的能量分离。

4. 任务匹配读出：平均概率用于分类，平均 logit 的能量用于 OOD

最终共享线性读出把隐藏系数变为各阶类别 logit 系数。先在每个求积点重建 logit，再计算 softmax，最后按求积权重平均，才是模型定义的预测分布；点预测取这个分布的最大类别。不能把它写成“先平均 logit 再 softmax”，两者在数学上不相等。

\[ \bar p_i=\sum_{s=1}^{S}\mu_s\,\operatorname{softmax}\!\left(\sum_{n=0}^{P}Z_{i,n}\Psi_n(\omega_s)\right),\qquad s_{\mathrm{energy}}(i)=-\log\sum_{c=1}^{C}\exp(Z_{i,0,c}). \]

能量则只读取零阶平均 logit，混合模式替换为组合后的均值。若所有类别 logit 同时增加一个常数，softmax、预测熵及基于概率的摘要都不变，但能量减少同一常数；因此能量保留“所有类别证据一起变弱”的 OOD 信号。高阶 logit 的外积之和构成协方差，平方范数之和是其迹，即混沌能量；它描述结构化变化，而不是直接取代主 OOD 分数。

在满足求积正交条件时，求积概率与均值 softmax 的最大分量差被混沌协方差的迹控制。训练约束高阶能量后，两种读出可能非常接近，但这不构成恒等关系：Table 1 实际报告均值读出，Table 27 才在相同检查点比较完整求积读出。独立模式测试节点预测分歧最多 0.21%，准确率差不超过 0.04 个百分点；混合模式在 14 个数据集上的类别分歧均为零。

损失函数 / 训练策略¶

实际实验采用均值 logit 的交叉熵，加训练节点上的混沌能量正则，而不是对每个求积点分别做分类监督。高阶系数通过层内非线性投影与均值耦合而获得梯度，正则项抑制过大的变化。

\[ \mathcal L=\frac{1}{|\mathcal V_{\mathrm{tr}}|}\sum_{i\in\mathcal V_{\mathrm{tr}}}\left[\ell(Z_{i,0},y_i)+\lambda_{\mathrm{reg}}\sum_{n=1}^{P}\|Z_{i,n}\|^2\right]. \]

混合模式把交叉熵输入换成组合均值，正则仍作用于 DSS 系数。附录分析求积平均损失时，其相对均值损失的领先差异是 Hessian 对协方差的曲率加权项；这解释不同方向的变化如何影响训练，但本文没有实际用该求积损失训练，也不能据此声称校准得到理论保证。

容量定理同样需要收紧解读：它在特征矩阵满行秩、输入维数至少等于节点数的条件下，用一个受限单层构造匹配截断混沌系数；指数衰减还要求目标具备受控高斯增长的整函数延拓。Cora 的特征数 1,433 少于节点数 2,708，不满足满行秩前提；秩不足扩展只覆盖特征列空间内的目标，并带非负实现条件。它证明表示能力，不证明实际优化、校准、OOD 或偏移鲁棒性。

默认可从 \(P=1\)–\(2\)、\(S=4\)、确定性门控起步；校准实验按验证 Brier 选择阶数、正则和架构变体，不是所有数据集共享一个固定 Chebyshev 网络。部分所选阶数达到 5、6、8，不能宣称所有主结果都来自低阶精确求积。

OOD 的 DSS-Hybrid 另加与 GNNSafe++ 相同的能量间隔正则，使用 OOD 训练数据，不属于无 OOD 暴露设置。能量分数随后进行 2 跳、混合系数 0.5 的图传播；GOOD 概念偏移实验则使用标准 ERM，没有专门稳健目标。稀疏标签管线中的独立模式通常加入逐混沌通道 BatchNorm，完整标签校准协议不使用它。

实验关键数据¶

主实验¶

校准采用同一组 10 个划分、无后处理校准。Brier 衡量预测概率向量与 one-hot 标签的平方距离，越低越好；它同时反映概率质量与分类表现，不能当作纯校准误差。以下保留 Table 1 的代表性结果，均为均值 ± 标准差，准确率单位为 %。

数据集	DSS-GNN 准确率	TFE-GNN 准确率	G-ΔUQ 准确率	DSS-GNN Brier	TFE-GNN Brier	G-ΔUQ Brier
Cora	86.63 ± 1.26	71.25 ± 1.90	84.35 ± 1.97	0.207 ± 0.019	0.449 ± 0.024	0.226 ± 0.023
Citeseer	80.20 ± 1.28	68.87 ± 1.87	70.85 ± 2.22	0.308 ± 0.010	0.463 ± 0.020	0.433 ± 0.026
Texas	91.31 ± 3.44	84.92 ± 4.26	9.02 ± 1.83	0.240 ± 0.111	0.255 ± 0.083	0.779 ± 0.029
Squirrel	68.06 ± 2.21	71.56 ± 1.42	25.88 ± 1.91	0.394 ± 0.027	0.395 ± 0.017	0.795 ± 0.006
Minesweeper	87.66 ± 1.10	82.42 ± 0.33	80.22 ± 0.22	0.169 ± 0.014	0.248 ± 0.003	0.288 ± 0.003

Texas 的 G-ΔUQ 准确率 9.02 是原表异常值，按原文保留，不自行改成 90.2。14 个最低平均 Brier 的结论针对所比较的不确定性基线，不等于所有谱 GNN 都被击败：附录诊断 ChebNet 在 Texas、Wisconsin 的 Brier 反而更低。Squirrel 的 Brier 优势仅 0.001，且分类准确率低于 TFE-GNN，不能表述为两指标全面显著领先。

下面从 Tables 2–4 选取混合模式的 OOD 与概念偏移结果；OOD 为 3 个种子协议，GNNSafe++ 与 TAR 行使用论文引用的已发表数值。

任务 / 设置	指标	DSS-Hybrid	对照方法	对照数值
Cora / structure OOD	AUROC (%) ↑	94.32	GNNSafe++	90.62
Cora / feature OOD	AUROC (%) ↑	97.60	GNNSafe++	95.56
Twitch 跨图 OOD	AUROC (%) ↑	95.75	GNNSafe++	95.36
Twitch 跨图 OOD	FPR95 (%) ↓	22.40	GNNSafe++	33.57
Arxiv 跨图 OOD	AUROC (%) ↑	73.36	GNNSafe++	74.77
GOOD-WebKB / university	偏移准确率 (%) ↑	40.77	TAR	30.83
GOOD-Cora / word	偏移准确率 (%) ↑	64.81	TAR	64.73

FPR95 是真阳性率达到 95% 时的假阳性率。混合模式在 9 个节点 OOD 设置中有 6 个最高 AUROC，但 Arxiv 跨图 AUROC 不及 GNNSafe++；GOOD 的全部 7 项领先是对 Table 4 的基线而言，不意味着每项都高于独立模式。

消融实验¶

下表来自附录 Tables 14、15、16、19，分别隔离阶数、偏移阶数作用和同检查点的分数传播；不同实验行不可拼成同一配置的总增益。

对照	设置 / 指标	结果	说明
\(P=0\) → \(P=1\) → \(P=2\)	Citeseer Brier ↓	0.427 → 0.346 → 0.308	同架构，二阶较高斯一阶继续改善
\(P=0\) → 最佳 \(P>0\)	Texas Brier ↓	0.269 → 0.213	扫描最佳值，不是主表所选 0.240
\(P=0\) → 最佳 \(P>0\)	Roman-Empire Brier ↓	0.298 → 0.298	此处没有混沌增益
\(P=0\) → \(P=1\)	GOOD-Cora / word 准确率 (%) ↑	63.24 → 64.89	独立模式，3 种子，固定验证所选配置
原始能量 → 传播能量	Twitch AUROC 增量	+18.2 个百分点	同检查点，独立消融协议
原始能量 → 传播能量	Cora / label AUROC 增量	−6.7 个百分点	平滑并非总有利

关键发现¶

同架构下，混沌展开在 12/14 个数据集改善 Brier；Citeseer 最佳阶数较 \(P=0\) 降低 27.9%。Wisconsin 与 Roman-Empire 没有对应收益，异配图的准确率优势不能全部归因于随机轴。
能量 OOD 对阶数不敏感：固定配置的 Cora / structure 在 \(P=0,1,2,3\) 时为 91.0/91.2/90.9/90.8 AUROC。它与主表 94.32 属于不同运行，不能混用；较高阶不是 OOD 改善的主要证据。
\(P=2\) 的每轮训练时间从 Cora 的 35 ms 增至 102 ms，Amazon-Ratings 从 464 ms 增至 576 ms（Table 20）。一次前向避免多模型/多次采样，但仍有明确计算与显存开销。

亮点与洞察¶

不确定性可以进入隐藏表示的传播规则，而不必只作为末端置信度头。非线性求积投影让高阶变化影响均值学习，这是与末端噪声注入的关键区别。
概率与能量读取不同信息：相对类别差异和共同证据强弱不能由一个 softmax 摘要同时保留。迁移到其他分类器时，可先检查 OOD 信号是否位于被概率归一化消去的方向。
论文较清楚地区分容量定理、损失分析与经验任务收益。更有价值的复用方式是做同架构阶数消融，而不是把“谱展开完备”当作可靠性的证明。

局限与展望¶

单共享高斯因子不能表示独立节点噪声或一般跨节点联合不确定性。向量潜变量可以扩大范围，但完整张量求积的节点数随维数呈指数增长，需要稀疏网格等替代。
容量定理的满行秩与整函数条件很强；低阶经验平台不能反推真实任务满足这些假设。固定 \(S=4\) 的高阶扫描也不能直接套用需要 \(S\geq P+1\) 的读出界。
独立模式的 Twitch OOD AUROC 为 51.85 ± 4.83，接近无分离；混合模式在 Texas 仅 45.57 ± 7.68 准确率（Tables 25、24）。部署方式不是可忽略的实现细节。
部分主表差距很小，且 OOD 结果混合了重跑与引用基线；独立与混合 OOD 对照在多数设置的训练目标也不相同。应进一步做统一预算、统一 OOD 暴露的比较，不能把全部差距归因于残差架构。
原文 Table 5/正文称独立模式在 13/14 个数据集校准更强，但 Table 24 的 Questions Brier 按展示精度同为 0.053；这属于舍入下不可分辨的边界，应避免写成 13 项严格 Brier 优势。

评分¶

新颖性: 4/5 — 图谱滤波与混沌展开在同一层内耦合，读出边界清楚。
实验充分度: 4/5 — 三类任务、跨模式与组件消融较齐全，仍有目标与预算可比性问题。
写作质量: 4/5 — 明确限制理论结论，但部分概括与表格展示精度需要谨慎对照。
价值: 4/5 — 提供可操作的校准表示与部署指导，适用范围受单潜变量和基座限制。