跳转至

View Space:跨任意图的表示学习

会议: ICML 2026
arXiv: 2512.11561
代码: 待确认
领域: 图学习 / 图神经网络 / 跨域迁移
关键词: 图表示学习, 特征异构性, 完全归纳学习, 视图空间

一句话总结

本文提出视图空间概念,通过将图从 2 维(节点-特征)升到 3 维(节点-特征-视图),实现对任意特征维度和语义图的统一表示——首次让图模型像 NLP/CV 基础模型那样无需微调即可跨域推理,在 27 个下游任务上平均超越 GraphAny 8.93%。

研究背景与动机

领域现状:NLP 和 CV 中基础模型通过大规模预训练再轻量级适配就能跨数据集推理。这是因为这两个领域有标准化输入格式——NLP 中所有文本都分词成共享词表,CV 中所有图像都能 resize 到固定分辨率。

现有痛点:图数据的标准化极其困难。节点特征的维度和语义在数据集间差异巨大。现有 GNN 通过学习特征变换矩阵处理,跨特征空间泛化能力极弱。GraphAny 虽通过相对距离空间初步解决完全归纳问题但只能预测不能学表示。

核心矛盾:如何在保证特征维度对等(feature equivariance)的前提下让模型学到跨图、跨特征的通用知识?传统 2 维表示无法同时满足节点置换等变和特征置换等变。

本文目标:(1)形式化"完全归纳节点表示学习"(FI-NRL);(2)发现图的第三个表示轴:视图空间;(3)设计参数化变换 GVT,证明其满足双重置换等变性;(4)实例化为递归架构 RGVT 验证跨任务泛化。

切入角度:所有图共享连通性属性。不同邻接矩阵预处理方式会强调图的不同结构侧面。可以将这些不同"视图"堆叠形成新维度,在统一视图空间里学习与特征维度无关的表示。

核心 idea:从 2 维表示升到 3 维——每个节点特征对 \((n,f)\) 都映射到 \(C\) 维"视图向量",\(C\) 个维度分别对应 \(C\) 种不同图结构视图。用共享的可学习函数处理这些视图向量,自动适配任意维度和语义特征。

方法详解

整体框架

两阶段——(1)视图堆叠:对输入图邻接矩阵 \(\bm{A}\) 应用 \(C\) 个"视图查找器" \(\{\nu_c\}_{c=1}^C\),生成不同传播版本 \(\nu_c(\bm{A}) \bm{X}\),沿新维度堆叠得 3D 张量 \(\bm{\mathsf{X}} \in \mathbb{R}^{N \times F \times C}\);(2)视图变换与表示学习:对每个位置 \((n,f,:)\) 应用可学习函数 \(\phi\)\(C\) 维视图向量映射到标量,最终得 \(N \times F\) 节点表示。

关键设计

  1. 视图空间的定义与双重置换等变性:

    • 功能:将任意维度特征的图映射到统一 \(\mathbb{R}^C\) 空间,同时满足节点置换等变(R1)和特征置换等变(R2)。
    • 核心思路:节点-特征矩阵 \(\bm{X} \in \mathbb{R}^{N \times F}\) 天然承载两正交空间结构。引入第三个轴:多个传播后的节点特征矩阵沿新维度堆叠形成 \(\bm{\mathsf{X}} \in \mathbb{R}^{N \times F \times C}\)。每个 \((n,f)\) 对应 \(C\) 维视图向量 \(\bm{v}_{n,f} = \bm{\mathsf{X}}_{n,f,:}\),记录该位置在 \(C\) 个不同结构视角下的"响应值"。
    • 设计动机:视图维度 \(C\) 由预定义视图查找器集合确定,与输入图大小 \(N\) 和特征维度 \(F\) 都无关——任何图都能用 \(N \times F\)\(C\) 维向量表示,形成标准化输入格式。
  2. 图视图变换(GVT)与动态聚合:

    • 功能:\(\Psi(\bm{X}, \bm{A}) = [\phi(\bm{\mathsf{X}}_{n,f,:} \mid \theta)]_{n,f}\) 定义满足双重置换等变性的参数化表示函数。
    • 核心思路:GVT 包含两步——(i)通过视图堆叠升到 3D;(ii)对每个位置应用可学习降维函数 \(\phi\)。非线性 GVT 通过 Taylor 展开可证明实现"节点-特征级动态聚合"——每个 \((n,f)\) 对应的聚合权重不同。
    • 设计动机:避免特征空间显式参数化(如 \(\bm{W}\)),转而在视图空间做参数化,天然满足特征置换等变性。非线性使表示能力超过静态聚合(GCN 等)。
  3. 递归架构与深度解耦:

    • 功能:Recurrent GVT(RGVT)通过共享参数反复应用同一 \(\Psi\) 函数 \(L\)\(\bm{Z} = \Psi(\cdot, \bm{A} \mid \theta)^L(\bm{X})\)
    • 核心思路:受 RNN 启发将"参数化"和"深度"解耦。不同图可能需要不同信息传播深度,通过递归模型可在预训练后对每个新图选择合适 \(L\) 而无需重新优化编码器。
    • 设计动机:解决不同图对感受野需求差异,同时避免 stacking 多个不同参数层带来参数爆炸。

实验关键数据

主实验

预训练在 OGBN-Arxiv 上,迁移到 27 个下游节点分类数据集:

数据集分组 OGBN-Arxiv 有符号稠密 无符号稠密 稀疏 二值稠密 二值稀疏 One-hot 平均
线性预测器 52.44 53.29 75.67 66.41 72.18 57.11 38.86 59.41
MLP 预测器 53.80 55.08 75.86 69.02 72.88 57.65 39.34 60.43
GraphAny (Wisconsin) 57.77 59.12 71.78 81.61 83.44 55.25 52.68 64.72
GraphAny (Cora) 58.58 59.38 71.76 81.49 83.35 53.40 53.30 64.30
GraphAny (Arxiv) 58.63 59.70 72.62 81.68 83.56 54.18 53.02 64.71
RGVT + Linear 70.14 64.95 76.44 84.33 85.11 62.77 58.85 70.03
RGVT + MLP 71.11 66.37 77.12 83.98 84.86 63.87 62.48 71.13

RGVT 比 GraphAny 最佳变体平均提升 +8.93%(MLP)或 +7.24%(线性)。

消融实验

配置 OGBN-Arxiv 有符号稠密 无符号稠密 稀疏 二值稠密 二值稀疏 One-hot 平均
RGVT + MLP(完整) 71.11 66.37 77.12 83.98 84.86 63.87 62.48 71.13
去掉非线性 70.22 64.53 75.89 78.82 84.16 61.12 56.13 68.12
去掉递归 70.91 63.73 73.79 82.61 83.90 53.29 54.53 65.73
同时去掉两者 70.53 61.69 75.10 77.52 84.57 53.41 54.73 64.96

关键发现

  • 去掉非线性导致下降 2.31 个百分点。
  • 去掉递归导致下降 5.40 个百分点。
  • 与 12 个数据集特定 GNN 对比,RGVT + MLP 平均超越最强基线 UniMP +3.30%(71.13 vs 68.86)。

亮点与洞察

  • 图的第三个表示轴:突破二维表示限制,将连通性信息抽象为"视图"维度,与特征维度正交。
  • 双重置换等变性的充要条件:论文给出形式化定义和充要条件,为其他跨域图学习提供理论基准。
  • 节点-特征级动态聚合:通过 Taylor 展开揭示非线性 GVT 的表达能力——每个节点-特征对都能有自己的聚合权重分布。
  • 参数化-深度解耦:受 RNN 启发让模型预训练后灵活选择递归深度。
  • 可迁移的知识:在 arXiv 上学到的视图空间知识能直接迁移到完全不同特征集合的 27 个下游任务。

局限与展望

  • 设计权衡——GVT 在每个特征维度独立学习无法显式建模跨特征交互。
  • 预测器训练成本——仍需对每个下游任务训练轻量级预测器。
  • 递归深度选择开销——需为每个数据集训练多个预测器选最优 \(L\)
  • 适用范围——主要聚焦节点分类,扩展到边/图分类、超图还需探索。

相关工作与启发

  • vs 传统 GNN(GCN、GAT、GraphSAGE):他们通过显式特征变换矩阵处理特征跨图泛化差;本文避免这种参数化直接在视图空间做计算。
  • vs GraphAny:GraphAny 通过相对距离空间的注意力机制做预测只能输出标签;本文表示学习方案更灵活支持多种下游预测器。
  • vs 表格基础模型(TabR、TabM):通过合成数据预训练跨特征空间泛化但不利用图结构;本文利用连通性作为超越特征空间的新轴。
  • 启发:(1)"升维"思路可借鉴到其他跨域问题;(2)置换等变性形式化框架有助于设计其他完全归纳模型。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 视图空间概念创新,首次形式化完全归纳学习。
  • 实验充分度: ⭐⭐⭐⭐⭐ 27 下游任务 + 多特征类型 + 详细消融 + 12 GNN 对比。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑清晰、形式化严谨。
  • 价值: ⭐⭐⭐⭐⭐ 解决图学习长期难题,为图基础模型奠定基础。