跳转至

One Model, Many Graphs: Learning over Attributed Graphs across Heterogeneous Schemas

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/Jo-eyang/OMG-VLM
领域: LLM推理
关键词: 属性图学习, 视觉语言模型, 异构模态模式, 图适配器, 跨图泛化

一句话总结

OMG-VLM 提出了首个基于视觉语言模型(VLM)底座的统一属性图学习框架,通过目标感知文本聚合适配器与图感知视觉压缩适配器,在原生 token 空间内统一处理文本属性图(TAG)、图像属性图(IAG)与多模态属性图(MAG),实现异构模态模式下节点分类与链接预测任务的端到端生成式推理与强零样本跨图泛化。

研究背景与动机

属性图(Attributed Graph)学习是机器学习与数据挖掘领域的基础课题,广泛应用于学术引用网络、电商协同网络、社交媒体交互图以及多模态知识图谱等场景。在现实业务部署中,属性图往往表现出显著的模态异构性:部分图结构仅包含纯文本节点属性(如论文标题与摘要构建的 TAG),部分图仅具备纯视觉图像特征(如由商品图或用户头像构成的 IAG),而更多现实交互图则同时融合了图文混合多模态信息(MAG)。这种异构模态模式(Heterogeneous Modality Schemas)是数据采集约束和领域特性下的客观常态,迫切需要单一通用模型具备跨越不同属性模态 schema 的统一表征与推理能力。

然而,现存的图表示学习架构普遍受限于固定的单模态假设。传统的图神经网络(如 GCN、GraphSAGE、RevGAT)高度依赖预定义的离散特征向量,必须针对文本与视觉属性分别构建专用的模态编码器与特征对齐管线,导致异构场景下模型无法复用;新兴的基于大语言模型(LLM)的图学习方法(如 LLaGA、GraphPrompter)虽然擅长通过提示词序列化融合文本邻居信息,但本质上是文本中心化的,处理视觉属性时必须引入外挂视觉编码器,完全无法直接泛化到无文本的纯图像图。即便是最新的多模态图学习方案(如 UniGraph2、Graph4MM、MLaGA),要么仅停留在表征对齐层面而依赖下游独立分类头,要么强依赖固定的图文全模态输入,一旦面对文本缺失或图像缺失的异构 schema 便会失效。此外,直接将图结构扁平化拼接进 VLM 提示词的方案(如 GraphVLM)面临严重的上下文长度爆炸与推理计算代价。

这种割裂的核心矛盾在于:图邻域引入了变长且强依赖拓扑的高维结构上下文,这与现有基础模型固定的顺序输入格式天然冲突;同时,图上下文必须在不破坏基础模型原生多模态对齐表征的前提下进行轻量注入。为了破除单模态专用模型的孤岛效应,本文将视角转向具备共享多模态表征空间的预训练视觉语言模型。核心 idea:将多模态图推理形式化为条件自回归生成任务,以预训练 VLM 为统一底座,通过目标感知的文本检索适配器与分邻居压缩的视觉图适配器,将异构邻域信息投影为底座原生兼容的紧凑 token 序列,实现单模型对 TAG、IAG 与 MAG 的跨模式端到端协同推理。

方法详解

整体框架

OMG-VLM 建立在预训练视觉语言模型(以 Qwen-VL-Chat 7B 为主干)之上,将异构属性图上的节点分类和链接预测统构为自回归生成任务。给定目标节点 \(v\) 及其可用属性集合 \(\mathcal{A}_v \subseteq \{T_v, I_v\}\)、对应的文本/视觉邻域 \(\mathcal{N}_T(v)\) 和 \(\mathcal{N}_I(v)\),以及自然语言任务指令 \(P\),模型构建紧凑的复合 token 序列 \(X_v\): $\(X_v = [\Phi_T(T_v, \mathcal{N}_T(v)) \parallel \Phi_I(I_v, \mathcal{N}_I(v))] \parallel \text{Embed}(P)\)$ 其中若某模态在当前图模式下缺失,对应的适配器输出直接省略。VLM 解码器以自回归方式最大化目标标签序列 \(Y\) 的生成概率 \(P(Y \mid X_v; \Theta) = \prod_{t=1}^{|Y|} P_{\text{VLM}}(y_t \mid y_{<t}, X_v; \Theta)\)。整个流程无需外挂特征编码器,完全复用 VLM 自带的视觉编码器与文本分词器,在统一的表示空间下完成异构图推理。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入异构属性图节点与任务指令<br/>TAG / IAG / MAG 任意模态组合"] --> B["目标感知文本聚合<br/>可学习查询自注意力探针 + 交叉注意力邻居检索"]
    A --> C["图感知视觉表征学习<br/>单邻居视觉压缩 + 中心条件就地残差聚合"]
    B --> D["原生 Token 拼接与指令对齐<br/>生成统一紧凑提示序列 X_v"]
    C --> D
    D --> E["端到端跨模式协同优化<br/>LoRA 高效适配 + 跨异构模式联合自回归优化"]
    E --> F["统一生成式推理输出<br/>节点分类标签 / 链接预测判断"]

关键设计

1. 目标感知文本聚合:解决文本邻居语义冗余与跨模态对齐鸿沟 针对文本属性图中邻居语义相关性差异大、直接拼接导致上下文膨胀与噪声引入的问题,OMG-VLM 设计了基于 VLM 原生嵌入的目标感知文本适配器 \(\Phi_T\)。该设计首先利用 VLM 的文本嵌入矩阵将目标文本 \(T_v\) 编码为 \(E_{T_v} \in \mathbb{R}^{L_{T_v} \times d}\),同时将所有文本邻居拼接构成邻居词表库 \(B_{T_v} \in \mathbb{R}^{L_T^N \times d}\)。鉴于多数现代生成式 VLM 分词器不具备显式的 \([CLS]\) 聚合标记,该模块引入 \(M_T\) 个可学习的查询 token \(Q_T \in \mathbb{R}^{M_T \times d}\) 作为语义自适应探针,与目标文本拼接后经过引入旋转位置编码的自注意力层计算 \(H_{T_v} = \text{Attn}_{\text{RoPE}}(E_{T_v} \parallel Q_T)\),抽取出最后 \(M_T\) 个包含目标多面语义线索的查询向量 \(\hat{Q}_{T_v}\)。随后,以 \(\hat{Q}_{T_v}\) 为 Query,对邻居文本库 \(B_{T_v}\) 进行多头交叉注意力检索(MHCA),提取出最具判别性的文本上下文 \(Z_{T_v} = \text{MHCA}(\hat{Q}_{T_v}, B_{T_v}, B_{T_v}) \in \mathbb{R}^{M_T \times d}\),最终通过分隔符嵌入 \(E_{T_{\text{sep}}}\) 与目标嵌入拼接为 \(X_{T_v} = E_{T_v} \parallel E_{T_{\text{sep}}} \parallel Z_{T_v}\)。这一设计将膨胀的邻域文本严格压缩为定长(默认 \(M_T=8\))的紧凑上下文,既避免了显式跨空间投影的失真,又保留了细粒度相关拓扑语义。

2. 图感知视觉表征学习:解决视觉邻居高维块特征膨胀与计算瓶颈 在图像属性图中,若将每个邻居图像展开为视觉 patch tokens,邻域序列长度将随邻居数 \(K\) 呈 \(K \times L_I\) 线性暴增,不仅稀释了中心节点的视觉焦点,更会导致注意力计算量急剧攀升。为此,图感知视觉适配器 \(\Phi_I\) 采用“单邻居压缩 + 中心条件就地聚合”的两阶段范式。首先,利用 VLM 冻结的 ViT 提取目标节点与邻居节点的视觉特征 \(E_{I_u} \in \mathbb{R}^{L_I \times d}\);接着,引入 \(M_I\) 个可学习查询向量 \(Q_I \in \mathbb{R}^{M_I \times d}\)(\(M_I \ll L_I\),默认 \(M_I=32\)),对每个邻居图像做独立的交叉注意力压缩:\(C_{I_u} = \text{MHCA}(Q_I, E_{I_u}, E_{I_u})\),使视觉上下文开销骤降 75%,并将压缩后的邻居拼接为紧凑视觉库 \(B_{I_v} \in \mathbb{R}^{|\mathcal{N}_I(v)| M_I \times d}\)。在第二阶段,以目标图像原生 token \(E_{I_v}\) 为锚点,通过 \(L\) 层(实验表明 \(L=1\) 即达最优)就地交叉注意力前馈网络将邻域库信息注入中心节点特征: $\(H_{I, (\ell+1)_v} = \text{FFN}(\text{MHCA}(H_{I, (\ell)_v}, B_{I_v}, B_{I_v})) + H_{I, (\ell)_v}\)$ 该设计使最终输出的视觉图特征 \(X_{I_v}\) 严格保持与单张图像相同的 token 长度 \(L_I\),能直接替换进 VLM 视觉位置而完全不增加下游序列长度,实现了恒定输入预算下的高效拓扑信息注入。

3. 端到端跨模式协同优化:打破分阶段训练隔离与异构图模式割裂 为了使单一模型能无缝自适应处理 TAG、IAG 和 MAG,OMG-VLM 摈弃了传统的“两阶段训练”(即先独立预训练适配器再微调大模型)或“针对单一图特定微调”的范式,提出了端到端跨模式联合训练策略。模型冻结计算量巨大的底层视觉编码器(ViT)与预训练分词器,仅对 VLM 的 Transformer 主干施加低秩自适应微调(LoRA,设置 \(r=64, \alpha=16\)),并与文本适配器 \(\Phi_T\)、视觉适配器 \(\Phi_I\) 进行联合反向传播。训练集混合了涵盖电商、学术引用、社交媒体三大领域的四张异构图(包含商品分类、论文领域分类、商品共购链接预测、帖子互动预测等任务),通过下采样使各任务规模均衡。该联合目标函数驱动邻域检索、特征压缩与多模态生成在统一损失下协同演进: $\(\mathcal{L}(\Theta) = \mathbb{E}_{z \sim \mathcal{D}} \left[ \sum_{t=1}^{|Y|} \log P_{\text{VLM}}(y_t \mid y_{<t}, X_v; \Theta) \right]\)$ 该设计使模型避免了分阶段优化的次优解,不仅训练耗时相比两阶段训练减少了 17.54%,而且赋予了模型对未知图、全新分类空间以及跨模态模式迁移(如 IAG 迁移至 MAG)的卓越零样本泛化能力。

损失函数 / 训练策略

模型采用标准自回归因果语言建模交叉熵损失函数。训练采用 AdamW 优化器,基础学习率设为 \(1 \times 10^{-5}\),权重衰减 0.1,\(\beta_2 = 0.95\),搭配 0.01 比例的预热与余弦退火学习率调度策略。LoRA 仅挂载于 VLM 骨干的自注意力投影层和 FFN 层。在单张 NVIDIA H100 80GB GPU 上,采用混合模态图样本多任务批处理训练 3 个 epoch 即可完成收敛。

实验关键数据

主实验

主实验在涵盖 TAG、IAG、MAG 的 4 个域内(In-Domain)数据集和 5 个零样本迁移(Transfer)数据集上全面评测准确率(Accuracy,%)。域内基准包括 Amazon-Arts(MAG 节点分类)、ogbn-arXiv(TAG 节点分类)、Amazon-Movies(MAG 链接预测)与 RedditS(IAG 链接预测);迁移基准涵盖 PubMed(TAG 节点分类)、Amazon-CDs(MAG 节点分类)、RedditM(MAG 链接预测)、Amazon-VideoGames(MAG 链接预测)以及 Cora(TAG 链接预测)。

模型类别 代表模型 Arts(NC) arXiv(NC) Movies(LP) RedditS(LP) 域内均值 PubMed(NC) CDs(NC) RedditM(LP) VideoGames(LP) Cora(LP) 迁移均值 全局均值
传统基线 MLP 73.75 64.59 59.42 56.25 63.50 37.96 1.42 55.20 50.12 50.90 39.12 49.96
GNN 基线 GCN 63.95 58.71 52.38 49.77 56.20 20.79 10.79 51.05 50.61 50.00 36.65 45.34
GraphSAGE 74.77 62.78 52.22 49.87 59.91 42.77 3.67 50.80 52.99 50.30 40.11 48.91
RevGAT 71.89 62.15 49.54 49.77 58.34 40.26 3.54 50.25 50.08 50.00 38.83 47.50
UniGraph2 78.87 41.26 91.51 78.85 72.62 38.40 10.83 62.35 54.41 51.10 43.42 56.40
文本 LLM LLaGA 88.74 63.70 53.27 – 68.57 1.65 4.14 51.60 57.98 0.70 23.21 40.22
GraphPrompter 83.21 56.28 63.82 – 67.77 56.92 30.71 44.65 70.30 50.00 50.52 56.99
多模态 LLM MLaGA 89.63 – 76.20 90.10 85.31 – 31.10 64.30 58.46 – 51.29 68.30
Graph4MM 84.05 52.75 88.45 – 75.08 25.95 10.25 72.30 59.40 14.90 36.56 51.01
VLM 基线 GraphVLM 82.55 63.99 50.74 55.70 63.25 72.13 29.47 57.35 48.73 50.20 51.58 56.76
本文框架 OMG-VLM 92.50 67.85 95.30 99.10 88.69 78.55 32.56 92.45 77.99 51.80 66.67 76.46

注:表中 – 表示模型受架构约束无法处理该模态组合(如 LLaGA/GraphPrompter 无法处理无文本的 RedditS;MLaGA 无法处理无图像的 arXiv/PubMed/Cora)。

消融实验

消融实验深入验证了适配器架构、邻居压缩机制以及联合优化策略的必要性。

模块聚合消融(Table 8): 将本文适配器替换为全局均值池化(Mean Pooling)或基于中心查询的注意力池化(Attn Pooling):

数据集 完整 OMG-VLM 仅替换文本适配器 (Mean / Attn) 仅替换视觉适配器 (Mean / Attn) 同时替换双模态适配器 (Mean / Attn)
Arts (MAG, NC) 92.50 92.43 (-0.07) / 92.20 (-0.30) 92.30 (-0.20) / 91.25 (-1.25) 92.20 (-0.30) / 91.67 (-0.83)
arXiv (TAG, NC) 67.85 67.38 (-0.47) / 67.09 (-0.76) 67.84 (-0.01) / 67.35 (-0.50) 67.12 (-0.73) / 67.09 (-0.76)
Movies (MAG, LP) 95.30 92.93 (-2.37) / 92.30 (-3.00) 93.56 (-1.74) / 85.33 (-9.97) 90.75 (-4.55) / 73.81 (-21.49)
RedditS (IAG, LP) 99.10 97.80 (-1.30) / 97.80 (-1.30) 76.25 (-22.85) / 74.95 (-24.15) 76.30 (-22.80) / 74.70 (-24.40)
PubMed (TAG, NC) 78.55 59.25 (-19.30) / 60.41 (-18.14) 78.27 (-0.28) / 78.32 (-0.23) 57.13 (-21.42) / 56.25 (-23.30)
RedditM (MAG, LP) 92.45 87.15 (-5.30) / 86.85 (-5.60) 79.85 (-12.60) / 82.30 (-10.15) 80.70 (-11.75) / 76.45 (-16.00)
CDs (MAG, NC) 32.56 26.34 (-6.22) / 31.53 (-1.03) 30.89 (-1.67) / 27.21 (-5.35) 26.34 (-6.22) / 30.76 (-1.80)

训练策略与推理效率对比(Table 7 & Table 10): - 协同优化 vs 分阶段训练:在 9 个数据集中的 7 个上,端到端协同优化性能显著超越分阶段预训练+微调(如 RedditM 从 85.70 提升至 92.45,Movies 从 93.97 提升至 95.30),总训练耗时从 81.05 小时降至 66.83 小时(缩短 17.54%)。 - 计算复杂度与 Prompt 长度:对比同样采用 VLM 的基线 GraphVLM,OMG-VLM 在 Amazon-Arts 上的平均 Prompt Token 数从 1444.07 降至 464.30,单样本训练耗时从 1428.30 ms 降至 925.42 ms,推理耗时从 397.85 ms 降至 358.17 ms。 - 单邻居图像压缩:将每个邻居压缩至 \(M_I=32\) tokens 时,相比不压缩(保留全部分块 patch tokens)减少了约 75% 的 FLOPs 计算量,而跨多个邻居数(\(K=10 \sim 100\))的精度损失几乎微乎其微(维持在 1-2 个百分点内)。

关键发现

  • 异构统一架构的巨大优势:单模态专用基准模型往往在跨模态迁移时灾难性崩溃(如 LLaGA 在无文本的纯图像图 RedditS 上直接无法运行,而在跨域数据集 PubMed 和 CDs 上仅取得 1.65 和 4.14 的准确率)。OMG-VLM 通过底座原生统一表示空间,全局均值达 76.46,超出最强多模态基线 MLaGA(68.30)达 8.16 个百分点。
  • 结构化图适配器显著优于无差别池化:消融结果显示,简单的均值池化和注意力池化在密集视觉图(RedditS 下降逾 24 个百分点)和跨域文本图(PubMed 下降逾 21 个百分点)上出现剧烈性能衰减,证明了显式解耦“中心目标语义引导”与“邻居相关性检索”的重要性。
  • 超参数鲁棒性强:敏感性分析表明,文本邻域 token 数 \(M_T\) 取 8、视觉压缩 token 数 \(M_I\) 取 32 时即可在准确率与显存开销间达到最佳平衡;邻居聚合数 \(K=10\) 时即可捕获核心拓扑结构,进一步增大 \(K\) 并不会带来边际收益。

亮点与洞察

  • 底座原生对齐(Native Embedding Reuse):巧妙地直接复用预训练 VLM 的分词器与视觉 ViT 嵌入空间构建邻域池,彻底告别了图学习中为不同模态外挂编码器再通过 MLP 对齐的传统繁琐链路,根除了模态语义表征失准。
  • 就地视觉细化(In-Place Visual Refinement):视觉适配器通过多头交叉注意力在原空间内将邻域上下文精炼进目标图像 token 中,使下游 VLM 接收的视觉序列长度恒定不变,从根源上击碎了多模态图推理中的序列长度瓶颈。
  • 泛化思维的升维:传统研究将 TAG、IAG、MAG 划分为三套互不相通的子课题,本文通过将模态输入视为可缺省字段,把图推理统一升维为序列到序列生成,展现了生成式大模型作为通用图推理底座的广阔前景。

局限与展望

  • 静态图推理范式局限:当前工作仅聚焦于静态属性图的监督微调分类与链接预测,尚未拓展到动态时序图或多轮人机交互、动态子图查询的 Agent 交互推理模式。
  • 复杂关系与超图建模缺失:实验所选取的图结构主要为单类型关系(如论文引用、商品共购、评论互动),未针对异质信息网络(HIN)中的复杂多类型边和高阶超图关系设计专门的关系感知权重机制。
  • 未来方向:探索结合多步思维链(CoT)与自适应子图跳数检索的智能体图推理(Agentic Graph Reasoning),并将模型扩展至包含 3D 点云、时序音频等多源物理模态的广义属性图基座。

相关工作与启发

  • vs UniGraph2: UniGraph2 专注于在连续向量空间内通过图对比学习建立统一节点表示,但下游各个任务仍需依赖独立的分类头或回归器;OMG-VLM 则是纯粹的端到端生成式架构,推理任务由统一的提示词模板与自回归解码器直接输出,通用性与零样本迁移能力更优。
  • vs LLaGA / GraphPrompter: LLaGA 等基于大语言模型的图方法虽然能有效理解文本邻域,但严重受制于文本中心性,面对图像属性时束手无策;OMG-VLM 将底座平滑升级为 VLM,在完全保留复杂语义理解的同时原生兼顾视觉感知。
  • vs GraphVLM: GraphVLM 同样探索了 VLM 在多模态图上的应用,但其采用朴素的提示词直接线性化展开邻居节点,面临严重的长度惩罚与高昂的计算复杂度;OMG-VLM 提出的轻量级目标感知与图感知适配器实现了高维信息的高效压缩与就地增强,训练和推理速度显著领先。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次从 VLM 视角建立统一处理 TAG、IAG 和 MAG 异构模态架构的生成式图推理范式。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 9 大异构数据集、四大任务设定、跨模态迁移、多底座模型消融与计算复杂度对比,证据链扎实。
  • 写作质量: ⭐⭐⭐⭐⭐ 动机阐述自然流畅,方法拆解清晰精确,逻辑严密,图文呼应。
  • 价值: ⭐⭐⭐⭐⭐ 为图机器学习由“专用模型微调时代”向“多模态基础模型统一表征与通用推理时代”演进提供了重要标杆。