LLM-Powered Holistic Enhancement for Text-Attributed Graphs¶
会议: EMNLP 2026
论文: ACL Anthology
领域: 图学习
关键词: 文本属性图, 图神经网络, 大语言模型, 节点特征增强, 图结构优化
一句话总结¶
提出 EFS(Enhancing Features and Structures)框架,利用大语言模型抽取关键词与多层预测解释全面增强节点语义特征,并复用预测置信与文本嵌入构建轻量边精炼器双向修正图拓扑,在六大基准数据集上显著超越现有 GNN 与 GNN+LLM 基线。
研究背景与动机¶
文本属性图(TAGs,如学术引用网络、电商产品图谱与百科超链接网络)广泛存在于现实场景中,节点蕴含丰富的非结构化文本属性,边则刻画了实体间的拓扑交互关联。图神经网络(GNNs)通过邻居聚合与特征传播机制,成为挖掘图结构数据表征的基石。然而,传统 GNN 长期受制于两大根本瓶颈:在特征维度,早期方法多依赖浅层词袋(BoW)或 TF-IDF 等无上下文嵌入,无法建模深层语义与长程依赖;在结构维度,现实图拓扑不可避免地充斥着连边缺失(稀疏性)与虚假噪声连接(伪关联),直接破坏了消息传递的可靠性。
随着大语言模型(LLMs)的爆发,学术界开始探索将 LLM 的强大理解与推理能力注入 TAG 学习。然而,现存方案往往陷入“割裂优化”的泥潭:一类方法仅聚焦特征增强(如 TAPE),虽引入预测与解释,但未充分压缩原始文本的长文本冗余,也未涉足拓扑优化;另一类方法尝试图结构学习(如 GraphEdit),通过全图遍历微调 LLM 判别节点关联,导致算力开销和 API 调用成本指数级攀升;而少数兼顾两者的方案(如 GAugLLM)则需对每条候选边逐一发起 LLM 判别,推理性价比极低且缺乏对内部显式关键信息的结构化提炼。
本文的切入视角在于打破“特征-结构割裂”与“高昂结构学习开销”的双重枷锁:LLM 针对单个节点生成的类别排序与文本解释,本身就是极具判别力的跨节点语义锚点,完全可以同时赋能特征学习与拓扑精炼,无需在边级重复调用 LLM。核心 idea:提出兼顾特征与拓扑的一体化增强框架 EFS,仅需单节点一次性生成关键词总结与带解释预测列表,下游通过预微调编码器融合多视图特征,并以节点预测交集配合轻量 MLP 边精炼器实现免边级 API 调用的双向拓扑重加权。
方法详解¶
整体框架¶
EFS 旨在以即插即用、轻量高效的方式,同时克服 TAG 中的特征语义浅显与拓扑稀疏含噪问题。整个系统由四个级联阶段构成: 1. 文本属性提示与生成:设计专有 Prompt 模板,调用 LLM 为每个节点一次性生成两组关键文本——包含紧凑释义的提取关键词集 \(s_s\),以及按可能性降序排列的预测类别与论证解释 \(s_p\); 2. 多视图节点特征增强:分别使用三个独立的预训练语言模型(DeBERTa)与一层分类 MLP,对原始文本 \(s_o\)、关键词文本 \(s_s\)、预测解释文本 \(s_p\) 进行微调与特征提取,产出三路深层节点表征 \(h_o, h_s, h_p\); 3. 免边级调用的图结构精炼:基于原始文本表征 \(h_o\) 训练轻量四层 MLP 边精炼器,仅在有界的候选邻居集与高相似未连节点内打分(复杂度从 \(\mathcal{O}(|V|^2)\) 降为 \(\mathcal{O}(|V|M + |E|)\)),再结合前序生成的顶层类别预测交集 Top-\(K_2\) 进行双重强约束过滤,构建增边矩阵 \(A_{add}\) 与删边矩阵 \(A_{del}\),合成增强拓扑 \(\hat{A}\); 4. 下游 GNN 融合预测:针对三路增强特征分别配置独立的 GNN 分支(如 RevGAT),在增强拓扑 \(\hat{A}\) 上协同聚合消息,最终将各路输出 logits 拼接送入自适应门控 MLP 完成分类决策。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["原始文本属性 so<br/>与初始图结构 A"] --> B["关键词与排序预测生成<br/>Prompt 引导单节点调用 LLM"]
B --> C["多视图特征编码微调<br/>三路 DeBERTa 分别提取 ho, hs, hp"]
C --> D["轻量双向边精炼器<br/>块检索候选+TopK2预测交集修正拓扑"]
C --> E["多分支图神经网络融合<br/>独立 GNN 处理三路特征并自适应门控"]
D -->|更新邻接矩阵 A_hat| E
E --> F["下游节点分类预测结果 Y"]
关键设计¶
1. 关键词与排序预测生成:消除长文本冗余并引入外部泛化知识 针对学术论文或百科文本中普遍存在的专业术语堆叠与非关键描述噪声,单纯做端到端分类预测容易被长文本冗余干扰。EFS 针对每篇文档构建双路 Prompt 模板直接向 LLM 请求两类语义互补的生成内容:第一路促使模型提炼核心关键词并给出浓缩释义,以纯粹概念蒸馏的形式剔除叙述性冗余;第二路引导模型根据候选类别库预测排序列表,并引用原文句子阐释决策依据。两类提示在节点层面均只调用一次 LLM API 并离线缓存,使全图仅需 \(2|V|\) 次前向请求,完全规避了后续训练过程中的动态交互成本。
2. 多视图特征编码微调:正交语义解耦与深度文本表征 单路文本编码器很难兼顾事实性陈述、高层概念抽象与类属逻辑推理三种异质语义。为此,EFS 引入三个独立的 DeBERTa 语言模型分别对原始文本 \(s_o\)、关键词语义 \(s_s\) 以及排序预测与解释 \(s_p\) 进行表征映射: $\(h_o = \text{LM}(s_o), \quad h_s = \text{LM}(s_s), \quad h_p = \text{LM}(s_p)\)$ 在编码器顶层分别挂接一层分类 MLP,仅使用训练集节点标签 \(V_{train}\) 计算交叉熵损失进行参数微调。这使得 \(h_o\) 保持最原本的局部属性底色,\(h_s\) 凝练跨文档共享的核心术语概念,而 \(h_p\) 注入强任务导向的先验推理逻辑。三者在互不干扰的嵌入空间内独立演化,为后续结构决策与多分支特征聚合提供正交的语义基底。
3. 轻量双向边精炼器:免边级 LLM 调用的低开销拓扑重塑 以往图结构学习依赖全图两两配对打分(\(\mathcal{O}(|V|^2)\) 开销)或频繁调用大模型逐边审核,在工业级图上根本无法落地。EFS 设计了“两阶段候选剪枝 + 跨模态双重验证”的免边级调用方案。首先,仅利用训练集同类/异类节点对在 \(h_o\) 上监督训练一个四层 MLP 边评分器 \(\hat{y}_e(h_{oi}, h_{oj}) = \text{MLP}(h_{oi} || h_{oj})\)。在推理修正时,删除候选集合 \(S_{del}^i\) 严格限定为现有相连邻居,而添加候选集合 \(S_{add}^i\) 仅保留分块余弦相似度检索出的前 \(M=50\) 个未连节点,将边精炼打分复杂度急剧收敛至 \(\mathcal{O}(|V|M + |E|)\)。随后,选出置信度最高的 Top-\(K_1\) 候选加边项与最低的 Bottom-\(K_1\) 候选删边项,并引入离线生成的预测排序列表 \(s_p\) 施加最终断言——只有当两节点的 Top-\(K_2\) 预测类别集合存在重叠时才允许加边,而在现有连边且 Top-\(K_2\) 集合无重叠时判定为伪连边并坚决剔除: $\(\hat{A} = A + A_{add} - A_{del}\)$ 该设计实现了“文本深层相似度引导”与“离线 LLM 高阶类别逻辑约束”的协同校验,在不产生任何额外边级 API 开销的前提下重塑了任务有益拓扑。
4. 多分支图神经网络融合:多视图拓扑传播与自适应门控集成 在获得重构邻接矩阵 \(\hat{A}\) 与三路增强特征 \(h_o, h_s, h_p\) 后,若直接将特征拼接输入单一 GNN,不同视角的噪声方差与梯度尺度会相互抵消。EFS 为三种特征分别构建独立的 GNN 实例(如 RevGAT),令每种视角的特征在增强图拓扑上独立进行消息聚合与多跳传播,产出各自分支的类别对数几率: $\(Y_o = \text{GNN}_o(h_o, \hat{A}), \quad Y_p = \text{GNN}_p(h_p, \hat{A}), \quad Y_s = \text{GNN}_s(h_s, \hat{A})\)$ 最终将三路输出 logits 级联送入单层全连接网络 \(Y = \text{MLP}(Y_o || Y_p || Y_s)\),以自适应权重为每个节点动态分配最可信的特征视角,使强文本节点依靠 \(Y_o\)、概念抽象节点倾向 \(Y_s\)、歧义节点借助 \(Y_p\) 做出最终决策。
损失函数 / 训练策略¶
整个系统的训练分为三个解耦阶段: 1. 语言模型微调:三路 DeBERTa 分别联合单层 MLP,在有标签训练集 \(V_{train}\) 上通过标准分类交叉熵单独微调,保存并离线导出全部节点嵌入; 2. 边精炼器训练:利用 \(V_{train}\) 中同类训练节点对构建正样本(标签为 1)、不同类节点对构建负样本(标签为 0),以二元交叉熵损失训练四层 MLP: $\(\mathcal{L}_{CE}(y_e, \hat{y}_e) = -[y_e \log(\hat{y}_e) + (1 - y_e)\log(1 - \hat{y}_e)]\)$ 验证集仅用于调节超参数 \(K_1\) 与 \(K_2\),严防测试信息泄露; 3. 图模型与融合头微调:固定图拓扑 \(\hat{A}\) 与输入表征,使用 AdamW 优化器(学习率 0.002)协同训练三路 RevGAT 分支与输出融合 MLP,采用整体交叉熵损失驱动端到端收敛。
实验关键数据¶
主实验¶
在涵盖引文网络(Cora、Pubmed、Citeseer、ogbn-arxiv)、商品网络(ogbn-products)与知识网络(Wiki-CS)的六大公认基准上,按 6:2:2 划分数据集,测试 5 次随机种子下的节点分类准确率(Accuracy % \(\pm\) std)。
| 类别 | 模型 | Cora | Pubmed | Citeseer | ogbn-arxiv | ogbn-products | Wiki-CS |
|---|---|---|---|---|---|---|---|
| GNN | GCN | 86.46 ± 0.56 | 80.42 ± 0.42 | 72.56 ± 0.46 | 71.21 ± 0.45 | 70.12 ± 0.56 | 75.96 ± 0.24 |
| GNN | RevGAT | 85.58 ± 0.86 | 88.26 ± 0.43 | 75.76 ± 0.62 | 70.82 ± 0.36 | 69.85 ± 0.56 | 78.64 ± 0.48 |
| LLM | GPT-3.5 | 67.69 ± 0.00 | 93.42 ± 0.00 | 59.29 ± 0.00 | 73.50 ± 0.00 | 73.56 ± 0.00 | 72.67 ± 0.00 |
| GNN+LLM | GIANT | 85.75 ± 0.88 | 91.21 ± 0.29 | 73.45 ± 0.72 | 74.16 ± 0.12 | 75.14 ± 0.58 | 76.36 ± 0.35 |
| GNN+LLM | TAPE | 89.42 ± 1.45 | 94.88 ± 0.16 | 78.58 ± 0.63 | 77.37 ± 0.12 | 80.86 ± 0.44 | 82.67 ± 0.29 |
| GNN+LLM | GraphEdit | 88.21 ± 1.27 | 93.65 ± 0.33 | 80.84 ± 1.26 | 75.24 ± 0.25 | 78.18 ± 0.28 | 79.86 ± 0.78 |
| GNN+LLM | GAugLLM | 78.84 ± 0.75 | 83.50 ± 0.84 | 74.12 ± 1.58 | 73.71 ± 0.08 | 71.87 ± 0.64 | 73.42 ± 0.41 |
| GNN+LLM | OFA | 77.24 ± 0.98 | 79.62 ± 1.06 | 70.58 ± 0.81 | 75.24 ± 0.79 | 78.98 ± 0.61 | 78.27 ± 0.26 |
| GNN+LLM | InstructGLM | 87.08 ± 0.32 | 93.84 ± 0.25 | 77.04 ± 0.12 | 76.42 ± 0.09 | 79.18 ± 0.41 | 80.79 ± 0.72 |
| GNN+LLM | ENGINE | 89.96 ± 0.36 | 92.56 ± 0.17 | 78.34 ± 0.78 | 76.07 ± 0.34 | 77.75 ± 0.59 | 81.33 ± 0.87 |
| GNN+LLM | LLaGA | 89.45 ± 0.25 | 94.95 ± 0.12 | 75.46 ± 0.36 | 75.78 ± 0.14 | 79.85 ± 0.23 | 81.85 ± 0.28 |
| 本文 | EFS (Ours) | 91.64 ± 0.23 | 96.36 ± 0.08 | 87.49 ± 0.81 | 78.86 ± 0.19 | 82.27 ± 0.10 | 84.08 ± 0.09 |
消融实验¶
在 Cora 和 Citeseer 数据集上逐项剥离核心组件,评估单视图特征、多视图组合特征以及结构加边/删边的增益贡献(准确率均值 ± 标准差)。
| 配置变体 | Cora 准确率 | Citeseer 准确率 | 结构与特征说明 |
|---|---|---|---|
| \(h_o + A\) | 0.8708 ± 0.0105 | 0.7765 ± 0.0184 | 仅原始文本嵌入 + 原始拓扑 |
| \(h_s + A\) | 0.8576 ± 0.0118 | 0.7761 ± 0.0133 | 仅关键词文本嵌入 + 原始拓扑 |
| \(h_p + A\) | 0.8808 ± 0.0157 | 0.7664 ± 0.0109 | 仅预测与解释嵌入 + 原始拓扑 |
| \(h + A\) | 0.9007 ± 0.0120 | 0.8031 ± 0.0101 | 三路特征融合(\(h_o/h_s/h_p\))+ 原始拓扑 |
| \(h + A + A_{add}\) | 0.9126 ± 0.0094 | 0.8561 ± 0.0069 | 三路特征 + 仅执行拓扑加边 |
| \(h + A - A_{del}\) | 0.9118 ± 0.0086 | 0.8228 ± 0.0072 | 三路特征 + 仅执行拓扑删边 |
| \(h + A + A_{add} - A_{del}\) (Full EFS) | 0.9164 ± 0.0023 | 0.8749 ± 0.0081 | 完整模型:三路特征 + 加边 + 删边协同精炼 |
关键发现¶
- 双向协同优于单点修补:在 Citeseer 上,\(h+A\) 比纯原始特征 \(h_o+A\) 提升了 2.66%,而进一步引入加边提升了 5.30%、引入删边提升了 1.97%,双向联合修正(Full EFS)最终达成 87.49% 的极佳表现,显著超越结构精炼基线 GraphEdit(80.84%)达 6.65 个百分点。
- 训练开销实现断崖式削减:在模型端训练耗时上,由于免除了全图微调 LLM 或边级交互,EFS 在 Citeseer 上的模型端总耗时仅需 20.20 分钟(其中 DeBERTa 微调耗时 14.52 分钟,边精炼器训练仅 1.28 分钟,检索与打分不到 3.2 秒,GNN 分支训练仅 4.31 分钟),而 GraphEdit 需要 1205 分钟,InstructGLM 需要 2706 分钟,EFS 的训练速度比同等精度区间的方案快了 60 至 130 倍。
- 防止机械复制并具高容错性:在 Citeseer 上 LLM 初始预测错误的样本子集上,完整 EFS 依靠邻居消息传递机制依然维持了 75.74% 的分类正确率(Cora 上达 78.77%),有力证明模型没有盲目记忆 LLM 的 top-1 预测,而是通过拓扑信息完成了错误纠偏。
亮点与洞察¶
- 复用单节点生成的低边际成本拓扑重塑:传统结构学习往往需要调用 LLM 针对边两端内容重复审阅,成本是 \(\mathcal{O}(|E|)\) 乃至 \(\mathcal{O}(|V|^2)\)。EFS 洞察到单节点生成的预测排序列表在语义空间具有高度传递性,通过基于 Top-\(K_2\) 预测交集的逻辑门控,以纯规则逻辑实现了免边级 API 的强健伪边过滤。
- 块检索与有界候选空间剪枝:针对全图对评分的算力瓶颈,创新性地把删边限定在已有邻居,把加边限定在基于嵌入余弦相似度的分块前 50 非邻居中,使得候选对数量在 ogbn-arxiv 上从近千亿对暴降 1329 倍(仅保留 1078 万对),在 Citeseer 上加速 30 倍,打分仅需 2.4 秒。
- 多特征视角的解耦与晚期融合:没有简单粗暴地将关键词、解释与原文拼成巨幅长文本统一喂给单一语言模型,而是采用三个独立微调的 LM 学习差异化的特征流,最后在 GNN 输出层利用自适应权重融合,有效规避了异质文本之间的梯度冲突。
局限与展望¶
- 同质图先验假设依赖:EFS 结构重塑基于“类别相同更应连边、类别不同应断边”的同质图(Homophilous Graph)假设。在异质图(Heterophilous Graph)或特定关系驱动网络(如买卖双向交互图、欺诈检测网络)中,相连节点往往属于互补的不同类别,此逻辑需重构适配。
- LLM 生成偏置潜在传播:尽管 GNN 具备纠偏能力,但极度错误的 LLM 关键词或误导性解释依然会通过 DeBERTa 嵌入与精炼器传递至下游,在对抗或敏感环境下存在一定的幻觉放大隐患。
- 多阶段流程的工程复杂性:从 LLM 生成、三路 LM 离线微调、边精炼器训练、图重构到最终三路 GNN 训练,整体流水线阶段较多,尚未实现全微分的单阶段端到端联合反向传播。
相关工作与启发¶
- vs TAPE (ICLR 2024):TAPE 仅让 LLM 预测类别并给出解释以增强节点特征,未对长文本做关键词压缩,更完全放弃了图结构优化;EFS 不仅提取关键词去冗余,还将类别排序直接复用于无调用的轻量图结构精炼,在 Citeseer 上超越 TAPE 近 9 个百分点。
- vs GraphEdit (arXiv 2024):GraphEdit 通过在整图上遍历节点对并微调大模型以优化拓扑,单轮训练消耗超过 20 小时;EFS 采用离线解耦与块检索,仅需 20 分钟即完成全流程,精度更领先其 6.65%。
- vs GAugLLM (KDD 2024):GAugLLM 依赖多个 Prompt 专家做无监督对比学习,并需频繁调用 LLM 判断候选边,推理成本高昂;EFS 在有监督环境下利用训练集同类/异类先验引导轻量 MLP,兼具卓越精度与极致效率。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 巧妙利用单节点预测排序的交集作为图结构边过滤的免费高阶语义信号,兼顾特征与拓扑一体化增强。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 个主流基准数据集、11 个强力对比基线,包含全面的消融、鲁棒性(LLaMA2/BERT/RoBERTa)、错误纠偏率与训练复杂度审计。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑严密,图文对照清晰,公式定义与流程推进自然流畅。
- 价值: ⭐⭐⭐⭐⭐ 为低成本将大语言模型融入大规模图神经网络应用树立了极具参考价值的实用工程与理论范式。