Beyond Completion: A Foundation Model for General Knowledge Graph Reasoning¶

会议: ACL 2025
arXiv: 2505.21926
代码: https://github.com/zjukg/MERRY
领域: 图学习 / 知识图谱
关键词: 知识图谱基础模型, KGC, KGQA, 条件消息传递, 文本-结构融合

一句话总结¶

提出 MERRY，一个统一处理 KG 内（零样本 KGC）和 KG 外（KGQA）推理任务的知识图谱基础模型，通过多视角条件消息传递 (CMP) 融合文本和结构信息，在 28 个数据集上超越现有方法。

研究背景与动机¶

领域现状：NLP/CV 的基础模型已成功跨任务迁移。KG 领域虽有 ULTRA 等基础模型尝试，但仅利用结构信息，局限于 KG 内任务（如 KGC），未处理 KG 外任务（如 KGQA）。

现有痛点：(a) ULTRA 等仅用结构 meta-topology，忽略了实体/关系的文本信息，限制了上下文推理；(b) 文本感知方法（如 StATik）需要微调，泛化性差；(c) KGC 和 KGQA 方法互相独立，没有统一框架。

核心矛盾：需要同时解决三个挑战：文本和结构模态的语义鸿沟、不同任务对两种模态的不同需求权重、跨数据集泛化时不能偏向特定实体/关系。

本文目标 构建一个同时利用文本和结构信息、能统一处理 KG 内外推理任务的 KG 基础模型。

切入角度：设计双通道 CMP 编码（Query-CMP 处理结构 + Global-CMP 处理文本），用动态文本自适应融合模块平衡两种模态权重，灵活边评分机制适配不同任务。

核心 idea：通过 QCMP 编码查询特定的结构表示 + GCMP 编码全局语义表示 + DTAF 动态融合，统一 KGC 和 KGQA。

方法详解¶

整体框架¶

编码器-解码器架构： - 输入：查询 \(q\)、图 \(\mathcal{G}\)（含实体/关系的文本描述）、候选集 \(\mathcal{C}\) - 编码：双通道 CMP → 多视角融合 → 边评分 - 解码：交叉注意力解码器输出候选概率分布

关键设计¶

QCMP（查询条件结构编码）:
- 功能：基于特定查询条件编码 KG 结构，生成查询相关的实体和关系表示
- 核心思路：先在关系图上做 CMP 更新（用 4 种 meta-relations: h2h/h2t/t2h/t2t），得到查询条件的关系嵌入 \(\mathbf{R}_q\)；再在实体图上做 CMP 更新，得到查询条件的实体嵌入 \(\mathbf{H}_q\)
- 设计动机：沿用 ULTRA 的关系图构造实现跨数据集泛化，条件初始化使表示聚焦于查询
GCMP（全局结构语义编码）:
- 功能：将文本信息通过 CMP 架构在图上传播，弥合文本和结构的语义鸿沟
- 核心思路：用冻结 LLM 提取实体文本特征 \(\mathcal{X}_e\)（参数无关，取最后一个 token 表示），以此初始化实体节点，通过 CMP 传播得到全局语义嵌入 \(\mathbf{H}_g\)
- 设计动机：直接拼接文本和结构表示效果差，因语义空间差异大；用 CMP 让文本信息在图结构上传播来对齐两种模态
DTAF（动态文本自适应融合）:
- 功能：动态平衡文本和结构信息的权重，适应不同任务需求
- 核心思路：用可学习交叉注意力将 LLM 文本输出压缩为固定长度嵌入 \(\mathcal{X}\)，然后通过可学习权重 \(\alpha, \beta\) 加权融合：\(\mathbf{H}_f = \beta \cdot \mathcal{X}_e + (1-\beta) \cdot \mathbf{H}_{CMP}\)
- 设计动机：KGQA 更依赖文本,KGC 更依赖结构，需要任务自适应的融合权重
查询条件边评分:
- 功能：为 KGQA 中检索的子图中的噪声边赋予相关性权重
- 核心思路：用双线性层计算每条边与查询的相关性分数，归一化后用于 CMP
- KGC 中所有边权重为 1（简化），KGQA 中使用学习到的边权重

训练策略¶

自监督预训练：在混合 KG 数据集上做链接预测（BCE 损失）
KGC 零样本评估（无微调），KGQA 通过引入辅助关系 \(REL\_the\_answer\_is\) 和 few-shot 适配

实验关键数据¶

零样本 KGC（28 个数据集中的 6 大类汇总，MRR/Hits@10）¶

方法	IndE(WN) MRR	IndE(FB) MRR	IndER(FB) MRR	IndER(WK) MRR	Total AVG MRR	SOTA 数
Supervised SOTA	0.640	0.477	0.166	0.152	0.366	-
ULTRA(3g)	0.517	0.486	0.386	0.254	0.433	4/24
ProLINK	0.553	0.494	0.372	0.234	0.433	8/24
MERRY	0.563	0.486	0.378	0.282	0.445	12/24

KGQA（4 个常识推理基准）¶

方法	OpenBookQA	CommonsenseQA	OBQA+CSQA Avg
QA-GNN	64.2	73.1	-
GreaseLM	66.9	74.2	-
MERRY	68.0	75.3	最佳

关键发现¶

MERRY 在 24 个 KGC 数据集中获得 12 个 SOTA，覆盖最广
在同时包含未见实体和未见关系的更难设定（IndER）上优势更明显——说明文本信息在处理完全新颖的实体/关系时很有价值
KGQA 上首次用同一模型超过专用 QA-GNN/GreaseLM——验证了统一框架的可行性
消融实验显示 GCMP 和 DTAF 都是关键组件，去掉任一都会降低性能

亮点与洞察¶

统一 KG 内外任务：首次用同一框架处理 KGC 和 KGQA，通过引入辅助关系巧妙将 QA 转化为链接预测
双通道 CMP 设计精巧：QCMP 捕获查询特定的结构信息，GCMP 通过图传播对齐文本和结构语义，架构清晰
DTAF 的可学习融合权重自动适配不同任务对文本/结构的依赖程度，避免了手动调参

局限与展望¶

LLM 编码文本的参数无关策略（取最后 token）可能丢失信息
预训练仅使用链接预测目标，未探索更丰富的预训练任务
计算开销较大——双通道 CMP + LLM 编码 + 交叉注意力
未测试在生成式 KGQA（开放域问答）上的效果
few-shot 适配 KGQA 的鲁棒性未充分验证

评分¶

新颖性: ⭐⭐⭐⭐ 首次统一 KG 内外推理的基础模型，双通道 CMP + DTAF 设计有创新
实验充分度: ⭐⭐⭐⭐⭐ 28 个数据集全面评估，消融实验完整
写作质量: ⭐⭐⭐⭐ 方法描述系统，数学公式严谨
价值: ⭐⭐⭐⭐⭐ 为 KG 基础模型研究树立了新标杆，统一框架思路有影响力