M3KG-RAG: Multi-hop Multimodal Knowledge Graph-enhanced Retrieval-Augmented Generation¶

会议: CVPR 2026
arXiv: 2512.20136
代码: 项目页面
领域: 图学习
关键词: 多模态知识图谱, 检索增强生成, 音视觉推理, 图剪枝, 多跳推理

一句话总结¶

提出M3KG-RAG，通过轻量多Agent流水线构建多跳多模态知识图谱（M3KG），并设计GRASP机制进行实体定位和选择性剪枝，仅保留查询相关且有助回答的知识，大幅提升MLLM的音视觉推理能力。

现有多模态RAG存在两大瓶颈：1）现有MMKG主要覆盖图文模态，音视觉覆盖有限，且大多为单跳图谱，缺乏时间/因果依赖的多跳连接；2）基于共享嵌入空间的相似度检索存在模态鸿沟，无法过滤离题或冗余知识，即使检索到相关上下文也可能注入噪声。

M3KG-RAG的核心创新在于：构建跨音视觉的多跳知识图谱 + 按模态检索绕过模态鸿沟 + GRASP精准保留回答有用的子图。

原始多模态语料 → 三步Agent流水线构建M3KG（上下文增强三元组提取→知识锚定→上下文感知描述精炼 + 自反思循环） → 按模态检索候选子图 → GRASP定位+剪枝 → 图增强的MLLM生成。

多Agent M3KG构建流水线:
- 功能：从原始多模态语料构建多跳、跨模态知识图谱
- 核心思路：Rewriter增强caption → Extractor提取三元组 → Normalizer标准化实体 → Searcher查询知识库获取描述 → Selector选择上下文相关描述 → Refiner适配原始表述 → Inspector自反思循环确保质量
- 设计动机：仅用Qwen3-8B等轻量LLM即可完成，且自反思循环防止幻觉描述
GRASP（Grounded Retrieval And Selective Pruning）:
- 功能：确保检索的知识既与查询相关又对回答有用
- 核心思路：视觉定位（GroundingDINO检测实体在视频帧中的存在→mask IoU阈值过滤）+ 音频定位（TAG模型评估三元组与查询音频的匹配度）+ 轻量LLM二值掩码剪枝无用三元组
- 设计动机：相似度检索只捕获broad语义，GRASP通过定位和剪枝提供fine-grained过滤
按模态检索（Modality-Wise Retrieval）:
- 功能：绕过跨模态嵌入空间的模态鸿沟
- 核心思路：视频查询用InternVL2匹配视觉项，音频查询用CLAP匹配音频项，然后通过图链接提升到三元组级别
- 设计动机：共享嵌入空间中视频查询匹配文本知识库常失败

无模型训练，纯pipeline方案。M3KG构建在评估基准的训练集上完成，单张H100 GPU。

MLLM	方法	Audio QA	Video QA	AV QA
Qwen2.5-Omni	None	49.00	42.21	32.42
Qwen2.5-Omni	VAT-KG	51.30	43.50	35.44
Qwen2.5-Omni	M3KG-RAG	60.77	44.35	44.67