ReGraP-LLaVA: Reasoning enabled Graph-based Personalized Large Language and Vision Assistant¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/xyfyyds/ReGraP
领域: 多模态大模型
关键词: 多模态大模型、个性化助手、知识图谱、思维链推理、图提示
一句话总结¶
针对现有基于提示或微调的个性化多模态大模型仅关注孤立概念而忽视概念间关系推理的缺陷,本文构建了包含120套个性化知识图谱与思维链问答的数据集 ReGraP,并提出通过软/硬图提示将结构化关系图谱对齐至语言空间的 ReGraP-LLaVA,实现了跨实体属性与关系的深度个性化多模态推理。
研究背景与动机¶
近年来,多模态大语言模型(MLLMs)在图像分析与通用视觉问答中展现出强大的感知与理解能力。为了让模型成为真正贴合用户日常生活的私人助理,个性化多模态模型应运而生,试图识别用户特有的私有概念(如特定的宠物、私人物品或具体的人物角色)并生成符合上下文的描述。然而,现有个性化方案在技术路线上存在明显短板:基于提示工程(Prompt-based)的方法完全依赖用户在输入中注入的文字描述,不仅受限于提示词质量,在面对多实体交互与复杂场景时性能急剧退化;而基于微调(Training-based)的方法(如 Yo'LLaVA、MyVLM)主要停留在单概念的感知表征层面,通过引入少量特定 Token 或轻量适配模块来完成识别和简单图像标注,缺乏对多实体之间复杂关系网络的建模能力。
人类在理解个性化场景时,天然依赖结构化的概念关联网络来进行联想与归纳推理。例如面对提问“谁能协助波奇(Bocchi)写歌词?”,理想的个性化助手不仅要精准定位画面中出现的各个乐队成员,更需要跨越视觉实体去检索并综合多项属性与人际关系链条(波奇有写词需求、凉具有写词技能且同属结束乐队、二人存在日常指导关系)。现存个性化多模态基准与模型几乎完全缺乏这种图谱级关系数据的支撑,导致模型在面对涉及属性推断、因果关联或逻辑级联的高阶个性化查询时频频失效。
针对这一核心瓶颈,本文将结构化知识图谱(KG)与多模态思维链(CoT)推理深度结合引入个性化视觉助手中。核心 idea:构建包含图像、个性化知识图谱与思维链问答三位一体的 ReGraP 数据集,并提出 ReGraP-LLaVA 架构,通过软性图嵌入与显式推理 Token 硬提示双轨机制将非欧氏图结构无缝对齐至自回归语言语义空间,赋予个性化助手稳健的关系检索与多步链式推理能力。
方法详解¶
整体框架¶
ReGraP-LLaVA 包含两大核心支撑:一是用于构建高质量多模态个性化知识的数据生成管线(Data Generation Pipeline),二是将结构化图谱知识与思维链有效注入多模态模型的训练架构。整体数据管线从原始图像与文本描述出发,先解耦实体、属性与关系构建个性化知识图谱,再通过推理树拓扑遍历与深度优先搜索提取多步推理子图路径,以此驱动大模型生成高质量 CoT 问答对。在模型训练阶段,系统提供软图提示(Soft Prompting)与硬图提示(Hard Prompting)两种对齐路径:软图提示利用图神经网络与投影层将子图编码为连续隐空间向量;硬图提示则引入专用实体与关系推理 Token,将子图拓扑转化为自然语言描述序列。模型在冻结视觉编码器与预训练投影器的前提下,仅微调新增参数与语言主干 LoRA,实现高效的端到端个性化推理。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["个性化多模态输入<br/>图像集合 I + 私有知识文本 K_text"] --> B["个性化图谱与思维链生成管线<br/>解耦实体属性关系 + 推理树拓扑 DFS 提取子图路径"]
B --> C["双轨图结构对齐提示机制<br/>GNN连续向量软提示 / 推理Token显式序列化硬提示"]
C --> D["参数高效微调与词表扩展策略<br/>冻结视觉侧底座 + 扩展分类头 + 主干网络 LoRA 适配"]
D --> E["个性化多步推理与上下文问答输出"]
关键设计¶
1. 个性化图谱与思维链生成管线:解耦实体关系并挖掘长程思维链 针对以往个性化数据仅标注孤立目标名称或单句 Caption 的局限,该管线构建了完备的结构化个性化知识集。首先将输入文本划分为关系知识 \(K_R\) 与属性知识 \(K_A\)。利用 Relation-Graph Builder 提示 GPT-4o 抽取实体集合 \(E\) 并结合图像构建初始关系图 \(G_R = \{(h_i, r_i, t_i)\}_{i=1}^n\);接着通过 KG Enricher 注入属性节点 \(N_{new}\) 并补充潜在关系边,生成完整的个性化知识图谱 \(G\)。随后,为了从图谱中衍生具备真实推导逻辑的问答对,设计了推理树(Reasoning Tree)重构算法:遍历图谱实体并按层次重排生成结构化推理树 \(T\),利用深度优先搜索(DFS)挖掘出最大深度的长依赖推理路径 \(S_R = \text{DFS}(T)\)。将这些子图路径 \(R \in S_R\) 作为大模型的内在“思考链条”,引导其生成需依赖多跳关系的复杂问题 \(Q\) 以及逐步推导的 CoT 答案 \(A_{CoT} = \text{GPT}(Q, R)\)。
2. 双轨图结构对齐提示机制:将结构化图拓扑无缝映射至自回归语言语义空间
非欧几里得的图谱结构与基于自回归 Token 流的大语言模型天然存在表征鸿沟。为此,本文设计了软、硬两种图提示范式。软图提示(Soft Prompting)将答案对应的推理子图转换为独热编码图 \(g\),利用图神经网络(GNN)聚合局部邻域结构特征提取图级向量 \(H_g = \text{GNN}(g)\),再经由多层感知机(MLP)投影至与大语言模型词嵌入相同的维度 \(d\),得到连续软图嵌入:
$\(\hat{H} = \text{MLP}(H_g) \in \mathbb{R}^d\)$
该向量直接与文本 Token 序列的嵌入矩阵相加或拼接,作为隐式条件注入模型。硬图提示(Hard Prompting)则通过显式符号化将子图 \(g = \{(E_i, r_i, E_{i+1})\}_{i=1}^N\) 转化为由自然语言与专用推理 Token(Reasoning Tokens)交织的描述序列。系统显式引入 \(N+1\) 个实体 Token 和 \(N\) 个关系 Token(例如 <Relation_i>),并构造模板“<E1> 与 <E2> 共享 <Relation1>...”。这种结构使模型能够在自注意力中直接建模离散实体与关系符号间的跨模态注意力依赖。
3. 面向个性化推理的轻量微调与词表扩展:隔离通用基础能力与个性化概念学习
为了在赋予模型强劲个性化推理能力的同时,严防灾难性遗忘通用视觉语言知识,ReGraP-LLaVA 采取了参数隔离与选择性微调机制。模型的视觉编码器(Vision Encoder)、视觉投影矩阵(Vision Projector)以及原生分词器词表完全冻结。针对硬图提示引入的 \(2N+1\) 个全新推理 Token,分词器动态扩展为 Reasoning Tokenizer,语言模型末端的线性分类头权重矩阵 \(W_{c \times n}\) 相应扩展为 \(W_{c \times (n+2N+1)}\)。在训练时,仅将新增的 Token 嵌入、扩展后的分类头切片以及应用在注意力权重投影层上的 LoRA 参数(作用于 q_proj 和 v_proj)设为可训练状态:
$\(\theta_{new} = \{\langle E_1 \rangle, \dots, \langle E_{N+1} \rangle, \langle \text{Relation}_1 \rangle, \dots, \langle \text{Relation}_N \rangle, W_{(:, n+2N+1)}\} \cup \theta_{\text{LoRA}}\)$
这种设计使计算开销降至最低(仅需单张 A6000 即可完成训练),同时在个性化概念与通用大模型底座之间构筑了清晰的表征防火墙。
一个完整示例¶
以动漫工作区场景 <electronic_workspace> 为例,输入包含一台华硕 ROG 游戏笔记本、Filco 有线键盘、ROG 无线鼠标、飞利浦显示器和 Bose 有线耳机。用户提问:“机主应如何改善当前的游戏体验,为什么?”
1. 图谱检索与子图激活:硬图提示序列激活相关节点 <ROG_mouse>、<ROG_laptop> 及其关系 <connected_via_Bluetooth>,同时激活 <latency> 属性节点。
2. 多跳链式推理推导:模型在自回归生成中激活 CoT 路径:“首先,当前 ROG 鼠标通过蓝牙无线连接到笔记本,蓝牙通信引入了不可忽视的轻微延迟;其次,对于高要求游戏场景而言,有线连接能够提供极低的响应时间与抗干扰稳定性;最后,Filco 键盘目前以 45 度角摆放以符合人体工程学手腕姿势”。
3. 最终建议输出:模型准确输出“机主应将 ROG 鼠标由蓝牙连接切换为有线连接以降低延迟并提升稳定性”,完整复现从视觉识别到多属性关联推断的决策链路。
损失函数 / 训练策略¶
模型基于指令问答三元组 \((X_i, I, X_a)\) 采用标准的自回归因果语言建模损失进行训练,仅在答案序列 \(X_a\) 上计算交叉熵: $\(\mathcal{L} = - \sum_{j=1}^{L} \log p_\theta (x_j \mid I, X_i, X_{a, <j})\)$ 其中 \(X_i\) 为拼接了图提示信息与问题文本的联合指令,\(I\) 为视觉图像输入。训练采用 AdamW 优化器,学习率设为 \(1 \times 10^{-5}\),权重衰减为 0.1,搭配 CosineAnnealingLR 学习率调度策略以及混合精度 GradScaler。每个个性化知识集仅使用约 10 张训练图像和 20 条 CoT 问答对即可完成高效收敛。
实验关键数据¶
主实验¶
论文建立了涵盖单选(Multiple Choice)、填空(Fill-in-the-Blank)、判断(True/False)与闭卷问答描述(Descriptive)四类题型的 ReGraP Benchmark,每类均细分为考察基础识别属性的简单题(Simple)与考察关系推理的困难题(Difficult),共包含 8,160 道测试题。如表 1 所示,ReGraP-LLaVA 在几乎所有任务上均取得了最强性能,相较于最强微调基线 LLaVA (CoT) 实现了 5.3% 的加权准确率提升,相较于最强提示基线 GPT-4o (Prompt) 实现了 8.8% 的大幅跃升。
| 模型 | 单选 (简单) | 单选 (困难) | 填空 (简单) | 填空 (困难) | 判断 (简单) | 判断 (困难) | 简答 (简单) | 简答 (困难) |
|---|---|---|---|---|---|---|---|---|
| LLaVA-7B (Prompt) | 0.786 | 0.684 | 0.813 | 0.647 | 0.908 | 0.784 | 0.892 | 0.783 |
| LLaVA-13B (Prompt) | 0.829 | 0.705 | 0.883 | 0.673 | 0.920 | 0.888 | 1.000 | 0.913 |
| Qwen2-VL-7B (Prompt) | 0.794 | 0.688 | 0.858 | 0.633 | 0.898 | 0.878 | 0.925 | 0.842 |
| Qwen2.5-VL-7B (Prompt) | 0.798 | 0.683 | 0.865 | 0.642 | 0.922 | 0.874 | 0.958 | 0.858 |
| Qwen2.5-VL-72B (Prompt) | 0.875 | 0.714 | 0.882 | 0.677 | 0.920 | 0.878 | 0.992 | 0.950 |
| GPT-4o (Prompt) | 0.863 | 0.735 | 0.862 | 0.668 | 0.938 | 0.890 | 0.950 | 0.929 |
| Yo'LLaVA (Raw) | 0.814 | 0.695 | 0.862 | 0.668 | 0.887 | 0.765 | 0.900 | 0.767 |
| Yo'LLaVA (CoT) | 0.849 | 0.725 | 0.860 | 0.675 | 0.908 | 0.832 | 0.875 | 0.763 |
| LLaVA (Raw) | 0.865 | 0.762 | 0.863 | 0.753 | 0.893 | 0.840 | 0.850 | 0.796 |
| LLaVA (CoT) | 0.885 | 0.829 | 0.890 | 0.817 | 0.947 | 0.877 | 0.917 | 0.867 |
| ReGraP-LLaVA (Ours) | 0.942 | 0.892 | 0.940 | 0.858 | 0.967 | 0.916 | 0.975 | 0.950 |
消融实验¶
论文首先对比了不同图提示机制在闭卷问答任务中的表现(表 2)。三种配置均表现优异且差距在 0.4% 以内,其中单独硬图提示在 8,160 道题中比软硬混合多做对 16 题,比单软提示多做对 28 题,表现略胜一筹。此外,为了评估跨数据集的通用个性化能力,论文在 Yo'LLaVA 与 MyVLM 基准上对比了概念识别与图像标注准确率(表 3)。
| 图提示配置 | 单选 (简单) | 单选 (困难) | 填空 (简单) | 填空 (困难) | 判断 (简单) | 判断 (困难) | 简答 (简单) | 简答 (困难) |
|---|---|---|---|---|---|---|---|---|
| ReGraP-LLaVA (Hard) | 0.942 | 0.892 | 0.940 | 0.858 | 0.967 | 0.916 | 0.975 | 0.950 |
| ReGraP-LLaVA (Soft) | 0.938 | 0.893 | 0.938 | 0.852 | 0.967 | 0.910 | 0.942 | 0.929 |
| ReGraP-LLaVA (Combination) | 0.929 | 0.898 | 0.943 | 0.860 | 0.960 | 0.917 | 0.983 | 0.950 |
| 评估模型 | 概念识别准确率 (Positive) | 概念识别准确率 (Negative) | 图像标注准确率 (Positive) | 图像标注准确率 (Negative) |
|---|---|---|---|---|
| Yo'LLaVA | 0.925 | 0.857 | 0.905 | 0.966 |
| MyVLM | 0.905 | 0.823 | 0.895 | 0.946 |
| ReGraP-LLaVA | 1.000 | 0.850 | 0.965 | 0.973 |
关键发现¶
- 结构化图谱是对抗提示劣化的关键:相较于 GPT-4o 等依赖冗长自然语言提示的方案,图结构化提示能显著减少关键信息遗漏与多实体混淆,在包含 5-6 个对象的复杂多实体场景中优势尤为显著。
- 思维链长度对困难推理至关重要:在简单识别任务中,缩短 CoT 长度对模型准确率几乎无影响;但在涉及多跳关系推断的困难题中,完整细致的推理步长使准确率稳定提升 3% 到 5%,证明详尽的推理链是知识连接的核心载体。
- 硬图提示实现极低推理开销下的高精度:硬图提示直接复用 Transformer 文本自注意力机制,无需运行 GNN 前向推断与额外跨模态投影,计算更紧凑且在绝大多数闭卷任务中取得最高的绝对得分。
亮点与洞察¶
- 将图遍历拓扑转化为 CoT 监督信号:巧妙利用推理树的深度优先搜索提取最长子图路径,以此作为 GPT-4o 生成复杂问题与详尽答案的思维约束,解决了多模态领域高质量复杂推理合成数据稀缺的问题。
- 软硬双轨图对齐范式的系统性探索:清晰对比了“GNN 图隐式嵌入注入”与“扩增词表显式符号序列化”两种将结构化知识融入语言模型的路径,证明显式符号化在注意力机制下的优越性。
- 注意力图可视化证实了实体驱动的理性聚焦:注意力热力图分析表明,模型在回答特定问题时(如针对鼠标连接方式的推理),注意力精确聚焦在关联的目标物理区域(鼠标与笔记本接口),而非盲目发散。
局限与展望¶
- 作者承认的局限:受制于大语言模型固有的幻觉倾向,模型偶发性地会编造图中不存在的细微属性;同时对于极其简单的单实体查询,模型有时会表现出“过度推理”(Over-thinking),生成冗长繁复的解释而影响交互效率与计算资源。
- 潜在改进空间:知识图谱在训练阶段被固定,若现实中用户的个性化知识发生动态变迁(例如设备连接方式从蓝牙换为 2.4G 接收器),模型需要重新适配;未来的研究可探索基于动态图记忆或测试时图检索的即时知识更新机制。
相关工作与启发¶
- vs Yo'LLaVA (Nguyen et al., 2024):Yo'LLaVA 为每个个性化概念引入单个可学习的新 Token,仅评估单概念识别和简单打标;ReGraP-LLaVA 进一步建立了多概念之间的关系图谱与长程思维链,支持多实体交互推断与高阶决策。
- vs CCoT (Mitra et al., 2024):CCoT 侧重于测试阶段零样本利用场景图提取通用物体的空间组合知识;本文聚焦于用户私有域的个性化知识构建,通过软硬图提示微调赋予基座模型长期个性化记忆。
评分¶
- 新颖性: ⭐⭐⭐⭐☆(首次将知识图谱与思维链深度引入多模态个性化领域,数据管线与图提示设计扎实)
- 实验充分度: ⭐⭐⭐⭐⭐(构建了包含 8,160 题的完备基准,覆盖单选、填空、判断与描述,含人机双重评测与严格消融)
- 写作质量: ⭐⭐⭐⭐⭐(逻辑严密,图文对应清晰,数据透明)
- 价值: ⭐⭐⭐⭐☆(对具身智能、桌面助手及私人多模态代理系统的知识注入提供了极具参考价值的范式)