MemDreamer: Decoupling Perception and Reasoning for Long Video Understanding via Agentic Hierarchical Graph Memory¶
会议: EMNLP 2026
论文: ACL Anthology
领域: 视频理解
关键词: 长视频理解、解耦感知与推理、分层图记忆、智能体检索、Observation-Reason-Action
一句话总结¶
提出 MemDreamer 框架,将长视频理解彻底解耦为流式视频构建纯文本「分层图记忆」与智能体驱动的「工具增强检索」两阶段,仅需原生端到端 2% 的上下文窗口即在四大长视频基准上刷新 SOTA。
研究背景与动机¶
数小时级长视频理解是视觉语言模型(VLM)走向具身智能和开放世界交互的核心能力。然而,主流 VLM 普遍采用感知与推理紧密耦合的端到端范式,试图依赖不断扩展的超长上下文窗口一次性吞入长视频帧序列。当处理 2 小时长视频时,即便按 1 FPS 采样并进行空间 token 压缩,也会产生超过 1.6M 个视觉 token。这种暴力平铺带来了灾难性的视觉 token 爆炸,不仅显存与计算开销难以承受,更会在推理端引发严重的注意力稀释(attention dilution)和长上下文“迷失在中间”(lost in the middle)现象,使复杂时空推理信号彻底被海量冗余感知噪声所淹没。
解耦感知与推理——即通过轻量感知模型流式建构外部持久记忆、再由推理模型按需检索——是绕过上下文瓶颈的有效途径。但现有记忆系统要么采用扁平存储(如固定片段切块或向量数据库),丢失了全局剧情脉络并切断了长程因果逻辑链;要么依赖缺乏拓扑边连接的单纯感知缓冲池,迫使解耦推理退化为局部盲目的遍历搜索。人类观看长视频时,天然具备“总览-场景-事件-动作”自顶向下的分层抽象认知,并且在细粒度动作之间维持着严密的时空与因果拓扑关联,绝非将数万张画面扁平记忆。
针对这一本质矛盾,本文旨在构建一种结构化拓扑记忆并赋予推理模型主动探寻能力。核心 idea:将长视频理解解耦为自顶向下的三层层次图记忆构建与基于 Observation-Reason-Action 循环的智能体工具检索,使下游推理模型仅在紧凑纯文本拓扑图上主动巡航,将长视频理解性能直接与模型的纯逻辑推理能力线性挂钩。
方法详解¶
整体框架¶
MemDreamer 彻底放弃让推理模型直接处理原始长视频 token,整体架构划分为两大阶段:流式持久记忆构建与工具增强的智能体检索。在记忆构建阶段,系统以时间滑动窗口流式输入原始视频流,首先通过感知模型自适应检测语义边界切分出语义自包含的宏观事件(Macro Events);向下为每个宏观事件提取包含实体、微观事件及三种异构拓扑关系的局部时空子图;向上则根据时序相邻、实体一致和叙事目标一致性进行自底向上凝聚,依次提炼出超级事件(Super Events)并最终汇聚至视频全局根节点(Video Root),形成纯文本的三层层次图记忆 \(G\)。
在在线推理阶段,推理模型充当智能体,脱离原始视频像素,仅依靠专门设计的 7 种图检索工具(涵盖层级导航、精准检索、图谱拓扑遍历三类),在「观察-推理-行动」(Observation-Reason-Action)闭环中与记忆交互,多轮递进抽取出回答问题所需的关键线索,生成最终答案。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
V["原始视频流<br/>V (无需外置字幕)"] --> A["流式自适应语义分段<br/>滑动窗口 τ=10min,动态界定宏观事件 e_i"]
A --> MEM["分层图记忆构建 (Hierarchical Graph Memory)"]
subgraph MEM["纯文本分层图记忆 G 构建"]
direction TB
B["向下局部子图提取<br/>实体 V^E 与微观事件 V^M 构成异构子图 g_i"]
C["向上层级抽象凝聚<br/>Macro Event → Super Event → Video Root"]
end
MEM --> G["三层拓扑图记忆 G<br/>(全局根节点 / 超级事件 / 宏观事件局部子图)"]
Q["用户查询 Q"] --> AGENT["智能体观察-推理-行动循环<br/>Observation-Reason-Action 迭代交互"]
G --> AGENT
AGENT --> T["多维图工具库<br/>层级导航 / 精准搜索 / 图谱遍历"]
T -->|执行工具返回观察 o_t| AGENT
AGENT -->|选择性提炼线索 c_t| H["历史轨迹更新<br/>H_t = H_{t-1} ∪ {(a_t, c_t)}"]
H -->|满足回答条件 can_answer| OUT["最终文本回答 A<br/>A = R(Q, C)"]
关键设计¶
1. 流式自适应分段:摆脱固定切块的语义截断
传统方法普遍采用固定时长(如 30 秒)切块,容易在动作中途或对话核心处发生粗暴截断,破坏事件的语义完整性。MemDreamer 引入基于语义边界的流式自适应分段机制。在每个迭代步 \(k\) 中,系统维护一个时间滑动窗口 \(W_k = [t_k^{start}, t_k^{start} + \tau]\)(实验中设定最大窗口 \(\tau = 10\text{min}\))。感知模型 \(P\) 在窗口内执行时序定位,识别完整的叙事段落并解析出一组局部自包含的宏观事件 \(\{e_1, e_2, \dots, e_N\}\)。最后一个宏观事件 \(e_N\) 的结束时间戳直接作为下一滑动窗口的起始点。该设计既保证了每一个宏观事件在语义上独立自洽,又将单次感知模型的处理上下文死死限制在时间跨度 \(\tau\) 之内,彻底消除了感知阶段的上下文爆炸隐患。
2. 双向图谱构建:局部异构子图向下细化与跨粒度抽象向上凝聚
现有多模态图记忆往往将事件压缩为静态的 (主语实体, 关系, 宾语实体) 扁平三元组,既无持续时间范围,也无法表示多元参与和动作间的长因果链。MemDreamer 提出了以视频为中心的异构图本体(Video-centric Graph Ontology)。在每个宏观事件 \(e_i\) 内部构建局部时空子图 \(g_i = (V_i, E_i)\),其节点集明确区分为实体节点 \(V^E_i\)(人物、物体、地点、群体)与独立的微观事件节点 \(V^M_i\)(具有秒级精确起止时间、明确主谓宾与动作描述)。连接它们的异构边集 \(E_i\) 被严格划分为三类:
- 空间-属性边(\(V^E_i \leftrightarrow V^E_i\)):承载实体间静态相对布局、从属及属性绑定(如 LOCATED_IN, PART_OF, NEXT_TO);
- 主客体角色边(\(V^E_i \leftrightarrow V^M_i\)):将实体绑定到其实施或承受的动作(如 PERFORMS, RECEIVES, USES_TOOL, HAPPENS_IN);
- 时序-因果边(\(V^M_i \rightarrow V^M_i\)):刻画微观事件的时间递进与显式因果依赖(如 BEFORE, OVERLAP, CAUSES, PREVENTS)。
在局部图奠基后,系统执行自底向上的层级抽象凝聚:感知模型 \(P\) 依据时序相邻性、实体一致性(共享核心参与者)与叙事目标一致性,将相邻的 3-8 个宏观事件聚合成大时间尺度的超级事件(Super Events,全片通常 10-20 个),并在超级事件之间建立 LEADS_TO、RESOLVES 或 CONTRASTS_WITH 宏观因果关系;最后顶层提炼出单一的全局视频根节点(Video Root),涵盖全片标题、核心主题与全局实体,构建出“根节点 \(\rightarrow\) 超级事件 \(\rightarrow\) 宏观事件 \(\rightarrow\) 细粒度子图”的完整层次骨架。
3. 多维工具库支持的智能体观察-推理-行动循环
为充分激活分层图记忆,MemDreamer 为推理模型 \(R\) 配备了包含 7 个专项工具的多维工具库:
- 层级导航类:GetSummary() 调取视频全局根概述;GetSuperEvent(super_id) 获取叙事阶段描述与子事件概况;GetMacroEvent(super_id/macro_ids) 展开宏观事件;GetSubgraph(macro_id) 展开单个宏观事件的高密度局部子图;
- 精准搜索类:SearchNodes(query, top_k, node_types) 通过文本向量相似度跨实体与微观事件实现 top-k 检索(默认返回包含 1-hop 自我中心邻域信息);SearchByTime(start_sec, end_sec) 基于起止时间窗反查宏观事件;
- 图谱遍历类:GetRelationGraph(node_id) 提取指定节点的出边与入边,沿时序、因果或角色边进行多跳追溯。
推理模型在「观察-推理-行动」循环中运行。若直接拼接各轮工具返回的原始观察 \(o_t\),文本上下文会再度膨胀并导致注意力稀释。因此 MemDreamer 设计了基于查询的选择性线索压缩算子: $\(c_t = R(o_t, Q)\)$ 智能体每轮从 \(o_t\) 中仅提炼与查询 \(Q\) 相关的关键事实线索 \(c_t\),并将动作-线索对并入紧凑的历史轨迹 \(H_t = H_{t-1} \cup \{(a_t, c_t)\}\)。该机制将每轮推理上下文严格控制在 5.9K–6.3K tokens,仅为端到端全量输入的 1/40 到 1/124,实现了纯粹依靠逻辑推理的高精度证据收集。
一个完整示例:以《疯狂动物城》冰棍来源追踪为例¶
以问题“Nick 卖的爪爪冰棍原料冰淇淋来自哪里?”为例,推理模型的检索决策轨迹如下:
1. 第 1 轮(全局导航):智能体从初始持有的根节点和超级事件概述出发,分析发现 SuperEvent 2(时间范围 00:16:47-00:26:30,交警执勤与狐狸行骗)与狐狸 Nick 密切相关;
2. 第 2 轮(精准检索定位宏观事件):调用 SearchNodes(query="Nick buys ice cream at elephant parlor", top_k=5),直接命中 MacroEvent 2.2(00:17:39-00:23:43,发现爪爪冰棍骗局);
3. 第 3 轮(细粒度子图展开与因果追踪):调用 GetSubgraph(macro_id="MacroEvent2.2") 展开局部子图,观察到微观事件节点“Nick enters Jumbeaux's Cafe”与“Nick buys Jumbo-Pop from Jerry”,并通过角色边与实体“Jumbo-Pop”连接;
4. 决策终止与回答:智能体通过抽取算子提取关键线索“The ice cream comes from the Jumbo-Pop purchased at Jumbeaux's Cafe”,判定信息足以回答(can_answer=true),输出最终准确答案,全程仅耗费 3 轮交互与约 6K token。
实验关键数据¶
主实验¶
在涵盖 30 分钟至数小时的四大权威长视频基准(LVBench、LongVideoBench、Video-MME 长视频无字幕子集、EgoSchema)上,MemDreamer 均取得了 SOTA 成绩。相比相同骨干的端到端原生 VLM,MemDreamer 展现出巨大的绝对优势。
| 模型 | 骨干模型 | LVBench (Avg.) | LongVideoBench (Avg.) | Video-MME (Long w/o sub) | EgoSchema (Val) |
|---|---|---|---|---|---|
| GPT-4o | GPT-4o | 48.9 | 66.7 | 65.3 | 70.4 |
| Gemini-2.5-Pro | Gemini-2.5-Pro | 72.0 | 71.0 | 75.9 | 72.8 |
| Gemini-3.1-Pro | Gemini-3.1-Pro | 78.2 | 78.6 | 80.3 | 76.4 |
| Qwen3-VL-Thinking | Qwen3-VL-235B-A22B-Thinking | 63.6 | 71.4 | 71.2 | 75.9 |
| VideoARM | OpenAI-o3 | 79.7 | 78.0 | 81.2 | 76.2 |
| DVD | OpenAI-o3 | 74.2 | 71.6 | 67.3 | 76.6 |
| MemDreamer (Ours) | Qwen3-VL-235B-A22B-Thinking | 78.9 (+15.3) | 80.4 (+9.0) | 80.3 (+9.1) | 80.6 (+4.7) |
| MemDreamer (Ours) | Gemini-2.5-Pro | 77.8 (+5.8) | 75.9 (+4.9) | 82.6 (+6.7) | 85.2 (+12.4) |
| MemDreamer (Ours) | Gemini-3.1-Pro | 85.5 (+7.3) | 87.1 (+8.5) | 86.1 (+5.8) | 87.1 (+10.7) |
| 人类专家 (Human Expert) | Human | 94.4 | - | - | - |
在极限长视频基准 LVBench 上,MemDreamer 配合 Gemini-3.1-Pro 取得 85.5 的峰值成绩,将与人类专家(94.4)的差距大幅收窄至 8.9 分;而在开源的 Qwen3-VL-Thinking 上,增益更是高达惊人的 +15.3 分(从 63.6 跃升至 78.9)。
消融实验¶
论文在 LVBench 上针对记忆架构与检索机制进行了详细的消融分析(推理模型均采用 Gemini-3.1-Pro):
| 记忆架构配置 | 层级结构 (Hierarchy) | 拓扑图关系 (Graph) | LVBench Avg. | 说明 |
|---|---|---|---|---|
| 扁平切块 (Flat-Chunk) | ✗ | ✗ | 71.0 | 最简基线,无层级亦无边连接 |
| 扁平图谱 (Flat-Graph) | ✗ | ✓ | 78.6 | 引入时空/因果图关系 (+7.6) |
| 层级切块 (Hierarchical-Chunk) | ✓ | ✗ | 80.6 | 仅自底向上三层抽象 (+9.6) |
| 分层图记忆 (Hierarchical-Graph, Ours) | ✓ | ✓ | 85.5 | 完整模型,层级导航与图遍历互补 |
在检索机制的消融中: - 传统单轮向量相似度检索(Vanilla Embedding Similarity)得分仅为 66.6(比完整模型低 18.9 分); - 将整个图骨架直接作为长上下文塞入(Full Memory Context)总分为 74.5,但在纯推理题(Reasoning)上骤降至 68.0,印证了未过滤图结构引发严重拓扑注意力稀释; - 仅允许智能体使用语义搜索(Agentic Search Only)得分 75.5; - 开放完整工具库(Agentic Full Tools)达到最高分 85.5。
关键发现¶
- 纯逻辑推理能力与长视频理解性能显式解耦并强正相关:在端到端耦合范式下,8 款先进模型在 AIME 2025 数学推理与 LVBench 之间的皮尔逊相关系数仅为 \(R=0.702\)(\(p=0.052\),未达统计学显著),表明输入端被海量感知 token 淹没后,模型的逻辑能力被严重压制;而接入 MemDreamer 后,相关系数跃升至 \(R=0.948\)(\(p<0.001\)),在 GPQA Diamond 上同样表现出 \(R=0.926\) 的极高相关性。这确立了长视频理解可由感知驱动转变为智能体纯推理能力扩展的新范式。
- 解耦感知大幅提升感知误差容忍度:固定推理模型为 Gemini-3.1-Pro 时,将感知模型从 Gemini-3.1-Pro 降级为 Gemini-2.5-Pro,LVBench 得分仅微跌 0.4 分(85.5 \(\rightarrow\) 85.1);推理模型为 Qwen3-VL 时也仅波动 1.2 分(78.9 \(\rightarrow\) 77.7)。由于感知模型单次仅需理解 \(\le 10\) 分钟的片段,极大地平滑了感知端能力落差。
- 动态自截断机制:消融最大轮数 \(T_{max}\)(8 到 15)发现,模型平均实际交互轮次仅在 2.87 至 3.07 轮之间微幅变化,表明智能体在收集足够线索后会自主触发
can_answer终止,并未机械耗尽轮数预算。
亮点与洞察¶
- 解耦感知与推理的范式革命:过去长视频研究往往在扩大模型上下文窗口或牺牲帧率采样之间做妥协。MemDreamer 证明了只要在前端将流式视频转译为富拓扑、高语义的纯文本图记忆,后端仅需极其紧凑的 6K 上下文和通用工具调用,就能打败 100 万 token 级别的暴力端到端模型。
- 本体中微观事件实体化与因果边绑定:传统知识图谱采用固定的
(实体, 关系, 实体)三元组,无法刻画动态过程。MemDreamer 将原子动作显式升格为独立的微观事件节点 \(V^M\),从而自如地串联起“主客体参与角色”与“动作间的时序因果网络”,为多跳符号级推理提供了可遍历的物理结构。 - 线索增量提炼避免长对话污染:在智能体交互中,没有简单追加工具返回的全部 raw 文本,而是通过提取算子 \(c_t = R(o_t, Q)\) 仅浓缩出答案相关事实,巧妙阻断了多轮工具调用带来的二次“迷失在中间”。
局限与展望¶
- 纯视觉模态约束:作者在 Limitations 中承认,当前图记忆完全建立在视觉流感知之上,尚未融合音频、语音及对话字幕。在新闻解说、学术讲座和对白密集型电影中,丢失音频信号会导致严重信息盲区,未来需要引入音频推导的节点类型。
- 离线视频假设:当前的“流式”实质为建构记忆时的滑动窗口感知,依然假定在推理启动前已完整录制并构建完长视频图谱。在真正无界的在线实时直播、安防监控和具身实时交互中,如何边流入、边增量修剪更新图谱同时应对并发提问仍待探索。
相关工作与启发¶
- vs. VideoAgent / DVD 等传统 Agentic 视频检索:早期 Agentic 方法依赖扁平的视频切片库,容易在单调的重试中陷入盲目试错;MemDreamer 引入了三层层级骨架与因果边,使 Agent 具备了从宏观剧情到微观动作的有序缩放与拓扑巡航能力。
- vs. VideoARM / MM-Mem 等分层记忆系统:现有分层记忆多维持无拓扑边的感知特征缓冲,且在检索阶段依然需要频繁回溯重读原始高维视频帧;MemDreamer 实现了彻底的符号化纯文本记忆,检索推理完全脱离原始视频交互。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出融合局部异构实体-事件因果子图与三层宏观层级的纯文本视频记忆,并实证揭示了智能体纯逻辑推理向长视频能力的有效迁移。
- 实验充分度: ⭐⭐⭐⭐⭐ 评测覆盖四大代表性长视频基准,涵盖闭源商业模型与开源模型,包含严谨的统计相关性检验、双向感知/推理消融及预算参数分析。
- 写作质量: ⭐⭐⭐⭐⭐ 论点犀利有力,形式化定义与本体规范极其清晰,图表逻辑自洽。
- 价值: ⭐⭐⭐⭐⭐ 为长视频乃至跨模态长时序理解摆脱上下文暴力扩张提供了极具前景的工程与理论架构参考。