EventMemAgent: Hierarchical Event-Centric Memory for Online Video Understanding with Adaptive Tool Use¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/lingcco/EventMemAgent
领域: 视频理解
关键词: 在线视频理解、事件记忆、蓄水池采样、多粒度感知、智能体强化学习

一句话总结¶

EventMemAgent 用按事件组织的分层记忆压缩视频历史，再让 Qwen3-VL-8B 通过强化学习掌握检索、OCR 和目标检测的调用时机，在最多 32 帧短期缓存下实现 OVO-Bench 60.75% 的总体成绩。

研究背景与动机¶

在线视频问答不能先看完视频再找答案：问题在某个时刻到来，系统只能使用此前的观察，同时还要准备接收后续画面。直接滑动窗口会忘记早先事件，压缩视觉 token 又可能丢掉回答细节问题所需的文字或物体。将历史特征搬到外部存储虽然扩大了可访问的时间范围，但检索回大量相似帧，并不等于知道哪个动作发生过、前后状态如何变化，更不等于能从小目标或模糊文字中取得可靠证据。

事件粒度提供了一种更贴近问题语义的压缩单位。例如，一段持续绘画的视频并不需要每隔 30 秒生成一条相似摘要；反过来，翻开画册、蘸取颜料和开始绘画又不应该因为处于同一个固定时间块而混在一起。与此同时，压缩之后仍有信息缺口：摘要可能记住“拿起瓶子”，却没有读出瓶身文字。因此，记忆组织和主动感知必须一起设计，前者决定还找得到什么，后者决定找到线索后能否继续查证。

本文不是简单增加一个检索库，而是让智能体在有限可见画面和可搜索事件记录之间反复取证，并用最终答案的正确性训练工具决策。核心 idea：把视频历史保存为可检索、可再次感知的事件记录，让短期视觉缓存负责当前细节，让强化学习决定何时回忆历史、何时调用专用感知工具。

方法详解¶

整体框架¶

输入视频先按 1 FPS 采样，事件级短期记忆在最多 32 帧内维护当前及近期事件，结构化长期记忆保存被移出的历史。问题到来时，智能体读取短期画面，并按需使用多粒度感知工具检索历史事件、读取文字或定位物体，经过多轮反馈后回答。

训练阶段另用 Agentic RL 优化这套工具决策；它不是推理时追加的感知模块。下面实线表示推理数据流，虚线表示训练监督与策略优化关系，所有可用视觉证据都受问题时间戳约束。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["已观察视频流"] --> STM["事件级短期记忆"]
    STM -->|历史事件移出| LTM["结构化长期记忆"]
    STM --> Tools["多粒度感知工具"]
    LTM --> Tools
    Query["问题与时间戳"] --> Tools
    Tools -->|工具反馈与继续取证| Tools
    Tools --> Answer["最终答案"]
    Supervision["训练样本与答案正确性"] -.-> RL["Agentic RL"]
    RL -.->|优化工具决策| Tools

关键设计¶

1. 事件级短期记忆：先保持事件完整，再处理帧预算

短期记忆不是一条简单的最近帧队列，而是由若干事件组成，最后一个事件持续接收新帧。对每个新帧，系统计算归一化灰度直方图，并与当前事件已有帧的平均直方图比较，以 Pearson 相关系数衡量一致性。相关系数低于阈值 0.2 时，系统结束当前事件并开启新事件。这个判断只依赖已到来的画面，不需要未来帧或离线切段模型；不过，灰度外观的一致性只是语义事件边界的代理，并非真正识别出了动作语义。

只要所有事件的总帧数尚未达到容量，就直接追加新帧。缓存满后有两个分支：若缓存中还有多个事件，按 FIFO 移出最早事件，为新观察腾出空间；若整个缓存都属于一个持续事件，则不把这个事件不断切碎，而在其内部做蓄水池采样。处理到该事件第 \(n\) 帧、容量为 \(K\) 时，新帧进入缓存的概率为：

\[ P_{\mathrm{accept}}=\frac{K}{n},\qquad n>K. \]

接纳后随机替换已有一帧。这使长事件中的各帧有相同的入选机会，缓存覆盖的是整个事件的时间跨度，而不只是最近一小段。代价是“均匀代表”不等于“保住稀有关键帧”：瞬间出现的文字仍可能被丢掉。正文在边界触发处提到归档，在长期记忆节又将归档关联到缓存移出；缺失的附录 A 才承诺提供完整更新规则，因此不能把二者的精确调用时序当作已经核实的实现细节。

2. 结构化长期记忆：保存事件内容，也保存相邻事件间的变化

历史事件进入长期记忆后，不再保留完整帧序列，而是形成四类内容：事件首帧作为视觉锚点，MLLM 生成的自然语言描述，描述的语义嵌入，以及记录相邻事件状态转换的 change log。事件还关联起止时间，支持之后按时间范围定位。描述回答“这个事件发生了什么”，变化日志补充“它与上一事件相比改变了什么”，视觉锚点则提供可再次送入感知工具的图像依据。

这种结构把长期叙事从模型上下文中移出，但没有假定所有信息都能用一句摘要保真。检索时返回完整事件记录，而不只是一个相似度分数，让智能体同时看到文字线索和可进一步检查的图像。需要注意，首帧并不保证包含事件后半段的关键状态；若某个细节既没有进入描述，也不在首帧中，后续工具调用无法凭空恢复它。固定的是短期帧预算和活跃上下文，不是整个长期数据库的存储量。

3. 多粒度感知工具：检索到线索之后仍可以继续查证

Memory Search 有时间检索和语义检索两种入口：前者返回与指定时间区间相交的事件，后者依据查询嵌入与事件描述嵌入的余弦相似度寻找相关事件。它们分别适合“刚才某段时间发生了什么”和“之前有没有出现某种行为”这两类需求。历史记录带着描述与 change log 返回上下文，因此智能体可以根据第一次检索得到的新线索继续改变查询，而不是只做一次固定检索。

更细的证据由 Deepseek-OCR 和 Grounding DINO 提供，分别负责读文字和根据目标名称检测物体。工具既能处理短期记忆中的指定帧，也能处理长期事件的视觉锚点。一次检索并不自动触发所有工具，而是由智能体判断当前疑点：问标签内容时读取文字，问特定物体时调用检测，再将工具观察加入上下文决定是否继续。工具反馈因此参与后续决策，而不是只作为最终回答的静态附件。

4. Agentic RL：用答案反馈学习取证策略，而不是硬编码调用顺序

智能体采用 ReAct 式多轮交互，在推理、工具动作和观察反馈之间迭代；动作也可以直接结束并回答。训练时，GRPO 针对同一个问题从旧策略采样一组轨迹，用组内奖励均值与标准差归一化得到相对优势，从而不需要单独训练 critic。正文明确奖励只取决于最终答案是否正确：正确为 1，否则为 0，没有报告逐工具监督奖励，也没有给出对调用次数的显式惩罚。

这意味着记忆、OCR 和检测的调用次序不是固定流水线，而是通过答案反馈获得信用分配。论文的工具使用分析表明，训练前超过 96% 的样本落在“不调用工具”或“调用到轮数上限”两个极端，训练后则会按任务选择历史检索或细粒度感知。但不能从这一现象推出 RL 已直接优化时延；正确性奖励仍可能鼓励更长输出。缓存中的完整 GRPO 目标公式排版损坏，这里只解释可辨认的优化机制，不补写作者的精确目标函数。

一个完整示例¶

以下是依据机制构造的说明例，不是论文新增实验。设系统已观察到连续 64 帧的同一绘画事件，短期容量为 32，则第 64 帧进入蓄水池的概率是 \(32/64=0.5\)；即使事件很长，缓存仍限制在 32 帧内，同时有机会保留早先画面。

随后场景切换，新的灰度直方图相关系数低于 0.2，系统开启新事件。历史绘画事件被归档后留下首帧、描述、嵌入和变化日志，而不是完整的 64 帧视频。当用户问“之前拿起的瓶子上写了什么”时，智能体可以先按语义找相关事件，再把事件首帧交给 OCR；若瓶子只在事件后半段出现而摘要又未记录文字，这条取证路径就会失败。

例子的重点是区分“找到了相关事件”和“仍有可验证细节”。分层记忆改善前者，多粒度工具帮助后者，但工具不能突破记忆已经丢掉的信息，这也是实际部署中需要检查的边界。

损失函数 / 训练策略¶

主干为 Qwen3-VL-8B-Instruct，使用 VideoMarathon 标注的 10K 条 MovieChat 样本直接进行 Agentic RL，理由是主干已有基础工具使用能力。默认 1 FPS、短期容量 32、事件阈值 0.2，并在短期图像上附加帧编号与时间戳；正文报告训练和评测使用 8 张 80GB A100。

独立效率实验改用单张 40GB A100 与 vLLM，不能将其视为全部实验的统一硬件配置。正文引用附录 B 的部署细节与附录 C 的 RL 定量结果，但当前缓存止于参考文献，未包含这些附录，因而不补充学习率、组大小、最大交互轮数或未训练模型的准确率。

实验关键数据¶

主实验¶

评测遵守在线约束，只访问问题时间戳之前的视频；训练数据来自 MovieChat，不是下面两项评测集。表中为论文表 1 的 OVO-Bench Overall 和表 2 的 StreamingBench 实时视觉理解 ALL，均按百分制报告，越高越好；不同主干与采样预算的比较不属于严格等算力实验。

方法	主干规模	OVO-Bench Overall	StreamingBench ALL
Qwen3-VL	8B	55.81	70.20
StreamAgent	7B	49.40	74.28
StreamForest	7B	55.57	77.26
GPT-4o	未披露	59.54	73.28
Gemini 1.5 Pro	未披露	63.00	75.69
EventMemAgent	8B	60.75	77.00

EventMemAgent 的短期视觉预算为不超过 32 帧；Qwen3-VL 在 OVO-Bench 用 64 帧，在 StreamingBench 用 0.2–1 FPS，两个在线基线均列为 1 FPS。EventMemAgent 相对 Qwen3-VL 的提升分别为 4.94 和 6.80 个百分点，但包含记忆、工具及额外训练的共同作用。它在 StreamingBench 比 StreamForest 低 0.26 个百分点，在 OVO-Bench 也未超过 Gemini 1.5 Pro。

消融实验¶

下表整理原文表 3–4。固定分段基线每 30 秒切一次，保持其他智能体组件不变；工具消融仅报告 OVO-Bench，因此以“未报告”区分缺失结果与零分。

配置	OVO-Bench	相对完整模型变化	StreamingBench	相对完整模型变化
完整模型	60.75	0.00	77.00	0.00
固定 30 秒分段记忆	58.27	-2.48	75.09	-1.91
去掉目标检测	57.80	-2.95	未报告	未报告
去掉 OCR	58.98	-1.77	未报告	未报告

这组结果支持事件级记忆与专用感知工具都有作用，但没有单独分离事件边界、蓄水池、视觉锚点和 change log 的贡献。另需区分原文主实验的文字与表格：第 4.2 节宣称实时感知和前向主动响应分别超出已有开源方法 4.27 和 1.1 个百分点，而表 1 中本文的 68.29、55.92 对应最强开源对照 Qwen3-VL 的 65.52、55.73，差值实际为 2.77、0.19。笔记保留表格值并指出分歧，不沿用这两项文字提升幅度。

关键发现¶

专用检测工具的 OVO-Bench 总体影响为 2.95 个百分点，大于 OCR 的 1.77；OCR 子任务本身则从 75.84 降至 64.50，说明总体平均会掩盖工具在特定问题上的重要性。
效率实验在单张 40GB A100 上报告中位响应时延约 1.78 秒，视频时长覆盖至 30 分钟；其中 MLLM 生成占 89.4%，工具执行占 1.6%。这是问答响应测量，不是无限视频处理总成本的证明。
原文称 StreamingBench 涵盖 12 项任务，但表 2 实时视觉理解部分实际列出 10 个任务缩写；此处按表 2 的 ALL 报告，不把它扩大为所有任务设置的完整覆盖。

亮点与洞察¶

事件级缓存将“什么时候结束一个语义片段”和“预算满了如何采样”分开。长事件不会仅因达到帧数上限就被机械切成多个重复摘要。
长期记忆同时面向语言检索与视觉取证。变化日志维持叙事关系，视觉锚点则给专用工具一个可处理的对象，两者承担不同信息保留职责。
训练改变的不只是答案生成，还包括是否主动查证。这个思路可迁移到持续观察任务，但迁移前应检查历史记忆是否保存了工具所需的原始证据。

局限与展望¶

作者指出 StreamingBench 更偏重当前内容的精确感知，因此长期记忆的潜力尚未充分体现；现有结果不等于已经验证极长历史推理能力。
本笔记分析：灰度直方图可能把光照或镜头变化当成事件变化，也可能漏掉外观相近但语义不同的动作；1 FPS 和均匀蓄水池采样还可能遗漏短暂关键状态。
本笔记分析：长期存储会随事件数增长，单个首帧和生成摘要也可能形成不可逆的信息瓶颈。更长时间跨度、存储增长曲线以及关键帧保留的独立消融会使结论更有说服力。
证据限制：当前缓存未包含附录 A–E；GRPO 公式抽取损坏，未重建。代码链接来自论文的发布声明，本任务未联网验证仓库是否已开放。

评分¶

新颖性: 4/5，事件级缓存、可再感知的记忆和工具策略训练形成完整方案，单项机制并非全新。
实验充分度: 3/5，有双基准、记忆与工具消融及效率分析，但细粒度记忆消融和可核实的 RL 定量结果仍不足。
写作质量: 3/5，主线清晰，但部分文字提升幅度与表格不吻合，附录缺失也限制实现细节核查。
价值: 4/5，为有限视觉上下文中的主动在线问答提供可复用框架，同时明确暴露了记忆压缩后的证据瓶颈。