WorldMemArena: Evaluating Multimodal Agent Memory Through Action–World Interaction¶

会议: NeurIPS 2026
arXiv: 2605.29341
OpenReview: https://openreview.net/forum?id=o06F424mDf
论文: https://arxiv.org/abs/2605.29341
代码: https://github.com/WorldMemArena/WorldMemArena
领域: 多模态 VLM
关键词: 多模态智能体记忆, 动作-环境交互回环, 生命周期诊断, 终身演化, 智能体执行

一句话总结¶

提出了 WorldMemArena 基准，将多模态智能体记忆形式化为涵盖写入、维护、检索和使用四阶段的“动作-环境交互回环”，通过 461 个多会话任务与细粒度金标证据链，首次系统解耦并对比了长上下文、人工设计记忆与 Harness 自主管理记忆三大范式。

研究背景与动机¶

多模态大语言模型正在加速从单轮对话与问答系统演进为在动态环境中长程运作的自主智能体。在这类长程交互任务中，记忆机制不能再仅仅充当历史对话文本的静态缓存，而必须充当核心认知中枢：负责跟踪演变的任务状态、从环境反馈和试错中沉淀经验，并在未来的关键决策节点精确提取有效证据。然而，现有针对智能体记忆的评测基准普遍存在三大根本缺陷：其一，测试场景大多局限于超长文本对话或静态文档问答，仅测试模型能否记住过去的内容，而未能考察模型如何利用过去的经验指导未来的行动；其二，评测指标严重依赖任务终点的单一问答准确率，无法将记忆失败精准归因到信息写入、状态维护、检索召回还是下游使用等具体生命周期环节；其三，现有基准依然高度以文本为中心，往往在评测前将视觉观察粗暴转化为文本字幕，忽略了真实世界中复杂视觉线索与时空状态的动态演进。

雪上加霜的是，以 OpenClaw、Codex 等为代表的新一代智能体调度框架（Agent Harnesses）使智能体能够在交互过程中自主编写、检索和重构自身记忆，打破了传统手工设计记忆模块与决策策略之间的清晰界限。这就引出了一个亟待解答的深层问题：在复杂交互世界中，人工专门设计的记忆架构与端到端自主管理的记忆范式究竟孰优孰劣？现有的静态长文本评测对此完全无能为力，因为它们既无法提供具有因果状态演进的连续交互轨迹，也缺乏对记忆全生命周期的可观测诊断标注。

为了从根本上弥补上述空白，本文将多模态智能体记忆重塑为跨越多个会话的“动作-环境交互回环”（Action–World Interaction Loop），构建了包含 461 个长程多模态交互任务的 WorldMemArena 基准。核心 idea：将多模态智能体记忆解耦为写入、维护、检索和使用的四阶段可观测生命周期，通过终身演化与智能体执行双轨交互范式及金标证据链标注，实现对长上下文、人工设计与 Harness 记忆范式的细粒度阶段归因评测。

方法详解¶

整体框架¶

WorldMemArena 将每个交互实例建模为一个长程智能体-环境交互过程。在时间步 \(t\) 下，环境具有潜在真实状态 \(z_t\)，智能体接收部分可观测的输入 \(o_t = \Omega(z_t)\)，结合当前的记忆状态 \(m_t\) 生成动作 \(a_t = \pi(o_t, m_t)\)；环境随后转移到新状态并返回反馈 \((z_{t+1}, f_t) = \mathcal{E}(z_t, a_t)\)。完整的轨迹按会话划分为 \(\tau = \tau^{(1)} \circ \cdots \circ \tau^{(S)}\)。智能体在每个会话内只能看到局部上下文，但外部世界状态跨会话持续演化，后续决策必须依赖记忆跨时空检索以往证据。

整个基准的交互评测框架包含两大任务轨（终身演化与智能体执行）和贯穿记忆全生命周期的四个阶段性诊断节点，其系统流向如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多会话多模态交互输入<br/>终身演化 / 智能体执行轨迹"] --> B["阶段 1：观察写入 (Observe to Write)<br/>提取记忆增量与重要性加权"]
    B --> C["阶段 2：更新整合 (Update & Consolidate)<br/>陈旧事实覆盖与冲突合并"]
    C --> D["阶段 3：决策检索 (Retrieve for Decision)<br/>面向决策意图的跨模态排序"]
    D --> E["阶段 4：使用执行 (Use & Act)<br/>多维能力轴评测与证据忠实度"]
    E --> F["输出：全生命周期解耦诊断与综合排行榜"]

关键设计¶

1. 四阶段可观测记忆生命周期：解耦记忆故障的精准定位

传统方法往往只观测最终决策的成败，导致无法判断系统是因为“没存下来”、“没更新旧信息”、“检索没召回”还是“拿到证据却不用”。WorldMemArena 提出了架构无关（Architecture-agnostic）的四阶段诊断模型： - 观察写入（Observe to Write）：评估智能体从当前会话轨迹 \(\tau^{(s)}\) 中有选择地提炼有用证据的能力，生成记忆增量 \(\Delta_s = \text{Write}(m_{s-1}, \tau^{(s)})\)，避免无脑全量倾倒对话上下文。 - 更新整合（Update and Consolidate）：评估智能体如何将新信息与已有记忆 \(m_{s-1}\) 融合，更新状态为 \(m_s = \text{Maintain}(m_{s-1}, \Delta_s)\)。长程交互不是简单的信息追加，当用户偏好变更或物理环境状态转移时，必须显式重构或作废陈旧记忆。 - 决策检索（Retrieve for Decision）：在面临下游查询 \(q\) 时，检索模块提取相关证据 \(R_{s,q} = \text{Retrieve}(m_s, q)\)。评测不仅考察语义相似度，更强调与最终决策关联的必要证据召回率与排序质量（NDCG）。 - 使用执行（Use and Act）：模型基于检索证据输出最终结果 \(\hat{y}_{s,q} = \text{Answer}(q, R_{s,q})\)，系统检测模型是否忠实使用检索信息、是否屈从于幻觉或遗漏关键事实。

2. 终身演化与智能体执行双轨交互范式：覆盖多模态状态演变全貌

为支撑动态回环，基准设计了互为补充的两个子集： - 终身演化（Lifelong Evolution）：面向跨会话持续演变的个人与任务状态。涵盖学术、软件、医疗、金融、教育和初创等 6 个专业垂直领域任务（18 个样本），以及全面人生轨迹领域（20 个样本）。在此模式下，对话是表层载体，底层则伴随持续变更的项目里程碑、日程约束与多模态附件（表单、图表、截图），要求智能体持续维护一致的用户与任务世界模型。 - 智能体执行（Agentic Execution）：真实抽取自具身与 GUI 交互轨迹（来源于 EmbodiedBench、VisualAgentBench、Agent-Arena 等）。包含 6 类桌面 GUI 子类和 4 类具身控制子类，直接保留原始动作、工具调用反馈与视觉环境转移。智能体必须从动作试错、环境报错和逐步变化的截图/观测中提取经验，直接考验因果经验复用能力。

3. 全维度阶段金标标注与多范式横向统一评测协议

针对每个会话切片，数据构建管线标注了四类核心结构化信息：金标记忆点（Gold Memory Points，加权标记该会话应保留的核心事实）、状态更新点（State Updates，标记被后续会话覆盖的陈旧信息）、干扰项（Interference Points，包含随口玩笑、过时修正与噪声，用于测试干扰拒绝能力）以及问答证据链（Evidence Points，明确指出每道题依赖哪些图文记忆）。在度量方面，提出综合指标体系： - 记忆质量指标：加权记忆召回率（Recall）、记忆真实度/幻觉/无关比例（Corr / Hallu / Irrel）、状态更新处理得分（Update，完全覆盖计 1.0，新旧共存计 0.5，仅存旧事实计 0.0）以及干扰拒绝率（IntRej）。 - 检索与问答指标：检索覆盖度（RC）、Recall@K、NDCG@K，以及问答准确率（QA-C）、问答幻觉率（QA-H）和问答遗漏率（QA-O），结合 F1 与 BLEU-1。评测统一覆盖了长上下文大模型、人工设计记忆系统（RAG 与外挂记忆模块）以及新兴 Harness 记忆智能体三大范式。

实验关键数据¶

主实验¶

主实验在统一基座（外挂记忆系统与 RAG 均基于 GPT-5.4-nano，评测统一采用 GPT-5.4-mini 作为裁判）下评测了不同记忆机制的阶段质量与最终问答效果。

方法分类	模型 / 系统	记忆召回 (Recall↑)	记忆真实 (Corr↑)	记忆更新 (Update↑)	干扰拒绝 (IntRej↑)	检索覆盖 (RC↑)	问答正确 (QA-C↑)	问答幻觉 (QA-H↓)	问答遗漏 (QA-O↓)	F1↑	BLEU-1↑
RAG	Qwen3-VL-Embedding-8B	86.22%	98.15%	59.02%	28.21%	73.44%	51.86%	28.02%	20.12%	32.21	17.84
RAG	UniversalRAG	84.56%	96.90%	57.98%	27.34%	60.93%	39.62%	31.67%	28.70%	27.06	14.16
外挂记忆	A-Mem	52.54%	96.60%	58.86%	58.94%	74.19%	54.63%	22.94%	22.43%	34.40	19.86
外挂记忆	MemGPT	85.20%	96.98%	58.18%	25.44%	84.99%	57.81%	22.05%	20.14%	33.21	18.33
外挂记忆	SimpleMem	78.84%	96.96%	53.43%	24.79%	48.03%	42.93%	25.60%	31.47%	26.00	12.30
外挂记忆	Omni-SimpleMem	58.48%	72.92%	52.65%	43.22%	62.55%	43.03%	32.24%	24.72%	25.86	12.52
外挂记忆	M2A	86.83%	97.47%	56.41%	23.42%	64.62%	50.14%	29.29%	20.57%	31.77	17.54
外挂记忆	ViLoMem	85.96%	81.61%	55.73%	24.93%	70.71%	49.77%	25.20%	25.02%	29.51	15.63
外挂记忆	MIRIX	64.79%	73.50%	56.97%	31.42%	61.90%	44.46%	20.79%	34.75%	24.90	12.65
外挂记忆	AUGUSTUS	84.63%	96.66%	57.42%	28.85%	57.33%	42.01%	32.38%	25.61%	27.24	13.87

基座模型与 Harness 自主管理记忆对比¶

基准进一步对比了纯长上下文直接拼接方案与利用现代 Harness 自主管理记忆方案在端到端问答上的表现：

范式分类	评估模型 / 系统	问答正确率 (QA-C↑)	问答幻觉率 (QA-H↓)	问答遗漏率 (QA-O↓)	F1 分数↑	BLEU-1 分数↑
长上下文基座	DeepSeek V4	69.13%	11.46%	19.41%	28.18	13.61
长上下文基座	GPT-5.4-mini	58.27%	27.86%	13.87%	21.31	8.76
长上下文基座	Gemini 3 Flash	51.69%	23.69%	24.62%	22.93	10.32
长上下文基座	Qwen3.5 plus	51.05%	16.90%	32.05%	21.04	8.68
长上下文基座	Claude Haiku 4.5	36.71%	25.47%	37.83%	22.05	10.79
Harness 自主记忆	Codex (GPT-5.4-nano)	53.62%	20.76%	25.62%	32.56	10.12
Harness 自主记忆	OpenClaw (DeepSeek V4)	50.29%	15.57%	34.14%	28.38	18.16
Harness 自主记忆	OpenClaw (GPT-5.4-nano)	48.31%	19.55%	32.13%	30.32	15.71

关键发现¶

记忆存储质量与最终问答效果严重脱钩：M2A 和 Qwen3-VL-Embedding-8B 在记忆写入召回上达到了 86% 以上的高水准，且正确率超过 97%，但最终的 QA-C 仅徘徊在 50%-51%。这表明存储了正确事实绝不等于能够在需要做决策的时刻有效检索并忠实利用。
视觉证据利用是多模态记忆的核心瓶颈：尽管 ViLoMem 和 MIRIX 引入了原生多模态记忆表征，但在最终任务上的表现反而不如纯文本驱动的 MemGPT 和 A-Mem。分析表明，多模态交互产生海量视觉冗余，系统往往将图像压缩为不完全的文本摘要（Captions），导致关键空间、状态转移和细粒度视觉信息在检索与推理阶段严重丢失。
普遍存在“只增不删”的静态堆积问题：几乎所有人工设计记忆系统的 Update 处理率均停留在 52%-59% 之间，干扰拒绝率普遍低于 30%（仅 A-Mem 达到 58.94%）。智能体在面对世界状态更新时大多采用单纯 Append 操作，造成新旧知识冲突并在决策时引发严重幻觉。
Harness 自主管理更灵活但计算开销巨大：Harness 类智能体能够根据环境反馈自适应维护文件或数据库记忆，在简单任务上展现出强适应性；但由于依赖多次推理调用与自省循环，单任务耗时与 Token 消耗极高，且同一骨干在不同 Harness 架构下表现差异悬殊。

亮点与洞察¶

将记忆从“静态文档快照”重塑为“动作-环境交互回环”：跳出了传统长文本记忆评测单纯比拼上下文窗口与关键词检索的旧套路，将记忆置于智能体观察、行动、获得反馈、更新状态的真实因果演进中。
全生命周期可观测性与精准归因诊断：通过密集标注金标点、状态更新、干扰项和证据链，使得研究人员能清晰定位模型到底是“写入漏记”、“更新覆盖失败”、“检索排序靠后”还是“阅读理解故障”，为下一代多模态记忆架构优化提供了手术刀式指导。
对 Sutton 苦涩教训（Bitter Lesson）的深入实证探讨：系统对比了“人工精心设计的固定管道（RAG/外挂结构）”与“通用模型配合自主 Harness 管理”两大路线，揭示了人工设计记忆在跨领域自适应上的僵化局限与 Harness 机制的稳定性短板。

局限与展望¶

下游决策仍以探针式 QA 为主要代理：尽管场景源于真实轨迹与交互回环，但最终评测依然主要通过检查点问答（Checkpoint QA）衡量记忆有效性，未能完全闭环到让智能体在虚拟环境中重新执行长程复杂任务并以任务完成率（SR）为终极奖赏。
长时多模态表征开销与延迟亟待优化：基准揭示了密集视觉观测在长程历史中带来的巨大计算与存储负担，当前评估为控制开销对每道题图片数做了上限约束，未来需要更高效的原生多模态状态压缩表示。
自主遗忘与冲突消解机制仍显初级：评测表明现有系统普遍缺乏优雅的主动遗忘与信念修订机制，亟待探索结合强化学习与交互压力驱动的端到端记忆塑形训练。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次将智能体记忆形式化为四阶段交互生命周期并建立多模态基准]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 461 个长程任务、2.4 万问答对，横跨三类主流范式十余种模型系统]
写作质量: ⭐⭐⭐⭐⭐ [数学形式化清晰严谨，生命周期划分合理，图表与实验分析极其透彻]
价值: ⭐⭐⭐⭐⭐ [指明了多模态记忆领域存储与使用脱节的核心痛点，具有极强的基石导向意义]