SMMBench: A Benchmark for Source-Distributed Multimodal Agent Memory¶

会议: NeurIPS 2026
arXiv: 2605.15710
论文: https://arxiv.org/abs/2605.15710
代码: https://huggingface.co/datasets/HuacanChai/SMMBench
领域: 多模态 VLM
关键词: 多模态智能体记忆, 源分布式记忆, 跨源推理, 冲突消解, 智能体评测基准

一句话总结¶

针对现有评测多局限于单一预组装上下文的弊端，本文提出首个源分布式多模态智能体记忆评测基准 SMMBench，涵盖 264 个独立源与 1,877 个样本，评测跨源证据检索、对齐、时序冲突消解与动作执行，揭示出当前主流记忆与检索系统在跨源协同上的严重瓶颈。

研究背景与动机¶

多模态智能体（Multimodal Agents）正逐步成为办公协同、桌面助理与企业生产力环境中的持久伴侣。在真实应用场景中，回答复杂问题或做出决策所需的关键事实往往不是事先打包在一个整齐的提示词上下文中，而是在漫长的时间线上，零散分布在群聊记录、私信对话、个人资料卡、表格数据、截图以及随路文档等多种形态各异的独立载体中。现有多模态长上下文评测（如 MILEBench、Mementos）和会话记忆基准（如 Mem-Gallery）在推进长序列建模上取得了重要进展，但其评测环境几乎普遍建立在单一、预先缝合好的连贯上下文或统一检索语料库之上。

这种设定在评估持久智能体记忆能力时掩盖了一个深层次矛盾：智能体面临的核心瓶颈不仅是读取海量长文本，而是如何跨越彼此孤立、具有各自独立语境与通信目的的「源对象（Source Objects）」去检索并聚合证据。真实世界中的多个源往往彼此割裂，单一源仅包含局部不完整线索，甚至在不同权限与时间戳下存在相互冲突的信息；若智能体无法主动穿透这些局部边界并识别多源之间的事实关联，再强大的长序列处理能力也会在跨源割裂面前失效。

为了填补这一评测空白，研究需要从「单一拼接语料下的事实召回」转向真实的「源分布式多模态证据重组」。本文的核心 idea 是构建首个面向源分布式多模态智能体记忆的基准 SMMBench，显式约束关键答案证据必须分散于至少两个独立源且单源无法独立求解，系统化评测多模态智能体在跨源推理、冲突消解、偏好推断和落地动作执行等核心维度上的记忆整合能力。

方法详解¶

整体框架¶

SMMBench 的整体目标是建立一个能够逼真模拟真实长周期多源交互环境的基准评测体系。评测环境由一组具有独立上下文边界与生成目的的源对象集合 \(\mathcal{S} = \{S_1, S_2, \dots, S_m\}\) 构成，其中每个源 \(S_i\) 包含若干具有内容 \(x_{i,j}\)、源身份标识 \(s_i\) 与时间戳 \(\tau_{i,j}\) 的观测项 \(o_{i,j} = \langle x_{i,j}, s_i, \tau_{i,j} \rangle\)。智能体依全局时序接收多源观测流 \(\mathcal{O}\) 并维护自身外部记忆状态 \(M_t\)。当面对最终查询 \(q\) 时，智能体需从累积记忆中检索出相关单元并合成答案或生成精准的动作调用。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多源原始数据收集<br/>QA、图表、文档与对话数据"] --> B["QA 证据标准化与必要性过滤<br/>模态掩码与唯一性校验"]
    B --> C["多源对话环境仿真<br/>并行群聊/私聊角色交互流"]
    C --> D["源感知时序证据注入<br/>局部脚手架与时序约束植入"]
    D --> E["源分布式记忆环境构建<br/>264 个独立源 + 55 种子任务"]
    E --> F["智能体评测与能力诊断<br/>跨源推理 / 冲突消解 / 偏好 / 工具调用"]

SMMBench 的构建全流程紧扣「真实分散性」与「不可单源破解性」两大原则，通过流水线式三阶段生成高质量评估实例，并配备全方位的质量过滤漏斗。

关键设计¶

1. QA 证据标准化与模态必要性过滤：从根源消除单线索与单模态作弊捷径 为了确保评测能够严格考察跨源信息整合能力，基准从 ChartQA_Pro、SlideVQA、MMDocRAG、MMCV、MLLMKC、MMKE、MMPB、LifeSim 和 M3Bench 等多源公开数据集汇总原始监督样本。所有原始样本被统一转化为包含明确模态归属的离散证据单元集合。为了杜绝模型仅凭常识或单一证据直接破题，研究团队引入了严格的模态必要性消融测试：对候选样本的模态证据逐一执行掩码遮盖，要求强大的评估模型在缺失任一证据项时均无法稳定得出黄金答案。只有当全部证据项共同构成最小必要集 \(\mathcal{E}^*(q)\) 时，样本才得以保留。在初步过滤中，原始收集的 17,115 条候选经正确性与必要性筛选后仅保留 1,877 个严格依赖多证据的高质量样本。

2. 多源对话环境仿真与角色一致性建模：还原有机的并行交互流 真实办公环境中不同群聊或对话具有完全不同的通信主题与参与人圈层。SMMBench 并不直接生成孤立问答，而是先实例化一组带有预设画像（Profile）的交互智能体，将它们分配进多个并行展开的群聊频道和一对一私信线程中。针对选定的主题规划，对话生成器基于高层语义引导多轮自然交互，涵盖澄清、反驳、展开与话题切换等丰富的言语行为，且在此时完全不接触评测问题的黄金证据。这一设计保证了生成的长期对话流具有自然的口语节奏、背景闲聊和真实的信息密度波动，为后续证据的隐藏与分布提供了逼真的宿主环境。

3. 源感知时序证据注入与跨源脚手架植入：确立严格的源分布约束与时序因果 在证据落盘阶段，算法将相互补充或存在更新冲突的黄金证据分散路由至不同的源对象中（平均每个 QA 样本覆盖 2.82 个独立源）。为保证证据在宿主语境中的自然过渡与可读性，构建流程在每个待插入证据周围合成了定制化的局部微线程脚手架（Local Scaffold），使得多模态截图或表格能够以自然交流的姿态融入对话上下文，杜绝生硬拼接带来的表面捷径。针对冲突消解任务，系统施加了严格的时序因果约束：所有更新的或更具权威性的事实证据，其时间戳必须被强制调度在陈旧冲突证据的若干轮次之后，从而严格支撑关于时间演进和证据覆盖的因果推理。

4. 四大核心能力与五维任务矩阵：多粒度考察从记忆检索到动作落地 SMMBench 围绕真实智能体记忆瓶颈设立了五类代表性任务，全面映射四大核心能力： - 单跳问答（Single-Hop QA）与多跳问答（Multi-Hop QA）：重点考察智能体从不同源抽取互补证据并完成单步或复杂多步逻辑归纳的跨源推理能力； - 冲突消解（Conflict Resolution）：环境中同时存在过期或被修正的信息，要求智能体基于时序与信息源权威度识别最新事实； - 偏好推断（Preference Reasoning）：从跨越多个对话与图像的碎片化用户行为中提炼出隐含的个性化偏好； - 函数调用（Function Calling）：紧密贴合实际生产力工具调用，智能体必须从分散的多源信息中准确提取结构化参数，构成精确的执行调用，评测记忆转化为落地动作的能力。

一个完整示例¶

以基准中典型的会议日程跨源推理为例： 1. 源 A（部门大群）：项目经理在 2026-11-10 发布文字通知：“技术研讨会 A 的具体举办城市已更新至附件表格，请各项目负责人查阅”。 2. 源 B（共享文档附件）：表格中记录“研讨会 A 举办地点：纽约中心会场；会议时间：11月13日”。 3. 源 C（个人手机日历截图）：智能体在相册源中观察到 John 的日历行程截图，显示其仅在 11月13日当天被预订了研讨会 A 的参会行程。 4. 最终查询与动作生成：用户提问“John 将在何时前往哪个城市参加什么会议？”并要求调用订票函数 book_flight(passenger, destination, date)。单一源均无法直接获知全部参数；智能体必须先在源 A 捕获线索，跨源索引到源 B 提取城市与日期，再与源 C 的个人绑定，最终精准输出 book_flight("John", "New York", "2026-11-13")。

实验关键数据¶

主实验¶

在 SMMBench 上，基线评测涵盖了文本+描述（Text+Caption）与原生多模态（Native MM）两大家族的 13 种代表性记忆与检索方法，统一以 qwen3-vl-235b-instruct 作为底层骨干模型，检索候选预算默认设为 \(K=20\)。问答任务汇报准确率，函数调用汇报严格精确匹配率（Exact Match）。

模态设置	方法类型	代表性基线	单跳 (S.H.)	多跳 (M.H.)	冲突消解 (C.R.)	偏好推断 (P.R.)	函数调用 (F.C.)	综合平均 (Overall)
参考上限	黄金证据	Golden Evidence Baseline	0.8753	0.7768	0.8365	0.9699	0.2778	0.7473
随机基线	随机猜测	Random Baseline	0.2500	0.2500	0.2500	0.2500	0.0000	0.2000
Text + Caption	记忆型 (Memory)	Short-Term Mem.	0.2990	0.2292	0.2246	0.2702	0.0093	0.2064
Text + Caption	记忆型 (Memory)	Reflexion Mem.	0.5385	0.4861	0.3962	0.3064	0.0278	0.3510
Text + Caption	记忆型 (Memory)	MemGPT	0.5734	0.4722	0.3326	0.4389	0.0370	0.3708
Text + Caption	记忆型 (Memory)	Mem0	0.7430	0.5903	0.3665	0.2909	0.0398	0.4061
Text + Caption	检索型 (RAG)	Native RAG	0.7797	0.6667	0.4068	0.3683	0.0741	0.4591
Text + Caption	检索型 (RAG)	HMRAG	0.8129	0.7153	0.5191	0.3081	0.1111	0.4933
Native MM	记忆型 (Memory)	MemGPT	0.3497	0.5139	0.2691	0.1997	0.0241	0.2713
Native MM	记忆型 (Memory)	MIRIX	0.5507	0.3472	0.4025	0.2031	0.0769	0.3161
Native MM	检索型 (RAG)	VRAG	0.4913	0.4514	0.3919	0.1842	0.0463	0.3130

消融实验¶

1. 源集中 vs. 源分布式设置对照消融 为了严格验证性能下降究竟来自「文本规模增大」还是「源分布分散」，作者在控制 QA 问答、黄金证据内容与上下文长度完全不变的前提下，通过数据块对调构建了源集中（Source-Concentrated，所有关键证据归并至单一源）与源分布式（Source-Distributed，证据分散至多个源）的严格对照实验：

基线模型	源集中配置 (Overall)	源分布式配置 (Overall)	性能变化幅度 (Diff)	关键观察
Mem0	0.5215	0.4061	-0.1154 (-22.1%)	集中于单源时性能大幅上升，跨源检索引发严重证据遗失
MemGPT	0.4480	0.3708	-0.0772 (-17.2%)	跨源分散直接破坏了上下文关联性，多跳问答断链显著
MIRIX	0.3120	0.2496	-0.0624 (-20.0%)	散布在多源导致多代理记忆归纳模块难以聚合完整局部线索

2. 模态消融与输入表示对比 在直接向主干模型提供支持事实的上限探索中，不同模态配置对最终准确率的影响如下：

输入证据配置	Qwen3-VL-235B 综合得分	GPT-4.1 综合得分	结论与分析
完整多模态证据 (Full)	0.7473	0.7812	提供全部原始文本与多模态证据时的性能参考上限
文本 + 图像描述 (Caption)	0.6934	0.7305	描述转换带来了约 5% 的信息衰减，但仍保留主要事实语义
纯文本剔除多模态 (w/o MM)	0.6380	0.6842	证明视觉与文档图像中承载了大量不可替代的决策证据
纯视觉剔除文本 (w/o Text)	0.3210	0.3850	文本对话仍是串联跨源逻辑、指令意图与时间戳的主干载体

关键发现¶

源分布是独立的硬核瓶颈：实验证明，即便维持相同的上下文总长度与相同的黄金证据文字，单纯将证据分散在不同的独立源对象中，就会导致全部主流基准发生 17%～22% 的断崖式性能滑坡。这证明多源割裂属于一种不同于常规长文本建模的独立认知瓶颈。
检索型与记忆型系统的能力侧重点显著分化：分层检索（如 HMRAG）依靠强大的嵌入相似度与层级检索在单跳（0.8129）和多跳（0.7153）事实定位上显著占优；而以 MemGPT 为代表的状态记忆系统在偏好推断等需要从漫长历史中捕捉连续行为模式的场景中更显韧性，但两类架构在面对函数调用的精准参数合成时均近乎失效。
原生多模态并非灵丹妙药：直接赋予模型读取多模态图像/文档的原生能力并不必然带来提升（如 MemGPT 在切换到原生多模态后综合评分由 0.3708 下滑至 0.2713）。其核心症结在于高维视觉特征加剧了跨源检索池的语义噪声，若系统缺乏可靠的跨源跨模态对齐机制，原生模态的引入反而会干扰记忆检索。
错误诊断揭示分层失控现象：在对 600 例失败预测的细粒度诊断中，分布式证据检索丢失（Distributed Evidence Missing）占据主导地位（61.8%），跨源事实整合错误（Cross-Source Composition Error）占 16.5%，函数执行参数错误占 8.2%，时序冲突证据误用占 6.8%。这表明智能体首先卡在「找不齐证据」的访问层，继而又卡在「合并不好、分不清时效」的利用层。

亮点与洞察¶

切中智能体长期记忆的核心认知盲区：敏锐地指出实际生产环境中的多模态记忆绝非单一整齐的对话流，而是具有独立局部边界、彼此碎片化的多源生态，为多模态智能体评测开辟了全新的源分布式视角。
严谨的最小充分证据构造闭环：通过三阶段流水线将公开基准的真实图表/文档转化为多源线索，并施加模态与单证据消融双重校验，从机制上杜绝了依靠单源捷径或常识先验作弊的可能。
极具迁移价值的现实任务导向：将评测终点延伸至真实环境下的函数调用与精确动作预测，彻底暴露了现有前沿模型在「从零散记忆到精确执行」路径上的严重代沟，为下一代端到端智能体记忆架构的研发提供了关键试金石。

局限与展望¶

作者承认的局限：目前的评测环境依然属于静态历史回放模式，尚未完全实现智能体在动态、交互式环境下的主动式多轮反思、主动多源跳转与探索性记忆更新。
自主观察发现的局限：虽然基准涵盖了 264 个源与丰富的对话交互，但大部分非对话源（如 PDF 文档、图片）主要作为被动附件嵌入到聊天中，现实操作系统中跨软件（如浏览器、本地 IDE、独立数据库、即时通讯工具）间的真实层级目录和权限隔离体现得还不够深入。
改进方向：未来可将 SMMBench 升级为包含沙箱操作环境的交互式交互基准，允许智能体自主调用 search_source、open_file、filter_date 等底层操作系统 API 进行主动跨源证据搜集，进一步考察智能体在探索成本约束下的主动记忆调度策略。

评分¶

新颖性: ⭐⭐⭐⭐⭐ (首次系统性定义并形式化了多模态智能体的源分布式记忆问题，打破了单一预制上下文评测的范式束缚)
实验充分度: ⭐⭐⭐⭐⭐ (对比了涵盖记忆与检索两大家族的 13 种代表性方法，涵盖模态消融、源集中对照、检索预算分析与深层错误诊断，论证极其详实)
写作质量: ⭐⭐⭐⭐⭐ (问题形式化严谨清晰，实验设计逻辑环环相扣，图表详实且极富信息密度)
价值: ⭐⭐⭐⭐⭐ (为解决大模型智能体落地实际操作系统与办公助理场景时的多源长效记忆与工具调用痛点指明了关键突破方向)