GroupMemBench: Benchmarking LLM Agent Memory in Multi-Party Conversations¶

会议: NeurIPS 2026
arXiv: 2605.14498
代码: https://github.com/Jingbo-Y/GroupMemBench
领域: LLM Agent
关键词: 智能体记忆, 多人多方对话, 群体动态, 心智模型, 评测基准

一句话总结¶

针对现有 LLM Agent 记忆系统局限于一对一单用户交互的盲区，本文提出首个面向多人多方对话的群组长程记忆评测基准 GroupMemBench，揭示出现有领先记忆系统在多用户结构瓦解与心智模型词汇漂移下的系统性性能崩溃（平均准确率仅 46.0%）。

研究背景与动机¶

大语言模型驱动的智能体（LLM Agent）在个人助理和工作协同等长期交互场景中得到了广泛应用，其核心依赖于能够从海量历史对话中抽取、整合与检索关键事实的记忆机制（如 MemGPT、Mem0、HippoRAG、Hindsight 等）。然而，现有的智能体记忆系统以及评测基准（如 LoCoMo、LongMemEval、MemoryBench 等）几乎无一例外地建立在严格的双人单用户（dyadic, single-user）交互假设之上。而在现实工作区（如 Slack、Teams、项目频道）中，智能体通常需要长期驻留在多方群体中，面对多人同时发言、交叉讨论以及错综复杂的社交网络结构。

这种单一用户假设向多人多方对话场景迁移时，暴露出三个无法被扁平历史建模的关键维度缺失。首先是复杂的群体动态（Group Dynamics）：多人对话绝非单用户聊天记录的机械串联，而是包含主题分支、嵌套回复（threaded replies）、多方共识建立与决策反复；其次是基于说话人的信念追踪（Speaker-Grounded Belief Tracking）：在多人环境下，说话人的身份（Author Identity）直接成为语义内容不可分割的一部分，相同表述来自不同发言者需触发不同的记忆状态更新，且提问者的身份决定了答案的真实偏好与权限边界；第三是受心智模型驱动的受众自适应语言（Audience-Adapted Language / Theory of Mind）：人类在向不同角色对象沟通时会自适应调整用词（例如工程师口中的“PPO”对应管理层口中的“Alignment”，或系统开发中“Token”指代鉴权凭据而在 NLP 语境中指代文本分词），导致检索增强面临跨角色的剧烈词汇表层漂移。

以往评测无法有效衡量这些多用户属性，现有系统在面对群聊时往往将 user_id 仅用作独立的命名空间，或直接覆盖冲突陈述而非保存共存信念。本文的核心 idea 是：构建一套图驱动的多人对话合成与对抗性提问闭环管线 GroupMemBench，通过解耦对话拓扑结构与受众心智文本生成，并设计绑定提问者身份的六大对抗性评测任务，系统性地对当前智能体记忆架构在群体交互中的记忆抽取、索引与检索极限进行压力测试。

方法详解¶

整体框架¶

GroupMemBench 构建了一个端到端的群组对话合成与评测流程。该系统主要由两大核心管线构成：一是图引导的多方对话合成管线（Graph-Grounded Conversation Synthesis），通过显式图拓扑结构驱动长程连贯讨论；二是提问者绑定的对抗性问题构建管线（Adversarial Query Pipeline with Solve-Judge-Refine），通过对抗搜索确保评测用例的真实难度。

在对话生成阶段，系统解耦了“拓扑结构推进”与“语言模型具象化渲染”，通过动态知识图谱维护项目、领域、阶段及多角色画像，以路径采样指导发言者与上下文选取。在评测构建阶段，六大维度的问题均将提问者身份 $u_q$ 作为一等公民（First-Class Input）注入，使得基准答案显式依赖于提问者的角色、历史与视角。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["环境初始化<br/>领域/主题/阶段/角色画像图谱"] --> B["1. 图引导路径采样与情境上下文组装<br/>频道主帖 / 嵌套回复 / 跨项目桥接"]
    B --> C["2. 拟真扰动注入与心智模型消息生成<br/>噪音注入 / 观点分歧 / 风格抖动 / 决策变更"]
    C --> D["3. 提问者绑定与六维问题设计<br/>将提问者 u_q 作为一等公民输入"]
    D --> E["4. 解答-评判-细化对抗闭环<br/>检索基线迭代攻防，确保真实难度"]
    E --> F["GroupMemBench 评测集<br/>123 主题 / 120K 轮次 / 2.7M Token"]

关键设计¶

1. 图引导路径采样与情境上下文组装：解耦对话拓扑结构与文本内容 为了防止长程多人对话陷入退化循环并具备真实频道的拓扑结构，框架将协作环境显式建模为动态有向图 $\mathcal{G}=(\mathcal{V}, \mathcal{E})$。图节点涵盖领域 $d$、主题 $\tau$、阶段 $\phi$、用户 $u$ 以及生成过程中动态加入的消息节点 $m$。每个阶段 $\phi$ 具有进度状态、负责人和时间窗口；每个用户携带角色、语气、风格与专业度的画像元数据。生成每条新消息时，系统按固定混合概率 $(p_{\text{post}}, p_{\text{reply}}, p_{\text{cross}}) = (0.20, 0.60, 0.20)$ 采样三种图遍历路径之一：频道主帖（Channel Post）、嵌套回复（Threaded Reply）或跨项目桥接（Cross-Project Bridge）。

针对嵌套回复采样，父消息 $m$ 的选择权重结合了无标度网络优先连接、线性时间衰减以及主帖偏置，具体形式为： $$w(m) = (1+r_m)^{1.3} \cdot \mathbb{1}[r_m < 4 \lor 0.35] \cdot \max\left(0.15,\, 1 - \frac{a_m}{20}\right) \cdot (2.0 \text{ if } m \text{ is a post else } 1.0)$$ 其中 $r_m$ 为消息 $m$ 当前的回复计数，$a_m$ 为其与当前消息的消息步数间隔。配合由 LLM 每 8 轮动态维护更新的“阶段记忆台账（Ledger：已决定、未决疑问、待办事项）”，有效保证了长程协作任务的连贯推进，避免信息自言自语或局部死循环。

2. 拟真扰动注入与心智模型消息生成：还原真实团队协作的认知摩擦 为了避免合成数据过于干净理想化，生成管线在消息渲染层引入了四种真实协作扰动策略：（1）细微噪音注入（5% 概率）：包含事实小瑕疵、过时引用或偏离主题的内容；（2）观点分歧推回（25% 回复概率）：显式质疑可行性、挑战前提假设或提出替代方案，杜绝无意义的“我同意”；（3）风格缺陷与抖动（20% 概率）：模拟真实聊天中的碎片输入、错别字或 1–6 词的极简回复；（4）决策变更（5% 合格阶段）：在中途推翻已达成共识的技术方案或排期，并将其时间线与原因记录为评测基准的金标准。在心智模型（Theory of Mind）约束下，用户向不同受众交流时会使用专有黑话，为跨角色理解埋下语义屏障。

3. 提问者绑定与六维问题设计：将提问者身份作为检索的核心条件 与传统只输入 $q$ 的问答评测不同，GroupMemBench 的任务形式定义为 $a = f_{\text{ans}}(q, u_q, \mathcal{M}_T)$，使得答案在同一问题 $q$ 下随提问者 $u_q$ 的变化而变化。评测涵盖六个互补维度：（1）多跳推理（Multi-Hop Reasoning）：通过隐式枢纽消息串联多位发言者分散的证据；（2）知识更新（Knowledge Update）：基于决策反转检验系统能否抛弃旧记忆并锁定最新多方共识；（3）术语歧义（Term Ambiguity）：提问者使用本角色术语（如工程师），而证据由其他角色用异名术语表达（如经理），考验跨角色心智理解；（4）用户隐式推理（User-Implicit Reasoning）：问题采用第一人称“我之前提到的……”，迫使智能体精准追溯提问者的专属档案；（5）时序推理（Temporal Reasoning）：结合相对时间词（如“本周五下班前”）与消息时间戳推理因果顺位；（6）拒答能力（Abstention）：针对群聊中未提及的空白事实进行幻觉抑制。

4. 解答-评判-细化对抗闭环：确保评测集难度的客观自洽 为了避免人工编写问题带来的主观偏差与过低门槛，问题生成采用了四阶段解答-评判-细化（Solve-Judge-Refine）对抗循环： - 锚点选择：通过轻量过滤器与分类器定位包含实体与答案的候选消息； - 初始提问生成：以锚点消息为证据生成问答对草稿； - 迭代攻防验证：利用基于检索的 baseline 智能体对问题进行解答，并由 GPT-5 作为裁判；若基线智能体轻松答对，则通过多轮迭代增加干扰项与推理跳数；只有当强检索基线明确答错时，该问题才被正式收录； - 输出固化：记录最终问题、标准答案、提问用户 ID 及跨轮次证据链元数据。

实验关键数据¶

主实验¶

评测涵盖两大主流范式共 8 种方法：无损文档级检索增强（BM25、Dense Embedding、GraphRAG）以及主动维护长期记忆的智能体系统（Mem0、MemGPT、A-Mem、HippoRAG、Hindsight）。记忆摄取统一使用 gpt-4o-mini，检索问答阶段使用 GPT-5，密集检索使用 text-embedding-3-large。

方法分类	方法	Multi-Hop	Update	Ambiguity	Implicit	Temporal	Abstention	全局平均
RAG 基线	BM25	40.11	25.23	14.15	40.82	54.94	77.98	43.22
RAG 基线	text-embedding-3-large	36.26	23.36	21.70	46.94	32.72	75.23	38.04
RAG 基线	GraphRAG	12.09	14.02	19.81	14.29	05.56	66.97	20.56
智能体记忆系统	Mem0	21.98	04.67	11.32	20.41	16.67	82.57	25.73
智能体记忆系统	MemGPT	22.53	17.76	20.75	28.57	12.42	77.98	28.15
智能体记忆系统	A-Mem	35.16	22.43	26.42	46.94	23.46	67.89	35.10
智能体记忆系统	HippoRAG	39.56	27.10	30.19	42.86	29.63	75.23	39.72
智能体记忆系统	Hindsight	42.31	17.76	37.74	40.82	54.94	77.06	46.01

消融与开销分析¶

下表展示了各主流智能体记忆系统在四领域上的平均摄取成本（LLM 调用与 Embedding 费用）与磁盘存储开销对比。

记忆系统	摄取成本 (USD/Domain)	磁盘占用 (GB)	帕累托前沿状态	核心设计利弊
MemGPT	0.43	0.69	低成本极点	仅存 embedding，开销极低但准确率被封死在 28.15%
HippoRAG	8.64	5.76	帕累托最优前沿	实体中心图结构带来较好的实体检索，性价比突出
A-Mem	26.13	6.60	被帕累托支配	摄取成本高达 26 美元，但效果全面落后于 HippoRAG
Mem0	18.41	0.99	被帕累托支配	扁平提取原子事实，知识更新严重崩溃（4.67%）
Hindsight	32.10	4.25	高性能极点	多轮反思与重写达到最高 46.01%，但成本极其高昂
GraphRAG	12.51	3.00	表现严重落后	社区摘要在多方快速问答中丢失原子上下文，均分仅 20.56%

关键发现¶

现有记忆摄取过程在破坏多方拓扑特征：简单的原始文本词频检索 BM25（平均 43.22%）竟然严格战胜了 4 种复杂的智能体记忆系统（Mem0、MemGPT、A-Mem、HippoRAG），表明现有系统在摄取（Ingestion）阶段将多用户历史扁平压缩为原子事实时，反而抹除了多人问答依赖的拓扑回帖关系与发言者上下文。
检索而非推理构成了主要瓶颈：错误分解显示，非拒答问题中 41%–79% 属于检索失败（未召回包含黄金答案的消息），而黄金证据被召回时的推理失败率仅占 7%–24%；表明在多方长文本中“如何找回正确消息”仍是根本难关。
术语歧义成为跨越检索后的绝对硬伤：在条件准确率 $P(\text{correct} \mid \text{gold retrieved})$ 评估中，时序推理在检索成功后几乎完美解决；唯独术语歧义（Term Ambiguity）在所有基线中条件准确率均压制在 40% 以下，证明角色心智模型引起的词汇漂移对当前的表示与理解范式构成了根本性挑战。

亮点与洞察¶

跳出单用户舒适圈的范式突破：敏锐指出了现有长程记忆系统将多用户 user_id 仅视作独立数据隔离分区的重大缺陷，确立了多人多方会话下群体动态、说话人信念追踪和心智语言自适应三大评测维度。
解耦结构拓扑与语言生成的图采样管线：通过动态图（领域-主题-阶段-消息）与优先连接、时间衰减加权，巧妙解决了长程合成对话极易陷入语义复读和无主题闲聊的顽疾，且保留了 Teams 风格的嵌套盖楼机制。
严谨的对抗过滤机制：引入 Solve-Judge-Refine 机制，只有能够击败强检索基线的问题才被接纳入库，从机制上杜绝了由于长文本提示过松导致的基准“天花板虚高”现象。

局限与展望¶

真实工作流与权限隔离的简化：当前基准假设群内所有消息对智能体完全透明，而现实中多人企业协同常涉及私密频道、群内角色权限（RBAC）与机密信息隔离，未来需要引入受限可见性机制。
多模态与异步协作未覆盖：目前的群聊纯由文本驱动，尚未纳入代码片段、工单链接、屏幕截图和异步日程提醒等多模态协作元素。
缺乏原生多用户群组记忆架构方案：论文重点在于提出基准与揭示现有架构崩溃，尚未提出一种在摄取阶段兼顾拓扑保存、说话人解耦与心智词汇对齐的新型记忆组件。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性确立多人多方交互下的智能体记忆评测范式，直击现有单用户架构的盲区。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大专业领域、12 万轮真实合成对话、8 种主流记忆/RAG 系统对比，并包含详细的开销与错误归因分析。
写作质量: ⭐⭐⭐⭐⭐ 逻辑链路清晰严谨，从现实痛点剖析、形式化数学建模到对抗评测设计层层递进。
价值: ⭐⭐⭐⭐⭐ 为未来协作型智能体记忆系统的架构设计（如显式说话人感知记忆、群组共识跟踪）提供了不可或缺的评测基准。