Personalize-then-Store: Benchmarking and Learning Personalized Memory for Long-Horizon Agents¶

会议: NeurIPS 2026
arXiv: 2605.25535
OpenReview: https://openreview.net/forum?id=3wV4ePxWe2
代码: https://github.com/yeonjun-in/PerMemBench
领域: 其他
关键词: 智能体记忆系统, 个性化记忆, 存储门控, 长期交互, 评测基准

一句话总结¶

提出首个针对大模型智能体个性化记忆的评测基准 PerMem-Bench 与会话级存储门控（Session-level Storage Gating）范式，揭示针对异质用户按需过滤瞬时会话可显著提升长期记忆留存率，并指出动态环境下的准确门控仍是核心挑战。

研究背景与动机¶

随着大语言模型智能体（LLM Agents）逐渐渗透到各类真实生活与工作场景，用户往往会跨多个领域与智能体展开跨越数周乃至数年的长期交互。由于模型自身上下文窗口受限且无法在会话间内生记忆，外部记忆系统（如 Mem0、Memory-R1、MemGPT、A-mem 等）成为了维持长期交互一致性与连贯性的核心基石。然而，现有记忆系统普遍采用“一刀切”（One-size-fits-all）的静态管理策略，默认对所有用户应用统一的提取与存储准则，试图依靠单一标准判定哪些信息“值得存入”。

这种通用策略忽略了一个本质现实：不同用户在不同领域中对记忆的实际需求存在极强的行为异质性。例如，对于用户 Alice 而言，“食谱建议”是一项需要持续记录偏好与忌口的长期工程，而“旅行规划”仅是偶发、自包含的瞬时咨询；但对于用户 Bob 而言，由于正值蜜月筹划，“旅行规划”演化为高信息密度的长期任务，而“食谱建议”却变成了随手一问的临时查询。当现有系统固守统一准则时，有限的记忆预算会被大量瞬时交互产生的无用噪声迅速蚕食，导致长期项目真正需要的关键上下文在预算耗尽后被过早淘汰。此外，现存的记忆评测基准（如 LoCoMo、HalluMem、PersonaMem、LongMemEval）大多局限于单一闲聊领域，或仅关注人口统计学等静态属性，完全缺失对跨领域动态行为使用模式的刻画。

针对这一困境，本文提出智能体记忆系统应当走向个性化：系统必须能够从用户的历史交互中推断其特有的“值得存储”上下文，并在写入前执行动态分流，跳过瞬时任务以保护长期记忆。核心 idea：提出首个涵盖多年度、多领域异质人设轨迹的个性化记忆评估基准 PerMem-Bench，并提出在存入前自适应识别并旁路过滤瞬时交互的会话级存储门控（Session-level Storage Gating）范式，将有限的记忆容量精准倾斜给长期项目。

方法详解¶

整体框架¶

本文提出的方法论体系包含两大部分：一是全自动化的个性化记忆评测基准构建管线 PerMem-Bench，二是通用的会话级存储门控范式。在基准构建中，系统通过用户画像建模、生命骨架与时间线编排、双仿真器对话生成三阶段，生成长达数十月、包含显式状态演进与瞬时噪声的长程交互记录；在记忆运行阶段，任何底层记忆系统（如 Mem0、Memory-R1 或 RMM）之上均可封装一层会话级门控模块，在每个会话结束时研判其性质，若为瞬时交互则完全旁路存储流程，若为长期项目则允许提取并存入向量记忆库。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入交互会话<br/>当前会话文本与上下文历史"] --> B["用户画像与生命骨架配置<br/>领域参与 a / 频次 f / 记忆必要性 m"]
    B --> C["会话级存储门控<br/>Greedy / Context-aware / Structure-aware"]
    C -->|判定为瞬时会话 Transient| D["旁路跳过存储<br/>Bypass Memory Ops 节省预算"]
    C -->|判定为长期项目 Long-horizon| E["记忆提炼与写入 Memory Bank<br/>抽取状态与进展 / 存入向量库"]
    E --> F["动态记忆保留与生命周期维护<br/>预算淘汰与更新 / 维持 Retention Rate"]

关键设计¶

1. 用户异质智能体使用画像与生命骨架构建：解耦领域属性与个性化记忆需求

传统方法往往假定特定领域天然需要记忆，而忽略了同一领域对不同用户的异质价值。为了系统化刻画这种差异，本文首先基于 Nemotron-Persona-USA 数据集构建涵盖 20 个高频领域的分类体系，并为每个用户画像 \(p\) 与领域 \(d\) 赋予独立的三元组元数据 \(\mathcal{M}_{p,d} = (a_{p,d}, f_{p,d}, m_{p,d})\)，分别代表领域参与度（是否使用）、交互频次（高/中/低）以及记忆必要性（\(m_{p,d} \in \{0, 1\}\)）。关键机制在于，\(m_{p,d}\) 完全取决于用户的个人意图与生活目标，而非领域本身的固有属性。在构建长期骨架时，针对 \(m_{p,d}=1\) 的领域，系统利用大模型将其拆解为由多个会话（Event）构成的连续关联项目（Project），并标注两类基准记忆：跨项目持久的用户状态（user_profile）与项目内部的决策进展（ongoing_state）；针对 \(m_{p,d}=0\) 的领域，则按频次生成相互独立的偶发事件，不设立关联与基准记忆，从而在源头上注入真实的异质行为。

2. 跨阶段兴趣动态迁移模拟：刻画真实生命事件引起的使用模式漂移

现实世界中用户的兴趣与需求并非恒定不变，工作变动、生活重心转移或长期项目的结项都会引起智能体使用习惯的突变。为此，本文在静态基准 PerMem-Benchs 的基础上进一步构建了动态基准 PerMem-Benchd。系统引入基于规则的动态迁移协议，在第一阶段交互结束后触发三类变化：将某个原有长期领域降级为瞬时领域（表示长期任务完成）、从未使用池中新增一个长期领域、以及按需增补新的瞬时领域。通过大模型生成衔接前后阶段的真实生活事件叙事，将后续骨架无缝拼接至原时间线上，生成长达 25 至 32 个月的连续对话历史。这种设计打破了记忆评测长期假定分布平稳的局限，专门用于检验门控机制在面对用户行为模式剧烈迁移时的适应能力。

3. 双仿真器隔离生成与会话级存储门控：兼顾数据高保真度与即插即用过滤

在对话生成层面，本文设计了严格信息隔离的双仿真器机制：用户仿真器输入包含生命骨架、当前事件目标与基准事实，通过引导式微调提示让事实在交谈中自然流露，避免开篇机械宣布；智能体仿真器则完全无法访问骨架与预设记忆，仅依据用户输入及其维护的记忆库做出真实响应。在实际应用端，本文提出了会话级存储门控范式，探索了三种上下文粒度的门控策略：仅关注当前会话浅层特征的贪心门控（Greedy）、融合最近 \(K\) 个会话摘要的上下文感知门控（Context-aware），以及周期性维护并更新项目聚合结构笔记的结构感知门控（Structure-aware）。结构感知门控利用跨会话关系推理将离散会话聚类为项目或孤立节点，不仅能近似领域级的使用模式推断，还能回溯修正早期会话的归属，为有限记忆预算的精准投放提供了即插即用的判定机制。

损失函数 / 训练策略¶

本基准主要评估各记忆系统在无调优推理下的检索与留存表现，以及门控分类质量。对于记忆留存率（Memory Retention Rate, RR），其衡量基准记忆 \(r \in \mathcal{R}\) 在其有效生命周期 \([t_{\text{start}}(r), T_{\text{target}}(r)]\) 内留存在记忆库 \(\mathcal{M}_t\) 中的时间比例：

\[RR = \frac{\sum_{r \in \mathcal{R}} \sum_{t=t_{\text{start}}(r)}^{T_{\text{target}}(r)} \mathbb{I}(r \in \mathcal{M}_t)}{\sum_{r \in \mathcal{R}} \left(T_{\text{target}}(r) - t_{\text{start}}(r) + 1\right)}\]

为了降低全时序 LLM 裁判调用的极高开销，评测采用 \(K=20\) 个均匀采样检查点近似求和：

\[\sum_{t=t_{\text{start}}(r)}^{T_{\text{target}}(r)} \mathbb{I}(r \in \mathcal{M}_t) \approx \frac{|S(r)|}{K} \sum_{t \in \hat{S}(r)} \mathbb{I}(r \in \mathcal{M}_t)\]

其中裁判模型利用 gpt-5-nano 对语义检索出的前 10 条候选记忆进行二元判定。所有大模型评测均在温度系数设为 0 的确定性条件下运行。

实验关键数据¶

主实验¶

会话门控在静态集（PerMem-Benchs）与动态集（PerMem-Benchd）上的分类表现如下表所示（主评价指标为 F1，同时统计假阴性率 FNR 与假阳性率 FPR）：

主干模型	门控策略	PerMem-Benchs F1 (↑)	FNR (↓)	FPR (↓)	PerMem-Benchd F1 (↑)	FNR (↓)	FPR (↓)
Qwen3-14B	Greedy	0.660	0.457	0.117	0.657	0.444	0.178
Qwen3-14B	Context-aware	0.434	0.715	0.008	0.477	0.665	0.071
Qwen3-14B	Structure-aware	0.844	0.115	0.280	0.805	0.110	0.461
gpt-5-mini	Greedy	0.733	0.301	0.259	0.715	0.287	0.378
gpt-5-mini	Context-aware	0.751	0.287	0.211	0.733	0.261	0.375
gpt-5-mini	Structure-aware	0.795	0.018	0.652	0.784	0.010	0.782

消融实验：基准数据集核心特征统计与多样性验证¶

下表给出了 PerMem-Bench 静态与动态子集跨 20 位用户的关键规模指标统计（最小值、最大值与均值）：

统计指标	PerMem-Benchs Min	Max	Avg	PerMem-Benchd Min	Max	Avg
会话总数 (# Sessions)	26	78	54	62	148	104
时间线跨度 (月, Timeline)	15	20	17	25	32	28
交互总 Token 数	126K	522K	314K	340K	1M	634K
会话平均 Token 数	3.9K	7.7K	5.8K	3.6K	8.1K	6.1K
基准记忆项数量 (# Ref. Memories)	38	72	53	78	146	97

关键发现¶

结构建模能显著捕获跨会话关系，但面临动态迁移惯性：Structure-aware 凭借对项目级结构的聚合分析，在 PerMem-Benchs 上达到了最高 0.844 的 F1 分数，远超仅看局部特征的 Greedy 与 Context。然而在动态迁移场景（长期转瞬时）下，Structure-aware 会因固有的项目聚类惯性而产生严重的误判崩溃，反而是完全不依赖历史的 Greedy 保持了稳定的鲁棒性。
完美门控（Oracle）带来巨大留存增益，在紧缺预算下尤为显著：当给定 Oracle 门控时，Mem0、Memory-R1 和 RMM 在固定预算（如 200 条）下的记忆留存率相对通用策略（Universal）均有大幅跃升。预算越小（100~200 条），个性化存储节省瞬时噪声带来的收益越显著。
现有门控精度尚不足以完全兑现个性化红利：在实际测试中，受限于 FNR（误将长期判为瞬时导致信息丢失）与 FPR（瞬时渗入），Greedy 与 Context-aware 实际留存率甚至低于 Universal，而 Structure-aware 也仅获得微弱提升。这表明缩小门控预测与真实使用意图之间的差距是个性化记忆系统的核心突破点。

亮点与洞察¶

范式级转向（Personalize-then-Store）：将记忆管理从“统一准则下的全量被动吸收”推进到“依据用户特异性行为的主动门控筛选”，从根源上缓解了长程交互下的记忆污染问题。
全自动化高保真长程数据合成管线：通过“用户画像-生命骨架-双隔离仿真”三级架构，无需人工干预即可生成长达数年、具备真实状态依赖与跨阶段行为迁移的长程对话数据，具备极高的一致性与可扩展性。
揭示了记忆系统个性化中结构记忆与局部自适应的权衡：实验清晰揭示了结构化聚合在静态下的高精度与动态迁移下的惯性脆弱性，为后续结合强化学习（Agentic Post-training）优化门控模块指明了技术路径。

局限与展望¶

用户样本规模有限：当前基准仅涵盖 20 位典型用户，虽然自动化管线理论上支持无缝扩充，但在更大规模用户群体上的覆盖度仍有待验证。
画像建模相对简化：将使用模式仅建模为领域参与与记忆必要性的二元组合，尚未细化至任务层级或跨领域的复杂隐式偏好。
个性化机制局限于写入端：目前的门控策略纯粹作用于存入阶段，缺少在记忆库内部针对过时、失效信息的回溯性个性化删除与淘汰机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出智能体个性化记忆的概念与门控框架，打破了通用记忆假设。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖多模型、跨年度长程轨迹评测，统计指标与人工/大模型元评估详实。
写作质量: ⭐⭐⭐⭐⭐ 概念界定严谨清晰，问题动机与实验发现叙述层层递进。
价值: ⭐⭐⭐⭐⭐ 为解决长期智能体在有限资源下的记忆膨胀与污染问题开辟了关键研究方向。