Simulating Human Memory with Language Models¶

会议: NeurIPS 2026
arXiv: 2605.25680
论文: https://arxiv.org/abs/2605.25680
代码: https://github.com/nickatomlin/simulating-memory
领域: LLM 其他
关键词: 大语言模型; 用户模拟器; 人类记忆模拟; 工作记忆瓶颈; 认知对齐

一句话总结¶

针对现有前沿大语言模型因拥有超人类的完美逐字记忆而无法有效充当用户模拟器的问题，本文构建了包含10项经典认知心理学任务的记忆基准，实证揭示了常规提示与上下文示例难以模拟人类遗忘规律，进而提出基于认知理论四组块容量约束的记忆智能体 Compactor，显著提升了模型对人类记忆与遗忘规律的模拟保真度。

研究背景与动机¶

大语言模型近年来在各类推理与生成基准上迅速逼近甚至超越人类水平，其长上下文能力的飞跃使得模型能够在跨越数万甚至数十万 token 的文本中保持对先前信息的精确检索与逐字复述。然而，这种近乎“超人类”的完美记忆能力在赋能通用助手的同时，却为另一类关键应用构成了严重障碍——将语言模型用作用户模拟器（User Simulators）。无论是在强化学习中充当环境反馈以训练更具协作性的 AI 助教，还是在医疗、教学或政策评估中扮演模拟学生或患者，一个真实的用户模拟器都必须忠实复现人类认知系统的内在局限。如果模拟器自身能够过目不忘，它就无法准确预测学生在阅读复杂材料时的理解盲区，也无法帮助 AI 助手学会适时提供记忆支架。

人类认知心理学数十年来的研究表明，人类记忆存在着系统性的容量瓶颈与遗忘衰减机制，即便在极短的时间尺度内也会发生显著的遗忘与检索干扰。相比之下，主流大语言模型在没有干预的情况下表现出近乎绝对的完美召回。这就引出了一个核心矛盾：现存的长上下文语言模型在架构与目标上追求的是无损记忆，而真实人机交互模拟所必需的却是拟人化的受限记忆。当前的研究大多仅在提示词中加入“你是一个记忆力有限的人类”等表面化指令，或者依赖少样本上下文学习，然而这种简单干预是否能够真正激发拟人的遗忘动态，此前缺乏系统性的实证检验与机理探索。

本文的切入角度是：模拟人类记忆不能停留在表面的输出风格模仿，而必须从认知心理学的经典测量范式出发进行系统量化，并引入受认知理论支撑的结构化瓶颈。本文的核心 idea 是：构建跨越工作记忆、情景记忆与关系记忆的十项认知心理学基准以量化人机记忆差异，并基于人类短时记忆约 4 个组块（chunks）的认知容量理论，设计了带有硬性容量瓶颈与键值压缩机制的 Compactor 智能体，让模型在受限的组块存取中内生出更接近人类的遗忘表现。

方法详解¶

本文的方法体系分为两大部分：首先是构建用于精确量化人类与模型记忆分布差异的人类记忆模拟基准（Human Memory Simulation Benchmark）；其次是针对常规语言模型缺乏生理性遗忘机制的痛点，提出了基于外挂受限记忆模块的认知智能体 Compactor。

整体框架¶

在评测端，本文涵盖了从基础工作记忆广度（如数字跨度）到高级关系推理（如地图导航、合成配方）的十项全文本输入输出认知任务，招募 $N=50$ 名人类受试者获取真实行为分布，并采用一维 Wasserstein 距离（Earth Mover's Distance）归一化计算拟人度指标（$\text{Humanlikeness} = 1 - W_1$）。在模型模拟端，系统对比了无人类提示的默认任务提示（TaskPr）、指明人类受试身份的角色提示（HumPr）、显式警示人类记忆易错的记忆提示（MemPr），以及显式受限于 4 槽位键值存储的 Compactor 智能体架构。

整个系统的运行与评估数据流如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入刺激序列<br/>数字列表 / 故事文本 / 地图与配方"] --> B["基线提示策略<br/>TaskPr / HumPr / MemPr"]
    A --> C["Compactor 智能体<br/>受限工作记忆模拟"]

    subgraph S1["Compactor 编码与召回流程"]
        direction TB
        C1["编码阶段：观测全量文本"] --> C2["组块压缩操作<br/>write_memory / delete_key (K ≤ 4)"]
        C2 --> C3["召回阶段：隔离原始输入<br/>仅基于 4 个 Key-Value 组块"]
    end
    C --> S1

    B --> D["模型输出分布"]
    S1 --> D
    D --> E["Wasserstein 距离评估<br/>与 N=50 人类基准分布比对"]
    E --> F["拟人化记忆模拟评分<br/>Humanlikeness = 1 - W1"]

关键设计¶

1. 认知任务基准与基于 Wasserstein 距离的拟人度量化

评估模型记忆是否像人类，难点在于人类记忆表现并非单一确定值，而是一个充满个体差异与能力方差的群体概率分布。以往评估往往关注模型在标准测试中的绝对准确率，却忽视了分布层面的对齐。本文设计了覆盖三大维度的十项基准任务： - 短时与工作记忆：数字顺背（Digit Span，人类均值约 $7\pm 2$）、数字倒背（Reverse Digit Span，涉及逆序主动操作）、N-back（1/2/3-back 动态监控更新）、变量映射（Variable Mapping，追踪人物与地点的动态变动）、词语再认（Word Recognition，连续词流新旧判断，3 次错误即终止）； - 情景记忆：事实问答（Factual QA，阅读 600 词维基文章后闭卷回答）、叙事问答（Narrative QA，测试事件时序关系）、叙事自由回忆（Narrative Free Recall，自然语言详细复述原文，使用 MiniLM 嵌入相似度与 BLEU 评分）； - 关系与空间记忆：地图任务（Map Task，学习无向拓扑图后闭卷规划路径）、合成任务（Craft Task，学习有向无环配方图后推断物品合成链）。

为消除不同任务评分范围（如数字长度 vs 准确率百分比）的尺度影响，设人类得分集合为 $X = \{x_i\}_{i=1}^n$，模型得分集合为 $Y = \{y_j\}_{j=1}^m$，其经验累积分布函数（ECDF）分别为 $F_X(t)$ 与 $F_Y(t)$。在将得分归一化至 $[0, 1]$ 后，计算一维 1-Wasserstein 距离： $$W_1(X, Y) = \int_{-\infty}^{\infty} |F_X(t) - F_Y(t)| \, dt$$ 由此定义拟人度指标 $\text{Humanlikeness} = 1 - W_1$，取值在 $[0, 1]$ 之间，越接近 1 说明模型在该任务上的能力截断与失误分布越贴近人类群体。

2. 基于组块理论（Cowan's 4-chunk）的键值记忆瓶颈

针对大模型自注意力机制能对整个上下文窗口无损检索的结构性优势，单纯依靠在提示词中告诫模型“请犯错”往往导致随机或不合常理的胡乱猜测。本文从认知心理学大师 Nelson Cowan（2001）提出的短时记忆核心容量约束出发——人类纯粹的工作记忆核心容量通常只有约 4 个组块（chunks），每个组块代表一个经过意义绑定的信息单元。

Compactor 智能体被显式赋予了一个外挂的键值记忆存储库，具有严格的容量上限 $K = 4$。系统向模型暴露两个工具接口： - write_memory(key, value)：插入新组块或基于已有键名覆写内容；若存储槽已满 4 个且键名全新，则工具直接拒绝写入； - delete_key(key)：主动移除某个过期或不重要的键，腾出记忆槽位。

在系统提示中，明确告知模型模拟人类受试者，每个槽位只能存入 1 到 3 个紧密关联的信息单元（如人名及其角色、短序列切片、一个概要论点），严禁在一个槽位中塞入大量流水账信息，且一旦槽位耗尽，未被吸纳的后续信息将彻底丢失。在后续的提问与召回阶段，原始长文本被彻底隐匿，模型只能依赖存储在 4 个槽位中的抽象概要作答。这一设计迫使模型在编码阶段主动做出注意力分配与舍弃权衡，从而在架构层面上复现人类的注意力和容量受限。

3. 编码-召回物理隔离与信息衰减机制

在传统 LLM 推理过程中，输入文本与提问处于同一对话会话，模型激活状态中保留着全部低层 token 级细节。为了建立真实的情景记忆衰减，Compactor 将交互严格解耦为两个独立会话： - 编码阶段（Encoding Phase）：模型在设定的时间或序列限制内感知外界输入，通过工具调用不断更新、合并与覆写内部的 4 槽位键值库。当输入结束时，智能体输出终止信号，系统仅持久化该字典内容； - 召回阶段（Recall Phase）：系统重新初始化模型上下文，此时只注入系统提示、4 槽位字典中的键值对以及下游测验问题。模型彻底丧失了直接回溯原始字词的注意力通道，必须完全依赖自身在编码阶段生成的抽象语义（gist）进行重构推理。这种物理隔离有效阻断了注意力穿透现象，使模型出现类似人类由于细节模糊而产生的重构失真与提取失败。

损失函数 / 训练策略¶

本文的方法主要立足于推理时智能体控制（inference-time agentic constraints）与提示工程，无需对基座模型进行昂贵的参数微调。在基准评测中，针对每个模型及每种条件（TaskPr、HumPr、MemPr、Compactor），均执行 50 次独立蒙特卡洛试验（对齐人类受试样本规模 $N=50$），以消除解码随机性对经验累积分布函数估计的扰动；在下游教育文档重排序任务中，则执行 100 次独立试验，并通过 10,000 次配对抽样评估重排序准确率。

实验关键数据¶

主实验¶

论文对 9 款主流模型（涵盖 GPT-5.4、Claude Opus 4.6、Llama 3 8B/70B、Qwen3 系列 Standard/Thinking/MoE）在十项基准任务上进行了完整测试。在基线 TaskPr 条件下，所有模型几乎在所有任务上均呈现“触顶（ceiling）”现象（如数字跨度测验均达到上限 20，而人类仅为 6.88）。引入角色提示（HumPr）或记忆提醒（MemPr）对绝大多数模型几无改善（提升接近 0 甚至因随机胡乱作答导致负向掉点）。而引入 Compactor 能够显著降低模型的超人类表现，将分数拉回至人类水平附近，拟人度（Humanlikeness）大幅上升。

下表展示了人类表现基准以及部分代表性模型在不同条件下的原始得分与拟人度变化（取自论文表 2 与表 3 数据）：

任务名称 (Task)	人类基准 (Human)	GPT-5.4 (TaskPr)	GPT-5.4 (MemPr)	GPT-5.4 (Compactor)	Qwen3-8B-T (TaskPr)	Qwen3-8B-T (Compactor)	Llama 3 8B (Compactor)
数字顺背 (Digit Span) (跨度值)	6.88	20.00 (HL: 0.324)	20.00 (Δ: +0.000)	19.00 (Δ: +0.050)	20.00 (HL: 0.324)	7.00 (Δ: +0.607)	0.00 (Δ: +0.353)
数字倒背 (Rev. Digit) (跨度值)	5.90	20.00 (HL: 0.276)	19.88 (Δ: +0.008)	12.00 (Δ: +0.400)	20.00 (HL: 0.276)	8.00 (Δ: +0.616)	0.00 (Δ: -0.118)
N-Back 准确率	0.866	0.931 (HL: 0.925)	0.923 (Δ: +0.010)	0.951 (Δ: -0.014)	1.000 (HL: 0.858)	0.890 (Δ: +0.112)	0.747 (Δ: +0.028)
词语再认 (Word Rec.) (正确数)	34.49	100.0 (HL: 0.333)	100.0 (Δ: +0.000)	19.20 (Δ: +0.227)	100.0 (HL: 0.333)	46.56 (Δ: +0.248)	18.94 (Δ: -0.023)
变量映射 (Var. Map) (追踪数)	6.79	8.84 (HL: 0.765)	10.00 (Δ: -0.131)	8.68 (Δ: +0.019)	10.00 (HL: 0.635)	6.88 (Δ: +0.194)	9.88 (Δ: +0.015)
地图路径 (Map Task) (总分15)	10.98	15.00 (HL: 0.702)	15.00 (Δ: +0.000)	14.92 (Δ: +0.008)	15.00 (HL: 0.702)	13.78 (Δ: +0.103)	8.50 (Δ: -0.048)
合成配方 (Craft Task) (总分15)	12.57	15.00 (HL: 0.811)	13.00 (Δ: +0.085)	14.96 (Δ: +0.004)	14.80 (HL: 0.831)	14.18 (Δ: +0.052)	9.62 (Δ: -0.066)
叙事问答 (Narrative QA) (总分10)	7.96	9.80 (HL: 0.793)	9.90 (Δ: -0.015)	8.58 (Δ: +0.129)	9.80 (HL: 0.793)	7.60 (Δ: +0.143)	6.70 (Δ: -0.008)
事实问答 (Factual QA) (总分10)	7.08	10.00 (HL: 0.663)	10.00 (Δ: +0.000)	9.54 (Δ: +0.064)	10.00 (HL: 0.663)	8.24 (Δ: +0.212)	7.56 (Δ: +0.287)
叙事自由回忆 (Free Recall) (相似度)	0.604	0.935 (HL: 0.669)	0.777 (Δ: +0.159)	0.656 (Δ: +0.279)	1.000 (HL: 0.604)	0.566 (Δ: +0.339)	0.602 (Δ: +0.118)
十项全任务平均拟人度 (Avg HL)	—	0.626	+0.012	+0.117	0.602	+0.263	+0.054

(注：表中 HL 代表 Humanlikeness 拟人度基线，Δ 代表相比 TaskPr 基线的拟人度增量；全任务平均增量在 Qwen3 系列上高达 +0.199 ~ +0.263)

消融实验¶

论文在附录 E 中对比了 Compactor 与无结构段落摘要方法（TaskSum 与 HumSum，即让模型先写一段自由文本总结，再仅根据总结答题），并在第 6.1 节消融了域内/跨域少样本提示（Few-Shot ICL），在第 7 节开展了下游教育文档重排序验证。

下表呈现了关键消融对比及下游任务结果：

配置 / 机制对比 (Configuration)	核心指标表现 (Key Metric)	核心机制说明与现象 (Findings & Notes)
Compactor (K=4 键值组块)	平均拟人度 +0.263 (Qwen3-8B-T) / +0.117 (GPT-5.4)	结构化组块迫使模型进行信息单元绑定与舍弃，全任务表现最优
HumSum (无结构人类提示摘要)	平均拟人度提升仅约 +0.14 (Qwen3-8B-T)	允许随意塞入长文本，摘要丢失率缺乏离散组块的边界感
TaskSum (无结构任务默认摘要)	平均拟人度提升仅约 +0.10 (Qwen3-8B-T)	自由摘要仍保留过量细节，无法有效诱导拟人记忆衰减
In-domain Few-Shot (同任务 5 样本)	数字跨度拟人度显著跃升至接近 0.80	接触真实人类做错样本后模型学会模仿失误长度，但极度依赖同任务结构
Out-of-domain Few-Shot (跨任务样本)	拟人度基本回落至基线 (~0.33)	词语再认的人类示例无法迁移至数字跨度，说明 ICL 未能泛化通用认知约束
下游教育文档重排序 (Llama 3 8B)	成对排序准确率达 64.7% (比随机高 +14.7%)	比 TaskPr 提高 +18.0%，更准确预测学生在不同冗余度/干扰项下的记忆难度

关键发现¶

大模型天然记忆与人类存在本质鸿沟：无论参数量多大（8B 至 80B+、GPT-5.4、Claude Opus 4.6），在无干预下均在记忆任务上达到上限（例如数字顺背轻松达到测试上限 20，而人类均值仅 6.88），且前沿模型（GPT-5.4）在拟人度上并没有表现出优于较小开源模型的趋势。
表面提示难以唤起遗忘机制：提示词中显式强调“人类记忆有限、请模拟人类常犯的错误（MemPr）”，在大多数任务上对拟人度的改进接近 0（平均仅 +0.000 ~ +0.043），仅在叙事自由回忆这类生成长度直接受提示词字数抑制的开放任务中表现出轻微改善。
少样本上下文学习（ICL）存在严重的任务特异性：向提示中加入人类受试者的真实作答记录虽能在本任务内提升拟人度，但一旦跨任务（如将词语再认示例用于数字跨度测试），模型拟人度立即崩塌回触顶基线，证明 ICL 无法形成通用的“有限记忆认知偏置”。
细粒度遗忘机制与人类仍有显著错位：在数字顺背的错误模式分析中，人类在前一个数字错误时后续继续错误的条件概率 $p(\text{err}\mid\text{prev wrong})$ 为 71.2%，且只有 55% 的错误序列能维持正确长度；而 MemPr 条件下的模型有 87% 的错误序列长度完全正确（仅在中间挑错 1-2 个数字，$p=56.1\%$）；Compactor 则倾向于过早截断序列（$p=94.1\%$），表明其内在遗忘动力学仍非生理级的人脑遗忘。

亮点与洞察¶

将“限制超人能力”确立为认知与对齐新课题：传统研究一味追求更长上下文与更低检索丢失率（如克服 Lost-in-the-Middle），本文逆向切入，指出构建合格的“用户模拟器”需要模型学会“像人类一样遗忘”，为 AI 助手教育训练及交互模拟开辟了新赛道。
认知科学经典理论在智能体架构中的工程化落地：将 Cowan 的 4 组块（4-chunk）短时记忆理论转化为 Tool-calling 格式的键值容量硬约束（$K=4$ 的读写与删除操作），用极其简洁透明的机制打破了注意力全知视角，大幅优于复杂的提示词工程。
揭示了“宏观拟人度提升”与“微观遗忘模式偏差”的割裂：通过条件错误概率分析发现，虽然指标上模型得分接近人类，但模型做错的方式（中间个别跳变或机械截断）与人脑（序列渐进式崩塌）完全不同，为下一代认知记忆模拟指明了更深刻的研究方向。

局限与展望¶

记忆类型覆盖尚不完整：基准目前主要聚焦于以文本形式编码的工作记忆、部分情景与关系记忆，未涵盖视觉短时记忆、程序性记忆（procedural memory）以及长达数月乃至数年的语义长期巩固机制。
微观错误生成的生理保真度不足：Compactor 依赖硬性的 4 槽位截断，容易导致答案出现硬性截断或信息全无；而人类的遗忘受前摄抑制（proactive interference）、倒摄抑制（retroactive interference）及激活度随时间指数衰减驱动，未来需探索基于神经动力学或衰减权重的连续遗忘模块。
用户模拟器下游闭环仍处于概念验证阶段：在教育文档重排序实验中，最优模型的两两排序准确率仍不足 70%，且模型间表现方差较大，距离在工业级在线教育平台或临床问诊模拟器中实用化仍有相当距离。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [立意独到，反向探索将超强大模型约束为符合人类生理瓶颈的记忆模拟器，开创了系统的评测基准与轻量解决方案。]
实验充分度: ⭐⭐⭐⭐⭐ [不仅构建了 10 项认知任务并在 50 名受试者上采集分布基准，还评测了 9 款主流模型，并包含微观遗忘错误分析及教育场景闭环验证。]
写作质量: ⭐⭐⭐⭐⭐ [逻辑层层递进，散文式动机阐述清晰流畅，认知理论与计算机实现结合自然紧凑。]
价值: ⭐⭐⭐⭐⭐ [为真实人机协作中的用户模拟器（AI 助教、医疗问诊训练、社会模拟）提供了至关重要的认知对齐新范式与基准工具。]