PreCoMem: Predictive Cognitive Memory for Self-Evolving Long-Term Dialogue Agents¶

会议: NeurIPS 2026
arXiv: 2610.29467
代码: https://github.com/ZhongWishing/PreCoMem
领域: 对话系统
关键词: 长期记忆智能体, 预测编码, 记忆整合, 动态信念漂移, 检索可靠性

一句话总结¶

受预测编码理论启发，提出面向长期对话智能体的自演化认知记忆框架 PreCoMem，将记忆建模为带连续置信度的信念，通过检索可靠性加权的有效惊异度双阈值门控动态调度强化、缓冲建档与软衰减校正，在控制记忆容量的同时实现稳健应对长期信念漂移。

研究背景与动机¶

在大语言模型智能体向数百乃至数千轮长期人机伙伴演化的背景下，系统不仅需要简单的上下文扩展，更需要建立并维护一套关于用户偏好、目标和生活背景的长期用户模型。然而，长期交互中的记忆整合机制普遍面临记忆稳定性与可塑性（Stability-Plasticity）的权衡困境：智能体既要保持用户稳定不变的核心特质，又要在用户真实发生观念转变时及时更新。在实际对话流中，绝大多数轮次包含琐碎噪声，只有少数轮次承载真实偏好变化；用户修正反馈大多是隐式的；加之长文本检索本身具有不确定性，导致传统记忆系统极易在瞬时噪声下过早覆盖旧记忆，或者陷入对陈旧记忆过度依赖而丧失可塑性的“旧记忆牵引（old-memory pull）”泥潭。

现有长期记忆方案虽然在分层存储、OS 风格架构和结构化索引上取得了长足进步，但在记忆写入与更新时机上仍普遍依赖硬编码规则：要么是无脑追加（append-only）稀释后续检索质量，要么是基于固定阈值、最近邻覆盖或一次性更新做离散提交。这些启发式写入规则无法辨别短暂扰动与渐进式真实信念漂移。从认知科学和信息论视角来看，学习是由期望与现实之间的预测误差（即惊异度 Surprisal）驱动的；但若直接将文本偏差作为惊异度，当检索本身发散不可靠时就会产生严重的虚假更新信号。

本文的切入角度是：将长期记忆视为对用户状态的动态预测，通过检索结果的分数熵衡量检索可靠性来校准惊异度信号，并引入显式的假设“缓冲候诊室”来防止过早过拟合噪声。核心 idea：提出基于预测编码的认知记忆整合框架 PreCoMem，以检索可靠性加权的有效惊异度（Effective Surprisal）构建双阈值门控，把每轮交互确定性映射为强化（MAINTAIN）、低置信假设缓冲（PROFILE）与软衰减校正（CORRECT）三种动力学生命周期，实现长程对话下的自演化信念整合。

方法详解¶

整体框架¶

PreCoMem 围绕统一的长期记忆库构建由记忆利用（Memory Leveraging）与记忆演化（Memory Evolution）组成的双阶段闭环： 1. 记忆利用阶段：结合语义相似度、BM25 词法重合度与主题相关性构成三元检索信号，并乘以连续置信度权重 $w_t(m)$，从可编辑的信念库 $\mathcal{B}_t$ 中检出 Top-$K$ 核心信念证据 $\mathcal{C}_t$，结合短期上下文窗口与当前用户输入生成个性化回复；同时不可变的原始对话轨迹作为情景缓存 $\mathcal{E}_t$ 关联溯源指针。 2. 记忆演化阶段：利用检出结果的分布熵计算检索可靠性系数 $\rho_t$，并结合语义偏差与 NLI 蕴含矛盾度计算原始惊异度 $S_{\mathrm{raw}}(u_t)$，二者相乘得到有效惊异度 $x_t = S_{\mathrm{eff}}(u_t) = \rho_t S_{\mathrm{raw}}(u_t)$。双阈值门控 $\theta_{\mathrm{low}} < \theta_{\mathrm{high}}$ 根据 $x_t$ 的大小将当前交互路由至 MAINTAIN（强化已支持信念）、PROFILE（生成低置信假设写入缓冲）或 CORRECT（软衰减被反驳的旧事实并新建高置信事实）。最后对未受保护且未获支持的假设施加多轮加速衰减与剪枝，并将本轮对话写入情景缓存。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["用户输入与短期上下文<br/>u_t, Q_t-1"] --> B["置信度调制的证据检索<br/>三元信号加权检索 Top-K 信念"]
    B --> C["证据条件化回复生成<br/>生成个性化响应 y_t"]
    B --> D["检索可靠性评估<br/>基于检索分数归一化熵计算 ρ_t"]
    D --> E["有效惊异度计算<br/>S_eff = ρ_t × (语义偏差 + NLI矛盾度)"]
    E -->|x_t ≤ θ_low| F["1. MAINTAIN：凸损失梯度步强化支持信念"]
    E -->|"θ_low < x_t ≤ θ_high"| G["2. PROFILE：低置信假设缓冲与候诊生命周期"]
    E -->|x_t > θ_high| H["3. CORRECT：KL 近端镜像下降软衰减旧事实"]
    G --> I["假设衰减与晋升管理<br/>无支持按轮加速衰减 / 达标晋升 FACT"]
    F --> J["信念库更新与情景缓存写入<br/>B_t+1, E_t+1"]
    H --> J
    I --> J

关键设计¶

1. 检索可靠性加权的有效惊异度计算：防止低精度检索导致误更新

当检索结果本身分散、证据模糊或处于无关场景时，如果直接根据用户输入与检出证据的语义差异判断冲突，就会错误触发记忆改写。为此，PreCoMem 利用检索得分分布的集中程度作为证据精度的代理变量。对 Top-$K$ 候选检索得分经过数值平滑后计算归一化信息熵 $H_t$，进而定义检索可靠性系数 $\rho_t = 1 - H_t \in [0, 1]$： $$H_t = \frac{-\sum_{i=1}^{|\mathcal{C}_t|} \hat{s}_i \log \hat{s}_i}{\log \max\{|\mathcal{C}_t|, 2\}}, \qquad \rho_t = 1 - H_t$$ 当检索结果高度集中时，$\rho_t$ 接近 1；当检索得分均匀平坦时，$\rho_t$ 趋向 0。随后将语义余弦偏差与基于固定 NLI 交叉编码器预测的矛盾概率上界组合为原始惊异度： $$S_{\mathrm{raw}}(u_t) = \lambda d_{\mathrm{sem}}(u_t, \mathcal{C}_t) + (1-\lambda) d_{\mathrm{conf}}(u_t, \mathcal{C}_t)$$ 有效惊异度定义为 $x_t = S_{\mathrm{eff}}(u_t) = \rho_t S_{\mathrm{raw}}(u_t)$。由于 $\rho_t$ 仅以乘法形式介入，当检索不可靠时它会自动压低更新信号，使门控决策退居保守，绝不会孤立触发虚假更新。

2. 混合执行架构与双阈值门控机制：解耦局部文本语义与全局更新动力学

为了兼顾大语言模型在多轮文本中的细粒度语义理解能力与更新轨迹的数学稳定性，PreCoMem 采用“LLM 子智能体输出有界标量 + 符号层封闭形式更新”的混合执行机制。系统设定两道固定阈值 $\theta_{\mathrm{low}} = 0.2$ 和 $\theta_{\mathrm{high}} = 0.6$（该边界在理论上对应最小化单轮策略风险与操作成本的折衷线），将演化过程划分为三种确定性机制： - 当 $x_t \leq \theta_{\mathrm{low}}$ 时进入 MAINTAIN：Maintain-Agent 识别支持项并给出证据强度 $\eta_t(m) \in (0, 1]$，确定性公式基于凸整合损失 $\ell^+(w) = \frac{1}{2}(1-w)^2$ 执行单步梯度下降： $$w_{t+1}(m) = w_t(m) + \eta_t(m)(1 - w_t(m))$$ 使获支持信念的残差按 $(1 - \eta_t(m))$ 收缩。 - 当 $\theta_{\mathrm{low}} < x_t \leq \theta_{\mathrm{high}}$ 时进入 PROFILE：该阶段是处理弱信号和潜在偏好转移的核心机制，详见设计点 3。 - 当 $x_t > \theta_{\mathrm{high}}$ 时进入 CORRECT：当且仅当检索证据确凿且矛盾强度极高时触发。系统将新输入作为初始置信度为 0.85 的新 FACT 写入，并由 Correct-Agent 输出各冲突条目的严重度 $\zeta_t(m) \in [0, 1]$，采用 KL 近端镜像下降推导出的软指数衰减公式降权旧事实： $$w_{t+1}(m) = w_t(m) \exp(-\beta x_t \zeta_t(m))$$ 非冲突项 $\zeta_t(m) \approx 0$ 几乎不受影响，从而实现了无需硬删除即可根据上下文自适应软衰减。

3. 显式假设缓冲与生命周期演化：抵御瞬时噪声与平滑吸收渐进漂移

面对长期对话中模糊、偶发或尚未被证实的弱线索（如用户偶然点了一次茶），传统系统往往在“立刻覆盖旧偏好”与“直接丢弃”之间二选一。PreCoMem 创新地引入 PROFILE 作为“显式候诊室”，由 Profile-Agent 生成类别标签 $c \in \{\text{explicit}, \text{latent}\}$ 与内容描述，赋予低于稳定事实（$\geq 0.80$）的有界区间初值：显式事件假设使用 $[0.60, 0.70]$，潜在推断假设使用 $[0.50, 0.59]$。初始置信度 $w_0(h)$ 由门控先验与代理微调标量联合确定，严格受限于晋升阈值 $\tau_{\mathrm{promote}} = 0.80$ 之下，保证任何单次交互都无法直接把推测固化为事实。

在后续轮次中，假设根据证据自主演化：若在后续交互中持续获得支撑，通过 MAINTAIN 逐步强化，越过 $\tau_{\mathrm{promote}}$ 时单向晋升为正式 FACT；若连续多轮未获得任何支持（且未被标记为显式事件衰减保护），则对距上次支持间隔 $a_t(h) = t - \ell(h)$ 的假设应用加速累积衰减： $$w_t(h) \leftarrow w_t(h) \exp(-\gamma a_t(h))$$ 经历连续 $n$ 轮无支持后，累积衰减因子达到 $\exp(-\gamma n(n+1)/2)$，一旦置信度跌破 $0.1$ 即被安全剪枝。这种缓冲与加速剪枝设计彻底阻断了单次瞬时噪声对长效记忆的破坏，同时允许渐进式证据在多轮对话中稳定汇聚。

4. 软衰减陈旧事实留存与动态容量边界：从线性物理膨胀到常数检索截面

对于在 CORRECT 中被多次反驳的陈旧事实，PreCoMem 选择保留在信念库中作为低权重事实（$w_t < 0.1$），而非物理硬删除。一方面，由于记忆检索得分是全乘积置信度调制 $w_t(m)$，置信度仅为 0.05 的陈旧事实在检索排序中的贡献被压缩了近 20 倍，自然退出 Top-$K$ 活跃证据池，避免了旧记忆牵引；另一方面，若用户在数月后重新恢复以往习惯，保留溯源指针的历史节点能迅速被重新唤醒与复用。在长期容量扩展上，物理存储条目数 $N_{\mathrm{raw}}(t) = |\mathcal{B}_t|$ 虽随对话轮次线性增长，但由于置信度赋权，智能体实际作用的等效记忆总量 $N_{\mathrm{eff}}(t) = \sum_{m} w_t(m)$ 在 200 轮左右即收敛至 25~28 的常数平台期，成功将无限增长的长期对话折叠为稳定的常数级检索界面。

一个完整示例¶

以用户偏好从“咖啡”转移至“茶”的过程为例： - 阶段 1（稳定基线）：库内存在事实项“喜欢喝咖啡”（$w=0.92$）。第 150 轮用户提到“再来一杯美式”，检索出该事实，惊异度低（$x_t = 0.08 \leq 0.2$），触发 MAINTAIN，$w$ 进一步强化至 $0.94$。 - 阶段 2（偶发漂移触发 PROFILE）：第 201 轮用户因胃不适提及“今天尝试喝了绿茶感觉很舒服”。检索出咖啡偏好，语义存在差异但未断言永不喝咖啡，$x_t = 0.38 \in (0.2, 0.6]$，触发 PROFILE。生成假设“偏好喝茶”（latent，初值 $w_0=0.55$）。由于 $w_0 < 0.80$，检索时“喜欢喝咖啡”仍主导排序，智能体不会突兀地颠覆用户模型。 - 阶段 3（连续证实与晋升）：第 205 轮和 210 轮用户再次讨论各种茶叶。惊异度较低，分别触发 MAINTAIN，对假设项连续增强，置信度由 $0.55 \to 0.71 \to 0.82$，跨过 $\tau_{\mathrm{promote}}=0.80$ 正式晋升为 FACT。 - 阶段 4（确凿冲突触发 CORRECT）：第 215 轮用户明确表示“我已经彻底戒掉咖啡，以后只喝茶”。检索高度聚焦于两项，NLI 矛盾度极高，$\rho_t \approx 0.92, x_t = 0.74 > 0.6$，触发 CORRECT。生成新事实“戒掉咖啡只喝茶”（$w=0.85$），同时旧事实“喜欢喝咖啡”被针对性软衰减（$0.94 \to 0.18$）。后续轮次中，旧咖啡偏好被自然挤出 Top-$K$，平滑完成信念漂移。

实验关键数据¶

主实验¶

在代表性长程对话基准 LoCoMo（1,540 个问题）和 LongMemEval-S（500 个问题）上，与主流智能体长期记忆系统进行系统对比。各系统评测统一采用标准化主干模型和 Embedding 架构，主要指标如下表所示：

数据集 / 主干	方法	Single-Hop	Multi-Hop	Temporal	Open-Domain / KU	Overall
LoCoMo (gpt-4o-mini)	Mem0	62.17	52.91	59.44	33.89	58.36
	MemOS	77.05	68.34	61.27	39.26	70.20
	EverMemOS	83.69	59.97	66.00	36.95	70.13
	O-Mem	78.59	71.08	60.20	37.41	70.88
	TiMem	76.64	60.43	76.74	38.86	71.88
	PreCoMem (本文)	81.41	68.49	66.21	39.63	73.57
LoCoMo (gpt-4.1)	MemOS	84.57	80.14	70.79	46.93	78.62
	O-Mem	86.81	84.32	68.04	42.24	80.08
	EverMemOS	92.13	77.75	74.72	43.32	82.27
	TiMem	87.00	83.95	85.92	45.82	84.04
	PreCoMem (本文)	90.41	83.48	84.74	48.23	85.06
LongMemEval-S (gpt-4.1)	MemOS	80.88 (SSU)	73.29 (SSA)	58.43 (SSP)	75.05 (KU)	72.74
	TiMem	85.06 (SSU)	79.18 (SSA)	71.22 (SSP)	81.96 (KU)	79.63
	O-Mem	91.25 (SSU)	86.76 (SSA)	74.69 (SSP)	87.05 (KU)	85.36
	EverMemOS	96.31 (SSU)	83.33 (SSA)	72.45 (SSP)	86.25 (KU)	86.16
	PreCoMem (本文)	94.09 (SSU)	90.72 (SSA)	83.93 (SSP)	91.80 (KU)	89.39

注：LongMemEval-S 中 SSU 为单会话用户事实，SSA 为助手事实，SSP 为单会话偏好，KU 为知识更新。

消融实验¶

在 LoCoMo、LongMemEval-S 以及专门测试动态偏好漂移的 DiMoBench（5 个角色 × 350 轮）上进行核心组件消融、算子消融与生成机制消融对比：

配置 / 变体	LoCoMo Overall	LongMemEval-S Overall	DiMoBench 终态准确率	核心影响与机制说明
完整 PreCoMem	85.06	89.39	84%	双阶段演化，准确率与抗漂移平衡最优
w/o ES（去有效惊异度门控，全走 MAINTAIN）	31.46	38.12	29%	丧失可塑性，完全无法捕捉偏好更新与纠错
w/o CW（去全局置信度赋权，权重置 1）	43.42	49.65	45%	检索无法区分低信度假设与旧事实，噪声严重干扰
w/o RR（去检索可靠性，固定 $\rho_t \equiv 1$）	56.81	61.65	60%	检索扩散时误判惊异度，造成大量虚假破坏性更新
w/o PROFILE（去假设候诊室，直接写入事实）	81.72	84.10	72%	漂移后终态上限受限，易对一次性瞬态噪声过拟合
w/o CORRECT（去软衰减校正，无旧事实衰减）	82.15	83.75	77%	恢复期显著拉长（滞后至第 320 轮），旧记忆牵引严重
w/o MAINTAIN（去置信度强化，不强化支持项）	79.40	80.20	54%	无法抵抗长程遗忘，系统在时域内无法稳定收敛
LLM Direct-Write（全由 LLM 生成更新 JSON）	82.31 ($\pm 1.42$)	86.24 ($\pm 1.63$)	71%	跨种子方差暴增 20 倍，输出非法 JSON 与不存在 ID

关键发现¶

最大增益点集中于需要多会话聚合与记忆动态修正的场景：在 LongMemEval-S 上，PreCoMem 在单会话偏好（SSP）和知识更新（KU）上分别领先最强基准 +9.24 与 +4.75；在 PersonaMem-v2 反刻板印象及动态偏好分类上优势尤为显著。
三大演化算子各司其职，缺一不可：DiMoBench 上的轨迹表明，缺少 PROFILE 会使收敛上限从 84% 跌至 72%；缺少 CORRECT 会导致受旧记忆干扰恢复期延后近 70 轮；缺少 MAINTAIN 则完全无法在长期会话中维持稳定信念（准确率断崖至 54%）。
确定性闭式更新彻底解决了端到端 LLM 决策的发散性：直接让 LLM 输出更新 JSON 会产生 3.6% 的目标 ID 丢失、2.7% 的自相矛盾操作和 1.8% 的非法格式；混合架构在提升准确率的同时将跨种子波动收敛了 20 倍。
检索预算存在饱和极值：检索预算 $k$ 在 $k=10$ 时取得最佳权衡。过大的 $k$（如 $k=20$）会使 Top-$K$ 得分分布拉平，压低可靠性系数 $\rho_t$，同时增加无关条目虚假命中矛盾的几率。

亮点与洞察¶

将预测编码与检索不确定性在长期记忆中形式化统一：摆脱了以往纯启发式的存储规则，利用检索分数分布的信息熵构建可靠性系数 $\rho_t$，确保只有在“检索高度集中且矛盾明确”时才允许高幅演化，有效杜绝了检索幻觉诱发的过早更新。
PROFILE 候诊室机制打破了记忆写入的硬二元决策：把弱证据先存为低置信假设，依靠多轮对话的连续证据积累再决定晋升或加速剪枝，这一设计极其契合人机长期交互中非显式、渐进式表达偏好的真实特性。
利用置信度衰减将无限增长的物理日志映射为恒定的检索截面：不采用破坏性的硬删除，而是让陈旧事实和未获支持假设在加权检索中自然下沉，在 1050 轮连续交互下实现了等效记忆规模 $N_{\mathrm{eff}}$ 稳固收敛至常数平台。

局限与展望¶

作者指出的局限：目前的评测与提示词设计完全基于英文对话基准，尚未在多语言文化语境以及涉及视觉、语音等多模态长期交互场景中进行验证。
潜在不足与适用边界：每轮记忆演化在门控级别以整轮对话为粒度进行单一路由映射（95.8% 轮次适用），对于极少数同一轮中既包含新事实确认又包含其他旧偏好反驳的复合输入，单轮多算子细粒度解耦处理仍有提升空间。
后续改进方向：可进一步探索自适应个体稳定性指数的动态阈值调节，或结合层次化命题抽取将轮级门控下沉至命题级自主演化。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙地将预测编码理论与检索信息熵引入长期记忆写入与演化闭环，PROFILE 候诊室设计极具启发性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大现有基准及自建 1050 轮动态漂移基准 DiMoBench-XL，消融深入且提供完整的跨种子方差分析。
写作质量: ⭐⭐⭐⭐⭐ 理论推导、优化目标与模块算法流程清晰自洽，实验分析细致到位。
价值: ⭐⭐⭐⭐⭐ 为长程对话智能体提供了一套兼具高稳健性与可塑性的实用记忆演化范式，代码开源且易于复现。