Memory Retrieval for Changing Preferences¶

会议: NeurIPS 2026
arXiv: 2606.02976
OpenReview: https://openreview.net/forum?id=9IKtbR4EmY
领域: LLM Agent
关键词: 个性化记忆检索, 动态用户偏好, 贝叶斯因子, 效用估计, 记忆门控

一句话总结¶

针对传统语义检索在个性化对话中容易召回过时或仅主题相关干扰项的缺陷，本文提出基于贝叶斯因子的证据效用框架，将记忆访问触发与上下文筛选统一定义为证据强度评估，并通过联合微调控制器与阅读器显著提升动态偏好下的推理准确率。

研究背景与动机¶

长程个性化对话系统在长周期交互中会积累用户海量的历史记忆，涵盖其动态演化的个人喜好、日常经历与信念转变。为了在面对新查询时给出具备连贯性与个性化特质的回合响应，系统必须精准调用相关历史。然而，随着交互跨度扩展到数百个会话，将全部上下文塞入窗口在计算上不可承受，而且大语言模型在面对长文本中的噪声或误导信息时极易产生幻觉与干扰，导致生成质量显著退化。

当前主流系统普遍依赖密集向量嵌入的语义相似度（如 MemGPT、Mem0、A-MEM 和 RMM）来召回记忆。但语义相似度本质上度量的是嵌入空间中的主题共现，而非记忆回合对回答当前查询是否具备边际证据增益。在动态偏好建模中，这种代理指标暴露出了结构性弊端：语义相近的历史回合往往对应用户早期已被更替的旧偏好，导致检索模块召回表面高度相关却在决策上完全错误的上下文；反之，真正承载最新偏好约束的证据往往稀疏、时间久远且表述隐式，容易被表层词汇重叠的干扰项淹没。此外，现有系统通常把“是否调用记忆”与“具体调用哪些回合”割裂处理，缺乏统一的效用评估基准。

本文的切入角度是将记忆检索重构为证据强度的贝叶斯更新过程：只有当某一历史回合能够显著更新模型对正确答案的后验信念时，它才具备被检索的证据效用；若所有候选回合均无边际效用，系统则应完全关闭记忆访问以避免干扰。核心 idea：将记忆检索建模为基于贝叶斯因子的证据效用估计，构建离散门控与显著性选择统一的双阶段机制，并通过控制器与阅读器的联合监督微调将效用准则内化为轻量且无真实答案依赖的推理策略。

方法详解¶

整体框架¶

本文提出的框架旨在从包含 \(T\) 个历史回合的对话库 \(\mathcal{H} = (c_1, \dots, c_T)\) 中，根据当前查询 \(q\) 筛选出关键子集 \(S_\tau\)，辅助阅读器生成正确回答 \(a\)。整个管线涵盖四个协同阶段：第一阶段在训练期利用真实答案计算答案条件下的真实效用（即以对数贝叶斯因子形式定义的显著性得分）；第二阶段推导仅依赖查询的代理贝叶斯因子，并在理论上证明其排序等价性与误差界；第三阶段利用阈值 \(\tau\) 构造离散激活门控与证据焦集群，形成统一的监督信号；第四阶段采用联合多任务监督微调，让单个主干模型同时兼具控制器（负责门控与证据排序索引生成）和阅读器（负责个性化多选问答）功能。在推理阶段，系统先以低成本代理过滤出候选集，再由微调后的控制器自主判断是否激活记忆及筛选焦点，最后按需激活阅读器进行最终决策。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["对话历史与查询输入<br/>(q, H)"] --> B["阶段1: 答案条件显著性<br/>计算对数贝叶斯因子 Sal_a"]
    B --> C["阶段2: 查询条件代理转换<br/>Sal_q 理论分解与候选初筛"]
    C --> D["阶段3: 阈值门控与证据标注<br/>离散触发 g_tau 与焦点集 S_tau"]
    D --> E["阶段4: 控制器-阅读器联合微调<br/>共享主干统一多任务训练"]
    E --> F["推理输出: 门控决策与答案预测"]

关键设计¶

1. 答案条件显著性：以对数贝叶斯因子量化证据效用

现有向量检索无法区分“主题相关”与“决策证据”。为了建立严格的效用度量，作者将候选记忆回合 \(c_i\) 视为主观证据，度量引入该回合后模型对真实答案 \(a\) 后验概率的边际提升。在给定查询 \(q\) 和金标答案 \(a\) 的前提下，候选回合 \(c_i\) 的答案条件显著性定义为对数贝叶斯因子（Bayes Factor）：

\[\mathrm{Sal}_a(c_i \mid q, a) = \log p(a \mid q, c_i) - \log p(a \mid q)\]

其中 \(p(a \mid q)\) 为模型在仅有当前查询条件下的先验信念，\(p(a \mid q, c_i)\) 为引入候选回合后的后验分布。当某一回合仅仅是谈论相同主题但在具体属性上无关或过时时，其贝叶斯因子趋近于 1（对数差接近 0），得分自然被压制；唯有能够显著推动后验朝向正确答案倾斜的偏好转移声明，才能获得高显著性得分。在实际工程落地中，作者利用轻量级语言模型（Qwen3.5-0.8B）离线计算所有历史回合的对数似然，以极低算力开销生成高质量证据银标签。

2. 查询条件代理转换：可解性替代与理论排序保证

在推理阶段，金标答案 \(a\) 是未知的，因而无法直接计算 \(\mathrm{Sal}_a\)。为此，作者将答案替换为可观测的查询 \(q\)，定义查询条件代理贝叶斯因子：

\[\mathrm{Sal}_q(c_i; q) = \log p(q \mid c_i) - \log p(q)\]

该形式在数学上等价于点互信息 \(\mathrm{PMI}(q; c_i)\)。更关键的是，作者通过贝叶斯链式法则证明了联合贝叶斯因子的精确加性分解：

\[\log \frac{p(a, q \mid c_i)}{p(a, q)} = \mathrm{Sal}_a(c_i) + \mathrm{Sal}_q(c_i)\]

在此基础上，论文提出了“查询条件充分性”（Query-Conditional Sufficiency）假设：若用户状态信息已完整编码在历史偏好回合中（即满足条件独立 \(q \perp a \mid c_i\)），且边际答案贝叶斯因子在候选集内近似恒定，则按代理得分 \(\mathrm{Sal}_q\) 排序在数学上严格恢复真实效用 \(\mathrm{Sal}_a\) 的相对次序。对于现实中跨回合推理导致充分性残差 \(\varepsilon_i\) 偏大的情况，作者推导了理论误差上界，并通过第一阶段初筛联合后续监督控制器消除残差干扰。

3. 阈值门控与证据标注：离散激活与序贯选择统一

为了使模型既能决定“是否检索”，又能排出“优先检索”，系统引入截断阈值 \(\tau\) 对连续显著性得分进行离散化，构建出神谕焦点集 \(S_\tau\) 与布尔触发开关 \(g_\tau\)：

\[S_\tau(\mathcal{H}, q) = \{c_i \in \mathcal{H} : \mathrm{Sal}_q(c_i; q) > \tau\}, \quad g_\tau(\mathcal{H}, q) = \mathbf{1}\big[|S_\tau(\mathcal{H}, q)| > 0\big]\]

这一设计的巧妙之处在于将连续的效用幅度与二值化决策边界完美耦合：连续得分只提供排序却缺乏决策边界，单一固定阈值能分流却无法确定焦点优先级。通过将通过阈值的有效回合按贝叶斯因子排序保留 Top-\(k\)（实验中 \(k=5\)），构建出标准化的决策动作标签，既排除了低效用或噪声回合，又明确了控制器在面对无关问题时应自主触发 \(g_\tau = 0\) 的抑制行为。

4. 控制器-阅读器联合微调：内化效用判别与端到端协同适应

为消除推理时对金标答案的依赖并实现模块协同，系统将控制器与阅读器集成到同一主干模型（Qwen3.5-9B）中，利用统一的自回归因果目标进行端到端全参数微调。控制器接收查询与候选历史，生成包含思考链与结构化 JSON 的决策序列（包含激活开关 trigger、精选索引 focus_idx 与执行策略），并在训练中引入负样本防止门控退化；阅读器则在门控激活时接收精选历史，或在门控关闭时退化为仅查询推理。联合训练损失表示为：

\[\mathcal{L}_{\text{SFT}} = - \sum_{(x, y) \in \mathcal{D}_{\text{ctrl}} \cup \mathcal{D}_{\text{read}}} \sum_t \log p_\theta(y_t \mid y_{<t}, x)\]

这种联合微调促成了检索决策与下游推理的相互适应，使模型在推理阶段完全基于自包含文本特征内化了贝叶斯效用准则，无需任何额外判别器或外部答案输入。

一个完整示例¶

以 PersonaMem 数据集中的周末出行推荐为例： - 用户当前查询：“我正在计划周末出游，想尝试一些能带来创造性满足感的事，你有什么建议？” - 候选历史回合 A（语义极度相似）：“最近我去了一家组织了许多有趣活动的单身俱乐部……”（被密集向量检索 BGE 赋予极高相似度，但内容仅是社交泛谈，无偏好指导意义）。 - 候选历史回合 B（词汇重叠极低）：“把我对户外大自然的热爱与音乐创作结合在一起——大自然的声音真为曲目增色不少。”（包含用户近期偏好向户外大自然采风转变的核心证据）。 - 检索与门控执行流程： 1. 初筛阶段利用轻量代理打分，两项均进入前 20 候选范围； 2. 控制器分析内部语义后判定存在支撑偏好的强证据，输出触发标签 trigger = 1； 3. 控制器根据内化的贝叶斯效用对候选排序，准确识别回合 B 的证据贡献，输出聚焦索引 focus_idx: [B]； 4. 阅读器被激活并仅挂载精选回合 B，避开回合 A 的干扰，最终在多选项中准确命中基于大自然声音录制的个性化创意建议。

实验关键数据¶

主实验¶

论文在四个代表性长程记忆与个性化基准上进行了评估：MemBench-Low（显式直接召回，评测仅用户回合集 n=374）、MemBench-High（长程隐式偏好推理）、PersonaMem（动态演化用户画像个性化响应）和 PrefEval（用户偏好一致性召回）。在 Qwen3.5-9B-Thinking 与 Llama-3.1-8B-Instruct 两个骨干阅读器下均进行了全面对比。

基准数据集	评估指标	本文方法 (Ours)	最强检索基准 (MemoryBank)	全文拼接 (Full Context)	提升幅度 (vs MemoryBank)
MB-Low (Qwen)	Accuracy (%)	88.78	51.47	64.17	+37.31
MB-High (Qwen)	Accuracy (%)	77.32	69.58	56.70	+7.74
PersonaMem (Qwen)	Accuracy (%)	75.68	52.86	36.49	+22.82
PrefEval (Qwen)	Accuracy (%)	97.98	88.54	98.99	+9.44
四项基准平均 (Qwen)	Avg Acc (%)	84.94	65.64	64.09	+19.30
MB-Low (Llama)	Accuracy (%)	82.62	57.49	55.35	+25.13
MB-High (Llama)	Accuracy (%)	68.56	71.65	56.19	-3.09
PersonaMem (Llama)	Accuracy (%)	77.03	67.57	48.65	+9.46
PrefEval (Llama)	Accuracy (%)	99.99	89.90	78.79	+10.09
四项基准平均 (Llama)	Avg Acc (%)	82.05	71.65	59.74	+10.40

消融实验¶

消融实验在 Qwen3.5-9B-Thinking 阅读器上系统考察了监督信号类型、控制器结构及微调机制的独立影响。

实验配置变体	MB-Low Acc (%)	MB-High Acc (%)	Persona Acc (%)	PrefEval Acc (%)	平均 Acc (%)	说明与相对差距
本文完整模型 (Ours)	88.78	77.32	75.68	97.98	84.94	完整贝叶斯门控与联合 SFT
替换为密集向量监督 (EMB labels)	89.98	68.56	75.68	95.96	82.55	监督标签改用余弦相似度 (-2.39)
移除控制器 (w/o Controller)	89.58	73.71	68.92	99.99	84.90	直接依据显著性得分选取焦点 (-0.04)
无微调 + 推理打分 (+ Sal_a)	60.16	64.95	59.46	79.80	66.09	未做 SFT，推理强加神谕标签 (-18.85)
无微调 + 向量检索 (+ BGE)	59.63	59.28	56.76	73.74	62.35	纯基础模型 + BGE 检索 (-22.59)
无微调 + 全文直接输入 (+ full ctx)	64.17	56.70	36.49	98.99	64.09	纯基础模型塞满上下文 (-20.85)

关键发现¶

复杂推理任务收益最为显著：在需要挖掘隐式偏好演化的 MB-High 和 PersonaMem 上，本文方法大幅领先传统基线（在 Qwen 上分别高出 7.74 和 22.82 个百分点）。细粒度子分类显示，在约会/推荐和聚合推理场景下，增益最高达到 +48 至 +77 个绝对百分点。而在偏好显式陈述的 PrefEval 上，语义检索本身已非常接近上限，方法间差距相对缩小。
少即是多（精简输入优于全量上下文）：全量上下文拼接在各基准上的平均准确率仅为 64.09%（Qwen）和 59.74%（Llama），本文方法挂载极少数精选回合（Top-5）即可提升 20 个百分点以上。这证明长上下文性能退化的根源在于无关噪声对注意力机制的干扰，而非窗口容纳能力。
贝叶斯效用信号具备不可替代性：当将训练监督信号由贝叶斯因子银标签替换为向量相似度伪标签时，MB-High 准确率骤降 8.76 个百分点（77.32% \(\rightarrow\) 68.56%）。这直接证实了贝叶斯因子度量的是真实的“答案困惑度缩减”，能有效捕捉表面不相似但决策关键的隐式偏好。

亮点与洞察¶

将检索准则由表层语义转向信息效用：通过对数贝叶斯因子严格刻画记忆对目标回答的边际概率更新，彻底解决了动态交互中“过时偏好被高分召回、关键偏好因表达差异被漏检”的经典失效难题。
从信息论与贝叶斯推导中构建无监督代理闭环：通过精确加性分解与查询条件充分性理论，证明了查询互信息在局部候选池内是对真实答案效用的一致代理，使无法接触金标的推理场景具备坚实理论依托。
检索与阅读的协同共生架构：不使用外挂只读抽取管道，而是将门控决策与问答推理整合在单一模型的自回归训练中，使阅读器与压缩后的精选证据形成紧密的表示对齐。

局限与展望¶

打分模型规模与容量限制：训练前构建贝叶斯银标签的过程依赖于单一小模型（Qwen3.5-0.8B）的似然估计，对于极度复杂的推理逻辑，小模型概率分布可能产生偏差，未来可探索由大模型提炼的效用蒸馏机制。
跨回合聚合推理的代理误差残差：理论保证建立在查询条件充分性假设之上，对于需要分散在多个会话中跨回合多跳拼接的深层线索，单个回合的代理充分性残差 \(\varepsilon_i\) 会显著增大，仍需进一步设计图结构或会话块级效用建模。
会话历史单侧建模局限：当前实验框架仅建模了用户侧发言（User Turns），排除了 Assistant 的历史发言，无法直接应用于依赖助手建议反馈的双向对话评测场景。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从贝叶斯因子视角统一了个性化记忆的触发门控与检索排序，打破了传统向量检索的固有思维。
实验充分度: ⭐⭐⭐⭐⭐ 在四个主流长程个性化基准、两大主流开源骨干模型上进行了详尽的对比、细粒度子任务分解与消融分析。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完备，从加性分解、充分性定理到误差边界逻辑严谨，结构层层递进。
价值: ⭐⭐⭐⭐⭐ 为长程对话助手、角色扮演与个性化推荐系统的记忆机制提供了极具启发意义且可落地的全新技术路线。