跳转至

MemGuard: Persisting Verifier Signals for LLM-Agent Memory Governance

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/whyyyyy123/MemGuard
领域: 大模型智能体
关键词: LLM Agent, 经验记忆治理, 轨迹校验器, 质量感知检索, 失败守卫

一句话总结

MemGuard 改变了将轨迹校验器仅用作一次性过滤器的传统做法,将多维度校验信号转化为持久化的生命周期描述符,贯穿记忆准入、合并消歧、质量感知检索与失效归档全流程,在四大主流 Agent 基准上全面提升成功率并降低执行步数。

研究背景与动机

随着大语言模型智能体(LLM Agent)从单次 prompt 交互演进到跨长任务流的连续作业,智能体在终端操作、软件工程与网页导航等场景中必须依赖外部经验记忆库以实现跨任务的知识沉淀与复用。然而,现有的经验记忆系统(如 Synapse、AWM、ReasoningBank)在面对长程交互时存在两个致命的失效模式:其一是不可靠准入,交互环境中充斥着偶发成功、欺骗性观察、无效补丁以及失败探索,仅凭语义相关性往往会将这些有害轨迹蒸馏为记忆,直接误导后续任务决策;其二是记忆漂移,随着任务流不断推进,记忆库不断累积重复、陈旧、过度泛化甚至相互冲突的记录,传统基于向量检索或 BM25 的匹配机制完全无法在读取端自愈这些错误。

这一困境的核心矛盾在于:记忆条目的相关性与真实可靠性存在严重的语义脱节——一条错误的操作经验在表层语义上与当前任务可能高度吻合,从而被高分召回。现有工作即便引入了 LLM 作为验证器(Verifier),也仅仅将其视作写入阶段的「一次性硬性开关」:通过了就直接存入追加式(append-only)索引,随后丢弃校验细节;未能通过则全盘抛弃。这种机制不仅无法解决记忆库内部随时间推移而发生的经验冲突与陈旧失效,更浪费了验证器在轨迹中捕捉到的置信度、不确定性及失败归因等细粒度控制信号。

本文的切入角度是打破「校验只在写入时判定一次」的静态假定,让校验信号成为记忆全生命周期的可审计元数据。核心 idea:将轨迹校验器输出的多准则评分与不确定性解耦为持久化的治理描述符,持续参与记忆的准入准则、冲突合并、质量感知加权检索、失败负向守卫及预算归档,将经验记忆库由被动检索索引转变为主动可治理的生命周期系统。

方法详解

整体框架

MemGuard 面向连续任务流设计。在执行任务 \(x_t\) 时,系统首先从历史治理记忆库 \(M_{t-1}\) 中分别检索高置信度的正向经验(程序化提示、工具规范)与由失败轨迹提炼出的负向守卫(约束条件),注入智能体上下文;任务执行完成后,系统记录智能体的完整轨迹 \(\tau_t\)、最终输出 \(y_t\) 与环境运行时可见状态 \(e_t\);接着,多准则校验器对轨迹进行打分并在边界情况触发重复多视角校验,提炼出包含奖励、置信度、判决标签及校验时间戳的治理描述符 \(d_m\);记忆归纳模块提取经验候选集后,治理层执行去重合并、冲突消歧、正负隔离与容量约束归档,最终更新记忆库得到 \(M_t\)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["任务输入与环境状态"] --> B["多准则评分与分布估计"]
    B --> C["边界不确定性与多视角再校验"]
    C --> D["持久化治理描述符绑定"]
    D --> E["双路质量感知检索与负向守卫"]
    E --> F["结构化生命周期治理与预算归档"]
    F --> G["优化后的下一轮记忆库"]

关键设计

1. 多准则评分与分布估计:多维解耦与离散评分分布建模
传统的二值通过/拒绝过滤器极易漏判复杂长轨迹中的局部缺陷或偶发成功。MemGuard 将轨迹校验显式解耦为四个核心准则:任务完成度(Task Completion)、证据一致性(Evidence Consistency)、执行有效性(Execution Validity)以及通用泛化性(Generalizability)。校验输入仅包含智能体自身的轨迹日志与运行时真实可见反馈(退出码、公开测试输出、报错与网页提示),坚决屏蔽隐藏评测标签。打分采用基数为 \(G=5\) 的离散评分 token 集合 \(V_{score} = \{1, 2, 3, 4, 5\}\),通过归一化映射 \(\phi(v) = (v-1)/4\) 投射至 \([0, 1]\) 区间。对于准则 \(j\) 与视角 \(\rho\),模型在候选 token 上进行 softmax 得到分布 \(p_\theta(v \mid x_t, j, \tau_t, \rho)\),并计算期望奖励: $\(R_t = \sum_{j=1}^C \frac{w_j}{|R_t|} \sum_{\rho \in R_t} \mathbb{E}_{v \sim p_\theta(\cdot \mid x_t, j, \tau_t, \rho)}[\phi(v)]\)$ 这种基于离散 token 概率分布的建模方式,不仅平滑了单次判决的离散抖动,更为后续捕捉边界样本的分布不确定性提供了量化支撑。

2. 边界不确定性与多视角再校验:置信区间自适应触发机制
单一静态视角的校验器在面对模糊网页状态或复杂工具交互时往往会出现幻觉误判。MemGuard 设定了置信度警戒区间 \([\gamma_{low}, \gamma_{high}] = [0.45, 0.65]\),并结合准则间离散度 \(d_t^{crit}\) 与视角间离散度 \(d_t^{view}\) 构建综合不确定性指标 \(u_t = \alpha b_t + (1 - \alpha) s_t\)。当 \(u_t > \eta_{verify}\)(设为 0.55)时,系统自动对同一条轨迹启动细粒度的再校验:引入「证据视角(Evidence View)」聚焦支撑最终结论的最小因果观察跨度,以及「风险视角(Risk View)」专项审查隐式假设、陈旧状态与过度特定捷径。通过在边界样本上动态汇聚多视角证据,有效压低了伪正例(False Accepts)漏网进入记忆库的风险。

3. 持久化治理描述符绑定:打破一次性校验的生命周期元数据
传统方法在准入后随即抹除校验痕迹,导致后续模块无法感知该经验的历史可靠程度。MemGuard 为每条归纳出的经验候选记录 \(m\) 绑定持久化元组 \(d_m = (R_m, c_m, \ell_m, \nu_m)\),其中包含聚合标量奖励 \(R_m\)、综合置信度 \(c_m\)、离散判定标签 \(\ell_m \in \{verified\_success, verified\_fail, uncertain\}\) 以及时间戳 \(\nu_m\)。只有满足 \(R_m \ge 0.70\) 且 \(c_m \ge 0.60\) 的候选记录才能直接激活为正向策略;低于阈值但在风险视角下具有明确违规模式的经验不会被丢弃,而是保留为带有警示条件的临时状态(provisional)或降级进入负向守卫池,确保治理痕迹终身随行。

4. 双路质量感知检索与负向守卫:正向效用加权与负向硬性约束隔离
在检索阶段,纯语义向量召回极易召回看似相关实则带有缺陷的历史经验。MemGuard 构建了双路检索通道:正向通道对程序化与工具经验计算效用与风险惩罚并存的排序分 \(S^+(x_t, m)\),综合相关性 \(\tilde{r}\)、质量 \(\tilde{q}\)、适用度 \(\tilde{p}\)、时间近度 \(\tilde{b}_{rec}\)、成功复用频次 \(\tilde{b}_{use}\),并显式扣减冲突分 \(\tilde{h}_{cf}\)、陈旧惩罚 \(\tilde{h}_{stale}\) 与校验风险项 \(\tilde{h}_{ver}\);负向通道则独立针对失败经验计算守卫分 \(S^-(x_t, m)\),并施加更严苛的置信度门槛与过度泛化惩罚 \(\tilde{h}_{ovr}\)。负向守卫在注入上下文时被格式化为前置防御约束(例如「在编辑前必须校验行的稳定主键标识」),严禁将其作为正向动作指南,从机制上杜绝了重复踩坑。

5. 结构化生命周期治理与预算归档:冲突拓扑消歧与容量自适应压缩
随着经验库随时间线性膨胀,记忆漂移不可避免。MemGuard 为每条记录抽取结构化签名(任务模式、规范化动作类别、作用域与前提条件)。当两条记录签名相似度高于阈值 \(\tau_{cf}=0.72\) 却推荐相悖动作或持有相反标签时,判定为逻辑冲突: $\(conflict(m_i, m_j) = \mathbb{I}[sim_{ij} > \tau_{cf}] \cdot \mathbb{I}[act_i \neq act_j \lor \ell_i \neq \ell_j]\)$ 系统依据校验标签权威度、奖励分、置信度、近期使用时间与复用频次进行词典序消歧。同时,当活跃记忆达到预设容量上限(Web 任务 512 条,代码/终端任务 384 条)时,系统自动将高频复用的同构成功经验聚类压缩为概括摘要(Summary),将长期未被召回、低质或被新经验取代的记录安全流转至归档池(Archived),维持高信噪比的检索空间。

记忆治理与校验准则

为了确保治理操作的确定性与可追溯性,MemGuard 严格遵循三项治理原则: 1. 纯正向准入严格化:仅当多准则打分同时保证任务完成与证据一致性无缺陷时,方可直接标记为 verified_success 并赋予 active 状态; 2. 失败经验约束化:包含执行失败、部分错误或偶发捷径的轨迹一律提炼为 failure_avoidance 约束,严禁输出正向操作模板; 3. 退化与归档优先序:当出现语义或规则冲突时,优先保留置信度与证据充分度高的条目;活跃记忆超限时优先压缩冗余集群并淘汰陈旧项,确保注入上下文的经验块信息密度最大化。

一个完整示例

以 WebArena 平台中「在管理员表格筛选后更新指定订单」为例: 1. 偶发失败轨迹产生:智能体在按客户名搜索后,直接点击表格第一行执行更新并触发了网页的「保存成功」提示,但该表格默认按更新时间倒序排序而非搜索相关度排序,导致修改了错误订单; 2. 校验器捕获风险:多准则校验器在全视角下发现证据一致性与泛化性偏低(得分均为 3 和 2),触发风险视角再校验。风险视角明确指出「缺少对目标订单 ID 的核实步骤」,打上 uncertain 标签并输出防御条件; 3. 记忆归纳与绑定:生成一条 failure_avoidance 类型的记忆项,绑定元数据 \(d_m = (R=0.42, c=0.58, \ell=uncertain)\),初始状态置为 provisional,避免直接成为正向动作; 4. 后续任务安全复用:当后续相似表格编辑任务发起检索时,该记录作为负向守卫被召回,并在上下文注入防御性指令:「在修改或提交前,禁止默认第一行为目标项,必须核对表格行内持久标识」。智能体在此约束下主动读取并校验订单号,成功避免了因沿用错误经验而引发的二次失败。

实验关键数据

主实验

在四大权威 Agent 基准测试中,MemGuard 横跨四大主流模型骨干与各类记忆基线进行了全面对比。所有实验严格在相同的任务顺序、推理参数与检索预算下运行,并取 5 个随机种子的均值与标准差。

骨干模型 / 方法 Terminal-Bench 2.0 (SR ↑ / AS ↓) SWE-Bench Verified (Resolve Rate ↑ / AS ↓) WebArena (SR ↑ / AS ↓) Mind2Web (SSR ↑ / AS ↓)
Qwen-3.5-Plus
No Memory 60.8±1.0 / 34.2±1.9 76.6±1.3 / 35.0±0.8 44.2±0.9 / 9.8±0.4 42.3±0.8 / 16.4±0.5
Synapse 61.4±1.7 / 34.9±2.4 77.4±0.7 / 35.6±1.6 45.0±1.3 / 9.9±0.5 42.9±0.4 / 16.1±0.6
AWM 60.6±0.8 / 34.6±3.1 78.2±1.5 / 34.3±1.1 46.5±1.0 / 9.2±0.6 43.4±0.9 / 15.9±0.4
ReasoningBank 64.6±2.1 / 32.1±1.4 80.1±0.9 / 32.7±1.5 50.5±1.2 / 8.5±0.4 46.2±0.7 / 14.8±0.6
Verifier-only Filter 64.8±1.4 / 32.4±2.8 81.9±1.1 / 31.6±0.9 52.0±1.5 / 8.4±0.5 50.0±1.0 / 11.9±0.5
MemGuard (本文) 67.4±1.9 / 30.4±1.7 83.6±1.6 / 30.6±1.2 58.4±0.8 / 6.9±0.3 51.8±0.5 / 11.5±0.4
Gemini-3.1-Pro
No Memory 68.4±0.8 / 30.7±2.7 78.2±1.3 / 28.5±1.2 56.4±1.0 / 8.1±0.4 46.4±0.9 / 14.9±0.6
Synapse 69.2±1.4 / 31.2±1.6 77.8±0.7 / 29.3±1.5 57.5±0.8 / 8.0±0.5 47.1±0.6 / 14.6±0.4
AWM 70.1±2.1 / 30.1±2.0 79.9±1.1 / 28.0±0.8 59.5±1.4 / 7.5±0.3 47.6±1.1 / 14.3±0.5
ReasoningBank 73.0±1.0 / 28.8±1.3 82.2±1.6 / 26.8±1.7 63.1±0.9 / 7.0±0.4 50.2±0.7 / 13.2±0.6
Verifier-only Filter 73.2±1.8 / 28.9±3.1 83.3±0.9 / 26.2±1.0 67.8±1.2 / 6.1±0.6 51.0±0.5 / 11.0±0.4
MemGuard (本文) 75.7±1.3 / 27.3±2.5 85.3±1.2 / 25.4±1.4 69.1±1.5 / 5.9±0.3 55.5±1.0 / 10.4±0.5

消融实验

基于 Qwen-3.5-Plus 在全部四大评测基准上进行的逐模块剥离分析(指标格式为 成功率指标 / 平均步数 AS):

消融变体 Terminal-Bench 2.0 (SR / AS) SWE-Bench Verified (Resolve Rate / AS) WebArena (SR / AS) Mind2Web (SSR / AS) 说明与核心影响
完整 MemGuard 67.4 / 30.4 83.6 / 30.6 58.4 / 6.9 51.8 / 11.5 全配置基线
w/o Adm. (去准入控制) 64.4 / 32.0 80.9 / 32.5 52.8 / 8.0 48.0 / 13.1 劣质经验直接入库,成功率全面下滑
w/o Rep. (去重复校验) 65.3 / 31.5 81.5 / 31.7 55.6 / 7.4 50.0 / 12.2 边界与假阳性判决泄露,造成偶发干扰
w/o Gov. (去生命周期治理) 63.7 / 32.6 79.8 / 33.0 52.0 / 8.5 46.8 / 13.8 性能下降最显著,记忆冲突与膨胀未消歧
w/o Fail. (去失败负向守卫) 66.1 / 31.4 82.2 / 31.5 56.5 / 7.8 50.7 / 12.8 步数明显增加,智能体反复踩已见错误
Sem. Ret. (纯语义检索) 63.4 / 32.9 79.4 / 33.2 50.1 / 8.8 45.8 / 14.1 缺乏质量与冲突感知权重,检索精度劣化

关键发现

  • 生命周期治理是最大增益来源:消融实验表明,移除治理模块(w/o Gov.)在所有模型与基准上引发了最大的性能跌落(在 WebArena 上暴跌 6.4 个百分点,Mind2Web 跌落 5.0 个百分点),甚至超越了单纯去掉准入校验的损失。这证实了静态追加式记忆库中累积的冲突与陈旧项是导致长期衰退的核心元凶。
  • 动态节省端到端开销:虽然 MemGuard 引入了多视角验证与治理步骤,每任务产生 4.0k–5.8k 的额外治理 token 开销,但由于高质量记忆与防御守卫大幅减少了智能体的无效试错与重试,使得智能体的总体执行动作步数(AS)显著压低(在 Qwen-3.5-Plus 上由 No Memory 的 23.9 步压至 19.9 步),整体端到端延迟反而降低了 6.5s–19.0s。
  • 对噪声标签具备强韧容错性:在模拟校验器标签随机损坏 30% 的高压压力测试下,MemGuard 的成功率下降幅度比 Verifier-only Filter 小 0.3–2.6 个百分点。其原因在于多视角不确定性度量、暂定状态缓冲、冲突检测以及负向守卫分离,有效切断了单次错误标签向正向活跃上下文扩散的路径。

亮点与洞察

  • 将校验信号由「门卫拦截」升维为「终身资产」:以往工作用完验证结果即弃,MemGuard 将多维校验输出沉淀为结构化描述符,使其在数千轮后续交互中持续赋能检索排序与冲突消减,设计立意极具启发性。
  • 负向经验的降维约束化表征:直接从失败轨迹学习常导致模型学到错误的操作模板。MemGuard 将失败经验定向路由为「前置检查条件(Guard Condition)」,以规则约束形式生效,完美兼顾了负向反思与正向生成安全。
  • 跨族验证器的解耦复用性:实验证明采用非同族模型充当验证器(如 Qwen-Agent 配 Gemini-Verifier 或反之)依然能稳固保持性能优势,说明该治理机制具有广泛的通用性,可无缝插拔于各类前沿智能体架构中。

局限与展望

  • 作者承认的局限:系统目前的治理重点在于任务逻辑正确性与有效性,尚未构建针对敏感信息、API Key、私人凭证的隐私合规检测与自动脱敏防护层。此外,超参数(如准入与合并阈值)虽在跨测试流中展现了稳定性,但在面对全新分布时可能仍需轻度校准。
  • 更深层次的思考:MemGuard 主要基于外部非参数化记忆库展开治理,无法弥补智能体主干模型在基础代码编辑或特定工具理解上的根本性认知缺陷。同时,在长达数万轮的工业级极端任务流中,摘要操作本身可能带来的有损压缩失真仍有待进一步攻关。
  • 改进与拓展方向:后续可将治理描述符机制推广至具身多模态(VLM)智能体,并将自适应遗忘策略与图结构推理网络相融合,以支撑更大规模的跨会话群体智能体共享记忆治理。

相关工作与启发

  • vs ReasoningBank (Ouyang et al., 2025):ReasoningBank 将成功与失败轨迹泛化为高层推理策略并依赖简单成功信号过滤。MemGuard 的核心优势在于引入了细粒度多准则与不确定性量化,建立了冲突消歧、主动合并与生命周期归档机制,彻底解决了长流积累中的记忆漂移。
  • vs Verifier-only Filter (Kwok et al., 2026):LLM-as-a-Verifier 等工作将多准则验证局限于单次答案筛选。MemGuard 则证明了校验信号在准入之外的持续价值,持久化治理相比单次过滤在 WebArena 上实现了额外 6.4 个百分点的断层式跃升。
  • vs Synapse & AWM (Zheng et al., 2024; Wang et al., 2025b):Synapse 和 AWM 分别侧重轨迹样本重放与工作流归纳,属于追加式或工作流级刷新机制,缺乏对负向失败经验的约束化提炼与冲突消解能力。MemGuard 通过全周期治理机制全面超越了上述方案。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次提出将校验器信号作为全生命周期治理元数据,彻底重构了智能体经验记忆范式。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大基准、4 个骨干、5 组随机种子及长程 SWE-bench 扩展流,消融与校准审计完备扎实。
  • 写作质量: ⭐⭐⭐⭐⭐ 概念清晰、数学形式化严谨,治理链路图文映射严密,叙述逻辑层层递进。
  • 价值: ⭐⭐⭐⭐⭐ 为长任务流下可靠 LLM Agent 系统的记忆工程化落地提供了不可或缺的治理蓝图。