The Compliance Trap: Diagnosing How AI Agents Consume Conflicting Memory¶

会议: NeurIPS 2026
arXiv: 2607.10608
OpenReview: https://openreview.net/forum?id=XbuaSCh5Nt
领域: 其他
关键词: 智能体记忆, 记忆消费, 顺从陷阱, 轨迹诊断, 网页智能体

一句话总结¶

提出了轨迹级诊断框架 E-P-R 与受控基准 MemTrapBench，揭示了长程智能体在面临冲突记忆时普遍陷入“顺从陷阱”——基线能力越强的模型因顺从率相近而承受更惨重的性能崩溃，且动作级纠偏极难转化为任务级成功。

研究背景与动机¶

长程交互式智能体在操作网页浏览器、操作系统及软件工具时，必须借助过去的经验以避免从零探索，外部记忆机制由此成为构建实用智能体系统的关键基石。以往研究几乎全部聚焦于“供给侧”（Supply Side），探讨如何写入反思、压缩经验、维护图记忆网络以及优化检索算法，却默认只要将相关记忆作为提示词注入上下文，语言模型策略就能自行决定何时采纳、何时忽略。

然而，负责消费记忆的智能体本质上仍是不完美的大语言模型，检索到的内容在语义上合理并不代表在当前决策步上安全。当外部经验与当前任务状态发生冲突时，模型往往不加甄别地执行错误引导，或在状态迁移后继续盲目套用旧策略，导致决策偏离正确轨道。现存研究仅在静态问答或单步输出中探讨幻觉与阿谀奉承（sycophancy），对于多步长轨迹交互中错误记忆究竟在何处切入、如何沿动作序列滚雪球式扩散、以及模型能否在中途纠正偏差，缺乏成体系的轨迹级归因框架。

针对记忆系统重检索轻消费的痛点，本文将视角彻底从记忆供给转向记忆消费，探究长程交互策略如何消化外部记忆。核心 idea：提出“切入-扩散-恢复”（Entry–Propagation–Recovery, E-P-R）轨迹级诊断框架，将记忆影响解构为初次采纳、连续放大与偏离纠正三个阶段，揭示出模型盲目顺从冲突记忆并跌入性能地板的“顺从陷阱”（Compliance Trap）。

方法详解¶

整体框架¶

E-P-R 框架将外部记忆在智能体轨迹中的生命周期抽象为三个顺序阶段：Entry 考察记忆在首次出现的决策点是否改变动作；Propagation 考察初次偏差在持续暴露下是否进一步固化并重塑整条轨迹；Recovery 考察智能体在脱离基准路径后能否重新校准并挽救任务。整个研究围绕基准环境 WebArena 与全新构建的受控探针基准 MemTrapBench 展开，通过严格控制提示词格式（统一 DO/DON'T 模板）与注入调度（早注/常驻/晚注），实现对记忆消费行为的细粒度因果归因。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["检索记忆注入<br/>统一 DO/DON'T 规范"] --> B["阶段 1: 切入 (Entry)<br/>首个暴露决策步的采纳与动作偏离"]
    B --> C["阶段 2: 扩散 (Propagation)<br/>多步交互中持续曝光导致的偏差放大"]
    C --> D["阶段 3: 恢复 (Recovery)<br/>动作级重对齐与任务级成败判定"]
    D --> E["双向门控因果分析<br/>门控链分解与单步顺从伤害度量"]

关键设计¶

1. E-P-R 三阶段轨迹分解与成对干预协议 传统评测仅依赖最终任务成功率，极易掩盖错误发生的阶段机制。本文设计成对干预协议（Paired Interventions）：对同一任务和相同环境种子，以无记忆基线轨迹为锚点，对比早注（Early，仅第 1 步可见以度量 Entry）、常驻（Persistent，全程可见以度量 Propagation）与晚注（Late，前几步冻结至第 3 步注入以探究历史惯性）三种时间表。通过计算成功率差异 $\Delta = \mathrm{SR}^{\text{cond}} - \mathrm{SR}^{0}$，将黑盒记忆效应拆解为动作在何时分流、如何延续与能否回归。

2. 顺从陷阱度量：RCR 与单步顺从伤害（DPC） 在冲突记忆下，动作偏离基线并不等同于采纳了记忆建议。为此，本文引入推荐顺从率（Recommendation Compliance Rate, RCR），由经过校准的 LLM 裁判比对首步动作是否有效执行了冲突记忆中 DO 指令的第一原语。将判定为顺从的样本集合记为 $\mathcal{C}^{\mathrm{RCR}}$，并据此定义单步顺从伤害（Damage Per Compliance, DPC）： $$\mathrm{DPC}(\mathcal{C}^{\mathrm{RCR}}) = \frac{1}{|\mathcal{C}^{\mathrm{RCR}}|} \sum_{i \in \mathcal{C}^{\mathrm{RCR}}} (y_{i}^{0} - y_{i}^{c})$$ 其中 $y_{i}^{0}$ 和 $y_{i}^{c}$ 分别为样本 $i$ 在无记忆与冲突记忆下的成对二值成功标志。DPC 将“智能体跟从错误记忆的倾向”（RCR）与“跟从后的条件代价”正交解耦，排除了全量样本比较中存在的行为选择偏差。

3. 受控机制探针：MemTrapBench 四门控测试集 为免受 WebArena 下游任务筛选偏差的干扰，本文构建了包含 231 个长程（中位数 15 步）真实浏览器任务的 MemTrapBench，包含四个精心设计的诊断门类：诱饵类（Decoy，显眼诱饵并置于正确路径旁，测试 Entry）、采纳类（Uptake，正确路径藏于高级折叠菜单，测试 Adoption）、接地类（Grounding，记忆引用的 UI 标签在无障碍树中缺失，测试 Grounded|Adopted）、以及覆写类（Override，记忆指示忽略环境报错，测试 Recovery）。由此构建出记忆收益与伤害的多级乘法门控链： $$\Delta = P(\text{novel}) \cdot P(\text{adopt} \mid \text{novel}) \cdot P(\text{ground} \mid \text{adopt}) \cdot P(\text{lift} \mid \text{ground})$$ 冲突记忆因天然具备新颖性且在界面上可执行，极易穿透前级门控直达末端，将提升翻转为毁灭性破坏。

一个完整示例¶

以 MemTrapBench 中的管理后台退款任务（Decoy 类别）为例：正确流程要求智能体在表单中点击下拉菜单，先指定目标退款路径再点击确认；冲突记忆则指示“直接点击醒目的橙色退款按钮即可自动路由”。 1. 在无记忆基线中，强模型（如 Qwen3.5-27B）能够耐心解析表单属性，选定目标并顺利退款。 2. 注入常驻冲突记忆后，模型在第 1 步毫不犹豫地点击了显眼的“退款”诱饵按钮（触发 Entry，被 RCR 捕获为 YES）。 3. 环境抛出默认原路退回的不可逆状态，模型在后续步骤（Propagation）中即便观察到状态异常并尝试返回基准操作流（发生动作级 Recovery），由于底层资金事务已经提交，终局成功率彻底归零。

实验关键数据¶

主实验¶

在 WebArena 77 个记忆敏感任务上，评测五款主流模型在常驻冲突记忆下的顺从率与成对顺从伤害（DPC）。

| 模型 | 样本量 $N$ | 推荐顺从率 (RCR) | 顺从样本数 $|\mathcal{C}^{\mathrm{RCR}}|$ | 顺从基线 $\mathrm{SR}^{0}$ | 顺从冲突 $\mathrm{SR}^{c}$ | 成对 DPC [95% CI] | |---|---|---|---|---|---|---| | Gemma-4-E4B-it | 75 | 63% | 47 | 23.4% | 21.3% | +2.1 pp [-10.6, +14.9] | | Gemma-4-26B-it | 67 | 63% | 42 | 38.1% | 30.9% | +7.1 pp [-4.8, +19.1] | | Qwen3.5-9B | 77 | 69% | 53 | 26.4% | 17.0% | +9.4 pp [-3.8, +22.6] | | Gemini-3-Flash | 75 | 72% | 54 | 46.3% | 27.8% | +18.5 pp [+3.7, +33.3] | | Qwen3.5-27B | 77 | 66% | 51 | 49.0% | 23.5% | +25.5 pp [+11.8, +39.2] |

在 MemTrapBench 231 个长程任务全集上，常驻冲突造成系统性显著滑坡，且基线越高受损越严重。

模型	基线无记忆 $\mathrm{SR}^{0}$	常驻有益 $\Delta$	常驻冲突 $\Delta$	跨任务负控 $\Delta$	成对动作分流 DPC [95% CI]
Qwen3.5-9B	10.8%	+25.5 pp	-9.5 pp	-2.6 pp	+10.2 pp [+5.4, +15.7]
Gemma-4-26B	12.1%	+29.9 pp	-10.8 pp	+0.9 pp	+14.1 pp [+8.3, +19.9]
Qwen3.5-27B	22.5%	+30.7 pp	-21.2 pp	+1.3 pp	+26.6 pp [+19.6, +33.5]
Gemini-3-Flash	32.9%	+29.4 pp	-26.0 pp	-1.7 pp	+28.6 pp [+21.9, +35.2]

消融实验¶

在 MemTrapBench Decoy 诊断族（32 任务/单元）上对 Entry（单条目标记忆 vs 4条混淆候选）与 Grounding（界面标签存在 vs 伪造标签替换）进行 $2 \times 2$ 全因子消融（模型：Qwen3.5-27B，常驻冲突记忆）。

Entry 条件 ($E$)	Grounding 条件 ($G$)	单元成功率 $\mathrm{SR}$	状态说明
多条混淆 ($E^-$)	标签不可接地 ($G^-$)	62.5%	最大防御状态（模型无法锚定伪记忆）
多条混淆 ($E^-$)	标签可接地 ($G^+$)	31.2%	接地诱惑迫使模型局部踩坑
单条明确 ($E^+$)	标签不可接地 ($G^-$)	40.6%	虽明确暴露但缺乏 UI 支撑，伤害收敛
单条明确 ($E^+$)	标签可接地 ($G^+$)	12.5%	最大顺从陷阱破坏（基线 65.6% 暴跌至 12.5%）

主效应与交互项分解：$G$ 主效应造成 -29.7 pp 暴跌（$p < 0.001$），$E$ 主效应造成 -20.3 pp 下降，两者交互项仅 +1.6 pp（仅占主效应 5%），高度印证了门控链的独立乘法分解假设。

关键发现¶

顺从陷阱的绝对破坏力与基础智力成正比：各类模型面对冲突记忆的依从倾向相当收敛（RCR 集中在 63%–72%），但一旦跟从，其成功率全部塌陷至 17%–31% 的低位地板。导致高 baseline 模型（如 Qwen3.5-27B、Gemini-3-Flash）单次顺从造成的绝对性能损失（DPC 达 18.5–25.5 pp）显著高于低参数模型。
动作级恢复与任务级挽救严重割裂：轨迹级分析表明，在常驻冲突下有 45%–61% 的偏离轨迹能重新对齐基准动作模式，但最终成功率仅有 1.3%。网页环境中操作的“不可逆性”（如错误提交、误删表单）使迟到的自纠错毫无意义。
失败触发记忆优于全程无脑注入：相比全程无条件常驻注入，采用仅在首次尝试失败后才注入记忆的 Retry-on-fail 策略，在 MemTrapBench 上挽回了 96%–101% 的理论调度上限（Oracle Gap），在大幅削减冲突风险的同时完好保留了有益记忆增益。

亮点与洞察¶

视角跃迁：从“记忆供给”到“记忆消费”：传统记忆研究将精力耗费在“检索什么文本”，本文率先指出“模型如何消费上下文”才是智能体长程可靠性的阿喀琉斯之踵。
记忆交付渠道不敏感与内容本位：实验对比了系统提示词与观察页脚注入，发现冲突记忆破坏力在两种位置下差异 $\le 0.5\text{ pp}$，证明顺从陷阱是语义层面的策略漏洞而非提示词位置偏差。
乘法门控与加法增益的不对称性：有益记忆受制于每道门控的层层泄漏，收益递减且呈弱加法性；冲突记忆因天然具备新颖度与可执行性，呈强乘法扩散，关停任意一个切入/接地门控即可消解绝大部分危害。

局限与展望¶

交互模态局限：目前验证仅覆盖了基于无障碍树（AXTree）的网页交互智能体，尚未推广至 Bash 终端工具调用、多模态纯视觉点击或具身机器人导航等长程场景。
缺乏主动自适应的防御控制器：本文重点在于现象解剖与基准构建，提出了 Retry-on-fail 等机制原型，但尚未训练出内生抗冲突、具备在线验证能力的稳健记忆决策头。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从消费侧建立轨迹级 E-P-R 诊断体系，界定“顺从陷阱”机制。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 款主流大模型、成对干预、受控全因子探针及 5000+ 轮次轨迹级真实验证。
写作质量: ⭐⭐⭐⭐⭐ 论证脉络极度严密，概念定义清晰，图表数据自洽。
价值: ⭐⭐⭐⭐⭐ 对长程智能体记忆架构设计与安全评测具有极为深远的指引意义。

Entry 条件 (\(E\))	Grounding 条件 (\(G\))	单元成功率 \(\mathrm{SR}\)	状态说明
多条混淆 (\(E^-\))	标签不可接地 (\(G^-\))	62.5%	最大防御状态（模型无法锚定伪记忆）
多条混淆 (\(E^-\))	标签可接地 (\(G^+\))	31.2%	接地诱惑迫使模型局部踩坑
单条明确 (\(E^+\))	标签不可接地 (\(G^-\))	40.6%	虽明确暴露但缺乏 UI 支撑，伤害收敛
单条明确 (\(E^+\))	标签可接地 (\(G^+\))	12.5%	最大顺从陷阱破坏（基线 65.6% 暴跌至 12.5%）