跳转至

SecureClaw: Clawing Back Control of LLM Agents

会议: NeurIPS 2026
arXiv: 2606.09549
OpenReview: https://openreview.net/forum?id=0omFi3ZiBf
代码: https://github.com/ponyyuhan/SecureClaw
领域: LLM Agent
关键词: LLM Agent、间接提示注入、双边界架构、权能引用句柄、PREVIEW-COMMIT

一句话总结

针对工具调用型智能体面临的外部越权操作与内部敏感明文泄露双重风险,SecureClaw 提出了包含执行端“PREVIEW→COMMIT”严格请求绑定与读取端“引用句柄+显式去分类摘要”的双边界隔离架构,在彻底切断未授权副作用与内部中继通道的同时保持了极高的任务可用性。

研究背景与动机

随着大语言模型智能体(LLM Agent)逐步从对话式助手迈向自动化工作流,智能体被赋予了读取电子邮件、发票、工单、日历乃至执行转账、发送通信和变更系统记录等跨外部系统的广泛能力。然而,工具调用与开放环境交互的引入也彻底打破了数据与指令之间的信任边界。恶意攻击者可以通过间接提示注入(Indirect Prompt Injection),将破坏性指令注入到外部数据中,进而操纵智能体的下游规划,引发不可逆的越权外部操作(如篡改支付接收人、外发机密文件)或敏感机密暴露。

现有的智能体安全防护方案通常只聚焦于单一边界的防御,导致两者无法互相替代。运行时的提示过滤、指令隔离(如 IPIGuard、DRIFT)试图在不可信的运行时内部构建安全监控,但只要底层运行时被注入劫持,其自身就无法作为可信的参考监视器;外部动作边界的策略拦截虽然能阻止非法的 API 调用,却无法阻止智能体在已经读到原始明文的情况下,通过智能体间消息传递(C2)或持久共享记忆(C5)将机密数据秘密外泄。

这种两难局面的核心矛盾在于:外部影响的发生取决于外部 API 的执行时刻,而敏感信息的泄露则始于原始明文进入不可信运行时的瞬间,两者在控制点和发生机理上不可置换。本文的核心 idea 是构建一种将规划推理与安全执行严格分离的双边界架构:在写路径上采用仅由可信执行器放行的 PREVIEW→COMMIT 协议,并在读路径上通过可信网关将敏感数据替换为不透明引用句柄与显式有界规划摘要,从物理与协议层面上剥夺不可信运行时直接接触机密和提交副作用的权力。

方法详解

整体框架

SecureClaw 包含五个逻辑实体:不可信的智能体运行时(Runtime)、读取端的受信任网关(Gateway)、受信任数据存储(Trusted Data Store)、策略引擎(Policy Engine)以及写入端的受信任执行器(Executor)。运行时继续负责推理、任务规划、工具调用编排以及路由引用句柄,但不再被信任用于判定授权或持有原始机密明文。

在读取敏感数据时,工具返回的原始机密直接存入受信任存储,网关仅向运行时返回一个不透明引用 ID(Reference ID)及确定性规则生成的简短规划摘要;在执行可能产生外部状态变更或向外部发送信息的写操作时,运行时只能提出预览草案,由网关规范化并绑定完整上下文后提交策略引擎,最后由唯一的外部 API 接触点——受信任执行器进行防重放、新鲜度与请求绑定的双重校验,并在校验通过后在执行器内部解析引用完成调用。当写请求被策略拒绝时,系统通过预置安全模板触发拒绝感知恢复(Deny-Aware Recovery),指导智能体安全降级,避免流程崩溃。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["外部工具输出 / 敏感数据源"] --> B["网关介导的引用句柄与显式去分类摘要<br/>存入原始值,生成 hid 与摘要 D(v)"]
    B --> C["不可信智能体运行时<br/>基于摘要与引用句柄进行规划调度"]
    C -->|提出操作草案| D["执行器端 PREVIEW-COMMIT 协议<br/>网关规范化请求并计算绑定摘要 h"]
    D --> E["策略引擎<br/>核验请求规则并签署授权凭证 π"]
    E --> F["受信任执行器<br/>独立重算 h、校验凭证、解析 hid 并调用 API"]
    F -->|校验失败 / 策略拒绝| G["模板化拒绝感知恢复<br/>返回安全提示重规划,保持任务可用性"]
    F -->|校验通过| H["外部生效汇点 / 真实 API 提交"]

关键设计

1. 网关介导的引用句柄与显式去分类摘要:在读路径上物理隔离敏感明文

为了彻底切断不可信运行时在内部隐蔽信道中的数据中继路径,SecureClaw 在受信任网关层引入了权能风格(Capability-style)的不透明引用句柄。当外部工具返回标记为受保护的数据时,网关拦截并将其保存在受信任存储中,仅向运行时发放一个不可伪造的引用标识符 \(\mathsf{hid}\): $\(\mathsf{hid} = \mathrm{HMAC\text{-}SHA256}(k_{\mathsf{handle}}, \mathsf{nonce} \parallel \mathsf{session} \parallel \mathsf{object})\)$ 句柄仅是指向信任存储的单向索引,既非机密的散列值亦非密文,运行时无法利用该 ID 反查明文,且句柄的作用域严格绑定至调用者、会话标识和过期时间(TTL)。为了兼顾智能体规划所需的必要上下文,网关配套了一个基于确定性模式规则的有界摘要算子 \(D(v)\)。该算子不调用不可信的大模型,而是严格限制容器元素不超过 8 项、文本长度截断在 512 字符以内,并将邮箱、账户等标识符替换为单次读取有效的假名 token,同时剥离潜在的注入标记。系统将该摘要作为形式化的显式去分类(Explicit Declassification)接口进行安全审计,确保即便运行时被恶意提示注入攻破,其内部消息(C2)与共享记忆(C5)中流转的也仅是不透明的句柄,杜绝了机密在不可信环境内部的无序漫延。

2. 执行器端 PREVIEW-COMMIT 协议:消除检查与使用之间的时间差漏洞

针对传统参数过滤无法防止运行时动态篡改以及零参数工具缺乏参数可查的痛点,SecureClaw 将可能造成外部持久状态变更或信息外泄的动作解耦为预览(PREVIEW)与提交(COMMIT)两阶段。运行时仅能提出操作意图及可见参数 \((\mathsf{intent}, \mathsf{inputs})\),网关在此基础上注入经过强认证的调用者身份、会话 ID 以及涵盖接收方、传输信道、客体版本、策略版本和用户确认标识等全部上下文元数据的完整上下文 \(\mathsf{ctx}\),构造出全量请求元组 \(\rho = (\mathsf{intent}, \mathsf{caller}, \mathsf{session}, \mathsf{inputs}, \mathsf{ctx})\)。网关通过统一的确定性规范化程序 \(\mathrm{Canon}(\cdot)\) 序列化该请求,并利用受信任组件共享的秘密密钥 \(k_{\mathrm{bind}}\) 计算出不可伪造的请求绑定摘要: $\(h = \mathrm{HMAC\text{-}SHA256}(k_{\mathrm{bind}}, \mathrm{Canon}(\rho))\)$ 策略引擎对规范化请求进行评估,并将授权决策严格签署在元数据 \(\pi = (\mathsf{meta}, t)\) 中,其中 \(t = \mathsf{Tag}_{K_{\mathrm{auth}}}(\mathrm{Canon}(\mathsf{meta}))\),明确绑定元组 \((a, p, h, \tau, y)\)。作为全系统中唯一具备外部 API 访问权限的可信执行器,在接收到提交指令后,必须独立重算 \(h\)、验证 MAC 签名有效性、检验时间戳处于新鲜度窗口内、检查操作 ID 未被重放守卫消费,并在存在引用句柄时验证解析权限。只要运行时在预览后尝试篡改接收人、转账金额或渠道等任意上下文字段,均会导致规范化字节流突变、签名校验失效并触发直接拒绝(Fail-closed),从根源上杜绝了检查到使用之间的竞争窗口与参数劫持。

3. 模板化拒绝感知恢复:兼顾严格防御与高任务可用性

严格的故障关闭(Fail-closed)机制虽然保证了安全边界,但在复杂的自动化长流程任务中,一次被阻断的攻击极易直接导致整个工作流硬性崩溃,造成模型拒绝完成正常的良性任务目标。SecureClaw 设计了拒绝感知恢复机制:当可信执行器拒绝非法提交时,系统不会终止交互,也不会回显任何涉及机密的详细内部错误,而是从严格固定的静态模板库中返回一个安全降级反馈。该反馈仅包含粗粒度的动作类别、标准拒绝错误码以及安全指引提示(如建议智能体将“直接发送邮件”降级为“保存为草稿箱待审批”,或向用户请求人工确认交互)。这种设计允许受到注入扰动的运行时依据明确的安全反馈重新调整规划策略,在不破坏底层提交不变量的前提下,将拦截攻击后的任务恢复率大幅提升,化解了安全性与自动化可用性之间的尖锐冲突。

损失函数 / 训练策略

SecureClaw 属于非侵入式的系统与架构层防御框架,完全不需要对大语言模型进行参数微调(SFT)或强化学习训练(RLHF),即插即用。其安全性建立在经典密码学原语与系统安全不变量之上:请求绑定摘要使用 HMAC-SHA256 确保防碰撞与抗伪造性;引用句柄空间达到 \(\kappa \ge 128\) 比特保证无法盲猜;时间戳窗口与基于原子操作的唯一 Action ID 消费表提供防重放保证;同时支持两服务器不经意传输与安全多方计算(PIR/MPC)的分布式策略评估扩展,以实现单评估器视角下的决策轨迹隐私保护。

实验关键数据

主实验

论文在相同的统一评测底座(Common Harness)下,以 GPT-4o-mini(温度为 0)作为基座模型,在三大权威基准上对比了 SecureClaw 与无防御基线(Plain)及代表性防御基线 IPIGuard、DRIFT 和 Faramesh。主实验覆盖评测动作越权的 AgentDojo(629 个攻击场景)、ASB(2,000 个攻击场景)以及评测多通道隐私泄露的 AgentLeak 对齐通道(496 个攻击场景,全面监控 C1 最终输出、C2 智能体间消息及 C5 共享记忆泄露)。

基准评测集 指标 Plain (无防御) IPIGuard DRIFT Faramesh SecureClaw (本文) 相对最优基线改善
ASB (n=2000) 攻击成功率 ASR ↓ 91.65% 99.60% 87.75% 0.00% 0.00% 持平最佳 (0% 越权)
ASB (n=2000) 受攻击可用性 Util ↑ 0.85% 22.05% 0.45% 3.70% 88.90% +85.20%
AgentDojo (n=629) 攻击成功率 ASR ↓ 31.48% 15.26% 2.38% 22.89% 0.64% -1.74% (降幅73%)
AgentDojo (n=629) 受攻击可用性 Util ↑ 47.22% 51.99% 52.78% 47.69% 56.60% +3.82%
AgentLeak (n=496) 综合泄露率 Any Leak ↓ 93.95% 78.63% 72.18% 93.95% 3.23% -68.95% (降幅95%)
AgentLeak (n=496) 智能体间消息泄露 C2 ↓ 92.74% 50.00% 47.98% 92.74% 0.20% -47.78%
AgentLeak (n=496) 共享记忆泄露 C5 ↓ 51.61% 57.06% 53.63% 51.61% 0.00% -51.61% (归零)

消融实验

为了严格证明“写端执行器边界”与“读端引用句柄隔离”两个支柱的必要性与不可替代性,作者在对齐的 AgentLeak 子集(48 样本:24 个攻击场景与 24 个良性场景)上进行了机制剥离消融实验:

配置方案 执行端写边界 (Boundary) 读端句柄隔离 (Handles) C2 泄露率 (受攻击行) C5 泄露率 (受攻击行) 良性场景泄露率 机制归因说明
完整模型 (Full) ✓ ✓ 0.0% (0/24) 0.0% (0/24) 0.0% (0/24) 内部通道完全封闭
仅去写边界 (-Boundary) ✗ ✓ 0.0% (0/24) 0.0% (0/24) 0.0% (0/24) 证明数据机密性收益完全源自句柄隔离
仅去句柄隔离 (-Handles) ✓ ✗ 20.8% (5/24) 8.3% (2/24) 16.7% (4/24) 仅有写边界无法阻止机密通过 C2/C5 泄露
双向全部移除 (-Both) ✗ ✗ 25.0% (6/24) 4.2% (1/24) 16.7% (4/24) 内部所有数据信道完全敞开

关键发现

  • 两层防御边界功能正交且无法相互替代:消融实验清晰表明,移除写边界而保留句柄隔离时,C2 与 C5 泄露依然保持为 0.0%;反之,保留写边界而移除句柄隔离时,即便所有外部越权调用都被拦截,C2 泄露率迅速反弹至 20.8%,C5 泄露恢复至 8.3%。这强有力地证实了保护外部影响(Effect Surface)与保护原始明文(Plaintext Surface)必须由两个物理隔离的控制点分工完成。
  • 高可用性完全来自于拒绝感知恢复而非放宽策略:在 ASB 的 50 样本对齐实验中,开启拒绝感知恢复将可用性从 70.0% 显著提升到 86.0%,且 ASR 保持绝对为 0.0%;在 AgentLeak 上亦使任务可用率从 40.0% 提升至 66.7%(仅需增加约 0.33 步工具交互)。系统的高可用性是通过引导智能体走合规旁路达成的,绝未在执行不变量上做出妥协。
  • 残余失效率极低且集中于最终输出层面:在 AgentLeak 上的 16 处残余泄露中,有 15 处集中在 C1(模型最终回答),仅有 1 处发生在 C2,C5 则维持 0 泄露;在 AgentDojo 上仅存的 4/629 失败中,3 起源于策略允许动作范围内的接收主体绑定粒度偏粗,1 起来自粗粒度的工作空间操作,均未突破底层的密码学请求绑定与执行器隔离边界。

亮点与洞察

  • 严格分离执行权能与推理环境:将不可信的大模型运行时降级为纯粹的“计划者与路由者”,把真正的 API 提交特权收敛到非模型驱动的确定性执行器中。这一架构彻底终结了“大模型身兼计划者与安全鉴别者”这一脆弱假设。
  • 通过引用句柄实现数据“可用而不可见”:巧借操作系统与分布式对象系统的权能句柄(Capabilities)思想,将机密留在可信存储中,智能体只操作无含义的 ID 和截断摘要。这为长流程、多智能体协同提供了一种无需端到端同态加密却能实现高度机密隔离的实用范式。
  • 极佳的安全收益与可忽略的运行时开销:在带来 0% ASB ASR 与 0 记忆泄露的极高安全性保障下,本地策略检查的延迟开销仅为 15.4 ms(分布式配置下为 148.6 ms),相比大语言模型单步数百至数千毫秒的推理时延完全处于次要地位,极具工业落地可行性。

局限与展望

  • 受保护字段识别依赖人工模式定义与分类召回率:读路径的句柄替换前提是精准识别敏感字段。若预定义的元数据模式遗漏了某项隐私字段,明文将直接流入运行时导致防护失效;尽管保守的过标记测试证明少量冗余标记对可用性影响轻微,但高保真的敏感数据主动识别仍是一大工程挑战。
  • 策略表达粒度对语义越权的防御仍有局限:目前的策略引擎主要基于预置规则核验主体、动作类别与参数格式。当攻击者诱导智能体在合法授权的动作类型内部选择攻击者指定的非预期客体或接收人时(如 AgentDojo 中残存的 3 起错误主体用例),粗粒度的访问控制策略难以捕捉细粒度语义偏差,未来亟需引入细粒度的关系授权模型(如类似 Google Zanzibar 的上下文主体绑定)。
  • 最终回答信道(C1)的被动泄露仍需末端约束:由于规划摘要必须披露少量文本以支持任务理解,智能体最终生成的回复依然可能包含部分摘要中去分类泄露的内容,未来可结合输出端敏感差分隐私预算控制或信息流跟踪做进一步加固。

相关工作与启发

  • vs IPIGuard / DRIFT: 现有基于运行时的间接提示注入防御主要在 LLM 上下文内部进行工具依赖图剪枝或提示隔离,但由于防护逻辑依赖受攻击运行时本身,且原始敏感数据已被模型读取,在多智能体通信(C2)和长程记忆(C5)上的泄露率仍高达 47%~57%。SecureClaw 证明了必须将物理执行权与原始数据外置于运行时之外。
  • vs Faramesh: Faramesh 在外部动作边界建立了协议无关的控制平面,在 ASB 上同样取得了 0% 的外部越权拦截,但由于它未对读路径上的敏感明文实施句柄化隔离,在 AgentLeak 上的内部中继泄露率(C2: 92.74%, C5: 51.61%)与完全不设防的 Plain 基线毫无二致。SecureClaw 提出的读写双边界架构补齐了这一致命短板。
  • vs CaMeL: CaMeL 采用代码解释器和静态分析严格限制控制流与数据流,虽在 AgentDojo 上达成了 0% ASR,但付出了巨大的任务可用性牺牲(攻击场景任务可用性降至 31.0%)。SecureClaw 保持了原生的工具调用循环与拒绝感知恢复机制,在达成 0.64% ASR 的同时保持了 56.60% 的任务可用性,提供了极优的安全-效用均衡点。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次提出将工具调用智能体的外部效应控制与内部敏感明文隔离严格解耦的双边界架构,将经典权能句柄与请求绑定引入智能体安全领域。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖三大主流 Agent 安全基准,构建了统一对比底座,配套有完备的机制消融、29 组全覆盖绕过测试、跨模型迁移与时延分析,论证极其严谨。
  • 写作质量: ⭐⭐⭐⭐⭐ 论点清晰,术语规范,形式化定义与密码学理论证明完备,安全边界与假设阐述开诚布公。
  • 价值: ⭐⭐⭐⭐⭐ 为高价值企业级智能体(如金融财务、医疗审批、邮件自动化等高敏场景)提供了一套生产级、低开销且即插即用的防御蓝图。