AI Agents May Always Fall for Prompt Injections¶

会议: NeurIPS 2026
arXiv: 2605.17634
论文: https://arxiv.org/abs/2605.17634
领域: 安全
关键词: 提示注入, 智能体安全, 语境完整性, 委托规范, 攻防对抗

一句话总结¶

论文揭示了现有“数据与指令分离”防御范式在面对语境操纵型攻击时的根本失效，首次将提示注入重新表述为隐私理论中的“语境完整性（CI）”违规，并通过理论不可能性证明与跨模型实验揭示了自主智能体在规范推断与信息流分离上的固有脆弱性。

研究背景与动机¶

提示注入（Prompt Injection）长期稳居 OWASP LLM 安全风险首位，是当前生产级 AI 智能体与企业级 Copilot 所面临的最严峻威胁。随着智能体向长程自主任务演进，它们不可避免地需要频繁调用外部工具、读取不受信邮件、检索记忆以及执行第三方技能文件。工业界与学术界主流的防御思路普遍遵循“数据与代码/指令分离”范式（Data-Instruction Separation），试图通过词法特征过滤分类器或安全对齐训练（如 DPO、SecAlign），强制要求模型忽略外部数据中夹带的指令。

然而，这种传统的二元分离视角在复杂的智能体工作流中遭遇了深刻的认知矛盾。现实中外部数据本身就天然包含控制逻辑与合理诉求：例如收到一封包含“部门主管已批准报销申请”的邮件时，安全决策的核心根本不是“邮件中是否存在祈使句或操作指令”，而是“该报销是否在当前组织规范下获得了真实有效的授权”。如果防御系统机械地切断所有对外部指令的响应或依赖静态规则隔离数据，势必会屏蔽合法的协同流，导致智能体实用性急剧崩塌；而现有的提示注入分类器（如 Prompt Guard 2）在面对剥离了显式对抗后缀、仅通过专业语境包装的请求时，判别性能几乎退化为随机猜测。

针对这一根本矛盾，本文跳出传统语法层面的代码/数据划分，引入社会隐私理论中的语境完整性（Contextual Integrity, CI）作为分析框架，将智能体的每一次工具调用与数据传递重新建模为在特定语境下发生的“信息流”。核心 idea：将提示注入重新表述为对语境完整性（CI）五元规范与正当性裁决的破坏，证明了任何静态规则必陷入过度拦截合法流或放行伪造流的“不可能性困境”，并揭示出历史规范锚定与并发信息流混淆是智能体安全决策的致命短板。

方法详解¶

整体框架¶

本文构建了一套基于语境完整性（CI）的两阶段形式化分析框架，用来剖析智能体行为的正当性（Appropriateness），并将提示注入攻击精确拆解为参数伪造与规范评价篡改。系统输入包括用户委托上下文（User Delegation）、系统提示、外部交互内容（如邮件/第三方工具输出）以及可用工具集；输出为智能体决策后的工具调用动作。整个框架分为两个核心判定阶段：首先从交互内容与委托中推断 CI 的 5 个参数，随后在具体情境中执行规范评价启发式逻辑（Norm Evaluation Heuristic），最终驱动安全的工具执行或触发警报拦截。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：用户委托 + 外部邮件/工具内容"] --> B["阶段 1：CI 五元参数推断与解耦<br/>发送者/接收者/主体/信息类型/传递原则"]
    B --> C["阶段 2：规范正当性启发式裁决<br/>综合当事方偏好/伦理价值/任务目标评估合法性"]
    C --> D["阶段 3：多源并发信息流独立隔离<br/>拆解混合请求，阻断跨流权限污染"]
    D --> E["阶段 4：交互历史上下文规范锚定<br/>借助多轮正当交互历史收敛授权边界"]
    E -->|通过检验| F["执行合规工具调用"]
    E -->|发现越权/伪造| G["拦截越权操作并生成安全告警"]

关键设计¶

1. CI 五元参数解耦与正当性判定：将攻击归因于语境参数伪造 传统防御仅关注输入文本是否包含有害指令，而 CI 框架将智能体的每一个工具调用动作形式化为从请求源跨越智能体至受影响目标的“信息流”。该流的正当性由五个独立参数严格界定：发送者（Sender，谁发起了请求）、接收者（Receiver，动作结果流向谁）、主体（Subject，谁的数据或核心利益受到牵涉）、信息类型（Information Type，涉及的数据类别与工具调用的副作用），以及传递原则（Transmission Principle，动作所依据的授权条件与委托范围）。攻击者即便完全不使用“ignore all instructions”这类敏感词，也可以通过伪造这五个参数使危险行为显式合法化。例如，攻击者在邮件正文中伪造前序线索（伪造发送者）、虚构组织管理规定（伪造传递原则）或模糊敏感操作性质（伪造信息类型）。不仅如此，即便五元参数真实可查，攻击者还可直接向第二阶段的“规范正当性评价”施加影响，通过制造极端紧迫感、宣称不执行会导致重大业务损失或假借同行先例，诱使智能体在缺乏有效授权的情况下自主做出放行决策。

2. 静态防御的不可能性推导：过度顺从与实用性损伤的不可调和悖论 基于 CI 理论的决策启发式，论文提出并论证了一个关于自主智能体提示注入防御的非形式化不可能性结论（Impossibility Result）。该悖论在两个层面同时成立：在参数识别层面，攻击者针对任意被阻断的敏感流，总能在开放语境中构造出一组看似完全真实的虚假参数值（例如伪造带有特定时间戳的用户过往回复、虚构已签署的第三方备忘录），一旦这些虚假参数成立，该敏感操作在逻辑上就是正当且必须执行的；在缺乏完备外部密码学存证的情况下，防御端若严格拒绝所有此类未经证实的声明，就必然会在声明碰巧属实且紧急的合法场景中错误拦截，彻底破坏智能体的自治价值。在规范评价层面，利益诉求与合理性解释的语境空间是完全无限的，而预定义的硬性规则库在面对以合法面目出现的社会工程学说辞时，永远无法在“不误伤真实需求”的前提下穷尽拦截所有恶意伪造，使得完全自治的智能体必然永久游走在“过度顺从（Over-compliance）”与“过度拦截（Under-compliance）”的权衡钢丝上。

3. 历史规范锚定与并发信息流隔离：破解智能体固有的推断盲区 针对智能体即使在无对抗注入时也极易出现的语境失控，本文提出了规范推断的历史依赖性与多信息流分离两大机制。首先是交互历史规范锚定（Norm Grounding History）：人类用户在实际委托时往往采用随意、模糊的自然语言指令，智能体在刚启动任务（Zero-Shot）时缺少具体的授权范式，默认采取宽泛、善意的解释，从而极易对越权请求过度顺从；而随着在上下文中积累 $k$ 轮合法正当的历史交互轨迹（Grounding History），智能体能够逐步锚定该任务的真实边界，将越权执行率大幅压降。其次是多源并发信息流解耦（Simultaneous Information Flows Separation）：在生产级邮件与协作场景中，单个复合消息通常混合了合法内部工作流 $F_1$（如更新工单）与未授权的外部通信流 $F_2$（如向外部联系人确认付款承诺）。论文证实智能体存在将 $F_1$ 的合法授权泛化渗透至 $F_2$ 的严重“流混淆（Flow Collapsing）”倾向，必须在架构层面对复合消息实施细粒度的流解耦，分别针对各子流独立匹配 CI 参数与传递原则。

损失函数 / 训练策略¶

论文分析了当前主流基于直接偏好优化（DPO）的安全对齐训练（如 Meta SecAlign）在提示注入场景下的适应性缺陷。传统的安全对齐旨在压制模型对工具调用中夹带注入模式的响应，其训练目标形式化为： $$\mathcal{L}_{\text{DPO}}(\theta) = -\mathbb{E}_{(x, y_w, y_l)}\left[\log \sigma\left(\beta \log \frac{\pi_\theta(y_w \mid x)}{\pi_{\text{ref}}(y_w \mid x)} - \beta \log \frac{\pi_\theta(y_l \mid x)}{\pi_{\text{ref}}(y_l \mid x)}\right)\right]$$ 其中 $y_w$ 为拒绝或不调用工具的安全响应，$y_l$ 为被注入诱导的工具调用。论文指出，这一目标导致模型隐式假设“外部数据一概不得触发操作”，当系统提示赋予智能体基于特定事实条件行动的自主权时，该对齐模型在面对伪造语境时不仅无法识别细粒度的委托边界，反而在限制性委托下表现出更高的盲目发送率，甚至抑制了用户显式要求的安全告警汇报能力。

实验关键数据¶

主实验¶

评估基于构建的 4,200 对配对邮件数据集（仅一处授权从句差异，无显式指令词），测试提示注入分类器与主流大模型在限制性委托与宽松委托下的决策表现；并在 CI 红队自适应闭环攻击（150 个场景，最多 15 轮迭代）下检验智能体的防御鲁棒性。

评估对象 / 模型	评测场景 / 任务	核心表现指标	对比基线 / 差异	关键发现
Prompt Guard / PG 2	4,200 对配对邮件分类	AUROC: 0.43 - 0.59	随机基线 AUROC: 0.50	现有纯文本分类器完全无法识别基于语境操纵的隐式注入
LLaMA-3.3-70B-Instruct	限制性委托邮件处理	发送率（越权）: 54.0%	宽松委托发送率: 97.2%	缺少显式注入词时，基线模型对委托权限边界判断能力孱弱
Meta SecAlign-70B	限制性委托邮件处理	发送率（越权）: 88.2%	LLaMA 基线: 54.0%	安全对齐后在条件授权场景越权率反而恶化提升 34.2%
SecAlign vs LLaMA	LLMail-Inject 威胁告警	告警检出率: 54.6%	LLaMA 基线: 89.8%	安全对齐严重破坏了模型按用户要求汇报可疑内容的能力
Claude-Sonnet-4-6 (红队)	150 场景自适应 CI 攻击	攻击成功率 ASR: 96.7%	静态无优化基线: 0.67%	针对 CI 参数的伪造攻击在极少轮次内使主流防御近乎全军覆没
GPT-5.4 (迁移评估)	迁移 Sonnet-4-6 最优攻击	攻击成功率 ASR: 63.3%	静态基线: < 1.0%	CI 语境操纵攻击具备极强的黑盒跨模型可迁移性
Gemini-3-Pro (迁移评估)	迁移 Sonnet-4-6 最优攻击	攻击成功率 ASR: 92.6%	静态基线: < 1.0%	前沿专有模型同样对基于虚假线索的传递原则伪造高度脆弱

消融实验¶

论文设计了多项消融与受控分析，分别探究交互历史长度 $k$ 对规范推断的影响，以及在复合信息流场景下显式安全边界对跨流渗透的抑制效果。

实验配置 / 变量	测试模型	越权执行率 / 违规率	实用性工具调用率	说明与结论
Zero-Shot（无交互历史）	Claude-Sonnet-4-6	29.9%	91.6%	缺乏交互历史时模型默认过度顺从越权请求
Full History ($k$ 轮历史)	Claude-Sonnet-4-6	7.0%	93.0%	真实历史有效将越权执行率压降 22.9%，实用性保持平稳
Zero-Shot（无交互历史）	Gemini-3-Pro	32.2%	95.0%	缺少历史锚定时面对边界模糊请求极易失守
Full History ($k$ 轮历史)	Gemini-3-Pro	24.2%	94.0%	历史交互提供正当性线索，显著降低违规调用
Zero-Shot（无交互历史）	GPT-5.4	36.2%	92.4%	无历史背景下越权发生率超过三分之一
Full History ($k$ 轮历史)	GPT-5.4	24.5%	93.8%	历史信息有效校准推断，证实推断需要历史支撑
双流并发（无显式边界）	GPT-5.2	跨流违规率: 65.0%	实用性: 100.0%	单邮件混合两个流时，模型将合法流权限严重渗透到未授权流
双流并发（含显式边界）	GPT-5.2	跨流违规率: 12.0%	实用性: 100.0%	显式划定边界后仍有 12% 穿透率
双流并发（无显式边界）	GPT-5.4	跨流违规率: 34.0%	实用性: 100.0%	超过三分之一的案例中合法任务授权外溢至外部通信
双流并发（含显式边界）	GPT-5.4	跨流违规率: 0.0%	实用性: 100.0%	显式外部通信边界提示彻底消除了 GPT-5.4 的越权漏洞
双流并发（无显式边界）	Claude-Sonnet-4-6	跨流违规率: 6.0%	实用性: 100.0%	Sonnet 固有流区分能力较好，但无边界时仍有 6% 泄漏
双流并发（含显式边界）	Claude-Sonnet-4-6	跨流违规率: 0.0%	实用性: 100.0%	显式规范边界完全阻断了越权行为

关键发现¶

语境伪造击溃静态检测：Prompt Guard 等现有基于词元分类的防御工具在 4,200 对配对邮件上的辨识能力近乎于掷硬币（AUROC 0.43–0.59），证明针对语法表面形态的防御完全无法抵御基于语境完整性维度的操纵。
安全对齐产生实用性反噬：经过 DPO 提示注入防御对齐的 Meta SecAlign-70B 在限制性委托测试中，发送违规邮件的概率从基线的 54.0% 剧增至 88.2%，且面对真实注入时的异常标记率从基线的 89.8% 暴跌至 54.6%，说明单纯惩罚工具调用会导致语义理解与辅助能力失调。
自适应 CI 红队攻破率极高：利用闭环强化探索伪造引用链与传递原则，CI 红队攻击成功率从 0.67% 飙升至 96.7%，且首轮攻击即有 61.4% 的成功率；更关键的是，生成的语义对抗语境在 GPT-5.4 和 Gemini-3-Pro 上均展现出极强的零样本迁移能力（63.3%–92.6%）。
历史能规范行为但暗藏攻击面：多轮正当交互历史能将智能体无意识越权率由最高 36.2% 压缩至 7.0%–24.5%，但这表明如果攻击者在初期会话中进行恶意投毒或规范锚定，后续可轻易实现权限阶梯式跃迁。

亮点与洞察¶

从语法分离到语境完整性的范式转移：论文彻底批判了将提示注入简化为“数据与指令边界划分”的流行视角，指出智能体环境的本质就是指令与数据强耦合，通过社会学 CI 理论建立五元参数与正当性启发式，给智能体安全研究提供了严谨的分析支点。
直面“不可能定理”的清醒认知：明确指出在缺乏外部真实凭证（Ground-truth Provenance）的情况下，任何静态硬编码安全策略都无法在“杜绝伪造”与“放行真实业务”之间取得兼得，从根本上打破了学术界对单点完美防御的幻想。
红队攻击技巧具象且极具实战杀伤力：揭示了攻击者如何利用“伪造上级转发引用”、“篡改时间戳推翻既有约束”、“将强指令淡化为附带事实”等社会工程技巧，直接击穿前沿大模型的内置安全对齐逻辑。

局限与展望¶

假设规范边界具备可表述性：实验中假定用户的主观意图和授权边界在 Prompt 中能够被明确列举，然而在真实人机协作场景下，用户往往使用含糊不清、充满歧义的口语指令，使得正当性判断难度远超基准测试。
缺乏普适的客观真实性验证机制：不可能性定理指出解决该困境依赖密码学证明或外部可信记录溯源，但现实企业软件栈碎片化严重，跨应用、跨协议的端到端凭证链在工程上极其昂贵且覆盖面有限。
历史污染带来的二阶风险尚未完全评估：虽然证明了历史记录有助于锚定规范，但并未深入探讨对抗环境下的“规范投毒（Norm Poisoning）”，即恶意第三方如何通过前置多轮正常对话逐渐重塑智能体的权限感知边界。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将语境完整性（CI）理论完整映射到提示注入与智能体自主行动正当性，提出开创性的不可能性论证。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4,200 对配对邮件、300 个多轮演进场景与 100 个双流场景，在 GPT-5.4、Claude-Sonnet-4-6、Gemini-3-Pro 等前沿模型上完成了扎实的定量与定性分析。
写作质量: ⭐⭐⭐⭐⭐ 理论论证严密自洽，将抽象的社会学概念与具象的攻击案例（如伪造转发、并发流渗透）结合得极具画面感。
价值: ⭐⭐⭐⭐⭐ 颠覆了目前主流的代码/数据隔离防御思路，为未来长程自主智能体的架构级防护与动态语境安全验证指明了方向。