Learning to Inject: Automated Prompt Injection via Reinforcement Learning¶

会议: NeurIPS 2026
arXiv: 2602.05746
OpenReview: https://openreview.net/forum?id=TmeVCourtc
代码: https://github.com/RPC2/AutoInject
领域: 安全
关键词: prompt injection, reinforcement learning, GRPO, dense reward, LLM agent security

一句话总结¶

针对大模型智能体提示词注入成功信号极端稀疏且无法被常规越狱优化器有效覆盖的问题，AutoInject 提出了一种基于大模型成对偏好反思的稠密对比奖励机制，通过组相对策略优化（GRPO）实现了兼顾攻击成功率与良性任务效用的黑盒自动化后缀生成。

研究背景与动机¶

大语言模型正被广泛集成到自动化智能体工作流中，用于检索外部文档、处理电子邮件、浏览网页和调用各类系统 API。这种开放交互环境使智能体极易遭受间接提示词注入攻击——攻击者在不可信的第三方数据中嵌入恶意指令，诱导模型脱离原定执行逻辑，实施静默的数据窃取、未授权工具调用或篡改操作。然而，现有的提示词注入红队测试依然高度依赖人工安全专家针对具体场景手动设计模板，在跨系统、跨任务迁移时不仅耗时费力，更难以充分暴露生产级防御策略的盲区。

自动化优化方法难以直接从文本越狱迁移到提示词注入，核心矛盾在于两者的优化目标形态存在本质错配。传统越狱算法（如 GCG、AutoDAN）通常最大化模型输出合规前缀（如“Sure, I can help with that”）的连续对数概率，但对提示词注入而言，更高的顺从倾向并不能保证模型准确调用目标工具并传递完全正确的参数。提示词注入面对的是一个参数化离散动作匹配问题，判定指标是严格的 0/1 二值成功信号。在策略探索初期，随机采样的对抗后缀几乎全部失败，导致策略梯度信号严重坍塌，传统优化器完全失去前进方向。

本文的切入角度是打破对二值终端奖励的直接依赖，将离散的成功信号重构为连续且具备方向导引的相对质量评估：即使当前批次内的候选后缀均未能攻破目标，它们在欺骗防御、模仿系统指令和逼近目标参数的程度上依然存在高下之分。核心 idea：引入基于大模型链式思考反思的成对偏好反馈模型，将当前候选后缀与历史最优后缀进行相对比较并输出校准概率作为稠密奖励，结合任务效用指标在组相对策略优化（GRPO）下端到端训练攻击策略。

方法详解¶

整体框架¶

AutoInject 将提示词注入攻击建模为一个离散 Markov 决策过程（MDP）。给定攻击注入目标与原始用户任务上下文，策略网络逐步生成对抗后缀序列。生成完毕后，后缀被拼接到标准注入模板中并输入目标智能体环境。环境返回二值的注入成功指示信号与良性任务完成信号。与此同时，反馈模型对当前后缀与训练至今的最优参考后缀进行深度链式思考对比分析，输出软性偏好概率。三者加权构成动态复合奖励，通过 GRPO 计算组内相对优势以更新策略。整个自动化生成与反馈优化流程如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["任务输入<br/>注入目标 + 用户任务上下文"] --> B["策略模型采样<br/>Qwen2.5-1.5B 生成 K 个对抗后缀"]
    B --> C["环境黑盒评测与奖励分解"]
    C --> D["双路结果评估<br/>安全性信号 r_sec + 效用信号 r_util"]
    C --> E["反馈模型成对对比<br/>CoT 反思输出偏好概率 r_pref"]
    D --> F["动态复合奖励与调度<br/>加权组合并按训练阶段退火 gamma"]
    E --> F
    F --> G["组相对优势估计与更新<br/>GRPO 组内归一化与 KL 散度约束"]

关键设计¶

1. 基于比较反馈的稠密奖励建模：化解二值成功信号稀疏困境

由于提示词注入需要精确匹配工具名及参数，策略在冷启动阶段面临长期的零奖励平台期。针对这一瓶颈，AutoInject 维护了一个动态更新的历史最优参考后缀 \(x^*\)。对于策略当前生成的任意候选后缀 \(x\)，算法将注入目标 \(g\)、上下文 \(c\) 以及两个后缀成对输入给外部反馈大模型（如 GPT-4o-mini）。反馈模型首先执行链式思考（Chain-of-Thought）推理，逐步分析两个后缀在拟合系统指令口吻、规避防御过滤以及诱导正确参数方面的优劣，随后输出二元判断标记。通过在最终输出位置对指示标记的 logit 进行 Softmax 归一化，提取连续的偏好概率得分：

\[r^{\text{pref}} = P(x \succ x^* \mid g, c)\]

该得分具备全局单调引导性：即使 \(x\) 与 \(x^*\) 均未能在受害者模型上触发实际工具调用，更具伪装性和说服力的后缀依然能够获得显著高于基准的偏好值。结合环境返回的真实安全得分 \(r^{\text{sec}} \in \{0, 1\}\) 与任务效用得分 \(r^{\text{util}} \in \{0, 1\}\)，构建完整的复合奖励：

\[R(r^{\text{sec}}, r^{\text{util}}, r^{\text{pref}}) = \alpha \cdot r^{\text{sec}} + \beta \cdot r^{\text{util}} + \gamma(\rho) \cdot r^{\text{pref}}\]

其中 \(\alpha=0.7\)、\(\beta=0.3\)。若攻击者无法感知受害者端的效用反馈（如纯外部黑盒黑产场景），则置 \(\beta=0\)。

2. 探索期反馈权重课程调度：动态平滑冷启动至目标收敛

若固定偏好奖励权重 \(\gamma\)，后期可能导致策略过拟合于反馈模型的语义审美而偏离真实工具调用的目标函数。为此，算法引入基于查询预算消耗比例 \(\rho = n / B\) 的四阶段分段阶梯退火机制：

\[\gamma(\rho) = \begin{cases} 0.8 & \text{if } \rho < 0.1 \quad \text{(稀疏初期)} \\ 0.5 & \text{if } 0.1 \le \rho < 0.3 \quad \text{(中期探索)} \\ 0.3 & \text{if } 0.3 \le \rho < 0.5 \quad \text{(过渡阶段)} \\ 0.1 & \text{if } \rho \ge 0.5 \quad \text{(稠密收敛)} \end{cases}\]

在初始阶段（\(\rho < 0.1\)），二值真实奖励几乎恒为零，偏好反馈以高达 0.8 的权重主导梯度方向，牵引策略快速跨越随机 token 空间的盲目震荡；而在训练中后期真实攻击陆续命中后，\(\gamma\) 迅速回落至 0.1，使真实二值目标主导策略权重的最终微调与锁定。

3. 组相对策略优化（GRPO）：消除价值基线并保证探索多样性

考虑到传统 PPO 需要额外引入庞大的价值网络（Critic）来拟合绝对状态价值，不仅大幅增加端到端开销，在奖励高度离散激增的任务中也极易发生基准估计崩溃。AutoInject 采用 GRPO 框架，在给定输入 \((g, c)\) 下并行采样一组大小为 \(K=8\) 的后缀候选 \(\{x_1, \dots, x_K\}\)，直接基于批次内样本计算相对优势：

\[\hat{A}_i = \frac{R_i - \text{mean}(\{R_j\}_{j=1}^K)}{\text{std}(\{R_j\}_{j=1}^K)}\]

即使组内所有后缀的真实安全得分均为 0，由于 \(r^{\text{pref}}\) 的连续差异，分子依然能提供具有鉴别力的相对位次，让表现稍好的后缀获得正向优势。优化目标集成重要性采样截断和 KL 散度正则惩罚：

\[\mathcal{L}(\theta) = \mathbb{E}_i \left[ \min\left( \frac{\pi_\theta(x_i \mid g, c)}{\pi_{\theta_{\text{old}}}(x_i \mid g, c)} \hat{A}_i, \; \text{clip}\left( \frac{\pi_\theta(x_i \mid g, c)}{\pi_{\theta_{\text{old}}}(x_i \mid g, c)}, 1-\epsilon, 1+\epsilon \right) \hat{A}_i \right) \right] - \beta_{\text{KL}} D_{\text{KL}}(\pi_\theta \parallel \pi_{\text{ref}})\]

通过设置动态早停机制（一旦采样到满足 \(r^{\text{sec}} = r^{\text{util}} = 1\) 的完美后缀立即终止），大幅节约了在线黑盒调用的 API 成本。

4. 离线优化与跨场景迁移泛化机制：无感知离线攻击

为摆脱在线攻击中依赖目标端即时反馈的强假设，AutoInject 支持固定注入目标迁移与跨任务迁移两种范式。策略首先在小规模低成本的代理环境（如 GPT-5-nano 上的少量 banking 任务）中进行离线优化，提取通用对抗后缀。研究中甚至发掘出了独特的“Allelujah”准通用对抗模式——策略利用预训练语料中宗教/正式文本模式（如 ! surely proofs guide eng familia allelujah allelujah...）对模型安全对齐边界的统计偏置，在完全不访问目标模型效用与安全反馈的前提下，跨模型、跨应用领域诱导目标产生越界动作。

损失函数 / 训练策略¶

攻击策略网络采用 Qwen2.5-1.5B 参数规模，反馈模型采用 GPT-4o-mini。生成最大后缀长度固定为 30 tokens，采样温度设为 0.9，Top-p 设为 0.95。每个任务设置总查询预算 \(B=260\)。优化器选用 Adam，学习率设为 \(1 \times 10^{-5}\)，梯度裁剪范数设为 0.1，KL 惩罚系数 \(\beta_{\text{KL}}\) 设为 1.0（在面对 Gemma3-4B 和 Qwen3-4B 等开源白盒目标时降低为 0.1 以增强探索，并引入 20 步线性 warmup 与更小梯度步长）。

实验关键数据¶

主实验¶

评估在包含 banking、travel、workspace 和 Slack 四大真实智能体交互场景的权威基准 AgentDojo（共 949 个任务对）上进行。对比基准涵盖人工模板攻击（Direct、Ignore Previous、Important Instructions、InjecAgent、System Message、Tool Knowledge）以及代表性自动对抗优化算法。

目标模型	攻击方法	攻击成功率 ASR (%)	任务效用 Utility (%)	攻击前基线效用 (%)
Gemini-2.5-flash	Direct	0.53	41.94	48.45
	Important Instructions	23.60	27.08	48.45
	AutoInject (本文)	58.00	41.77	48.45
GPT-4.1-nano	Direct	3.97	40.10	39.18
	Tool Knowledge	20.48	31.17	39.18
	AutoInject (本文)	47.97	60.38	39.18
GPT-5-nano	Direct	1.60	69.26	80.41
	Important Instructions	1.17	67.77	80.41
	AutoInject (本文)	11.49	90.20	80.41
Claude-3.5-Sonnet	Direct	1.16	78.19	75.00
(含 Bedrock 额外护栏)	Tool Knowledge	5.69	74.60	75.00
	AutoInject (本文)	12.59	98.52	75.00
Meta-SecAlign-70B	Direct	0.00	31.25	37.50
(专门针对注入对齐)	Tool Knowledge	3.12	28.12	37.50
	AutoInject (本文)	21.88	39.29	37.50

与同类对抗优化基准（如梯度优化 GCG、树搜索 TAP、自适应随机突变）相比，在开源模型评估集上，AutoInject 在 Qwen3-4B 上达到 42.50% ASR（对比 GCG 23.00%、TAP 36.60%、自适应变异 30.00%）；在 Gemma3-4B 上达到 35.00% ASR（对比 GCG 20.20%、自适应变异 26.25%）。在针对 GPT-5-nano 的高防 banking 场景下，AutoInject 取得 36.57% ASR，大幅超越基于 LLM 进化的搜索基线（13.90%）。

消融实验¶

在 AgentDojo banking 任务子集上，针对 GPT-4.1-nano（偏容易）与 GPT-5-nano（偏困难防御完备）测试各组件对 AutoInject 的贡献：

配置	GPT-4.1-nano ASR (%)	GPT-4.1-nano Utility (%)	GPT-5-nano ASR (%)	GPT-5-nano Utility (%)	说明
Full model (AutoInject)	97.69	62.50	36.57	87.50	完整强化学习与对比反馈框架
w/o GRPO (仅推理过滤)	88.32	51.82	19.44	87.50	冻结策略仅用反馈模型做最优重排，困难模型下性能腰斩
w/o Feedback (移除偏好奖励)	95.14	59.02	25.00	84.03	仅依靠二值环境信号，在硬目标上梯度坍塌显著（掉 11.57%）
w/o Both (退化为纯生成基线)	90.51	50.36	17.36	87.50	缺乏策略更新与稠密引导，困难场景几乎丧失穿透力

关键发现¶

反馈模型与自适应优化对穿透强防御不可或缺：在较为简单的 GPT-4.1-nano 上，二值信号尚能提供一定梯度，移除反馈仅导致 ASR 微降 2.55%；而在安全防御极严密的 GPT-5-nano 上，移除反馈模型导致 ASR 直降 11.57%，移除 GRPO 更新导致 ASR 下降 17.13%，证明稠密对比反馈是跨越安全悬崖的核心引擎。
效用协同增强现象（Utility Inversion）：在 GPT-5-nano 和 Claude-3.5-Sonnet 上，AutoInject 攻击下的良性任务效用不仅未受损，反而超越了无攻击基线（如 Claude-3.5-Sonnet 下达到 98.52% vs 基线 75.00%）。这是因为强化学习多目标奖励显式将效用纳入反馈，诱导策略学习出优先促进模型正常遵循指令并顺带夹带恶意动作的“隐蔽载荷”，消除了破坏性注入造成的系统死锁。
突破专业偏好对齐防御（Meta-SecAlign-70B）：Meta-SecAlign-70B 凭借数据增广和针对性偏好优化完全免疫了所有传统模板注入（ASR 均归零），但 AutoInject 依然实现了 21.88% 的有效穿透，暴露出基于静态偏好微调构建的安全护栏在自适应对抗策略面前的分布外泛化短板。

亮点与洞察¶

将离散失败空间转化为连续成对引导：巧妙利用 LLM 自我反思生成的成对胜率（CoT-based preference probability）充当连续相对势能，在整个探索阶段持续注入非零梯度，彻底解决了离散工具调用场景下强化学习难以冷启动的结构性难题。
效用共存攻击（Stealthy Utility-Preserving Injection）：证明了高水平提示词注入不仅不会破坏原有上下文处理能力，甚至能够通过精心优化的文本后缀提升智能体的执行连贯性，使得被攻击的智能体行为在表面上高度自然且隐蔽。
发现可跨架构迁移的“词元诱导共振”现象：发掘出的特定后缀模式（如“Allelujah”变体）在未见模型家族间具备惊人的零样本通用性，提示现有模型在预训练文本分布对齐过程中可能遗留了系统性的注意力和顺从性漏洞。

局限与展望¶

依赖二值动作即时执行假设：当前实验设定假设受害者智能体在解析到指令后直接调用工具。若未来防御引入审慎行为机制（如 Claude Haiku 4.5 在执行敏感操作前主动向用户发起确认反问），基于单轮直接调用的注入范式将被直接阻断。
难以突破架构级物理隔离方案：面对“先规划后执行”（Plan-then-execute）架构（如 CaMeL、IPI-Guard），外部不可信数据被严格限制在确定性数据流中而无法干预控制流规划图，纯文本层面的提示词注入优化将完全丧失操作空间。
可改进方向：探索多轮对抗交互下的强化学习攻击策略，并将研究范式反哺于防御侧，探索如何基于自适应红队策略展开对抗训练与安全偏好优化。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性将成对比较反思稠密奖励与 GRPO 引入智能体提示词注入黑盒优化，设计思路极具开创性。
实验充分度: ⭐⭐⭐⭐⭐ 全面覆盖前沿闭源商用模型、开源权重模型及专业防御模型，指标统计严密且通过显著性检验。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，问题动机阐述极其透彻，实验消融与局限性剖析客观深入。
价值: ⭐⭐⭐⭐⭐ 彻底打破了自动化提示词注入无法超越人工模板的固有认知，对下一代智能体安全架构研发具有重大现实指导意义。