SecOPD: Mitigating Adaptive Prompt Injections by On-Policy Distillation¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/pppyb/SecOPD
领域: LLM Reasoning
关键词: 提示词注入, 在策略蒸馏, 安全对齐, 令牌级反馈, 自适应攻击防御
一句话总结¶
本文提出基于在策略蒸馏的安全防御框架 SecOPD,利用无注入干净输入下的初始模型为学生模型在注入样本上的生成轨迹提供细粒度令牌级优势信号,从根本上化解了序列级强化反馈对混合响应信度分配模糊的难题,使 Qwen3.6-27B 面对最强自适应攻击 PISmith 时的攻击成功率由前序 SOTA 的 94.0% 骤降至 9.0%,并完整保留通用推理效用。
研究背景与动机¶
随着大语言模型(LLM)从受限的单轮对话演进为能够自主浏览网页、读取外部文档、调用工具并执行多步动作的自主智能体(AI Agents),其面临的安全威胁形态发生了深刻质变。在开放环境交互中,智能体不可避免地需要摄入非可信的外部数据(例如网页正文、邮件附件、第三方数据库查询结果),攻击者极易通过在外部数据中潜伏间接提示词注入(Indirect Prompt Injection),诱骗模型无视系统或用户的核心指令并转而执行恶意操作。这种威胁被 OWASP 列为大模型智能体应用的首要安全风险,其引发的恶意补丁注入、未经授权的数据外泄以及恶意工具调用直接延缓了自主智能体的工业化落地。
为了在模型原生层面筑牢安全防线,现有主流防御范式通常引入专门的消息通道或分隔符来封装外部非可信数据,并通过直接偏好优化(DPO)或基于强化学习的组相对策略优化(GRPO)等防御性微调方法对模型进行安全对齐。然而,这些代表性防御方法在面对强自适应对抗攻击(例如专门针对受害模型训练攻击策略的 PISmith)时全面崩溃,攻击成功率(ASR)依然逼近甚至超过 90%。深入剖析其微调机制可以发现,DPO 和 GRPO 的致命瓶颈在于它们高度依赖「序列级(Sequence-Level)反馈信号」:评估函数将整个输出回复视为不可分割的单一单元并分配标量奖励。
这一粗粒度反馈与提示词注入防御的内在机理存在深刻矛盾。在实际对抗中,模型极易产生兼顾正常任务与恶意指令的「混合响应(Hybrid Response)」——即既正确回答了用户的良性提问,又在末尾顺带执行了注入的恶意命令。序列级奖励机制无法对混合响应做出精准归因:DPO 无法将其归入单纯的正例或负例,而 GRPO 判别器则会将其整体标记为瑕疵响应施加负惩罚,从而在压制注入的同时误伤模型遵从良性任务的语义能力。核心 idea:通过构建干净上下文教师驱动的在策略蒸馏(SecOPD),为模型在受攻击输入下的自生成轨迹提供逐令牌(Token-Level)的优势信号,精准奖励良性任务令牌并抑制注入跟随令牌,从根本上解决混合响应的信用分配难题。
方法详解¶
整体框架¶
SecOPD 的核心思想是利用在训练阶段可完美分离可信指令与非可信数据的特权,构建无注入的干净上下文输入,并以初始基座模型在该干净输入下的输出分布作为绝对可信的教师监督信号。在每个训练迭代中,受攻击输入由可信用户指令 \(I\) 与嵌入了注入目标 \(g\) 的外部数据 \(A(c, g)\) 组装而成;优化中的学生模型对受攻击输入执行在策略采样生成完整回复轨迹。随后,固定的基座模型作为教师接收移除了注入指令的对应干净输入 \(R(I, c)\),在相同的前缀条件下对学生生成的每一个令牌进行交叉概率打分,产生细粒度的逐令牌优势值来更新学生策略。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
A["任务样本三元组<br/>(可信指令 I, 良性数据 c, 注入目标 g)"] --> B["构建成对上下文输入"]
B --> C["在策略受攻击轨迹生成<br/>学生策略 π_θ 在受攻击输入 p_a 下自采样 rollout z"]
B --> D["干净上下文交叉令牌打分<br/>冻结基座教师 π_ref 在干净输入 p_c 下逐令牌评估 z_t"]
C --> D
D --> E["令牌级逆向KL优势更新<br/>计算 A_t = sg[ℓ_ref,t − ℓ_θ,t],前向强化/惩罚微调"]
E --> F["对齐后的安全基座模型<br/>推理期无需教师,天然抵御自适应注入"]
关键设计¶
1. 跨上下文成对数据构建:建立安全基准分布以解决特权分离问题
模型级防御必须严格维持指令层次(Instruction Hierarchy),即系统与用户输入 \(I\) 享有绝对最高执行特权,而外部数据通道 \(c\) 仅允许作为辅助上下文被引用,严禁将其内部的文本解析为控制流指令。现有方法在构建微调样本时,通常仅在单路输入上强行给模型灌输拒答或固定回复。SecOPD 设计了结构化的成对输入映射 \(p_c = R(I, c)\) 与 \(p_a = R(I, A(c, g))\),二者采用标准化的结构化消息模板,将 <|im_start|>user 用于承载可信指令,新增 <|im_start|>input 封装外部不可信数据。注入构造器 \(A(c, g)\) 覆盖了前缀插入、后缀插入以及利用模型分词漏洞的拟真标记符截断攻击(Completion-style Delimiter Attacks)。这种成对设计的巧妙之处在于,干净输入 \(p_c\) 在推理期不可见,但在训练期天然充当了消除注入污染的黄金标准,使防御目标被形式化为:迫使模型在面对 \(p_a\) 时,输出表征在语义上无限逼近其面对 \(p_c\) 时的自然分布。
2. 跨上下文令牌打分机制:解耦混合响应以实现精准信用分配
针对序列级强化学习在面对混合响应时无法区分安全与恶意片段的痛点,SecOPD 引入了跨上下文在线打分机制。给定学生模型在受攻击输入 \(p_a\) 下采样生成的轨迹 \(z = (z_1, z_2, \dots, z_T) \sim \pi_{\theta}(\cdot \mid p_a)\),对于轨迹中的每一个生成令牌 \(z_t\),构建学生的前缀条件 \(h_t^a = (p_a, z_{<t})\) 与教师的前缀条件 \(h_t^c = (p_c, z_{<t})\)。注意,两者的历史生成标记序列 \(z_{<t}\) 完全相同,唯一的区别在于前置上下文是否含有恶意注入。初始基座模型 \(\pi_{\text{ref}}\) 充当冻结教师计算对数概率 \(\ell_{\text{teacher},t} = \log \pi_{\text{ref}}(z_t \mid h_t^c)\),学生模型则计算 \(\ell_{\theta,t} = \log \pi_{\theta}(z_t \mid h_t^a)\)。令牌级的逆向 KL 散度采样估计为 \(\hat{D}_t = \ell_{\theta,t} - \ell_{\text{teacher},t}\),进而导出标量优势值:
其中 \(\text{sg}[\cdot]\) 为停止梯度算子。该机制的核心机理极为优雅:当模型生成的令牌 \(z_t\) 属于解决良性任务的必要内容时,即便在干净上下文中,教师模型同样会赋予该令牌极高的先验概率(\(\ell_{\text{teacher},t} \ge \ell_{\theta,t}\)),从而产生非负的优势信号 \(A_t \ge 0\),鼓励学生保留良性推理能力;反之,一旦学生开始屈服于注入指令生成恶意攻击内容(如突兀地生成攻击载荷短语),由于干净输入下完全不存在该恶意语境,教师模型赋予的先验概率将出现断崖式下跌(\(\ell_{\text{teacher},t} \ll \ell_{\theta,t}\)),从而触发强烈的负优势惩罚 \(A_t < 0\)。
3. 无需外置判别器的在策略蒸馏优化:消除判别器偏差并保护通用推理效用
GRPO 等强化学习基线极度依赖外部大模型裁判(如 GPT-4 或 Gemini)针对整段回复给出安全奖励,这不仅带来了高昂的 API 调用开销与裁判幻觉风险,还引入了不可导的稀疏惩罚。SecOPD 彻底摒弃了外部安全裁判,所有监督信号完全源于未微调的基座模型自身在无污染条件下的内生先验。优化过程中,冻结基座教师与学生均初始化自同一预训练检查点(例如 Qwen3.6-27B),仅更新学生的低秩自适应模块(LoRA 适配器,rank=128)。由于优势信号 \(A_t\) 施加了 stop-gradient,梯度直接通过当前策略在采样轨迹上的似然梯度 \(\nabla_\theta \log \pi_\theta(z_t \mid h_t^a)\) 进行后向传播。这种端到端的连续梯度回传不仅大幅降低了策略漂移方差,更让模型在压制注入的同时完好保留了基座模型原本的代码、数学及多步逻辑推理能力。
损失函数 / 训练策略¶
SecOPD 采用在策略(On-Policy)强化学习范式,每一轮迭代使用当前策略采样回复,并利用优势值 \(A_t\) 更新参数 \(\theta\)。优化目标通过策略似然加权定义:
训练阶段统一在公开指令数据集 Cleaned-Alpaca 的非空输入子集(19K 样本)上进行。基座模型选用 Qwen3.6-27B,学习率设为 \(1 \times 10^{-4}\),采样温度设为 1.0,最大生成长度截断至 16K。由于仅更新 LoRA 权重且教师前向计算与学生共享分词和网络架构,训练吞吐量显著优于外挂裁判模型的复杂 RL 管线。
实验关键数据¶
主实验¶
评估实验在指令跟随基准 SEP 以及开放式工具调用基准 AgentDojo 上全面展开。安全性通过各类攻击下的攻击成功率(ASR,越低越好)衡量,重点考察目前业界最强的自适应攻击 PISmith(该攻击使用 TRL GRPO 专门为受害模型定制训练专有攻击生成器);通用能力通过 AlpacaEval2(长度控制胜率)、MMLU-Pro、GPQA-Diamond、GSM8K 以及 Minerva-Math 全面评测。
| 防御方案 | SEP 静态 ASR (↓) | SEP 基础自适应 ASR (↓) | SEP PISmith 强自适应 ASR (↓) | AgentDojo 工具调用 ASR (↓) | 平均通用效用得分 (↑) |
|---|---|---|---|---|---|
| Undefended (无防御) | 99.4% | 99.0% | 97.9% | 26.7% | 88.1% |
| Meta-SecAlign (DPO) | 28.9% | 5.5% | 94.0% | 5.5% | 88.5% |
| GRPO (序列级标量奖励) | 15.0% | 2.3% | 61.2% | 0.7% | 83.1% |
| SecOPD (本文) | 1.3% | 0.2% | 9.0% | 4.7% | 88.1% |
消融与细粒度安全性分析¶
为验证防御方法在不同攻击变体下的鲁棒性边界,下表汇总了 SEP 六大静态攻击家族(Straightforward、Straightforward-Before、Ignore、Ignore-Before、Completion、Completion-Ignore)的具体 ASR 表现,以及各模型在不同认知基准上的详细效用留存情况。
| 模型配置 | 直白注入 (Straight.) | 忽略前置 (Ignore) | 分隔符补全 (Completion) | 静态综合 ASR (↓) | AlpacaEval2 (↑) | MMLU-Pro (↑) | GPQA Diam. (↑) | Minrv. Math (↑) |
|---|---|---|---|---|---|---|---|---|
| Undefended | 82.2% | 79.7% | 97.1% | 99.4% | 81.4% | 84.1% | 79.8% | 92.7% |
| Meta-SecAlign | 23.5% | 5.6% | 7.4% | 28.9% | 82.3% | 83.8% | 78.3% | 95.1% |
| GRPO | 2.9% | 0.3% | 9.7% | 15.0% | 76.0% | 83.0% | 77.8% | 85.1% |
| SecOPD (本文) | 0.3% | 0.5% | 0.0% | 1.3% | 80.1% | 84.1% | 81.3% | 94.3% |
关键发现¶
- 自适应对抗彻底击穿传统对齐防线:在静态 SEP 测试中,基于 DPO 的 Meta-SecAlign 表现优异(基础自适应仅 5.5% ASR);然而一旦引入专用攻击模型进行闭环对抗优化的 PISmith 攻击,Meta-SecAlign 的防御完全瓦解,ASR 暴增至 94.0%,与未防御模型的 97.9% 几无差异。这证实仅针对固定对抗模板进行序列级偏好微调会形成严重的脆弱假象。
- 令牌级优势实现数量级安全跃迁:SecOPD 在完全不调整攻击器假设的前提下,面对完全收敛的 PISmith 强对抗攻击,将 ASR 压制到了 9.0%,实现了相比前序 SOTA 整整一个数量级的安全提升;在静态综合评测中更是达成 1.3% 的极低穿透率。
- 跨领域通用能力与安全泛化:虽然 SecOPD 仅在 Alpaca 纯文本问答数据上进行微调,但模型学到的「通道特权隔离」原则无缝迁移到了完全未见过的 AgentDojo 智能体工具调用环境(ASR 低至 4.7%)。而在通用效用方面,GRPO 导致 Minerva-Math 暴跌至 85.1%、综合效用跌至 83.1%,而 SecOPD 维持了 88.1% 的全维度平均得分,甚至在 GPQA-Diamond 上逆势提升至 81.3%。对 Minerva-Math 46 个掉点用例的深入人工审计表明,仅 4 例(8.7%)存在实际逻辑推导退化,其余绝大多数为提取格式差异或非截断的提前停止。
亮点与洞察¶
- 精妙的内生无害教师设定:SecOPD 最具启发性的设计在于意识到无需训练专用的安全大模型或设计判别网络,只要将未微调的基座模型置于剥离注入的干净输入下,其自身就是最完美的无偏安全教师。这一构想彻底避开了对齐微调中外部判别器的主观偏差。
- 破解混合回复的信度分配困境:传统序列级 RL 面对半良性半恶意的混合输出时陷入两难,而跨上下文逐令牌优势打分能够沿着时间步精准识别出「哪个词在遵从用户、哪个词在顺从黑客」,赋予生成模型外科手术级的微观优化梯度。
- 打破安全性必然大幅牺牲效用的固有范式:以往通过拒答微调或强化惩罚实现的安全模型往往伴随着严重的语言模型灾难性遗忘与智商退化,SecOPD 证明基于干净分布的在线蒸馏能够在提升极端对抗防御能力的同时完整保全前沿模型的复杂推理水准。
局限与展望¶
- 适用边界聚焦于间接注入:当前研究设定假定系统具有明确划分的外部数据通道(即上下文数据来自不可信第三方环境,而用户指令处于可信通道)。该方法无法直接防御恶意用户主导的直接越狱(Jailbreak)或恶意系统提示词篡改。
- 依赖预设的结构化通道隔离:方案依赖系统能够清晰标记哪些输入属于
<|im_start|>input。若在真实交互中外部非可信数据与核心 Prompt 混合嵌套在同一上下文流中而无系统级标记,教师模型将无法构造配对的干净输入 \(p_c\)。 - 思考轨迹中的注入隐式消除:SecOPD 促使模型在思考(Thinking Process)和最终输出中均表现得犹如未曾见过注入一般(不出现对注入的提及或犹豫),这虽保障了最终回复的无害与效用,但使得下游依赖思考链监控来捕获黑客攻击行为的二级检测防御机制失去了特征线索。
相关工作与启发¶
- vs Meta-SecAlign: Meta-SecAlign 通过离线构建配对回复(\(y^+\) 仅回答良性问题,\(y^-\) 顺应注入)并采用 DPO 进行优化。其局限在于 DPO 属于序列级隐式奖励模型,无法细粒度惩罚混合响应中的局部毒化片段,面对自适应对抗攻击 PISmith 时防御迅速失效(94.0% ASR)。SecOPD 改用在线自采样与逐令牌优势打分,在相同训练集下将 ASR 降至 9.0%。
- vs GRPO 序列强化防御: GRPO 依赖外置 LLM Judge 对受害模型的完整回复进行二元安全评级作为标量奖励,存在严重的信用分配模糊问题,并伴随剧烈的通用推理能力退化(数学推理从 92.7% 跌至 85.1%)。SecOPD 利用成对输入下的初始模型内部先验提供密集可导的令牌级监督,兼顾极致安全与通用推理能力。
- vs StruQ / 结构化查询方案: StruQ 等工作侧重于在推理期通过复杂的查询语法与前缀解析约束防止注入。SecOPD 证明通过适当的在策略蒸馏算法,标准 Transformer 基座架构自身即可具备对通道特权的深刻内化理解,无需依赖复杂的外部解析过滤流水线。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将无害上下文教师驱动的在策略蒸馏引入提示词注入防御,以令牌级优势替代序列级标量奖励,选题视角独到且理论自洽。
- 实验充分度: ⭐⭐⭐⭐⭐ 严谨引入基于强化学习训练的 PISmith 强自适应红队对抗,在 SEP 六大攻击变体、AgentDojo 跨领域工具调用以及四大数学/科学推理基准上进行了详实评测与人工细粒度审计。
- 写作质量: ⭐⭐⭐⭐⭐ 论文动机阐述清晰透彻,图表设计生动形象,算法伪代码与数学推导规范严密。
- 价值: ⭐⭐⭐⭐⭐ 为解决自主 AI 智能体最严峻的间接提示词注入难题提供了即插即用的工业级模型对齐微调范式,兼具强鲁棒性与零效用损耗特性。