跳转至

Identify, Classify, Act: Per-Instruction Controlled Compliance for LLMs over External Data

会议: EMNLP 2026
论文: ACL Anthology
领域: LLM 推理
关键词: 外部数据指令分类, 间接提示注入防御, 受控合规, 生成式裁判模型, 强化学习

一句话总结

针对外部数据中合法指令与恶意提示注入交织导致的“过度拒绝”与“过度顺从”困境,本文形式化了“外部数据指令分类”(EDIC)任务,通过场景对齐的反事实数据合成构建正交对比样本,并利用两阶段生成式裁判模型提供细粒度解耦奖励,引导大模型在 CoT 推理中实现逐条指令的识别、分类与受控遵循。

研究背景与动机

随着大语言模型(LLM)被广泛部署于检索增强生成(RAG)、浏览器助手、多步工作流以及工具调用智能体中,模型不可避免地需要读取并解析不受自身控制的外部输入。然而现实中的外部数据往往具有复杂的混合属性:一方面,它包含完成任务所必需的合法指令与规则,如 API 接口文档中的格式约束、医疗临床路径中的注意事项或邮件工作流的附件指引;另一方面,不受信的数据源随时可能潜藏对抗性间接提示注入(Indirect Prompt Injection),诱导模型偏离用户初衷、泄露隐私或执行越权操作。

面对这一挑战,现有的安全对齐与注入防御范式大多将外部指令处理视为粗粒度的二元对抗问题。诸如指令分层(Instruction Hierarchy)、结构化查询隔离(StruQ)或外部安全分类器(PromptGuard)等方案,本质上采取“一刀切”的拒绝策略,将所有来自外部数据的控制性指令均推定为潜在攻击并予以压制。这种防御机制虽然降低了攻击成功率,却不可避免地摧毁了外部良性指令对模型生成的正向引导,导致模型陷入严重“过度拒绝”(Over-refusal)与任务效用暴跌的僵局。而在另一端,过度宽容的模型则面临严重的被劫持风险(Over-compliance)。这种安全边界与任务效用之间的零和博弈,根源在于现有模型缺乏对混合指令进行细粒度行为归因与独立判别的能力。

为了打破这种非黑即白的妥协,本文认为外部数据防御的核心不在于盲目拦截,而在于赋予模型针对单条指令的细粒度信用归因与自适应决策能力。作者将该问题形式化为“识别-分类-行动”(Identify-Classify-Act)决策框架,提出了统一的 EDIC 框架。核心 idea:将外部数据指令合规拆解为单条指令维度的局部行为归因,通过反事实场景数据合成与生成式裁判模型构建解耦奖励,驱动模型在思维链中自主识别每条指令、判别良莠并实现“顺从良性、拒斥恶意”的受控合规。

方法详解

整体框架

EDIC 系统围绕“识别-分类-行动”三步决策范式构建,由三大核心阶段构成:第一阶段为场景对齐的多分支反事实数据合成与过滤管道,为每个任务生成良性嵌入、恶意嵌入及混合嵌入的对比样本;第二阶段训练专门的生成式裁判模型(Generative Judge),使其具备对模型输出中具体指令遵循行为进行独立归因的能力;第三阶段利用裁判模型生成的解耦奖励,通过 SFT 冷启动和基于 GRPO 的强化学习训练具备细粒度推理能力的 CoT 策略模型。输入阶段模型接收用户查询 \(q\) 与外部数据 \(D\),在 CoT 中显式提取并评估指令片段集合 \(\mathcal{I}=\{e_1, \dots, e_K\}\),最终输出既达成用户目标、遵循良性约束又完全免疫恶意注入的受控响应 \(y\)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: 用户查询 q 与外部数据 D"] --> B["场景对齐的多分支反事实数据合成<br/>四类真实场景·良性/有害/混合变体生成"]
    B --> C["严苛的反事实质量过滤机制<br/>必要性·任务一致性·自然度·独立性四维检验"]
    C --> D["两阶段生成式裁判模型<br/>SFT 冷启动格式规范 + GRPO 强化细粒度行为归因"]
    D --> E["指令解耦强化学习奖励设计<br/>良性顺从正奖励 + 有害顺从惩罚项 + 结构奖励"]
    E --> F["CoT 受控合规响应模型<br/>思维链显式识别·分类·决策,实现受控合规"]

关键设计

1. 场景对齐的多分支反事实数据合成:真实语料驱动的正交行为空间构建

现有安全数据集往往依赖合成的人工攻击模板,缺乏真实业务场景中合法约束与恶意指令交织共存的环境。针对这一痛点,EDIC 选取了涵盖真实生产环境的四类典型场景语料:电子邮件(Spam email)、API 文档(API-Bank)、医疗指南(EPFL 临床指南)和多跳知识证据(HotpotQA / Wiki-MultihopQA)。在保留原始实体、术语与语言风格的前提下,流水线仅改写其中的指令片段,为每个查询 \(q\) 与基准文档 \(D\) 构造出三组外部数据变体:纯良性指令变体 \(D_{\text{ben}} = D \cup \{e^+\}\)、纯恶意注入变体 \(D_{\text{harm}} = D \cup \{e^-\}\) 以及良恶交织的混合变体 \(D_{\text{mix}} = D \cup \{e^+, e^-\}\)。为了赋予模型对不同决策分支的鉴别力,该流程为每个变体合成四类代表性行为输出:目标完美响应 \(y_{\text{ben}}\)(完成任务且遵循 \(e^+\))、过度保守错误 \(y_{\text{non}}\)(完成主任务但忽略所有指令)、被劫持错误 \(y_{\text{pi}}\)(执行 \(e^-\) 偏离目标)和部分重定向错误 \(y_{\text{mix}}\)(同时遵循 \(e^+\) 和 \(e^-\))。这四大分支为后续策略训练提供了正交的反事实监督信号。

2. 严苛的反事实质量过滤机制:消除伪因果关联的四维门控

合成数据中极易混入“良性指令无关紧要”或“恶意指令渗透破坏”的脏样本,导致策略模型学习到虚假的快捷相关。为此,EDIC 提出了基于因果对比的反事实四维质量过滤: - 良性指令必要性检验(Necessity Check):为每个候选样本生成移除 \(e^+\)、替换为背景句、改写为可选建议或非约束提示四种削弱变体,通过评估器打分(1–5 分),只有移除 \(e^+\) 会导致最终交付物发生实质结构或行为改变(严格满分 5 分)的样本才予以保留; - 任务一致性检验(Consistency Check):核验在允许执行与禁止执行两条路径下,输出是否严格在“执行交付”与“仅信息摘要”之间清晰分野(要求满分 5 分); - 场景自然度检验(Naturalness Check):确保外部数据与嵌入指令如同真实业务备忘录或开发文档,杜绝生硬拼接感(要求满分 5 分); - 有害指令独立性检验(Independence Check):严格比对移除 \(e^-\) 前后的授权响应,确保主任务执行过程完全不受有害指令的污染(独立性评分必须 \(\le 2\))。各场景均保留过滤后的 900 个高质量基准样本。

3. 两阶段生成式裁判模型:解耦单条指令合规性的局部归因专家

由于外部数据中多条指令并存,传统基于单一输出标量打分的奖励模型无法区分究竟是哪一条指令被执行。EDIC 训练了一个独立的生成式裁判模型 \(J_\phi(q, D, e_k, y) \to (r, \hat{\ell})\),专门评估针对候选指令 \(e_k\) 的局部遵循情况(\(\hat{\ell} \in \{0, 1\}\))。裁判模型的训练分为两阶段:首先在标注数据集 \(\mathcal{D}_J\) 上进行 SFT 冷启动,建立标准推理结构与识别格式;随后采用 GRPO(Group Relative Policy Optimization)进行强化学习调优,采用综合奖励函数: $\(R_J = r_{\text{correct}} + r_{\text{fmt}} = \mathbb{I}[\hat{\ell} = \ell] + r_{\text{fmt}}\)$ 其中 \(r_{\text{correct}}\) 奖励准确的合规预测,\(r_{\text{fmt}}\) 奖励包含明确遵循证据的推理链。RL 阶段极大提升了裁判在长文本、隐蔽注入及模糊用语下的鲁棒归因能力,使裁判模型与策略模型的判断一致性(Cohen's \(\kappa\))从基座的 0.38 跃升至 0.81。

4. 指令解耦强化学习奖励设计:双向对抗约束下的受控策略对齐

在策略模型(CoT 响应模型)训练阶段,单纯的 SFT 只能赋予模型结构化的 CoT 模版,面对复杂对抗依然会产生语义漂移。EDIC 提出了逐指令解耦的奖励函数,将良性鼓励与恶意惩罚完全正交化: $\(R(y) = \sum_{e_k: a^*_k = \text{fol}} J_\phi(q, D, e_k, y) - \lambda \sum_{e_k: a^*_k \neq \text{fol}} J_\phi(q, D, e_k, y) + \alpha S(y)\)$ 式中第一项单独度量良性指令的顺从程度,第二项以权重 \(\lambda\) 严厉惩罚对有害注入的执行,第三项 \(S(y)\) 为场景特定的格式完整性奖励(权重 \(\alpha\))。策略模型采用 GRPO 算法在混合数据集 \(\mathcal{D}_P\) 上进行闭环对齐,最小化与 SFT 参考模型的 KL 散度: $\(\max_\theta \mathbb{E}_{(q,D)\sim \mathcal{D}_P} \left[ \mathbb{E}_{y\sim \pi_\theta} [R(y; q, D, \mathcal{I})] - \beta \mathbb{D}_{\text{KL}}[\pi_\theta \parallel \pi_{\text{ref}}] \right]\)$ 由于训练集在同一场景中同时包含仅良性、仅恶意与混合样本,模型无法通过“全量拒绝”或“盲目服从”的捷径最大化收益,必须真正学会区分指令意图并自适应响应。

损失函数 / 训练策略

  1. 裁判模型训练:SFT 阶段学习率设为 \(5 \times 10^{-5}\)(余弦退火,Warmup 3%),LoRA rank/alpha 为 32/64;GRPO 阶段学习率设为 \(1 \times 10^{-6}\),Rollout 组大小 \(n=8\),KL 系数设为 \(10^{-3}\)。
  2. CoT 策略模型训练:SFT 阶段 Qwen3-4B 学习率取 \(2 \times 10^{-5}\),Llama-3.1-8B-Instruct 取 \(1 \times 10^{-5}\),LoRA rank/alpha 设为 32/32;GRPO 阶段学习率设为 \(1 \times 10^{-6}\),Rollout 组大小 \(n=8\),最大输入长度 2,048,生成长度上限 768,KL 惩罚系数 \(\beta=10^{-3}\)。解耦奖励参数在 Qwen3-4B 上配置为 \(\lambda=1.0, \alpha=0.5\),在 Llama-3.1-8B 上配置为 \(\lambda=1.2, \alpha=0.5\)。

实验关键数据

主实验

论文在两大多语言通用基座(Qwen3-4B 与 Llama-3.1-8B-Instruct)上评估了通用任务效用(Arena-Hard-Auto、MT-Bench、AgentDojo 效用 DJ-U)、外部对抗防御安全性(AgentDojo ASR、CyberSecEval 2 ASR、InjecAgent ASR)以及内部指令遵循指标(有害拒绝率 H-R、良性遵循率 B-F)。主要基准对比结果如下:

模型与方法 Arena-Hard↑ MT-Bench↑ DJ-U↑ DJ-ASR↓ Cyb-ASR↓ Inj-ASR↓ H-R↑ (%) B-F↑ (%)
Qwen3-4B
Base 8.4 6.64 42.1 4.8 54.3 1.9 67.2 72.5
SecAlign 10.2 6.59 43.5 3.9 29.6 0.7 81.8 56.9
StruQ - - 40.2 4.1 37.4 1.2 76.5 53.3
ReasAlign 16.4 7.28 44.2 1.2 19.6 0.3 83.5 77.6
EDIC (Ours) 28.9 8.04 46.8 0.4 15.8 0.3 91.2 89.5
Llama-3.1-8B
Base 1.6 6.38 6.6 0.8 28.6 14.7 74.9 85.5
SecAlign 3.2 6.41 6.4 0.5 14.2 2.2 88.6 67.5
StruQ - - 4.5 0.2 18.5 7.9 85.4 62.4
Meta-SecAlign 4.6 6.68 6.2 0.0 7.4 1.5 91.9 68.1
ReasAlign 7.8 6.95 7.4 0.1 3.8 1.1 93.1 87.3
EDIC (Ours) 12.4 7.33 15.8 0.1 2.5 0.7 92.8 91.7

消融实验

为了验证混合上下文数据构造、必要性阈值及解耦奖励各组件的独立贡献,论文在 Qwen3-4B 上开展了系统消融。

1. 训练数据成分与混合上下文消融(Qwen3-4B 开启 Trigger)

数据分布配置 H-R↑ (%) B-F↑ (%) CC↑ (Controlled Compliance) DJ-U↑ (%) DJ-ASR↓ (%)
Base 基座 67.2 72.5 0.72 42.1 4.8
Harmful-only 仅有害注入 92.8 74.8 0.75 40.2 0.5
Benign-only 仅良性指令 65.8 94.6 0.71 44.4 4.9
Separate ctx 良恶分立文档 82.6 84.2 0.85 47.1 0.4
Mixed (Ours 混合上下文) 91.2 89.5 0.92 46.8 0.4

2. 良性指令必要性过滤阈值消融(重采样固定 3,600 样本)

过滤门控条件 H-R↑ (%) B-F↑ (%) CC↑ DJ-U↑ (%) DJ-ASR↓ (%) 初始池保留率 (%)
No filter 无过滤 77.3 80.5 0.76 43.3 1.1 100.0%
\(\ge 4\) 中等阈值 82.8 83.0 0.82 44.2 0.6 86.9%
\(= 5\) 严格阈值 (Ours) 91.2 89.5 0.92 46.8 0.4 71.6%

3. NotInject 误拒鲁棒性评测(包含 1–3 个注入触发词的良性请求精度 Ben-Acc)

模型与方法 Ben-Acc↑ (总体) 1 个触发词 (1T) 2 个触发词 (2T) 3 个触发词 (3T)
Qwen3-4B
Base 93.2 96.5 93.8 89.4
SecAlign 72.8 81.4 71.7 65.5
ReasAlign 78.6 85.8 77.9 72.2
EDIC (Ours) 88.8 93.8 88.5 84.1
Llama-3.1-8B
Base 91.4 95.6 91.2 87.6
SecAlign 69.4 78.8 68.1 61.2
ReasAlign 75.2 83.2 74.3 68.1
EDIC (Ours) 87.4 92.0 86.7 83.5

关键发现

  • 混合上下文训练是打破二元困境的核心:如消融表所示,仅针对有害样本对齐会导致良性遵循率下降,而仅在良性样本上训练则安全全面失守。即便数据集中两种样本均存在,若它们存在于独立文档中(Separate ctx),受控合规分数依然卡在 0.85。唯有在同一文档中混合共存(Mixed context),模型才被迫产生单条指令级别的归因推理。
  • 解耦奖励各司其职,有效杜绝奖励黑客(Reward Hacking):移除裁判信号会导致安全性剧烈崩塌(H-R 下降最严重);移除良性奖励会导致模型退化为全面拒绝(过度防御);移除结构奖励虽维持高防御但造成效用雪崩。四项解耦奖励使策略模型无法通过模板化拒绝等作弊手段获得高分。
  • 语义意图驱动而非表面关键词匹配:在 NotInject 评测中,基线方法 SecAlign 与 ReasAlign 随着触发词增加,准确率暴跌至 61%–68%,显现出对“Ignore previous instructions”等字面词的过敏;而 EDIC 在 3 个触发词下仍维持 84.1%(Qwen)与 83.5%(Llama)的良性执行率,证明其安全决策建立在对指令真实语义目标的因果理解之上。

亮点与洞察

  • 将安全防御问题升华为细粒度属性推理问题:EDIC 没有沿袭传统安全领域“建立更坚固的过滤器”的围墙思维,而是将外部指令遵循拆解为局部的因果归因任务,通过 CoT 赋能模型内生判断力。
  • 反事实必要性过滤建立了高质量对齐数据的黄金标准:通过强制削弱/移除良性指令并观察输出差异(Necessity=5),从根本上保证了监督信号中指令与行为的强因果耦合,为后续研究构造高质量对齐语料提供了通用范式。
  • 推理期 Trigger 提供了无缝切换的安全旋钮:实验表明,分类 Trigger 充当了隐式能力的开关,用户无需重新微调模型,即可在低风险环境(追求极高主任务完成度)与不可信环境(要求高强防御)之间按需调配模型行为。

局限与展望

  • 场景覆盖与泛化半径受限:当前训练仅覆盖邮件、API、医疗和检索四类文本场景,未延伸至超长程智能体轨迹(Long-horizon Agent Trajectories)、复杂嵌套的前端 HTML/DOM 树以及低资源非英语语料中。
  • 适应性攻击(Adaptive Attacks)的潜在威胁:流水线目前嵌入的是公开基准的已知注入触发词,攻击者若针对训练好的生成式裁判模型或“识别-分类-行动”模板进行对抗优化,可能造成新的防御盲区。
  • 二元判别粒度无法应对复合模糊指令:裁判模型目前仅输出二元遵循标签,对于“前半句合法、后半句越权”的混合歧义指令容易发生裁决失真,未来需要引入具备弃权(Abstention)与纠错改写机制的校准裁判模型。

相关工作与启发

  • vs StruQ (USENIX Security 2025):StruQ 采用结构化标记硬性隔离用户输入与外部数据,阻断了跨边界的控制流;而 EDIC 允许模型主动吸收外部数据中的合法控制逻辑(如参数校验与格式规范),在实现相当防御水平的同时大幅保留了实用功能。
  • vs Instruction Hierarchy (Wallace et al., 2024):Instruction Hierarchy 采用粗粒度的来源优先级机制(System > User > Tool/External),在面对外部数据中真正有价值的指令时容易无差别压制;EDIC 则深入到数据内容内部进行语义级逐条分类,打破了来源特权的僵化局限。
  • vs ReasAlign (Hao et al., 2026):ReasAlign 引入了推理辅助的安全对齐,但依然将所有外部指令默认视为攻击源,无法在同一个复杂文档中兼顾良性指令的提取执行;EDIC 首次建立了支持良恶交织混合上下文的解耦奖励机制。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次提出外部数据指令分类(EDIC)概念与解耦奖励框架,颠覆了非黑即白的注入防御范式。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 2 大模型、5 个主流对抗/效用基准、4 个垂直业务场景及跨场景泛化实验,消融扎实严谨。
  • 写作质量: ⭐⭐⭐⭐⭐ 形式化定义严谨,方法逻辑与反事实实验设计环环相扣,图表详实。
  • 价值: ⭐⭐⭐⭐⭐ 为 RAG 与 Agent 落地中不可避免的提示注入与合规难题提供了极具落地可行性的实战路线。