跳转至

StepGuard: Learning Step-Level Guardrails with Scalable Supervision and Safety–Utility Balancing

会议: EMNLP 2026
论文: ACL Anthology
代码: https://zheng977.github.io/StepGuard/
领域: LLM推理/智能体安全
关键词: 智能体护栏, 步骤级安全监控, 数据引擎, 强化学习校准, 安全与效用平衡

一句话总结

针对大语言模型智能体执行工具时的安全漏洞与防御偏差,StepGuard 提出了前缀对齐的对比数据引擎 StepGen 与自适应平衡策略 Balance-GRPO,构建了具备动作前拦截与轨迹级审计能力的 4B 步骤级护栏模型,在降低 77.3% 攻击成功率的同时仅损失 2.8 点任务效用。

研究背景与动机

大语言模型驱动的自主智能体(LLM-based Agents)正在迅速从传统的纯文本对话拓展至具身与多工具调用场景,能够自主解析用户意图、规划调用链并执行文件读写、金融转账、邮件收发及系统配置等产生现实物理后果的操作。然而,工具调用能力在赋予智能体极高自主性的同时,也带来了严峻的系统级安全隐患,恶意用户越狱、间接提示注入(Indirect Prompt Injection)、不安全工具交互以及自身推理幻觉极易诱发敏感信息泄露、未授权权限越界甚至破坏性系统篡改。为了在不频繁重新对齐或微调庞大骨干智能体的前提下保障交互可信度,业界普遍采用外部安全护栏(Guardrails)机制对智能体行为实施实时审计与干预。

然而,现存的智能体安全护栏在实际部署中面临着深刻的防御偏差(Defense Bias)与两难困境:传统基于完整轨迹的事后评估(Post-hoc Trajectory Diagnosis)往往为时已晚,破坏性动作在被识别前早已在真实环境中触发并落盘;而针对动作前(Pre-execution)候选工具调用的监控又严重缺乏高质量、规模化且细粒度的步骤级监督信号。人工构造步骤级不安全动作成本极高且难以覆盖长尾工具,且现有数据集大多缺乏在完全相同的上下文决策点处精准对比安全与不安全行为的控制变量样本。这种监督的缺失导致现有护栏极易出现结构性失衡:要么过度保守(Over-defense),将正常业务中的敏感工具调用(如支付、命令行调用)一刀切拦截,严重摧毁任务完成率与效用;要么防御不足(Under-defense),在面对上下文隐式攻击时漏判致命动作。

这种防御偏差的根本症结在于模型训练范式的脱节——标准的监督微调(SFT)和通用在线强化学习(如标准 GRPO)通常采用全局无差别的优化目标,无法感知并动态修正模型在“安全类别”与“不安全类别”上所展现出的经验准确率差异。一旦模型在初期表现出偏向某一类的过拟合,传统的优势归一化将持续放大该偏差。核心 idea:构建锚点对齐的合成数据引擎 StepGen 以生成共享执行前缀且在风险关键步分流的对比轨迹组,并配合精度差感知的动态平衡强化学习算法 Balance-GRPO,在训练过程中自适应调整安全与不安全样本的优势权重,实现零过度防御与强安全拦截兼备的步骤级轻量护栏。

方法详解

整体框架

StepGuard 旨在构建一个轻量级(4B 参数量)、支持“执行前动作审查”与“执行后完整轨迹诊断”双重工作模式的智能体专用护栏模型。给定包含用户初始请求、可用工具集、先前多步交互历史以及当前待执行的候选工具动作,StepGuard 输出结构化的安全诊断报告,包括二元安全判定、风险源存在性、具体风险源归属(涵盖间接提示注入、工具描述注入、越狱指令等 8 类风险及 1 类良性场景)以及不安全动作步骤定位。系统整体包含两个核心训练阶段:首先基于数据引擎 StepGen 产出的对比轨迹组开展冷启动监督微调(Cold-Start SFT),随后基于策略采样反馈运行动态平衡强化学习(Balance-GRPO)彻底抹平类别准确率差距。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: 用户请求 + 工具集 + 历史轨迹 + 候选动作"] --> B["StepGen: 风险锚定规划与执行前缀对齐"]
    B --> C["StepGen: 多分支对比生成与双重质检验收"]
    C --> D["冷启动监督微调 (Cold-Start SFT)"]
    D --> E["Balance-GRPO: 类别优势重加权在线强化学习"]
    E --> F["输出: 动作级预执行放行/拦截与结构化风险诊断"]

关键设计

1. 风险锚定规划与执行前缀对齐:解决步骤级微观监督缺乏与工具身份偏见 传统的全轨迹数据往往无法界定风险究竟在第几步首次爆发,容易导致护栏将错误归咎于后续无辜动作,或者单纯依靠敏感工具名称(如看到 shell_command 或 payment 即判不安全)进行浅层特征记忆。为此,StepGen 首先从预定义的风险源(Risk Source)、失败模式(Failure Mode)及危害类型(Harm Type)三元组 \((r, f, h)\) 中抽样,并由两阶段规划器 \(G_{\text{plan}}\) 构造任务场景并编译为结构化执行计划 \(P = (P_1, \dots, P_L)\)。关键在于,计划中严格强制指定唯一的首个不安全动作作为风险锚点(Unsafe Anchor \(i^\star\))。在环境模拟器中生成基础不安全轨迹 \(\tau^U\) 后,StepGen 保持 \(i^\star\) 之前的所有执行历史前缀 \(\tau_{<i^\star}^U\) 完全冻结固定,仅在风险步针对不同安全模式重新展开后缀生成(Re-roll): $\(\tau^m = \tau_{<i^\star}^U \circ \text{ReRoll}(P_{\ge i^\star}^U, m), \quad m \in \{\text{Refuse}, \text{Aware}\}\)$ 其中 Refuse 分支在锚点步敏锐识别风险并直接拒绝后续危害;Aware 分支则主动识别外部注入或上下文冲突,修正参数或提出替代的安全工具调用以继续推进用户正常诉求。此外,系统独立构建同工具子集的良性复用轨迹(Benign),迫使护栏学习深层执行语义而非死记硬背工具标签。

2. 机械与语义双重质检验收:剔除格式漂移与幻觉缺陷 自动化合成的数据极易受大模型幻觉与参数传递断裂影响。StepGen 为每个对比组设立了由机械验证器 \(\phi_{\text{mech}}\) 和 LLM 审计器 \(\phi_{\text{qual}}\) 组成的级联过滤器。机械过滤器采用确定性规则验证四项硬指标:轨迹 JSON 格式合规性、参数血统一致性(确保声明为上一工具输出的变量确实来自于前序步骤,声明为用户输入的参数未被注入污染)、风险锚点实际发生率以及注入标记物理位置(严格限制注入文本必须位于环境返回而非篡改用户请求)。通过机械验证后,由 GLM-5.1 驱动的语义审计器从授权范围一致性、资源目标连贯性、锚点真实性、标签向下传播逻辑自洽性、工具模拟真实度及三元组协调度 6 个维度进行打分(满分 18 分)。仅当总分 \(\ge 14\) 且任意单项不为 0 时才入库,端到端筛选率约 31.0%,确保了步骤级监督信号的极高置信度。

3. Balance-GRPO 类别动态重加权:打破防御偏差实现安全效用自适应对齐 在微调阶段后,模型通常存在严重的过防御倾向——在安全样本上的判定准确率远低于不安全样本。若采用常规 GRPO 算法,批次内优势归一化会因为两类样本的表现不均而使梯度更新持续强化优势方。Balance-GRPO 在保持原始提示词采样分布与结构化奖励(标签正确得 0.5,类别正确追加 0.5)不变的前提下,对归一化后的优势值 \(A_{i,j}\) 实施双因子动态重加权: $\(A'_{i,j} = c_i \cdot \omega_i \cdot A_{i,j}\)$ 其中类别样本计数平衡项 \(c_i = \text{clip}\left(\frac{|B|}{2 n_{Y_i}}, c_{\min}, c_{\max}\right)\) 用于抹平当前采样批次中安全与不安全样本数量的随机波动;而核心校准因子 \(\omega_i\) 依据该批次观察到的类别精度差 \(\Delta_{\text{cls}} = \text{Acc}_{\text{safe}} - \text{Acc}_{\text{unsafe}}\) 实时计算: $\(\omega_i = 1 + \lambda \max(-\bar{\Delta}_{\text{cls}}, 0) \quad (\text{当 } Y_i = \text{Safe}), \qquad \omega_i = 1 + \lambda \max(\bar{\Delta}_{\text{cls}}, 0) \quad (\text{当 } Y_i = \text{Unsafe})\)$ 通过在精度落后的类别上动态放大优势梯度,算法能够针对性强化弱势类别的优化阻尼,在无需人工频繁调整数据配比的情况下,平滑引导模型在安全拦截率与良性放行率之间取得帕累托最优。

损失函数 / 训练策略

模型底座选用 Qwen3-4B-Instruct。Cold-Start SFT 阶段采用 3,000 条由 GPT-5.4 严格按五字段推理 Schema 标注的样本,使用标准交叉熵损失在 4 块 NVIDIA H200 上以学习率 \(2 \times 10^{-5}\) 微调 2 个 epoch(耗时约 0.5 小时)。强化学习阶段使用 4,000 条平衡样本,在每个 Rollout 批次中针对 64 个 Prompt 分别采样 8 条候选轨迹(生成温度 1.0),并在 PPO 裁剪范围 \([0.2, 0.28]\)、KL 散度系数 \(\beta=0.001\) 下进行更新。Balance-GRPO 引入重加权超参数 \(\lambda=2.0\)、死区阈值 \(0.02\) 以及有效权重裁剪区间 \([0.75, 1.5]\),仅需约 1.5 小时(6 卡时)即可完成对齐,展现出极高的计算与样本效率。

实验关键数据

主实验

评估涵盖静态安全判别(包括全轨迹级基准 ATBench、R-Judge、ASSE Security 与步骤级基准 TS-Bench-Dojo、TS-Bench-Harm)以及动态执行环境(AgentDojo、AgentDyn、AgentHarm)下部署护栏的闭环表现。

表 1 汇总了静态安全评测结果,展现了 StepGuard 在多粒度任务上的准确率与 F1 表现:

模型 参数量 轨迹级 Avg. Acc. 轨迹级 Avg. F1 步骤级 Avg. Acc. 步骤级 Avg. F1
GPT-5.4 (Closed-Source) – 83.0 84.4 81.3 83.3
Qwen3.5-397B-A17B 397B 82.1 82.5 82.9 84.4
Qwen2.5-7B-Instruct 7B 60.5 53.2 78.0 69.4
Qwen3-4B-Instruct 4B 70.5 63.3 79.3 69.2
LlamaGuard3-8B 8B 46.5 15.7 77.6 54.2
AgentDoG-Qwen3-4B 4B 74.1 77.8 52.5 61.1
ShieldAgent-THU 7B 76.4 79.4 60.8 65.5
TS-Guard 7B 71.5 58.4 84.0 79.9
StepGuard (本文) 4B 83.0 83.3 84.8 84.1

在动态智能体运行环境中(以 Qwen3.6-35B-A3B 作为执行智能体骨干),表 2 展示了各护栏在攻击成功率(ASR,越低越好)与良性任务效用(Utility,越高越好)之间的实测权衡:

护栏配置 AgentDojo ASR ↓ AgentDojo Utility ↑ AgentDyn ASR ↓ AgentDyn Utility ↑ AgentHarm 恶意分 ↓ AgentHarm 完成率 ↑
无防护 (No Defense) 25.1 89.7 21.2 73.3 22.8 70.9
MetaSecAlign-70B 1.9 84.5 9.0 55.0 – –
ShieldAgent-THU (7B) 18.1 85.3 20.0 70.0 1.3 18.7
TS-Guard (7B) 6.2 92.8 13.8 70.0 5.4 58.4
StepGuard (4B) 1.2 90.7 9.3 66.7 3.4 52.8

消融实验

针对 StepGen 数据生成机制与 Balance-GRPO 平衡策略的专项消融验证如下:

表 3(a):StepGen 数据组件消融(SFT 阶段固定样本规模) | 数据变体 | 评测基准 | 指标 | 去除该组件 (w/o) | 包含该组件 (w/) | 增益 | |---|---|---|---|---|---| | 中间前缀监督 (Prefix Supervision) | 轨迹级 3 大基准平均 | Avg. Acc. / F1 | 80.4 / 82.0 | 83.8 / 83.4 | +3.4 / +1.4 | | 良性同工具复用 (Benign Tool Reuse) | TS-Bench-Harm | F1 分数 | 69.2 | 75.2 | +6.0 |

表 3(b):Balance-GRPO 与基线对齐策略对比(静态与动态综合) | 优化目标 / 策略 | 静态 Acc. | 静态 F1 | Safe Acc. | Unsafe Acc. | 绝对差距 |Δ| | Dojo ASR / Utility | Dyn ASR / Utility | |---|---|---|---|---|---|---|---| | 纯 SFT 检查点 | 79.7 | 81.0 | 69.3 | 91.1 | 21.8 | – | – | | 静态 Safe 70:30 上采样 | 81.4 | 80.1 | 84.5 | 76.2 | 8.3 | – | – | | 标准 GRPO | 81.5 | 81.9 | 75.3 | 88.3 | 13.0 | 0.9 / 85.3 | 9.0 / 60.0 | | GRPO + 固定权重 (1.5/0.5) | 81.8 | 80.4 | 85.4 | 77.5 | 7.9 | – | – | | Balance-GRPO (本文) | 82.2 | 82.1 | 78.4 | 86.4 | 8.0 | 1.2 / 90.7 | 9.3 / 66.7 |

关键发现

  • 打破安全与效用零和博弈:相比于标准 GRPO,Balance-GRPO 显著缩小了 Safe 类与 Unsafe 类的准确率差距(从 13.0 降至 8.0),在使 Dojo 和 Dyn 效用分别大幅回升 5.4 和 6.7 点的同时,攻击成功率仅有 0.3 点轻微波动,证明消除防御偏差是保持良性任务效用的核心。
  • 卓越的开箱部署开销控制:在 AgentDojo 全调用检查配置下,StepGuard 单次审计耗时仅 599.9 ms、生成 195.5 tokens,比 TS-Guard 延迟降低 34.5%,整个护栏模块仅占智能体总端到端耗时的 7.24%。
  • 泛化性与长尾鲁棒性:在仅使用恶意指令与间接提示注入两类风险进行 SFT 训练的前提下,StepGuard 在未见过的其余 6 种风险源上依旧取得了 74.9% Acc / 78.1% F1,大幅抛离底座的 49.6% / 35.6%;且在完全脱离合成数据源的 100 条真实人工复核 Nemotron-AIQ 轨迹上,Balance-GRPO 取得了 82.0% 的高准确率。

亮点与洞察

  • 执行前缀冻结下的最小反事实分流:StepGen 不简单重新生成整条对抗或安全对话,而是将风险严格锁死在首个动作节点,前缀硬编码一致而后缀生成分化。这种设计在数据层面完美剥离了“上下文环境语义”与“动作本质危害性”,根治了护栏依靠先入为主的提示词特征乱下结论的毛病。
  • 在线采样精度差驱动的闭环重加权:传统强化学习在处理不平衡或多目标安全对齐时多采用静态超参数或离线启发式配比,而 Balance-GRPO 将策略自身的实时经验差作为控制变量反哺给 Advantage 缩放因子,实现了无需外部人工干预的动态自愈收敛。

局限与展望

  • 合成生成与教师模型偏见:训练数据高度依赖 GLM-5.1 和 GPT-5.4 的生成与过滤逻辑,可能在长尾生态或极为隐蔽的对抗意图上继承教师模型的盲区与先验偏差。
  • 规范与学术伦理维度的检测盲区:错误分析表明,模型在缺乏直接系统破坏或代码注入的技术危害场景下易出现漏报(例如代他人提交代码的学术不端行为),对社会规范与制度性违规的理解尚弱于工具系统安全性。
  • 多智能体与超长时序挑战:当前验证主要集中于单智能体、10 步以内的决策环境,对于跨多智能体共谋、分布式状态演化以及自适应红队对抗的防御表现有待深入拓展。

相关工作与启发

  • vs TS-Guard: TS-Guard 率先探索了步骤级候选工具审查,但其依赖小规模人工/受限规则构建,仅覆盖 4 类有限风险,且受制于静态微调带来的严重防御偏差;StepGuard 通过 StepGen 实现了 8 类风险及良性复用的大规模对比覆盖,并用 Balance-GRPO 显著改善了良性任务保留率。
  • vs Safiron & AgentDoG: 后两者主要聚焦于规划级或全轨迹执行后的粗粒度诊断,属于事后补救,无法在灾难性动作落盘前进行阻断;StepGuard 兼具执行前毫秒级动作阻断与全轨迹审计双重能力,且以 4B 体量超越了多数 7B/8B 护栏模型。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 构思了严密的执行前缀冻结对比生成范式,并创新性地将精度差反馈融合进 GRPO 优势重加权中。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 项静态基准、3 项动态交互环境、人工验证集、跨风险泛化实验及全量耗时剖析,论据极为扎实。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严丝合缝,问题推演清晰,消融与个案归因分析深刻透彻。
  • 价值: ⭐⭐⭐⭐⭐ 为轻量级智能体实时安全防御落地提供了即插即用的工业级数据生成与算法对齐规范。