跳转至

GSPR: Aligning LLM Safeguards as Generalizable Safety Policy Reasoners

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/HKUST-KnowComp/GSPR
领域: LLM 安全
关键词: 大模型安全护栏, 策略推理, 强化学习, 细粒度风险分类, 泛化能力

一句话总结

针对现有外部护栏依赖固定安全策略且难以迁移到未知风险体系的问题,GSPR 将任意安全分类体系建模为提示词中的动态策略变量,结合冷启动蒸馏与兼顾格式、安全性及细粒度类别的规则奖励,基于 GRPO 强化学习激发长链条思维推理,实现了跨多领域未见策略的强泛化分类与极低推理开销。

研究背景与动机

随着大语言模型(LLM)被广泛集成至各类真实应用中,模型交互过程中的安全隐患愈发凸显。来自用户端的越狱提示、红队攻击和指令注入可能诱导模型输出违规内容;而在检索增强生成(RAG)等复杂场景下,即使用户输入本身完全善意,检索到的不可信外部知识也可能污染模型输出,致使其生成带有毒性或有害的回复。针对此类风险,除了在预训练阶段清洗数据以及后训练阶段进行安全对齐等内部防御手段之外,部署外置护栏模型(Guardrails,如 Llama Guard、ShieldGemma 和 WildGuard)对用户输入与模型输出进行实时审查过滤,已成为业界兼顾模型通用性能与安全底线的主流方案。

然而,现有护栏系统在应对开放、多变的安全规则时存在显著结构性缺陷。各大安全基准(如 Aegis、SafeRLHF、BeaverTails 等)各自建立了互不相同的分类法与细粒度策略,而现有大部分护栏模型(包括基于强化学习的 RSafe)均倾向于在指令提示模板中硬编码固定的策略集合(如 14 或 18 种固定规则)。这导致护栏要么退化为仅输出 safe/unsafe 的二元粗粒度判断,要么完全被限制在狭隘的特定领域规则内。当系统遇到包含全新安全策略的场景(例如教育场景下的学术诚信规范或企业内部专属的 HR 守则)时,固定策略护栏无法理解未见过的策略定义,更无法在判决违规时输出具有针对性的策略归因与解释。

针对上述瓶颈,本文将安全护栏的核心能力从“静态模式分类”重塑为“遵循动态策略约束的逻辑推理”。核心 idea:将任意安全分类体系中的具体策略作为提示词中的动态变量引入,结合轻量高质量冷启动 SFT 与多维规则奖励(格式约束、安全二分类与细粒度类别匹配),利用 GRPO 强化学习激发护栏模型针对任意给定安全策略的长链思维推理能力。

方法详解

整体框架

GSPR 的目标是给定输入内容 \(x\)(用户提示词 \(p\) 或模型回复对 \((p, T(p))\))以及任意安全分类体系 \(S = \{c_i\}_{i=1}^{|S|}\),判别其安全状态 \(y \in \{\text{safe}, \text{unsafe}\}\),并在违规时精确指出违规策略类别 \(c \in S \cup \{\text{not applicable}\}\),同时生成包含长思维链(Chain-of-Thought)的解释性轨迹。

整体流程包含三个核心阶段:动态提示词构建与多源数据准备、高质量冷启动监督微调(Cold-start SFT),以及基于组相对策略优化(GRPO)的多奖励强化学习对齐。其端到端执行流向如下图所示:

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入样本与分类体系<br/>输入内容 x 与策略集合 S"] --> B["动态策略提示格式化<br/>构建含策略变量与输出规范的提示词 q"]
    B --> C["冷启动监督微调<br/>蒸馏高质量按策略拆解的推理轨迹"]
    C --> D["组采样与长思维链生成<br/>采样 G 个推理轨迹与格式化标签"]
    D --> E["多维度规则奖励评估<br/>计算格式惩罚、安全奖赏与类别奖赏"]
    E --> F["GRPO 组相对策略优化<br/>组内优势归一化与 KL 正则化更新模型"]
    F --> G["最终输出<br/>思维轨迹 + 安全判决 + 细粒度违规类别"]

关键设计

1. 动态策略提示格式化:消除对固定安全策略模板的硬编码依赖
针对传统护栏硬编码固定策略、在新策略下泛化崩溃的问题,GSPR 设计了一种统一的动态提示词模板 \(q = f(x, S)\)。该模板由四部分组成:明确的审查指令、目标分类体系中提取的安全策略列表、待审查内容 \(x\)(区分用户输入与模型回复),以及严格的输出格式约束(指定思维过程置于 <think> 标签内,最终安全状态置于 \safety{},细粒度违规类别置于 \category{})。在训练阶段,模型不再记忆固定的 14-18 个类别,而是将来自 19 个不同分类体系(包括 Aegis、SafeRLHF、BeaverTails、WildGuard、OR-Bench 以及 GUARDSET-X 的企业 HR 与教育场景)的 167 项细粒度策略视为动态变量输入。训练中引入采样率 \(s\) 对候选类别进行子集采样并确保包含真实标签,同时按需引入 others 类别,迫使护栏模型必须根据提示词中当前给定的具体政策描述展开逐项逻辑比对与自主推理。

2. 冷启动监督微调:确立结构化策略推理范式与格式遵循能力
若直接从通用开源底座(如 Qwen2.5-7B 或 Qwen3-8B)使用强化学习进行探索,模型在面对长策略列表与严格双标签输出要求时极易陷入格式崩溃或逻辑混乱。为此,GSPR 引入冷启动机制:使用前沿大模型 Gemini-2.5-Flash 在训练集的 19 个分类体系上(每个体系采样 80 条数据),在给定真实安全标签和类别标签的前提下,生成详尽的“逐策略逐项核验”长思维链解释。经严格正则表达式过滤和格式校验后,筛选出 1,383 条高质量冷启动样本进行轻量级 SFT(2 个 epoch)。这一过程使护栏模型预先内化了“按策略定义审视上下文、列举正反线索、归纳违规焦点”的推理范式,为后续 RL 探索建立了坚实的逻辑先验。

3. 多维度规则奖励与 GRPO 对齐:平衡长链推理能力、判决精度与输出紧凑性
在 RL 对齐阶段,GSPR 采用组相对策略优化(GRPO),无需训练昂贵且可能存在偏差的 Critic 价值模型。对于每个输入提示词 \(q\),旧策略 \(\mathcal{G}_{\theta_{\text{old}}}\) 采样 \(G=5\) 个输出候选 \(\{o_1, \dots, o_G\}\)。因为基准数据具有确定标注,系统直接采用确定性规则设计组合奖励: $\(R_i = R_{fi} \times (\alpha_1 R_{si} + \alpha_2 R_{ci})\)$ 其中安全奖励 \(R_{si} = \mathbb{I}(\hat{y}_i = y)\),类别奖励 \(R_{ci} = \mathbb{I}(\hat{c}_i = c)\),超参数设定为 \(\alpha_1 = 0.55, \alpha_2 = 0.45\)。更为关键的是格式与长度约束奖励 \(R_{fi}\):除了校验 <think>、\safety{} 和 \category{} 标签顺序、单语言一致性以及 5-gram 重复率惩罚之外,论文敏锐观察到单纯以结果导向的 RL 容易诱导模型在 </think> 标签后输出冗长低质的赘述;为此设计了严格的长度比值惩罚: $\(R_{fi} = \begin{cases} 1.0, & \text{格式完全合规且 } |o_i| < 2.5 |\hat{r}_i| \\ 0.5, & \text{格式合规但后置冗余 } |o_i| \ge 2.5 |\hat{r}_i| \\ 0.0, & \text{格式违规} \end{cases}\)$ 该设计成功抑制了模型在最终标签处的无效注水,促使模型将计算预算完全集中在 <think> 内的实质性策略归因上,显著降低了推理开销。

损失函数 / 训练策略

GSPR 的强化学习训练直接采用 GRPO 目标函数优化护栏策略模型 \(\mathcal{G}_\theta\): $\(\mathcal{J}_{\text{GRPO}}(\theta) = \frac{1}{G} \sum_{i=1}^G \frac{1}{|o_i|} \sum_{t=1}^{|o_i|} \mathbb{E} \left[ \min\left(r_{i,t} \hat{A}_{i,t}, \text{clip}(r_{i,t}, 1-\epsilon, 1+\epsilon) \hat{A}_{i,t}\right) \right] - \beta D_{\text{KL}}(\pi_\theta \parallel \pi_{\text{ref}})\)$ 其中重要性权重比为 \(r_{i,t} = \frac{\pi_\theta(o_{i,t} | q, o_{i,<t})}{\pi_{\theta_{\text{old}}}(o_{i,t} | q, o_{i,<t})}\),组内优势函数基于该组输出奖励的相对偏差直接计算: $\(\hat{A}_{i,t} = R_i - \frac{1}{G}\sum_{j=1}^G R_j\)$ 模型在 8 张 NVIDIA H800 GPU(80GB 显存)节点上基于 VERL 框架分布式训练,全局 batch size 设为 128(mini_batch_size=64,单卡 batch_size=8),采用 Adam 优化器,学习率为 \(1\times 10^{-7}\),训练 1 个 epoch;生成探索阶段采样温度为 0.7,top-p 为 0.8,repetition_penalty 为 1.2。

实验关键数据

主实验

论文在域内基准(WildGuard、Aegis、SafeRLHF、BeaverTails)与域外未见策略基准(OpenAI Moderation、HEx-PHI、T2T Synthetic Safety Bench、Do-Not-Answer)上进行了全面评测,指标包括安全准确率(S-Acc)、安全 F1 值(S-F1)与细粒度类别预测准确率(C-Acc)。

下表汇总了域内测试集上的整体性能对比(提取自原论文 Table 2):

模型体系 模型名称 输入审查 (WildGuard) S-Acc / C-Acc 输入审查 (Aegis) S-Acc / C-Acc 输出审查 (SafeRLHF) S-Acc / C-Acc 输出审查 (BeaverTails) S-Acc / C-Acc 整体平均 S-Acc 整体平均 C-Acc
闭源前沿模型 o3-mini 92.54 / 80.34 58.53 / 37.88 86.87 / 78.37 61.31 / 54.05 74.81 62.66
闭源前沿模型 Gemini-2.5-Flash 85.61 / 72.54 63.27 / 47.28 85.05 / 74.20 58.17 / 53.19 73.02 61.80
闭源前沿模型 GPT-5 90.34 / 72.50 79.43 / 71.15 89.36 / 83.98 77.92 / 68.79 84.83 75.37
专用护栏基线 ShieldGemma-9B 86.87 / 68.22 75.02 / 64.62 88.18 / 81.32 76.17 / 65.77 81.56 69.98
专用护栏基线 LlamaGuard3-8B 83.69 / 1.00 80.71 / 1.67 80.59 / 4.23 69.55 / 0.19 78.64 1.77
专用护栏基线 GuardReasoner-8B 83.34 / 0.00 74.09 / 0.00 88.84 / 0.00 82.65 / 0.00 82.23 0.00
基于 Qwen2.5-7B RSafe (RL 对齐) 86.80 / 39.14 77.93 / 40.18 88.60 / 26.09 83.56 / 15.27 84.22 30.17
基于 Qwen2.5-7B GSPR w/ Cold-start (本文) 87.01 / 72.57 82.99 / 79.04 90.32 / 86.14 82.39 / 75.51 85.68 78.32
基于 Qwen3-8B RSafe (RL 对齐) 86.87 / 33.61 76.90 / 32.10 90.59 / 9.60 81.61 / 11.54 84.00 21.71
基于 Qwen3-8B GSPR w/ Cold-start (本文) 89.10 / 72.04 82.18 / 76.74 91.46 / 86.94 82.71 / 75.84 86.36 77.89

下表汇总了跨越完全未见策略体系的域外(Out-of-Domain)泛化测试结果(提取自原论文 Table 3):

模型体系 模型名称 OpenAI Moderation S-Acc / C-Acc HEx-PHI S-Acc / C-Acc T2T Safety Bench S-Acc / C-Acc Do-Not-Answer S-Acc / C-Acc 域外平均 S-Acc 域外平均 C-Acc
开源护栏基线 ShieldGemma-9B 77.46 / 74.57 97.59 / 51.38 99.19 / 95.05 90.84 / 88.60 91.27 77.40
开源护栏基线 LlamaGuard3-8B 89.79 / 0.06 95.86 / 7.24 99.09 / 16.42 82.32 / 0.11 91.77 5.96
开源护栏基线 GuardReasoner-8B 73.97 / 0.00 78.62 / 0.00 99.49 / 0.00 92.01 / 0.00 86.02 0.00
基于 Qwen2.5-7B RSafe 78.83 / 53.63 97.33 / 1.72 98.30 / 22.89 91.77 / 22.68 91.56 25.23
基于 Qwen2.5-7B GSPR w/ Cold-start 83.42 / 80.80 97.24 / 58.28 99.44 / 90.05 91.26 / 89.67 92.84 79.70
基于 Qwen3-8B RSafe 78.55 / 25.37 97.93 / 13.45 98.68 / 26.23 91.82 / 8.73 91.75 18.45
基于 Qwen3-8B GSPR w/ Cold-start 83.33 / 79.38 97.58 / 53.45 99.24 / 96.26 92.28 / 90.31 93.11 79.85

消融实验

论文对核心模块、训练算法以及生成输出质量进行了详尽的消融与统计分析。下表展示了推理输出开销与文本质量统计(提取自原论文 Table 4):

模型配置 底座模型 平均词数 (Avg Word #) 语言混杂比例 (Mix %) 重复比例 (Repeat %) 说明
o3-mini 闭源 API 172.89 0.02 0.10 推理词数较高
GuardReasoner-8B Llama-3.2 211.04 0.00 0.00 解释冗长且无法输出类别
RSafe Qwen2.5-7B 187.98 0.68 1.68 词数中等,细粒度准确率极低
Cold-start SFT Qwen2.5-7B 291.41 0.36 0.15 逐策略详细展开,生成极冗长
GSPR (safety only) Qwen2.5-7B 128.44 0.11 0.03 仅优化安全奖励
GSPR w/o Cold-start Qwen2.5-7B 93.18 3.56 0.60 缺少冷启动引导,语言混杂率偏高
GSPR w/ Cold-start Qwen2.5-7B 34.10 0.06 0.22 词数缩减逾 80%,兼顾极高精度与低推理延迟
RSafe Qwen3-8B 362.46 25.23 4.17 在新底座上泛化崩溃,语言混杂与重复严重
GSPR w/ Cold-start Qwen3-8B 77.73 0.04 1.00 完全抑制跨语言乱跳,推理极具效率

关键发现

  • 现有护栏的细粒度策略判别能力普遍缺失:LlamaGuard3 和 GuardReasoner 在给定多样化策略分类法时,类别预测准确率基本为 0%(仅能输出其固化预设格式);RSafe 尽管采用了 RL 对齐,但因固定策略模板限制,其类别准确率仅有 20%~30%。GSPR 取得了超过 78% 的类别准确率,提升幅度达 45% 以上。
  • 冷启动 SFT 是高质量策略推理与输出精简的关键使能器:对比 GSPR w/o Cold-start 与 GSPR w/ Cold-start,在 Qwen2.5 底座上冷启动使域内类别准确率从 54.06% 跃升至 78.32%(提升超 24 个百分点),同时将平均生成词数从 93.18 压缩至 34.10,避免了策略探索前期的盲目试错与语言混杂。
  • 细粒度类别奖励的隐式正向约束:仅加入安全奖励的 GSPR (safety only) 虽优于 RSafe,但模型倾向于输出冗长发散的轨迹;引入类别奖励后,模型必须聚焦于与具体策略条款对应的核心证据,反而促使推理轨迹更加简练精准。
  • 域外细粒度分类仍存客观挑战:所有模型在 HEx-PHI 等极端严苛的域外测试集上,安全分类准确率均能超过 95%,但细粒度类别预测准确率普遍在 58% 以下,证明“识别违规”与“精准归因到未见策略细则”之间仍存在约 10%~40% 的能力代沟。

亮点与洞察

  • 将安全策略从静态类目解耦为动态上下文变量:传统模型把“有哪些风险”作为模型的固定权重参数来拟合,而 GSPR 将其转变为“根据给定的法规模拟法律专家断案”,赋予了护栏系统无需微调即可即插即用适配各类私有规范的泛化潜力。
  • 精妙的反冗余长度比值惩罚:设计 \(|o_i| \ge 2.5 |\hat{r}_i|\) 阈值惩罚,精准打击了 LLM 在强化学习后阶段普遍出现的“在给出判决后继续废话”的注水行为,在不损害思维链深度的前提下实现了 34 个词的极低推理开销。
  • 可复用的长 CoT 蒸馏冷启动范式:直接对未经指令对齐的复杂推理任务做 RL 往往面临高方差与崩溃风险,先用商业前沿模型蒸馏“逐条款审查”的标准轨迹作为冷启动,再用 GRPO 进行探索收敛,这一流水线完全可迁移至法律合规审查、金融风控等其他复杂规则推理场景。

局限与展望

  • 作者承认的局限:GRPO 强化学习训练开销较大,在 8 卡 80GB H800 集群上仍需约 40 天的 GPU 算力;此外,二元安全预测与细粒度类别预测之间仍存在超过 10% 的准确率鸿沟,对微弱、含糊风险的归因仍有提升空间。
  • 潜在局限与边界条件:提示词中动态装填大量策略条款会显著增加 Prompt 的上下文输入长度(Prefill Token 显著增加),当实际业务场景拥有数百条长条款时,可能超出注意力窗口或增加端到端首次响应时延(TTFT)。
  • 未来改进方向:可结合轻量级策略检索机制(Dense Retrieval),先初筛最相关的 Top-\(K\) 条风险策略再动态填入提示词;或在 RL 阶段设计策略分层判别奖励,进一步缩小安全判定与类别归因的精度鸿沟。

相关工作与启发

  • vs Llama Guard 系列 / ShieldGemma: 后者依赖硬编码的 4-14 项预设安全类别,遇到教育诚信、企业 HR 等行业专有准则时完全失效;GSPR 采用动态变量提示词与 167 种多样化策略训练,具备零样本迁移能力。
  • vs GuardReasoner: GuardReasoner 依赖复杂的直接偏好优化(HS-DPO)生成冗长解释,但完全忽略了细粒度分类;GSPR 通过 GRPO 强化学习同时对齐安全二分类、细粒度策略标签与极短的解释性轨迹。
  • vs RSafe: RSafe 仅在固定策略上优化二元分类,容易在跨模型底座(如 Qwen3)时发生语言混杂崩溃(Mix% 达 25.23%);GSPR 引入冷启动蒸馏与包含单语言、低重复、长度比值约束的复合奖励,保证了严苛的多底座鲁棒性。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 将静态护栏分类升华为动态策略推理,Prompt 变量化结合 GRPO 奖励机制设计极具启发性。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8 个权威基准、跨越域内与完全未见域外场景,消融实验与生成质量分析极其详实。
  • 写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻,方法各阶段公式与逻辑严密,图表清晰。
  • 价值: ⭐⭐⭐⭐⭐ 针对实际部署中多变业务合规策略的落地痛点提供了开箱即用的通用轻量护栏解决方案。