LPG: Balancing Efficiency and Policy Reasoning in Latent Policy Guardrails¶

会议: NeurIPS 2026
arXiv: 2605.17329
OpenReview: https://openreview.net/forum?id=DQZZ9P0pXT
代码: https://github.com/SaFo-Lab/Latent_Policy_Guard
领域: 安全
关键词: 动态安全防护, 隐空间推理, 策略锚定, 持续思维压缩, 知识蒸馏

一句话总结¶

针对推理期动态自然语言安全策略下大模型安全防护在深度推理与实时低延迟之间的根本矛盾，LPG 提出语义隐式深思机制，将意图分析与策略归因压缩为仅 10 个隐式连续 token，在保持条款级审计性的同时实现相比显式思考模型 11 倍的推理加速。

研究背景与动机¶

随着大语言模型被广泛部署为面向用户或企业的定制助手、自主智能体以及垂直领域顾问，安全监管策略正从训练阶段固化的通用有害类目体系，转向在推理期由用户、机构或监管上下文动态注入的自然语言条款清单。传统的静态防护模型（如 Llama Guard 家族与 ShieldGemma）依赖固定分类体系，无法在不经历耗时重训的前提下适应多变的租户规则与工具约束；而新兴的动态策略防护方案（如 DynaGuard）直接基于输入规则进行单步判别，但在论文的深入探查中暴露出严重缺陷：其判别结果对策略列表的排列次序极其敏感（准确率波动高达 7.4 个百分点），且在反事实测试中，即使剔除样本违背的唯一条款，模型依旧武断判定不安全，表明其主要依赖浅层位置伪影与训练内容先验，而非对输入策略条款的真实理解。

引入显式思维链（Chain-of-Thought）的推理型安全模型（如 GuardReasoner 与 ThinkGuard）虽然能够提升复杂策略场景下的判断准确度，但生成长篇自然语言推导过程会引入数千毫秒的生成延迟，在对吞吐与响应速度要求苛刻的实时对话与工具调用拦截管线中完全无法实用。直接套用数学或规划领域的隐式推理方法（如 COCONUT 与 CODI）同样无法奏效，因为数学推理的隐式思维本质上是对确定性算法工作内存的状态压缩，能够通过简单的 token 级重构或单一端点对齐进行监督；而安全审核依赖于对伪装攻击意图的准确挖掘以及与异构、释义多样的策略条款之间的语义匹配，缺乏确定性计算基底。若在隐空间强行拟合显式思考的离散 token 会严重过度约束表征，而缺乏针对性监督则会使隐状态退化为与策略语义脱节的不可解释黑盒。

面对这一矛盾，本文的切入点在于：防护模型所真正需要的并非冗长的自然语言表述，而是保留决策关键要素的语义隐式深思。核心 idea：将两阶段安全推理（意图解析与相关策略匹配）压缩进分段对齐的连续隐状态空间，通过多层教师隐状态蒸馏、目标摘要语义重构以及违规条款索引显式锚定，使模型仅凭 10 个隐式 token 即可完成策略推理，兼顾极致时延与可审计性。

方法详解¶

整体框架¶

给定待审核对话交互内容 $x$ 与包含 $K$ 条自然语言安全规则的策略集合 $\mathcal{P}=\{p_1, \dots, p_K\}$，LPG 的目标是输出二元安全判决 $y \in \{\text{safe}, \text{unsafe}\}$，并在判定为违规时输出具体的违规条款索引集合 $P^* \subseteq \{1, \dots, K\}$。整个框架由结构化推理模板、隐式连续思维演化管线以及多目标多任务联合监督构成。

模型在接收到策略与待审内容构成的联合输入后，由编码器获取提示词末尾的隐状态，随后在隐空间中分阶段完成意图剖析与策略风险评估，最终仅由解码器以显式文本形式吐出紧凑、可由确定性正则表达式解析的条款锚定判据字符串。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入上下文 c = (P, x)<br/>待审交互内容 + K 条动态安全策略"] --> B["阶段对齐隐式槽位<br/>m1=4 步意图解析 + m2=6 步策略匹配"]
    B --> C["语义内容重构监督<br/>Proj 解码器重构意图与风险摘要"]
    B --> D["教师全层与边界状态蒸馏<br/>层级归一化 SmoothL1 对齐决策表征"]
    B --> E["策略索引显式锚定<br/>解码判决 safe 或 unsafe 附带违规条款 P*"]

关键设计¶

1. 结构化评估模板与分阶段隐式槽位：解耦意图挖掘与规则匹配 针对传统自由形式 CoT 容易漂移以及直接端到端判别易受恶意越狱伪装欺骗的问题，LPG 确立了严格的三阶段推理逻辑：第一阶段为意图分析（Intent Analysis），穿透角色扮演、假设情境等伪装手段，剖析用户真实诉求；第二阶段为策略分析（Policy Analysis），从全部 $K$ 条规则中选择性检索相关子集 $\mathcal{K}_{\text{relevant}} \subset \{1, \dots, K\}$ 并逐一判定是否触碰红线；第三阶段为判决生成（Verdict Formulation）。在隐空间建模中，LPG 并没有使用单一无差别的连续思考缓冲区，而是分配了独立的隐式预算：意图阶段 $m_1 = 4$ 个隐式 token，策略阶段 $m_2 = 6$ 个隐式 token（比例约为 2:3，贴合显式推理的长度比例）。隐状态通过轻量 MLP 投影器 $\mathbf{e}_{t+1} = \text{Proj}(\mathbf{h}_t^{(L)})$ 循环注入回基座语言模型的嵌入层，利用 KV Cache 增量滚动前向，使意图理解与策略接地的中间表征在可分离的子空间内渐进沉淀。

2. 语义内容摘要重构：防止隐状态退化为无语义黑盒计算 针对数学领域 token 级离散重构过度约束隐空间、而在安全场景下缺乏算法真值监督的困境，LPG 提出基于摘要的语义重构机制。离线利用 32B 教师模型从完整 CoT 中提炼出严格限制在 192 token 以内的核心信息目标 $\mathbf{s}^{(k)}$：$\mathbf{s}^{(1)}$ 记录用户真实意图与隐藏攻击企图，$\mathbf{s}^{(2)}$ 记录触碰的关键策略与核心违规证据。在训练期间，各阶段的连续隐状态矩阵 $\mathbf{Z}^{(k)} \in \mathbb{R}^{m_k \times d}$ 经由 3 层专用的 Explain 投影层映射后拼接到摘要目标前缀，直接通过共享的基座语言模型以自回归交叉熵方式重构关键摘要文本： $$\mathcal{L}_{\text{explain}} = \sum_{k \in \{1, 2\}} \left( -\sum_{t} \log P_\theta \left( s_t^{(k)} \mid f_\theta \left( [ \text{Proj}_k(\mathbf{Z}^{(k)}); \mathbf{s}_{<t}^{(k)} ] \right) \right) \right)$$ 直接复用基座 LM 而非外部解码器来驱动摘要重构，强迫基座模型自身将其内部隐状态塑造成具备清晰安全语义的表征，而在推理部署时投影层被完全剥离，不产生任何额外开销。

3. 双重锚点教师隐状态蒸馏：精准注入决策临界表征 为了让经过高度压缩的 10 个隐式步长能够精准继承显式思维链的深层推导能力，LPG 设计了判决触点与阶段边界双重蒸馏体系。在判决生成起点 $t_a$，将学生模型的各层隐藏状态 $\mathbf{h}_{\text{stu}}^{(l)}[t_a]$ 与显式教师模型在判决起始位置的所有 $L$ 层状态全面拉近；在阶段交界符 </Intent> 和 </Risk> 位置，将对应阶段的终末隐状态 $\mathbf{z}_{m_k}^{(k)}$ 与教师顶层边界状态对齐。为了克服不同网络深度与特征维度的数值尺度差异，蒸馏损失引入教师向量标准差 $\sigma(\cdot)$ 进行动态归一化： $$\mathcal{L}_{\text{distill}}^{\text{ans}} = \frac{1}{L} \sum_{l=1}^{L} \frac{\text{SmoothL1} \left( \mathbf{h}_{\text{stu}}^{(l)}[t_a], \, \mathbf{h}_{\text{tea}}^{(l)}[t_a'] \right)}{\sigma \left( \mathbf{h}_{\text{tea}}^{(l)}[t_a'] \right)}, \quad \mathcal{L}_{\text{distill}}^{\text{stage}} = \sum_{k \in \{1, 2\}} \frac{\text{SmoothL1} \left( \mathbf{z}_{m_k}^{(k)}, \, \mathbf{h}_{\text{tea}}^{(L)}[b_k] \right)}{\sigma \left( \mathbf{h}_{\text{tea}}^{(L)}[b_k] \right)}$$ 消融实验证实，跨越所有层级的判决起点蒸馏是保障隐式推理精度的核心支柱，其移除直接导致近 20 个百分点的断崖式性能下跌。

4. 策略锚定与去偏联合语料构建：消除位置伪影与记忆偏差 模型最终生成的并非单纯的 safe/unsafe 标签，而是强制输出形式如 unsafe, policy 3, 5 的紧凑文本，促使判别过程强绑定到具体的条款依据上。在数据构建层面，研究团队整合 40k 多样化样本，采用三大去偏规范：将所有异构安全规则统一重写为单句祈使句形式的“策略手册”；每条训练样本动态随机抽取 $4 \sim 10$ 条规则并打乱顺序，且有 30% 概率混入跨体系的干扰策略，确保模型在 40k 训练流中几乎不会遇到重复的策略列表；离线由 Qwen3-32B 教师在给定真值标签条件下反向生成结构化推导，从源头上切断幻觉推导导致的表征污染。

损失函数 / 训练策略¶

LPG 采用端到端单阶段联合微调，基础架构基于 Qwen3-4B，在所有注意力和前馈层挂载全量 LoRA 适配器（$r=128, \alpha=32$）。训练总损失函数涵盖判决预测、隐状态蒸馏、显式能力正则化与语义重构四项： $$\mathcal{L} = \lambda_{\text{out}} \mathcal{L}_{\text{out}} + \lambda_{\text{distill}} (\mathcal{L}_{\text{distill}}^{\text{ans}} + \beta \mathcal{L}_{\text{distill}}^{\text{stage}}) + \lambda_{\text{ref}} \mathcal{L}_{\text{ref}} + \lambda_{\text{explain}} \mathcal{L}_{\text{explain}}$$ 超参数设定为 $\lambda_{\text{out}} = 2.0$、$\lambda_{\text{distill}} = 10.0$、$\beta = 0.1$、$\lambda_{\text{ref}} = 1.0$、$\lambda_{\text{explain}} = 0.5$。其中 $\mathcal{L}_{\text{ref}}$ 是让模型并行前向显式教师 CoT 文本的交叉熵损失，用于防止基座语言模型在隐式适配过程中发生显式推理能力的灾难性遗忘。模型使用 AdamW 优化器配合线性预热，在 4 张 A100-80GB GPU 上基于 DeepSpeed ZeRO-2 训练 3 个 epoch。

实验关键数据¶

主实验¶

评估在单样本批次流式场景（NVIDIA A100-80GB, FP16, temperature=0.0）下展开。GuardSet-X 为单规则精确映射基准；DynaBench (Aug) 在原始基准上引入 50% 策略乱序与 30% 反事实剔除违规条款（标签翻转为 safe），严苛检验策略锚定能力。

模型	GuardSet-X Acc (%)	GuardSet-X F1 (%)	GuardSet-X 延迟 (ms)	DynaBench (Aug) Acc (%)	DynaBench (Aug) F1 (%)	DynaBench (Aug) 延迟 (ms)	平均 Acc (%)	平均 F1 (%)	平均延迟 (ms)
Qwen3-4B	75.60	71.86	249	63.05	26.88	227	69.33	49.37	238
Qwen3-4B-Thinking	77.25	74.07	9747	65.01	55.12	7019	71.13	64.60	8383
DynaGuard-4B	81.00	79.33	222	59.48	53.19	242	70.24	66.26	232
DynaGuard-8B	81.65	79.73	1501	71.82	56.59	1091	76.74	68.16	1296
GuardReasoner-3B	60.70	38.30	3537	58.74	31.28	3993	59.72	34.79	3765
GuardReasoner-8B	63.16	22.48	4072	57.66	27.77	3969	60.41	25.13	4021
LPG-4B (本文)	96.85	96.88	625	72.19	58.82	871	84.52	77.85	748

在未见分布的域外迁移评估中（HarmBench、WildGuardTest 及 Web Agent 场景的 PolicyGuardBench），LPG-4B 展现出卓越的泛化性能：在 HarmBench 上取得 96.44% 的 Safety F1，超出 DynaGuard-4B（86.32%）与 GPT-4o（82.27%）；在 WildGuardTest 上达到 84.09% F1，位居所有域外模型之首；在 PolicyGuardBench 上达到 77.85% F1，显著拉开与传统固定体系模型（ShieldGemma-9B 仅 34.72%）的差距。

消融实验¶

为了量化各损失项的贡献以及隐式 token 长度对精度与效率的影响，论文在 GuardSet-X 与 DynaBench 上开展了细致消融：

配置 / 变体	核心指标 (Acc %)	相对全模型变化	机制说明
Full Model (LPG-4B, 10 tokens)	96.85 (GuardSet-X) / 72.19 (DynaBench)	基准 (0.00)	完整四目标联合监督与阶段划分
w/o $\mathcal{L}_{\text{distill}}^{\text{ans}}$ (判决点全层蒸馏)	~77.10 (GuardSet-X)	-19.75	移除最关键的深层推导状态对齐信号，性能断崖式下跌
w/o $\mathcal{L}_{\text{explain}}$ (语义摘要重构)	~92.40 (GuardSet-X)	-4.45	缺乏中间语义锚定，隐状态向弱语义退化
w/o $\mathcal{L}_{\text{distill}}^{\text{stage}}$ (阶段边界蒸馏)	~93.80 (GuardSet-X)	-3.05	损失意图与风险交界处的显式状态校准
w/o $\mathcal{L}_{\text{ref}}$ (显式参考正则项)	~94.60 (GuardSet-X)	-2.25	基座模型发生微弱的表征漂移与遗忘
隐式容量消融 (DynaBench Acc)
0 tokens (退化为直接分类器)	68.14 (DynaBench)	-4.05	剥离全部隐式推导，仅保留数据分布收益
5 tokens ($m_1=2, m_2=3$)	70.80 (DynaBench)	-1.39	延迟更低 (~580 ms)，但复杂策略覆盖不全
10 tokens ($m_1=4, m_2=6$) [部署默认]	72.19 (DynaBench)	0.00	延迟 871 ms，达成最优 Pareto 平衡点
20 tokens ($m_1=8, m_2=12$)	73.48 (DynaBench)	+1.29	达到/超越显式思考精度，但延迟增至 1344 ms

关键发现¶

判决点教师隐状态蒸馏居于核心主导地位：全层判决点对齐贡献了近 20 个百分点的准确率增益，证明直接将教师模型生成最终结论时的残差流表征注入隐式路径是模型跨越计算瓶颈的决定性手段。
10 个隐式步长即达饱和拐点：从 0 个 token（纯分类器 68.14%）到 10 个 token（72.19%）带来了显著跃升；进一步增加至 20 个 token 虽微升至 73.48%（逼近全显式推理上限），但前向时延呈线性增长，10 token 是端侧与线上实时的黄金分割点。
解码波动极度收敛：在包含 15 次独立采样的随机扰动实验中，由于隐式深思无需生成易发散的 CoT token，且输出被高度锚定于违规条款，LPG 的 95% 置信区间半宽仅为 0.14%~0.26%，远低于显式推理模型（Qwen3-4B-Thinking 为 1.10%~1.34%），展现出高度的工业部署稳定性。

亮点与洞察¶

解耦语言生成与语义推理：传统安全 Guardrail 陷入了“浅层分类易受骗、显式 CoT 慢到无法部署”的虚假二难，LPG 证明安全审核的核心计算无需全部落在离散词表空间，连续表征完全能够承载策略归因。
以语义摘要代替 Token 重构的监督范式：不同于数学物理任务的算法连续化，安全领域通过让隐状态直接经由主干模型自回归解码阶段摘要，实现了连续思维的语义可解释性与对齐约束。
具备工业迁移价值的条款锚定机制：将二元标签拓展为条款索引约束，既能作为强正则防止模型偷懒走捷径，又能为被拦截用户或审核人员提供即时合规追溯依据。

局限与展望¶

极端策略规模下的上下文承载：当前训练策略列表主要集中在 4~10 条规则，当企业级场景涌现上百条长篇政策手册时，前向阶段的长上下文计算依然会推高 TTFT（首字延迟）。
固定槽位对简单样本的冗余：全量样本均固定分配 10 个隐式 step，对于显而易见的无害问答存在不必要的计算开销，未来可引入动态提前退出（Early Exit）机制。
向 Agent 动作拦截领域的拓展：目前主要验证于文本对话与网页轨迹检测，后续有望作为底层驱动嵌入实时自主智能体，在 API 调用发起瞬间进行纳秒级策略合规审计。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将隐式连续思维体系引入动态策略安全防护，提出语义摘要重构与阶段槽位设计。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖乱序一致性、反事实剥离、域外三套基准及详尽的解码方差与步长消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑推进严谨密实，对动态安全痛点与隐式表征监督难点的阐述极其深刻通透。
价值: ⭐⭐⭐⭐⭐ 为高并发、低延迟要求的企业级定制化大模型与 Agent 安全护栏提供了高实用性的工程蓝图。