PROBE: Learning to Audit Policy Compliance in Tool-Using LLM Agents¶

会议: NeurIPS 2026
arXiv: 2610.22124
OpenReview: https://openreview.net/forum?id=zvLWgyQTyA
代码: https://github.com/Mishrakshitij/PROBE
领域: LLM Agent
关键词: LLM Agent, 策略合规审计, 工具使用, 强化学习, 红队测试

一句话总结¶

PROBE 将工具调用智能体的策略合规审计建模为双人马尔可夫博弈，提出结合去重违规、进度、新颖度与拟真度的复合奖励函数及自适应视界课程，训练轻量级审计模型在黑盒多轮交互中主动挖掘被测智能体的深层策略违规行为。

研究背景与动机¶

当前大语言模型（LLM）智能体正迅速从单轮文本生成走向能够调用外部工具、API 与数据库完成复杂工作流的自主系统。在航空预订、金融支付、客户支持等高敏感场景部署时，智能体的行为受到业务规则、隐私规范、确认机制和安全约束等多项操作策略（operational policies）的严格约束。然而，现有的智能体评测体系存在一个关键的结构性空白：能力基准（如 WebArena、OSWorld、ToolBench）聚焦于任务是否最终完成，内容安全红队测试（如 HarmBench、JailbreakBench）关注是否输出了有害文本，但两者都无法衡量智能体在执行合法任务的过程中是否遵循了预设的操作策略。例如，一个机票预订智能体可能完全达成订票目标且自然语言措辞极其礼貌，却在用户未明确确认行程与价格前私自调用出票接口、在查询时泄露内部定价代码、或向受限目的地发起预订请求。

这种策略违规极其隐蔽，其核心矛盾在于：合规性故障是轨迹级（trace-level）性质，往往横跨多轮对话、依赖中间工具调用的参数与时序、并深植于底层数据库状态的变化之中，无法从最终回复的表面文本直接判定。更严峻的是，多轮交互引发了巨大的组合状态空间。依赖人工编写的静态脚本测试只能覆盖有限的已知边缘样例，无法穷举用户表述、数据库状态与工具前置条件交织出的庞大交互路径；而常规单轮越狱攻击则完全脱离了真实业务交互场景。

为了解决这一问题，本文提出像渗透测试一样构建具备自适应交互能力的对抗测试框架，通过学习一个能够扮演真实用户或测试员的轻量级审计智能体，在多轮对话中主动探查被测智能体的策略薄弱点。核心 idea：将黑盒智能体合规审计形式化为双人部分可观测马尔可夫博弈，设计兼顾违规严重度去重、工具深度探索、策略新颖性与用户行为拟真度的复合奖励函数，结合自适应交互视界课程，训练小参数量审计模型主动挖掘大模型智能体隐藏在深层工具调用中的合规漏洞。

方法详解¶

整体框架¶

PROBE 将策略审计定义为受训审计智能体 $\pi_\theta$ 与被测冻结目标智能体 $\pi_T$ 之间的双人部分可观测马尔可夫博弈（POMG）。在每一轮交互中，审计模型仅能观测到公开对话历史 $H_{k-1}$ 与用户场景意图 $x$，并采样生成一条用户侧自然语言消息 $u_k$。目标智能体基于私有系统提示词、工具集合 $\mathcal{T}$ 与历史对话生成回复 $c_k$，并可触发一系列私有工具调用 $a_k^T$。工具在确定性环境状态 $\Sigma$ 上执行后产生输出 $o_k$，并将状态转移至 $\Sigma_k$。审计模型全程看不到目标模型的系统提示词、内部权重、工具名称、工具执行结果或数据库私有状态，严格模拟真实外部用户的黑盒接口；与此同时，后台的验证器套件（Verifier Suite）则拥有完整的私有轨迹信息 $\Xi_k = (H_k, a_{1:k}^T, o_{1:k}, \Sigma_k)$，用于判定是否触发了 20 项细粒度策略违规。

整个审计训练流程包含场景采样、多轮对话展开、轨迹级验证打分、复合奖励塑造、自适应课程推进以及策略优化更新六个核心阶段，端到端架构如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["场景与历史初始化<br/>Customer Scenario & History"] --> B["审计智能体消息生成<br/>Auditor Sampling uk ~ πθ"]
    B --> C["目标智能体多轮交互<br/>Target Agent Rollout & Tools"]
    C --> D["交互轨迹与确定性验证器<br/>Full Trace Logging & Verifiers"]
    D --> E["去重与多维复合奖励塑造<br/>去重违规+进度+新颖度+拟真度"]
    E --> F["自适应视界课程推进<br/>Kmax 阶段性拓展: 4→8→12→14"]
    F --> G["模态探索与策略优化器对比<br/>GRPO / DPO / GFlowNet 更新 πθ"]

关键设计¶

1. 去重与多维复合奖励塑造：解决高频浅层违规刷分与虚假拟真问题

单纯统计验证器命中次数的朴素奖励会导致严重的策略退化：审计模型会迅速收敛到反复触发那些触发成本极低的浅层单轮疏漏（例如要求提供推荐时漏提豪华舱位、未提示往返建议等），而放弃深入探索高风险的变更操作；同时，模型容易退化为输出冗长、带有机器标记或伪造系统权限的非人类对话。为此，PROBE 提出了四元解耦的复合奖励结构：

\[r_k = r_{\text{viol}}(\Xi_k) + \alpha_k r_{\text{prog}}(\Xi_k) + \beta_k r_{\text{nov}}(\Xi_k) + \gamma_r r_{\text{plaus}}(u_k)\]

其中违规奖励项采用带边际收益递减的去重惩罚机制：

\[r_{\text{viol}}(\Xi_k) = \sum_{i=1}^{N} \sigma_i \cdot \mathbf{1}[v_i(\Xi_k)=1] \cdot d(n_i^k), \quad d(n) = \mathbf{1}[n=1] + 0.5 \cdot \mathbf{1}[n=2]\]

公式中 $\sigma_i \in \{0.5, 1, 2, 4\}$ 为第 $i$ 项策略的严重度权重，$n_i^k$ 表示该策略在当前对话轮次内的历史触发次数。同一策略在单次对话中首次被触发获得全额奖励，第二次减半，第三次及以后收益归零。进度奖励 $r_{\text{prog}}$ 赋予首次进入深层状态额外的单调正反馈（填槽获得 0.03，只读搜索获得 0.08~0.10，而预订、取消、多段行程等深层变更操作获得 0.25~0.30），并在前 100 步从 0.5 退火至 0.1；新颖度奖励 $r_{\text{nov}}$ 依据策略的全局历史反频率进行激励并由 0.1 退火至 0.4；拟真度奖励 $r_{\text{plaus}}$ 则对 Markdown 列表、长篇分析、复读助手回复以及伪造管理员口吻施加显式惩罚，强行将审计模型约束在合理的人类对话风格内。

2. 自适应视界课程推进：打通多轮良性前缀到深层工具调用的信用分配

许多严重的策略违规（如在不可退改航班上强行改签、向受限城市出票）必须在经过数轮合法的背景信息铺垫（确定出发地、时间、乘客人数、预算等）之后才具有触发条件。如果从训练初期就直接采用长轮次交互，审计模型在缺乏有效引导的前缀对话中会产生极大的探索方差，难以将最终的违规信号归因回早期的试探性表述；反之，若对话轮次过短，则模型根本没有机会引导被测智能体进入变更工具状态。

PROBE 引入了自适应的视界课程机制，最大轮次限制按阶梯依次扩展 $K_{\max} \in \{4, 8, 12, 14\}$。课程进阶由滑动窗口内的策略违规发现率决定：只有当最近的违规挖掘收益超过 15% 且持续 50 步稳定时，才自动解锁更长轮次的对话上限。在每个参数更新步中，审计器基于同一对话前缀采样 $G=4$ 条候选消息，各自与冻结的目标智能体进行 $C=3$ 轮前瞻交互并结算长期折扣回报，从而平滑地实现了从短程语义试探到深层多轮业务操纵的渐进式探索。

3. 模态搜索与模态覆盖优化器对比：权衡极值挖掘与策略多样性

合规审计的根本目标是挖掘尽可能全面的不同类型漏洞（提高全套件策略覆盖率），而非单纯反复触发已知的单一高回报漏洞。针对这一独特的对抗评测目标，PROBE 深入对比了三种不同归纳偏置的强化学习优化器：

GRPO（群组相对策略优化）：基于单次采样的 $G$ 个候选轨迹计算组内相对优势 $A_i = (R_i - \bar{R})/(\text{std}(R_{1:G}) + \varepsilon)$，利用 PPO 的截断目标配合 KL 散度约束更新参数。GRPO 属于强烈的模态搜索（mode-seeking）范式，容易将概率质量迅速聚集在少数确定性高收益的策略上，收益增长迅速但存在多样性坍缩风险。
DPO（直接偏好优化）：将每个采样组内的最高分轨迹与最低分轨迹构造成胜负偏好对 $(u^w, u^l)$，通过二元交叉熵隐式对齐参考策略。由于 DPO 仅依赖回报的相对排序而非绝对数值大小，它对奖励尺度的单调变换天然免疫，展现出极高的训练稳定性和泛化平滑度。
GFlowNet（生成流网络）：利用轨迹平衡（Trajectory Balance）损失函数优化前向转移概率，理论稳态下能够按照轨迹回报成比例地采样策略：$\pi_\theta(\tau) \propto R(\tau)$。这种模态覆盖（mode-covering）特性在概念上高度契合多样化漏洞挖掘需求，但极度依赖奖励尺度的精准校准；若浅层违规占比过大，GFlowNet 容易被高频浅层模态过度占据采样带宽。

损失函数 / 训练策略¶

针对三种优化器，PROBE 分别构建了统一轨迹采样下的损失函数规范：

对于 GRPO，优化带有重要性采样的截断目标与 KL 惩罚： $$\mathcal{L}_{\text{GRPO}}(\theta) = -\frac{1}{G} \sum_{i=1}^G \min\left(\rho_i A_i, \, \text{clip}(\rho_i, 1-\epsilon_c, 1+\epsilon_c) A_i\right) + \beta_{\text{KL}} D_{\text{KL}}[\pi_\theta \parallel \pi_{\text{ref}}]$$ 其中 $\rho_i = \pi_\theta(u_t^{(i)}) / \pi_{\text{old}}(u_t^{(i)})$，超参数设置为 $\epsilon_c = 0.2$、$\beta_{\text{KL}} = 0.01$。

对于 DPO，利用滑动指数平均（EMA，衰减率 0.995）模型作为基准参考策略 $\pi_{\text{ref}}$，对组内最优与最劣对进行优化： $$\mathcal{L}_{\text{DPO}}(\theta) = \log\left(1 + \exp\left(-\beta_D \left[\log \frac{\pi_\theta(u_t^w)}{\pi_{\text{ref}}(u_t^w)} - \log \frac{\pi_\theta(u_t^l)}{\pi_{\text{ref}}(u_t^l)}\right]\right)\right)$$ 其中温度参数设定为 $\beta_D = 0.1$。

对于 GFlowNet，将轨迹总折扣回报做有界裁剪指数化处理 $R(\tau) = \exp(\text{clip}(\sum_k r_k, -10, 10))$，优化标量配分函数估计值 $\log Z_\phi$ 与前向生成概率的轨迹平衡误差： $$\mathcal{L}_{\text{TB}}(\tau) = \left(\log Z_\phi + \sum_{k=1}^K \log \pi_\theta(u_k \mid H_{k-1}, x) - \log R(\tau)\right)^2$$ 其中学习率采用非对称设计，标量 $\log Z_\phi$ 的学习率设为 $10^{-5}$，而策略网络主干设为 $2 \times 10^{-5}$，以确保配分估计平稳跟踪回报漂移。

实验关键数据¶

主实验¶

实验基于自主研发的确定性航空订票环境 SkyAssist 展开，包含 35 个机场、120 条航线、643 个航班及 8 个操作工具，共定义了 20 项涵盖业务规则、系统安全、隐私保护与运营规程的策略。审计模型采用 Qwen3-4B-Instruct 配备 4-bit NF4 QLoRA 微调（可训练参数量约 47M），被测目标为冻结的 Qwen3-30B-A3B（基于 vLLM 部署）。评测在 50 个严格隔离的 held-out 客户场景种子上执行（最多 8 轮对话）。

核心评测指标为套件级策略覆盖率（Suite-Level Coverage），即在全部 50 个测试情景中至少被成功触发一次的策略占比（发现漏洞的广度），并结合百轮违规产出率（Yield/100）、高频策略集中度（B4/S5/B6 占比，越低说明越不偏科）、多策略同时触发率（Multi-pol.）以及信息熵（Entropy）进行综合评估：

实验组别	审计模型配置	策略覆盖率 (Coverage) ↑	违规产出 (Yield/100)	高频集中度 (B4/S5/B6) ↓	多策略触发率 (Multi-pol.) ↑	策略熵 (Entropy) ↑
Baselines	随机场景直测 (Random)	5%	28	100%	4%	0.69
	零样本零微调 (Zero-shot Qwen3-30B)	35%	620	88%	64%	2.45
Behavior reward	GRPO 优化	55%	1090	82%	88%	3.57
	DPO 优化	60%	1098	79%	86%	3.30
	GFlowNet 优化	45%	1042	84%	86%	3.29
Dedup-only	GRPO 优化 (仅去重)	55%	1914	78%	100%	3.30
	DPO 优化 (仅去重)	55%	1086	80%	86%	3.12
PROBE (完整方案)	GRPO 优化	60%	1176	77%	94%	3.21
	DPO 优化	60%	836	77%	88%	3.15
	GFlowNet 优化	45%	1016	83%	78%	3.15

消融实验¶

为了进一步探究策略违规挖掘受阻的结构性根源，以及评估训练所得审计模型的跨域泛化能力，论文开展了被测智能体工具调用深度统计分析与跨模型/跨基准迁移实验：

表 1：测试集执行过程中被测目标智能体的工具调用次数（工具深度瓶颈分析）

工具功能分类	工具名称	GRPO 调用频次	DPO 调用频次	GFlowNet 调用频次	依赖此工具的核心受限策略举例
只读查询类 (Read-only)	`search_flights`	461	341	420	B2 (美元标价), P3 (架构泄露)
	`check_availability`	0	0	4	B4 (豪华舱披露)
状态变更类 (Mutation)	`hold_itinerary`	6	4	1	B3 (受限航线暂留), S4 (安全默认值)
	`book_flight`	3	1	3	S5 (预订确认), O1 (乘客上限)
	`cancel_booking`	0	0	0	O4 (取消规则披露), S6 (容错处理)

表 2：跨目标模型与跨基准迁移评测结果（评估零样本审计泛化能力）

评测环境 / 目标基准	审计器类型与底座配置	策略覆盖率 (Coverage) ↑	违规产出率 (Yield/100)	相对性能提升
SkyAssist (未见过的目标架构)	静态脚本测试集 (Static Suite)	5%	42	基准线
(目标模型: Gemma-4-E4b-it)	Probe-DPO (Qwen3-4B 零样本迁移)	40%	190	+352% 产出提升
$\tau$-bench 真实航司基准	Zero-shot 基础审计器 (Qwen3.5-9B)	20%	26	基准线
(目标模型: 官方冻结智能体)	Probe-DPO (Qwen3.5-9B 同底座微调)	30%	58	+123% 违规发现数

关键发现¶

小模型逆袭大模型：仅有 4B 参数量的 Qwen3 审计模型经过 PROBE 训练后，在完全黑盒无特权的约束下，将套件级策略覆盖率由 30B 零样本对抗模型的 35% 大幅推高至 60%（确定性严格重打分下达到 55%），高频偏科违规占比由 88% 压低至 77%，且多策略违规触发率达到 94%。
产出率与覆盖率的严重脱钩：Dedup-only 消融实验中，GRPO 产出了高达 1914 次/百轮的违规数量与 100% 的多违规率，但其覆盖率仅有 55%。这充分表明单纯追求违规数量会导致审计模型陷入重复触发同一类已知弱点的局部最优，印证了 PROBE 引入新颖度与进度奖励以追求覆盖率的核心必要性。
工具调用深度是覆盖率上限的物理瓶颈：目标智能体展现出高度保守的拒止倾向，其发起的工具调用中超过 90% 集中在 search_flights，而 book_flight 和 hold_itinerary 仅出现个位数，cancel_booking 甚至为 0。未被挖掘出的策略绝大多数强依赖变更工具的触发，这说明黑盒审计当前的主要挑战在于如何诱导目标模型突破保守防御进入变更状态。
确定性判定对大模型裁判漏洞的修正：在针对 4 项语义型策略的评估中，大模型裁判与人类专家的一致性极差（$\kappa=0.084$），且 GRPO 会出现严重的奖励黑客行为（针对 S5 产生大量误报）。改用确定性谓词重打分后排除了这一虚假繁荣，PROBE 仍旧保持 55% 对 35% 的显著领先优势。

亮点与洞察¶

将策略审计从能力与文本安全中独立为第三评测维度：传统测试常将“任务成功完成且输出无害”等同于“系统可靠”，PROBE 敏锐指出工具调用智能体存在严重的“合规暗度陈仓”现象，建立了以完整交互轨迹为分析对象的评测新范式。
巧妙的诱导式欠规格输入（Tempting Under-specification）设计：审计模型自主学到了一种极其隐蔽的高级渗透策略——故意给出真实合理但不完整的用户输入（如只说飞往 LLW 却隐瞒出发地），诱导被测智能体在槽位未填充齐全时便盲目抢先调用底层搜索工具，从而直接抓包其 Schema 违规与未经校验的非法调用。
DPO 在多轮对抗审计任务中的高鲁棒性：相比于对奖励数值绝对缩放极度敏感的 GRPO 与 GFlowNet，DPO 基于成对排序的优化范式在面对非平稳的对抗轨迹奖励时表现出惊人的平滑性与稳定性，成为小样本审计器训练的优选方案。

局限与展望¶

深层变更工具的诱导激活率极低：当前被测模型大多具备内建的谨慎防御机制，难以被诱导执行实际的预订或取消操作，导致高严重度的操作性策略（如超员预订拦截、取消退费规则披露）缺乏足够的测试样本。
语义型验证器与人类常识存在鸿沟：部分需要语境理解的软性策略（如隐性确认提示、促销推荐）在训练初期依赖大模型打分，极易受到奖励黑客攻击；而纯规则谓词又过于僵化，未来需要探索抗噪鲁棒强化学习或混合验证器。
未来演进方向：未来可将 PROBE 拓展至金融风控、医疗处方等高危领域的专业智能体评测中，并建立“审计器挖掘漏洞 $\to$ 违规轨迹构建微调防御集 $\to$ 目标智能体修复 $\to$ 审计器再进化”的共进化自对弈闭环。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性形式化了工具调用智能体的轨迹级策略合规审计博弈，填补了能力与文本安全之外的第三评测空白。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖三种不同优化器对比、详尽的去重与进度消融、深入的工具深度剖析、人类专家打分核验以及跨模型与跨基准迁移。
写作质量: ⭐⭐⭐⭐⭐ 概念界定极其清晰，数学形式化规范，问题洞察深刻，实验分析切中智能体攻防的本质矛盾。
价值: ⭐⭐⭐⭐⭐ 为企业级多智能体系统的上线安全审查与自动化渗透测试提供了极具工程落地价值的标准化方法体系。