AgentProv: Auditing Agentic LLM API Providers via Tool-use Policy Probes¶
会议: EMNLP 2026
论文: ACL Anthology
领域: LLM 智能体
关键词: LLM 智能体、API 提供商审计、工具调用策略、模型身份指纹、MMD 假设检验
一句话总结¶
针对黑盒大模型 API 提供商静默替换、量化降级或包装转售底层基座的问题,AgentProv 首次利用模型内生工具选择偏好构建动作级指纹,通过分块 MMD 置换检验实现无文本依赖且对系统提示注入强鲁棒的 API 身份审计。
研究背景与动机¶
商业大模型 API 普遍以标称的基础模型对外提供黑盒服务,但终端用户和下游开发者难以验证背后的实际计算基座。为了节省高昂的 GPU 部署与推理成本,第三方中继平台、API 代理乃至部分商业服务商往往会采取静默替换策略,例如将昂贵的旗舰模型偷换为廉价蒸馏小模型、低比特量化版本,甚至是提示词包装的开源替代品。近期大规模实证审计揭示了该问题的严峻性:在对 31 个商业 Llama 端点的测试中发现 11 个存在分布漂移,而在对 17 家转售商业 API 的系统调查中,模型身份违约率高达 45.8%,甚至出现了将 GPT-5 整个替换为 GLM-4-9B 等开源模型的恶劣行为。这种黑盒环境下的信任赤字迫切需要系统性的审计工具来核查 API 幕后的真实基座。
然而,现有审计方法(如基于字符汉明核两样本检验的 MET 和基于参考模型对数排序均匀性检验的 RUT)完全依赖于自然语言补全通道来提取模型指纹,这在智能体(Agentic)API 时代遭遇了结构性失效。一方面,现代生产级智能体推理与服务架构(包括 OpenAI、Anthropic、Gemini 以及 LangGraph、Cloudflare 等)在触发工具调用时,通常直接拦截并剔除自然语言文本,仅向客户端返回结构化的工具调用操作(即 message.content 为空而仅暴露 tool_calls),导致文本通道探测器失去工作空间。另一方面更为致命的是,真实 API 供应商通常会在用户请求外围包裹自定义的系统提示词(System Prompt)、安全护栏或模版装饰;在大规模实测中,高达 44% 的 OpenRouter 端点更改了官方对话模版。文本通道探测器对表层 token 极其敏感,哪怕仅注入 1 个无害的空格或一句简短问候,都会导致检验统计量剧烈偏移,从而产生严重的误报(False Positive),将遵守约定的诚实提供商误判为模型替换。
面对这一困境,研究团队敏锐地捕捉到了现代智能体后训练(Post-training)的核心特征:工具调用能力已不再依赖推理时的 Prompt 引导,而是通过大规模指令微调与强化学习被直接内化进模型底层权重中。当面对功能完全等价的多个工具选项时,不同血统与训练配方的基座模型会展现出极其稳固且具有高度特异性的分类选择偏好;更关键的是,这一动作级决策对外部包裹的系统提示词具有天然的不变性——修饰性提示词会剧烈改变自然语言表层输出,却极少翻转模型对核心工具的选择逻辑。核心 idea:跳过脆弱的自然语言文本通道,将黑盒 API 审计建立在内生工具调用策略的分类分布上,通过设计无偏等价工具探针提取动作指纹,并结合块对角 MMD 置换检验实现零文本依赖、抗提示词干扰的严格 API 身份验证。
方法详解¶
整体框架¶
AgentProv 将 API 提供商的身份合规性验证形式化为工具选择策略(Tool-selection Policy)的两样本等价性假设检验问题:\(H_0: \pi_{\text{ref}} = \pi_{\text{sus}}\),备择假设为两端点底层策略存在差异。审计员持有被审计端点(Suspect Endpoint)的黑盒调用权限,以及权威参考模型(Reference Instance,开源模型可本地运行,闭源模型可调用官方官方 API)。整个审计流程包含四个紧密衔接的核心环节:首先通过设计好的无偏探针向双方端点并发查询并分类解析工具决策;接着将离散动作映射为联合字母表上的独热向量并聚合成均值指纹;随后计算基于 Delta 核的块对角化最大均值差异(MMD)检验统计量;最后利用模版内标签置换构建经验零假设分布,在显著性水平 \(\alpha = 0.05\) 下给出接受或拒绝的判定。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["黑盒查询与参考实例<br/>输入中立请求与等价工具集"] --> B["等价工具偏好探针<br/>随机工具顺序+结构对齐消除偏置"]
B --> C["独热动作指纹提取<br/>结构化解析映射至联合维度特征空间"]
C --> D["块对角 MMD 统计量计算<br/>Delta 核诱导跨模版 L2 距离分解"]
D --> E["模版内置换检验判定<br/>保持样本配额置换校准经验零分布"]
E -->|T > 临界阈值| F["判定拒绝 H0:检出基座静默替换"]
E -->|T ≤ 临界阈值| G["判定接受 H0:确认基座身份一致"]
关键设计¶
1. 等价工具偏好探针:消除表层干扰与位置偏置的策略诱导机制
传统文本探测易受提示词与格式影响,且在动作输出场景下无从下手。该设计针对此痛点,构建了涵盖通用日常任务(15 种涵盖日程管理、邮件收发、天气查询等分类)与真实 MCP 服务器(Model Context Protocol,包含来自不同提供商的同构操作接口)两大领域的 \(K\) 个探针模版(主实验采用 \(K=20\),扩展池包含 \(K=60\))。每个模版由一个中立的用户请求、一组功能完全等价但命名与提供方风格相异的工具 Schema,以及供审计端分类的离散选项集 \(O_k\)(通常包含 4 至 6 个选项)组成。为了防止模型受到无关因素的偶然诱导,设计施加了三重严格控制:其一,在每次采样时通过确定性伪随机种子对 Schema 中的工具排列顺序进行随机打乱,彻底杜绝大模型固有的一阶位置偏置(Position Bias);其二,对同模版内的所有工具描述进行长度对齐和句式结构平行化处理,阻止模型因详细程度差异而产生非预期选择偏向;其三,用户请求全部采用完全中立的通用表述(例如使用 “schedule a meeting” 替代 “use Google Calendar”,使用通用测试邮箱),杜绝任何领域先验灌输。模型在未暴露 \(O_k\) 的前提下自由生成,审计器从结构化 tool_calls 中提取命中名称,并将未调用工具直接归入 _no_call,语法解析失败归入 _malformed,形成确定性的离散观测。
2. 独热动作指纹提取:跨模版统一编码的高维经验策略表征
由于智能体决策结果是离散且多模版的,需要构建一种能无损保留多情境联合偏好的数学表征。设联合模版-选项字母表为 \(\mathcal{Z} = \{(k, a) : k \in [K], a \in O_k\}\),其总特征维度为 \(D = \sum_{k=1}^K |O_k|\)。针对每个探针模版 \(k\),审计员分别向参考端点与嫌疑端点独立采集 \(N\) 次采样响应(总查询量 \(N_{\text{total}} = K \times N\))。每一个观测到的工具动作都被映射为仅在对应模版对应选项索引处取值为 1 的 \(D\) 维标准基向量 \(z_i \in \{0, 1\}^D\)。所有采样堆叠为矩阵 \(Z_R, Z_S \in \{0, 1\}^{N_{\text{total}} \times D}\) 后,通过沿列方向计算经验均值,直接获得参考指纹 \(\phi_R\) 与嫌疑端点指纹 \(\phi_S\):
$\(\phi = \frac{1}{N_{\text{total}}} \sum_{i=1}^{N_{\text{total}}} z_i \in \mathbb{R}^D\)$
该指纹向量由 \(K\) 个相互独立的子块拼合而成,每个子块内部精确反映了该模型在特定工具选择情境下的多项式分布(Multinomial Distribution),从而将隐式的行为偏好固化为可直接比对的紧凑数值向量。
3. 块对角 MMD 统计量计算:离散空间特征映射与可解释性距离度量
为了在不对底层分布作高斯等连续性假设的前提下衡量两组离散策略的相异度,框架引入再生核希尔伯特空间(RKHS)下的最大均值差异(MMD)。在有限离散字母表 \(\mathcal{Z}\) 上,定义 Delta 核函数:
$\(\kappa\left((k, a), (k', a')\right) = \mathbf{1}\{k = k'\} \cdot \mathbf{1}\{a = a'\}\)$
由于有限域上的 Delta 核具有严格的特征核(Characteristic Kernel)性质,只要样本量充足,任何策略分布上的微小偏离都会使总体 MMD 严格大于 0。在此核定义下,经验平方 MMD 估计量退化为两端点经验指纹向量之间的欧氏平方距离:
$\(T = \|\phi_R - \phi_S\|_2^2 = \sum_{k=1}^K \|\phi_R^k - \phi_S^k\|_2^2\)$
这一块对角特性不仅大幅简化了运算复杂度,更带来了一项关键的可解释性诊断优势:统计量 \(T\) 可以严格按模版解耦为各模版平方误差的总和。审计员能够精确溯源究竟是哪几个具体的工具选择情境造成了统计显著的分布偏移,为进一步排查模型替换类型或分析微调漂移提供了直观证据。
4. 模版内置换检验判定:免分布假设的严格 I 类错误率校准
在有限样本预算下,渐近正态分布近似往往会导致显著性水平失真。为保证在任意采样数 \(N\)、模版数 \(K\) 及选项集合大小下的非参数严格控制,检验利用零假设 \(H_0\) 下两端点标签的条件可交换性(Exchangeability)执行模版内置换。具体而言,对于每一个模版 \(k\),算法将其对应的 \(2N\) 个样本行聚合,在模版局部均匀打乱端点归属标签,并重新划分为大小各为 \(N\) 的两组虚拟样本;随后跨模版重组虚拟矩阵并重新计算伪统计量 \(T^{(r)}\)。该过程独立重复 \(B = 1000\) 次,构建出无偏的经验零假设分布 \(\{T^{(r)}\}_{r=1}^B\)。当实际观测到的统计量 \(T\) 严格超过该经验分布的 \((1 - \alpha)\) 分位数时,算法以预设的显著性水平 \(\alpha = 0.05\) 判定拒绝原假设,告警存在模型替换;反之则接受原假设,确认模型真实性。
一个完整示例¶
假设审计员需要验证某个声称运行 Qwen2.5-7B 的第三方端点。探针设定两个模版:模版 1 包含邮件发送任务,提供 gmail、outlook、yahoo 及未调用 4 个选项;模版 2 包含日程预约任务,提供 gcal、zoom、calendly 及未调用 4 个选项,总维度 \(D = 8\)。审计员对两端点各采样 \(N=50\) 次。真实参考模型在模版 1 中展现出对 outlook 的偏好(概率分布为 \([0.16, 0.68, 0.16, 0.00]\)),而嫌疑端点实际上运行着由 GPT-4o-mini 蒸馏得到的替代模型,其在此情境下更倾向于选择 gmail(分布为 \([0.72, 0.14, 0.14, 0.00]\))。提取出的指纹在模版 1 的欧氏平方差即达到 \((0.16-0.72)^2 + (0.68-0.14)^2 + \dots \approx 0.60\)。模版内置换检验将两组 50 条记录混合打乱 1000 次,零分布统计量 \(T^{(r)}\) 极少超过 \(0.08\)。观测值远远超出 \(95\%\) 分位数临界值,系统输出 \(p < 0.001\),断然拒绝 \(H_0\) 并检出静默替换。
实验关键数据¶
主实验¶
评估在 36 个开源基座检查点(跨 13 个模型家族,涵盖 0.5B 至 14B 参数量)、5 个系统提示词注入对照组以及 9 个闭源 OpenAI 官方及转售端点上展开。
表 1:基准模型身份判别与虚假替换检出能力对比(\(\alpha=0.05\))¶
| 评测场景 | 对比对数 (\(n\)) | MET (Gao et al., 2025) | RUT (Zhu et al., 2026) | AgentProv (本文方法) |
|---|---|---|---|---|
| 跨模型替换测试 (Cross-pairs) | 630 | 100.0% 检出率 (630/630) | 100.0% 检出率 (630/630) | 100.0% 检出率 (630/630) |
| 同模型自身一致性测试 (Self-pairs) | 36 | 0/36 误判 (0.0% FPR) | 2/36 误判 (5.6% FPR) | 0/36 误判 (0.0% FPR) |
| 闭源官方 OpenAI 互检 (Distinct) | 36 | - (无 Logits) | - (无 Logits) | 36/36 拒绝 (100.0%) |
| 闭源官方 vs 本地开源模型 | 324 | - | - | 324/324 拒绝 (100.0%) |
| 官方 OpenAI vs OpenRouter 转售端点 | 9 | - | - | 9/9 接受 (0.0% 误报) |
表 2:隐蔽系统提示词注入控制实验下的误报率(FPR,权重未变即每次拒绝均为误报)¶
| 模型基座 | 系统提示条件 | MET | RUT | Adapted LLMmap | AgentProv (本文) |
|---|---|---|---|---|---|
| Llama-3.2-1B-Instruct | 空提示 (1 token 空格) / 短提示 (5 tokens) / 长提示 (50 tokens) | 拒绝 / 拒绝 / 拒绝 | 接受 / 拒绝 / 拒绝 | 接受 / 接受 / 拒绝 | 接受 / 接受 / 接受 |
| Qwen3-1.7B | 空提示 / 短提示 / 长提示 | 拒绝 / 拒绝 / 拒绝 | 接受 / 接受 / 拒绝 | 接受 / 接受 / 接受 | 接受 / 接受 / 接受 |
| Qwen2.5-1.5B-Instruct | 空提示 / 短提示 / 长提示 | 接受 / 拒绝 / 拒绝 | 接受 / 接受 / 拒绝 | 接受 / 接受 / 接受 | 接受 / 接受 / 接受 |
| Gemma-3-1B-it | 空提示 / 短提示 / 长提示 | 拒绝 / 拒绝 / 拒绝 | 拒绝 / 拒绝 / 拒绝 | 接受 / 拒绝 / 拒绝 | 接受 / 接受 / 拒绝 |
| Hammer2.1-1.5B | 空提示 / 短提示 / 长提示 | 接受 / 接受 / 拒绝 | 接受 / 接受 / 拒绝 | 接受 / 接受 / 接受 | 接受 / 接受 / 接受 |
| 总体误报率 (FPR) | 汇总 15 组对比测试 | 10/15 (66.7%) | 8/15 (53.3%) | 3/15 (20.0%) | 1/15 (6.7%) |
消融实验¶
表 3:探针模版数 \(K\) 与每模版采样数 \(N\) 预算网格对跨模型检出准确率的影响(630 对模型)¶
| 模版数 (\(K\)) | \(N = 5\) 采样 | \(N = 10\) 采样 | \(N = 25\) 采样 | \(N = 50\) 采样 (标准配置) |
|---|---|---|---|---|
| \(K = 5\) | 36.67% | 66.67% | 92.70% | 97.46% |
| \(K = 10\) | 60.48% | 91.90% | 98.89% | 99.84% |
| \(K = 20\) (默认) | 65.56% | 94.13% | 99.84% | 100.00% |
| \(K = 30\) | 64.44% | 95.24% | 100.00% | 100.00% |
| \(K = 40\) | 64.76% | 95.71% | 100.00% | 100.00% |
| \(K = 60\) | 68.57% | 96.03% | 100.00% | 100.00% |
关键发现¶
- 对表层提示词干扰展现出质的鲁棒性:在注入不同程度系统提示词的严格控制实验中,MET 甚至在仅注入单个空格字符(1 token)时就在 5 个模型中误报了 3 个,其总误报率高达 66.7%;灰盒方法 RUT 随提示词长度增加误判率急剧上升至 53.3%。相比之下,AgentProv 在空提示和短提示下实现了 0% 误报,仅在 50 token 的长客服装扮提示下因 Gemma-3-1B 工具调用语法格式发生漂移而误判了一次,总误报率严格压制在 6.7%。
- 采样样本数 \(N\) 相比模版数 \(K\) 是更高效的增益边际:从消融网格可以看出,当 \(N=5\) 时,即便将模版数量从 20 增加到 60,检出率仅从 65.56% 微升至 68.57%;然而在 \(K=20\) 下将每个模版的采样数 \(N\) 提高到 25 和 50,准确率迅速攀升并饱和至 99.84% 与 100.00%。这证明准确估计每个模版的多项式分布参数比盲目扩展模版数量更具性价比。轻量配置 \(K=10, N=50\)(仅需 500 次查询,开销不足 0.5 美元)即可达到 99.84% 的近乎完美检出率。
- 动作空间聚类精确映射训练血统,抵抗提示词自适应伪装:在 \(36 \times 36\) 全模型距离矩阵分析中,同一家族(如 Qwen2.5 各尺寸、Llama-3 各尺寸)的模型在动作空间内的类内距离显著小于类间距离(比值达 1.8 至 3.0 倍)。在对抗防御测试中,试图通过系统提示告知参考模型分布(+Profile)甚至提供少样本工具调用示例(+Few-shot)的自适应攻击者,其假冒输出依然全部被 AgentProv 100% 识破,证明基于权重的内生策略无法通过表层 Prompt 轻易模仿。
亮点与洞察¶
- 切中智能体 API 架构范式转换的全新通道:从依赖脆弱易变的自然语言输出转向利用不可剥离且高度特异的工具调用行为,解决了生产级 Serving 架构剔除纯文本和中继端点注入系统提示带来的双重审计盲区。
- 巧妙的 Delta 核分块降维设计:利用工具选择的互斥离散性质,将复杂的连续 MMD 检验退化为直观、计算极快且具有完全可解释性的分块欧氏距离平方和,既严格控制了置换假设检验的统计效力,又为审计提供了模版级的根因诊断能力。
- 极低的审计成本与极高的实操性:标准配置(\(K=20, N=50\))每个端点仅需 1000 次 API 请求,耗资通常在 1 美元以内;轻量配置仅需 500 次查询,具备即插即用、无需模型内部权重或 Logits 权限的纯黑盒落地可行性。
局限与展望¶
- 依赖权威基准实例的存在:AgentProv 属于双样本等价性检验,其前提是审计员能够访问一个受信任的参考基准(开源模型的本地正版权重,或商业模型的官方官方 API)。如果面对的是完全闭源、且不存在任何权威访问源的孤立私有模型,该方法无法建立参考分布。
- 对极端剧烈的工具格式变异仍存在假阳性可能:如 Gemma-3-1B 实验所示,若供应商注入的系统提示词极其冗长复杂且强制改写了底层的参数格式,可能造成部分弱模型输出格式畸变,从而触发误检;未来可引入自适应容错解析器进一步增强鲁棒性。
- 针对专门针对探针过拟合微调的防御需要动态探针池:实验表明通过 LoRA 在探针上蒸馏可以规避已见模版的审计。因此,在实际产业部署中,必须像杀毒软件特征库一样建立并定期轮换未公开的私有私密探针池。
相关工作与启发¶
- vs MET (Model Equality Testing, Gao et al., 2025): MET 采用文本补全通道并结合汉明核进行两样本检验。在纯文本问答场景有效,但在智能体纯动作输出场景无法执行,且在真实注入系统提示词时误报率高达 66.7%;本文采用动作级策略检验,彻底免疫自然语言表层微扰。
- vs RUT (Rank-based Uniformity Test, Zhu et al., 2026): RUT 依赖参考模型返回的对数排序分数执行 Cramér–von Mises 检验,属于灰盒方法(要求 logits);且其对文本 token 变动极其敏感,长提示下误报率升至 53.3%。AgentProv 为完全黑盒方法,适用范围显著拓宽且在同场景下误报仅 6.7%。
- vs AGENTWM (Wang et al., 2026a): AGENTWM 通过在动作序列中主动植入水印偏差来保护知识产权,需要对模型进行主动修改;AgentProv 侧重于针对未经修改、现成部署的第三方黑盒端点进行被动式事后身份合规验证。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次摆脱文本通道束缚,从智能体后训练内生的工具调用偏好开辟黑盒 API 审计新维度。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 36 个开源基座、9 个闭源模型、1000 余次对比、真实 OpenRouter 端点及对抗性仿冒测试,证据链极为完整扎实。
- 写作质量: ⭐⭐⭐⭐⭐ 问题阐述切中时弊,数学公式推导干净自洽,图表设计清晰,逻辑极其流畅连贯。
- 价值: ⭐⭐⭐⭐⭐ 对规范商业大模型中继市场、打击虚假模型宣传与降级偷换具有极高的实际工业应用与监管合规价值。