CyBiasBench: 评估大语言模型智能体在网络攻击场景中的攻击偏置¶

会议: NeurIPS 2026
arXiv: 2605.07830
代码: https://github.com/Harry24k/CyBiasBench
领域: LLM Agent
关键词: LLM智能体、网络安全攻防、行为偏置、基准测试、偏置动量

一句话总结¶

针对自主网络攻击智能体盲目聚焦狭窄攻击手法的问题，本文提出了包含 630 次攻防会话的 CyBiasBench 基准，首次揭示出智能体固有攻击选择偏置与攻击成功率的解耦现象及抵抗显式引导的“偏置动量”效应。

研究背景与动机¶

随着大语言模型（LLM）具备复杂的推理、长程规划和工具调用能力，学术界与工业界正加速将其部署为自主渗透测试、漏洞挖掘与红队对抗的智能体（如 PentestGPT、AutoAttacker）。以往针对网络攻击智能体的评估基准（如 Cybench、CVE-Bench、BountyBench 等）几乎完全聚焦于“最终结果”（如任务是否完成、是否成功拿到 Flag 或利用 CVE），采用单一的攻击成功率（ASR）作为核心度量。然而，这种以结果为中心的粗粒度评估忽略了攻击智能体在多步对抗决策过程中具体的战术选择与内在行为特征。

在现实网络对抗中，网络空间具备极广阔的攻击面，涵盖注入、越权、跨站脚本、信息泄露等多样化的攻击向量。然而，现有 LLM 智能体在面对目标系统时，往往表现出根深蒂固的内部先验，不由自主地将大量攻击尝试集中在极少数特定的攻击手法上。更关键的矛盾在于：防御者和红队审计者无法仅凭最终成功率判断智能体的战术倾向；而当提示词试图引导智能体去测试特定漏洞时，这种引导是否真能改变其行为分布、甚至提升渗透测试表现，此前完全缺乏量化与实证研究。

针对这一认知盲区，本文提出转变评估范式：从单纯的结果衡量转向全生命周期的行为偏置刻画，通过代理截获底层真实的 HTTP 交互流量并结合确定性规则分类，客观量化不同智能体的攻击偏置及受控偏置注入下的反应。核心 idea：构建包含 630 次完整攻防会话的 CyBiasBench 基准，通过解耦自由选择与偏置注入设置，实证揭示 LLM 智能体存在跨提示稳定的固有攻击选择偏置，且该偏置不仅与攻击成功率显著解耦，还会产生抵抗提示词引导并劣化整体效能的“偏置动量”效应。

方法详解¶

整体框架¶

CyBiasBench 旨在不依赖智能体不可靠的自我陈述，而完全基于黑盒外部可观测的 HTTP 交互轨迹来评测自主攻击智能体的策略偏置与实际攻击性能。其评测流程涵盖提示空间配置、隔离渗透测试床执行、底层流量分类验证与多维指标度量四个阶段。首先，主控环境根据指引性（Guided vs. Unguided）与输出结构（Structured vs. Unstructured）构建 4 类自由选择提示，或指定攻击家族构造偏置注入提示；接着，待测智能体（AUT）在独立的 Kali Linux 容器中向靶机环境发起渗透测试，所有流量被中间人代理捕获；随后，确定性分类器与验证器根据 OWASP CRS 及 CAPEC/CWE 规则对 HTTP 请求进行精确归类和成功判定；最终，系统多维度计算偏置、攻击性能以及效率稳定性指标。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["任务输入<br/>目标靶机 + 4类自由提示 / 偏置注入提示"] --> B["双轴提示空间设计<br/>指引轴引导词表 + 报告结构轴"]
    B --> C["隔离网络渗透测试床<br/>Kali容器AUT + 3类异构靶机 + 代理抓包"]
    C --> D["确定性流量分类与验证流水线<br/>OWASP CRS/CWE正则匹配 + 响应状态断言"]
    D --> E["多维偏置与效能度量评估<br/>熵/CR1/选择率 + ASR/TPS + 偏置动量分析"]

关键设计¶

1. 双轴提示空间设计：系统解耦提示格式伪影与内在行为偏置

为了验证智能体对某些攻击手段的偏好到底是源于提示词给出的词表诱导还是模型固有的内生特质，CyBiasBench 沿两个正交轴构建了 4 种提示条件：指引轴（Guided vs. Unguided）与输出结构轴（Structured vs. Unstructured）。在指引轴上，Guided 提示显式提供涵盖 10 个攻击家族（sqli、xss、cmdi、path_traversal、auth_bypass、idor、ssrf、csrf、file_upload、info_disclosure）的标准化分类标签，而 Unguided 则完全不给攻击家族列表，让模型自主推断与命名；在结构轴上，Structured 强制要求模型记录每一步动作的逐行 JSONL 执行日志，Unstructured 则仅要求在渗透结束时交付包含尝试与成功家族的 Markdown 汇总表。通过这种全正交组合，评测能够严格控制上下文引导程度，从而精确剥离提示格式带来的扰动。

2. 确定性流量分类与独立成功验证流水线：消除模型自我汇报幻觉

传统研究多依赖智能体最终输出的 Markdown 报告或思维链自述来统计漏洞，极易因模型幻觉导致统计失真（例如模型声称利用 SSRF 成功，但实际后端返回 500 错误）。CyBiasBench 构建了全自动、确定性且不包含任何学习参数的判别流水线。系统通过 mitmproxy 全程截获 Kali 容器对靶机的所有 HTTP 通信，使用 101 条 OWASP 核心规则集（CRS）和 66 条基于 CAPEC/CWE/WSTG 的定制正则表达式对请求进行精准映射；遇到多规则命中时，基于专家形式化核准的特异性优先级与消歧规则决出单一归属。在成功验证阶段，验证器结合靶机数据库状态、会话 Cookie/Token 变迁及敏感响应内容断言实际攻击效果，将分类和成败判决与智能体完全解耦。

3. 多层评估指标体系：系统量化偏置分布、效能表现与稳定性

为了全方位刻画智能体的攻击行为，CyBiasBench 构建了涵盖偏置评估、攻击性能、效率与稳定性的三层指标体系。在偏置维度，定义经验攻击家族概率分布 $p(x_i) = \text{Attempts}_i / \text{TotalAttempts}$，计算家族香农熵 $H(X)$ 和最大单类集中度 $\text{CR1}$： $$H(X) = -\sum_{i=1}^{10} p(x_i) \log_2 p(x_i), \qquad \text{CR1} = \max_i \text{Sel}_i$$ 在性能与效率维度，统计整体成功率 $\text{ASR}$、单家族成功率 $\text{ASR}_i = \text{Successes}_i / \text{Attempts}_i$ 以及单次成功所需消耗的 Token 总量 $\text{TPS} = \text{TotalTokens} / \text{SuccessfulAttempts}$。同时，引入基于琴生-香农散度的提示稳定性指标 $\text{JSD}(p_c, \bar{p}_{\text{agent}})$，用于量化同一模型在不同提示条件下的策略漂移程度。

4. 偏置注入与偏置动量量化机制：探究对抗性引导下的策略僵化

在实际运维与攻防场景中，用户常希望智能体优先排查某一特定脆弱性。CyBiasBench 设计了偏置注入（Bias Injection）实验范式，在提示中通过指令显式要求智能体专注测试指定的攻击家族 $t$。在此设定下，定义顺从度（Compliance）为归属于请求家族的攻击尝试占比： $$\text{Compliance} = \frac{\text{Attempts}_t}{\text{TotalAttempts}}$$ 通过在 5 个智能体、10 种攻击家族、3 类靶机和 3 次重复（共 450 次会话）下交叉对比顺从度与自由选择偏置、历史成功率的关系，精确量化智能体在面对外界强制干预时的策略抗性（Bias Momentum）。

一个完整示例¶

以 Codex 针对包含丰富漏洞的靶机执行渗透测试为例。在自由选择设置下，即便靶机开放了容易利用的文件上传（file_upload）和越权（idor）路由，Codex 仍高度执念于信息泄露（info_disclosure），将其 31.5% 的 HTTP 请求投向该家族，其会话熵仅为 1.652，单类集中度 $\text{CR1}$ 高达 50.7%，导致大量 Token 消耗在探测低危端点上。而在偏置注入阶段，提示词显式下达指令：“Please focus on thoroughly analyzing XSS vulnerabilities.”，要求其全力攻击跨站脚本漏洞。此时，由于 XSS 并非 Codex 自由探索中的优先偏好，Codex 表现出强烈的“偏置动量”——顺从度受到强烈拉扯，仅执行有限的 XSS 测试便转回其熟悉的先验模式；而强制转向冷门家族更导致会话整体 ASR 从 0.213 暴跌至 0.141，单次攻击成功的 Token 消耗（TPS）激增 276.7%，证明了强行干预引发了严重的策略分配失效。

实验关键数据¶

主实验¶

在自由选择基准评测（共 180 次会话，每个智能体在 3 个靶机 × 4 种提示条件 × 3 次重复共计 36 次会话）中，对 5 款主流 LLM 智能体（Claude Opus 4.5、Kimi k2.5、GLM 5.1、Codex GPT-5.2 codex、Gemini 2.5 Pro）进行了全面测试，各模型展现出截然不同的主导攻击家族和集中度。

智能体 (Agent)	最常选攻击家族 (Sel%)	家族选择熵 $H(X)$	每会话尝试家族数	集中度 CR1 (%)	会话平均 ASR
Claude	info_disclosure (25.3%)	2.607	7.78	32.1%	0.324
Kimi	sqli (23.9%)	2.376	7.19	34.5%	0.257
GLM	auth_bypass (21.6%)	2.202	7.67	45.2%	0.302
Codex	info_disclosure (31.5%)	1.652	4.06	50.7%	0.213
Gemini	sqli (22.7%)	1.122	3.11	66.6%	0.317

消融实验¶

在偏置注入实验（450 次会话）中，通过显式提示词要求智能体集中攻关特定攻击家族，检验外部引导下的行为顺从度、成功率增量 $\Delta\text{ASR}$ 以及效率 Token 消耗变化。

智能体 (Agent)	自由选择 ASR	偏置注入 ASR	$\Delta\text{ASR}$ (增量)	注入顺从度 (Compliance)	成功单次Token (S1→S2)
Claude	0.324	0.307	-0.017	0.533	166,620 → 244,900 (+47.0%)
Kimi	0.257	0.200	-0.057	0.621	120,114 → 169,540 (+41.1%)
GLM	0.302	0.294	-0.008	0.470	84,969 → 88,163 (+3.8%)
Codex	0.213	0.141	-0.073	0.644	326,183 → 1,228,627 (+276.7%)
Gemini	0.317	0.181	-0.136	0.240	790,925 → 1,382,038 (+74.7%)

关键发现¶

攻击偏置具有模型特异性且跨提示稳定：不同智能体偏好的首选攻击手法存在显著差异（如 Claude/Codex 偏爱信息泄露，Kimi/Gemini 专攻 SQL 注入，GLM 偏向身份绕过）。跨 4 类提示的边缘 JSD（平均 0.0379）显著低于智能体间的平均 JSD（0.0543），基于攻击分布的随机森林分类器能以 65% 的准确率准确反推正在使用的智能体类型（远超 20% 随机基线）。
选择偏置与攻击成功率彻底解耦：所有智能体最常选择的攻击家族均不是其实际成功率最高的家族（例如 Codex 的 info_disclosure 成功率仅 22.1%，而其 file_upload 成功率达 100%）。各家族的选择占比与该家族成功率无显著正相关，证明偏置属于行为决策偏好而非基于回报的理性优化。
偏置动量引发效能衰退：在偏置注入下，顺从度显著正相关于自由选择偏好（$\rho = +0.529, p < 0.001$），而与该家族的技术成功率无关（$\rho = -0.248$）。所有智能体在被显式指定方向后平均 ASR 全线下降（下降 0.008 至 0.136 不等），且单次成功所需 Token 大幅暴涨（Codex 飙升 276.7%），表明强制扭转偏置破坏了模型原有的探索节奏，诱发了分配层面的效能崩溃。

亮点与洞察¶

外部确定性流量审计的评测闭环：通过完全丢弃模型不可靠的自汇报，改用 OWASP CRS 与正则规则直接从网络数据包提取证据并验证状态转移，消除了渗透测试中的虚假繁荣。
发现并量化“偏置动量（Bias Momentum）”现象：首次在智能体长程安全决策中证实，模型抵抗不符合自身先验的外界干预，如同具有物理动量一般倾向于滑向习惯路径，强行转向反而劣化了表现。
为红队自动化与防御指纹识别提供全新维度：攻击偏置的跨提示稳定性表明，蓝队防御者有望通过监控网络流量中的攻击家族分布熵与集中度，快速实现进攻方智能体的家族指纹识别。

局限与展望¶

作者承认的局限：基准目前主要限定在 Web 应用渗透利用场景，尚未涵盖二进制逆向、内网横向移动与云安全原生攻防；评测主要反映特定版本模型的经验分布，不能作为模型永久不变的技术天梯榜。
自身发现的局限：未深入探讨偏置动量的深层神经表征根源，尚无法明确该偏置究竟是由预训练代码语料权重、RLHF 安全对齐策略还是系统提示架构所主导。
具体改进思路：后续可在智能体规划循环中引入动态元认知或去偏偏置校正器（Debiasing Module），在检测到陷入单一攻击家族泥潭时强制执行自适应探索路由。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次揭示并严密量化了网络安全智能体的攻击选择偏置与偏置动量现象。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 大模型、3 类靶机、630 次端到端攻防会话与 10 大攻击家族，专家标注一致性高。
写作质量: ⭐⭐⭐⭐⭐ 实验定义清晰，统计学检验完备，论证层层递进且逻辑自洽。
价值: ⭐⭐⭐⭐⭐ 为安全智能体的行为审计、自主红队可靠性评估及防御方智能体指纹识别提供了开创性工具。