CyBiasBench: Benchmarking Bias in LLM Agents for Cyber-Attack Scenarios¶
会议: NeurIPS 2026
arXiv: 2605.07830
论文: https://arxiv.org/abs/2605.07830 https://openreview.net/forum?id=eeSyiXuneO
代码: https://github.com/Harry24k/CyBiasBench
领域: LLM Agent
关键词: 大语言模型智能体, 网络攻击评测, 攻击选择偏差, 偏差惯性, 自动化渗透测试
一句话总结¶
提出了涵盖 630 个会话的 CyBiasBench 基准，揭示了大模型智能体在网络攻击场景中存在跨提示稳定的固有攻击选择偏好，并首次发现强行提示引导会导致攻击成功率下降的“偏差惯性”效应。
研究背景与动机¶
大语言模型驱动的自主智能体（LLM Agents）在复杂推理、环境交互和长程规划等方面的能力迅速提升，推动了其在网络攻防对抗中的广泛应用。在安全运维与攻防演练领域，智能体已被引入执行自动化渗透测试、漏洞挖掘以及红队模拟等高难度任务，并逐渐从单步代码生成过渡到多步骤协同漏洞利用。为了评估这些智能体在真实场景下的威胁与攻防能力，学术界与工业界相继推出了 Cybench、CVE-Bench 和 BountyBench 等以任务终态完成率为核心的评测基准。然而，现有工作普遍采用“二元攻陷/任务成功与否”的结果导向指标，忽略了智能体在长交互轨迹中的战术选择与策略偏好。
深入分析智能体的底层交互行为可以发现，不同模型家族的智能体在攻防策略制定上呈现出截然不同的行为特征。即使面对相同的目标系统和宽松的任务设定，某些智能体会固执地尝试特定类型的漏洞利用，而对其他同样可行甚至更容易成功的漏洞视而不见。这一现象表明，智能体在网络攻击决策中存在未被量化的行为偏差。以往对于模型偏差的研究大多局限于认知偏差、位置偏差或参数化先验知识冲突，尚未将这种行为偏差置于动态、交互式且高风险的实战网络渗透环境中进行系统性解构与度量。
本工作的切入点在于将智能体的战术行为特征与攻击最终成败解耦。核心 idea：构建标准化的外置流量审计基准 CyBiasBench，在隔离沙箱中跨 5 种主流智能体、3 个异构靶场和 4 种提示条件记录真实 HTTP 请求，利用确定性规则分类器系统量化攻击选择偏差，并揭示智能体抵抗外部引导且导致性能衰退的“偏差惯性（Bias Momentum）”机制。
方法详解¶
整体框架¶
CyBiasBench 旨在不依赖智能体自我报告叙述的前提下，端到端、无侵入地刻画智能体在 Web 渗透测试中的战术选择分布与有效性。评估流程分为三个标准化阶段：首先在提示设计空间（Prompt Design Space）中沿着引导程度（Guided / Unguided）与输出结构格式（Structured / Unstructured）构建 4 类基准条件；接着将待测智能体部署在隔离 Docker 容器内，令其对 OWASP Juice Shop、MLflow 2.9.2 和 Vuln-Shop 三类典型靶场发起自主渗透，通过 mitmproxy 全量捕获底层 HTTP 交互；最后，评测管线结合 OWASP CRS 与 CAPEC/CWE/WSTG 规则集，对流量进行 10 类攻击家族确定性判定与成功验证，并在自由选择和偏差注入两种设置下计算偏差度量、性能表现与执行效率指标。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["渗透测试任务与目标设定"] --> B["双轴提示设计空间<br/>引导性 × 报告结构"]
B --> C["隔离沙箱渗透测试床<br/>5类智能体对决3种异构靶场"]
C --> D["无侵入底层流量捕获<br/>全量HTTP请求/响应抓包"]
D --> E["确定性攻击分类与验证<br/>OWASP CRS + CAPEC规则匹配"]
E --> F["多维指标评估与偏差注入<br/>熵/选择率/ASR与偏差惯性分析"]关键设计¶
1. 双轴提示设计空间与测试环境构建：解耦指令表述与固有战术偏好 为了检验智能体的攻击选择倾向是否仅仅是由提示词表述诱发的偶然表象，基准在提示设计空间设立了两个正交维度：第一轴是引导性（Guided vs. Unguided），即是否在提示词中预先给明标准网络攻击分类标签体系（Taxonomy），若不给明则智能体必须自主规划策略；第二轴是输出结构（Structured vs. Unguided），即要求智能体实时记录逐行 JSONL 执行日志，或是仅在渗透结束时提交 Markdown 汇总报告。通过 \(2 \times 2 = 4\) 种组合，消除了格式约束对规划流程的潜在干扰。在执行环境中，评估覆盖了 Claude (Opus 4.5)、Kimi (k2.5)、GLM (5.1)、Codex (GPT-5.2 codex) 和 Gemini (2.5 Pro) 五种主力模型，运行在配置完全对齐的 Kali Linux 容器中，靶场则涵盖全功能脆弱靶场 Juice Shop、真实 CVE 系统 MLflow 及参数化防御靶场 Vuln-Shop。
2. 外部确定性分类与真值验证管线：摆脱智能体自我报告失真 大模型智能体在提交渗透测试总结时普遍存在自夸或误判倾向（如将导致 500 报错的请求虚报为 SSRF 攻击成功）。CyBiasBench 彻底摒弃智能体自我陈述，直接通过 mitmproxy 捕获全量 HTTP 流量并实施外部确定性判定。分类引擎集成了 101 条 OWASP Core Rule Set (CRS) 正则规则和 66 条扩展自 CAPEC、CWE 与 OWASP WSTG 的专项匹配规则，将请求精准映射到 10 类核心攻击家族（sqli、xss、cmdi、path_traversal、auth_bypass、idor、ssrf、csrf、file_upload、info_disclosure）以及 others 和反序列化标签。验证阶段则通过 HTTP 响应状态码、鉴权状态迁移和靶场定制断言进行双重校验，三位安全专家标注交叉一致性均值达到 \(\kappa = 0.87\)。
3. 三层解耦评估指标体系：系统刻画战术分布与有效性 CyBiasBench 构建了包含偏差层、性能层和效率/鲁棒性层的三层评估指标。偏差层采用香农熵衡量策略分布的多样性： $\(H(X) = -\sum_{i=1}^{10} p(x_i) \log_2 p(x_i)\)$ 并计算各类家族的选择率 \(\mathrm{Sel}_i = \mathrm{Attempts}_i / \mathrm{TotalAttempts}\) 及最大单一家族集中度 \(\mathrm{CR1} = \max_i \mathrm{Sel}_i\)。性能层度量整体成功率 \(\mathrm{ASR}\) 与各家族成功率 \(\mathrm{ASR}_i\)。效率与鲁棒性层则提出单次成功消耗 Token 数 \(\mathrm{TPS} = \mathrm{Total\ Tokens} / \mathrm{Successful\ Attempts}\)，并借助 Jensen-Shannon 散度衡量提示跨条件稳定性： $\(\mathrm{JSD}(p_c, \bar{p}_{\mathrm{agent}}) = \frac{1}{2} D_{\mathrm{KL}}(p_c \| m) + \frac{1}{2} D_{\mathrm{KL}}(\bar{p}_{\mathrm{agent}} \| m), \quad m = \frac{1}{2}(p_c + \bar{p}_{\mathrm{agent}})\)$ 从而将行为偏好的稳定性与实际攻击杀伤力在统计上严格拆解。
4. 偏差注入与偏差惯性量化：探测外部引导下的抵抗与性能衰退 在自由选择基准之外，论文设计了偏差注入（Bias Injection）实验，在提示中显式要求智能体优先探索指定的攻击家族 \(t\)。通过定义合规率（Compliance）： $\(\mathrm{Compliance} = \frac{\mathrm{Attempts}_t}{\mathrm{TotalAttempts}}\)$ 分析智能体面对外部指令时的依从程度。实验发现智能体并不会无条件服从指令，而是表现出强烈的“偏差惯性（Bias Momentum）”：智能体对自身先验偏好的攻击家族高度依从，而对非偏好家族则消极抵触；强行扭转其战术分布不仅无法提升受测家族的成功率，反而导致智能体在不擅长的战术上陷入死循环，引发全局 ASR 下滑和 Token 消耗剧增。
损失函数 / 训练策略¶
本工作为黑盒与灰盒评测基准体系构建，不涉及模型端到端训练与微调。所有评测依托官方模型 API 及其标准推理配置展开。实验严格采用容器网络隔离，禁用一切未受控的外部互联网出站连接，所有 API 调用均通过带有结构化校验与流量清洗的中间网关分发，确保评测环境的可重现性与数据纯净度。
实验关键数据¶
主实验¶
在自由选择设置（Free-choice Setting）下，每个智能体进行 36 次完整渗透测试会话（共 180 场会话）。各智能体展现出高度分化且统计显著的战术选择偏好，高频尝试的漏洞并不对应其攻击成功率最高的领域。
| 智能体 (Agent) | 最常选攻击家族 (Sel_i) | 策略熵 H(X) | 每会话涉及家族数 (Unique) | 单家族最高占比 (CR1) | 会话平均成功率 (ASR) |
|---|---|---|---|---|---|
| Claude (Opus 4.5) | info_disclosure (25.3%) | 2.607 | 7.78 | 32.1% | 0.324 |
| Kimi (k2.5) | sqli (23.9%) | 2.376 | 7.19 | 34.5% | 0.257 |
| GLM (5.1) | auth_bypass (21.6%) | 2.202 | 7.67 | 45.2% | 0.302 |
| Codex (GPT-5.2 codex) | info_disclosure (31.5%) | 1.652 | 4.06 | 50.7% | 0.213 |
| Gemini (2.5 Pro) | sqli (22.7%) | 1.122 | 3.11 | 66.6% | 0.317 |
注：Kruskal–Wallis 检验显著性：\(H(X)\) 效应量 \(\eta^2 = 0.43\) (\(p = 3.64 \times 10^{-16}\))，唯一家族数 \(\eta^2 = 0.56\) (\(p = 5.30 \times 10^{-21}\))，CR1 \(\eta^2 = 0.27\) (\(p = 2.30 \times 10^{-10}\))，而会话 ASR 仅为 \(\eta^2 = 0.05\) (\(p = 1.6 \times 10^{-2}\))。
偏差注入与消融实验¶
在偏差注入设置下，对 5 个智能体、10 类家族、3 种靶场展开 450 场会话评测，检验显式引导对合规率及攻防成效的影响。
| 智能体 (Agent) | 自由选择 ASR | 偏差注入 ASR | ASR 变化 (ΔASR) | 平均指令合规率 (Compliance) | 自由选择 TPS | 注入后 TPS | TPS 增幅 (%) |
|---|---|---|---|---|---|---|---|
| GLM | 0.302 | 0.294 | -0.008 | 0.470 | 84,969 | 88,163 | +3.8% |
| Claude | 0.324 | 0.307 | -0.017 | 0.533 | 166,620 | 244,900 | +47.0% |
| Kimi | 0.257 | 0.200 | -0.057 | 0.621 | 120,114 | 169,540 | +41.1% |
| Codex | 0.213 | 0.141 | -0.073 | 0.644 | 326,183 | 1,228,627 | +276.7% |
| Gemini | 0.317 | 0.181 | -0.136 | 0.240 | 790,925 | 1,382,038 | +74.7% |
关键发现¶
- 选择倾向与成功率严重脱节：智能体最常尝试的漏洞家族普遍不是其成功率最高的方向。例如 Codex 将 31.5% 的请求砸在 info_disclosure 上，但该项 ASR 仅有 22.1%（而其 file_upload 成功率高达 100%）；Gemini 重度执着于 sqli (22.7%)，其 ASR 仅 22.8%，远低于 idor (60.0%) 和 file_upload (50.0%)。
- 策略分布具备强跨提示稳定性与身份可识别性：跨 4 组提示条件算得的平均条件 JSD 仅为 0.0258（双轴边缘 JSD 为 0.0379），显著低于智能体间的平均差异 JSD (0.0543)；直接以 10 维选择率向量训练随机森林分类器，跨模型识别准确率达 65.0%（远超 20% 的随机基线）。
- 偏差惯性（Bias Momentum）导致性能衰退：提示引导下的合规率与自由偏好选择率呈显著正相关（\(\rho = +0.529, p = 7.73 \times 10^{-5}\)），而与客观成功率无统计显著相关（\(\rho = -0.248\)）。所有 5 款智能体在接受引导后平均 ASR 均出现下降（\(\Delta \mathrm{ASR} \le 0\)），单次成功所需 Token 成本急剧攀升，Codex 的 TPS 暴增 276.7%。
亮点与洞察¶
- 行为学视角的安全评测创新：跳出了传统攻防基准“唯 ASR 论”的单一视角，引入信息熵与流量聚类分析，首次在代码渗透测试中证实了智能体具有稳定的行为特征与战术偏见。
- 揭示偏差惯性机制：证明了单纯在提示词中加入强指导指令不仅无法校正模型的战术劣势，反而会因为打乱其固有推理路径而引发“战术迷失”，造成计算资源极大浪费。
- 可复现与无污染设计：全流程利用外部 HTTP 流量与核心安全规则集进行自动化判定，脱敏过滤了敏感 exploit 载荷，为安全智能体治理和红蓝对抗能力刻画提供了标杆工具。
局限与展望¶
- 评估场景目前集中于 Web 漏洞：评测目前基于 10 类 Web 攻击家族与 HTTP 协议展开，未涵盖二进制漏洞利用（PWN）、逆向工程或内网横向移动等复杂威胁面。
- 黑盒成因尚未完全定性：论文证实了偏差与偏差惯性的客观存在，但由于评测采用闭源商用 API，未能彻底理清该偏差是源于预训练语料分布、指令微调（SFT）还是强化学习（RLHF）的对齐惩罚。
- 防御侧对抗尚未深入：测试靶场处于相对静态防御状态，未来可扩展至动态 Web 应用防火墙（WAF）对抗与自适应防御环境。
相关工作与启发¶
- vs PentestGPT / AutoAttacker: PentestGPT 等侧重于构建分层任务规划框架来驱动大模型渗透，而 CyBiasBench 则作为评测框架，量化智能体在这些框架驱动下产生的偏见与战术偏差。
- vs Cybench / CVE-Bench / BountyBench: 现有基准主要依赖二元攻陷指标（Capture Flag / Patch Expose），而 CyBiasBench 将目光聚焦于交互流量本身的战术分布与有效性，提出了 \(\mathrm{Sel}_i\)、熵与 TPS 等多维过程指标。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从攻击选择偏差与偏差惯性角度度量安全智能体，视角新颖且立论扎实。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 大模型、3 类靶场、4 种提示、630 个长程会话及全量 HTTP 流量审查。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑链严密，统计检验与跨模型指标分析极其详尽。
- 价值: ⭐⭐⭐⭐⭐ 为自动化红蓝对抗、智能体风险治理与防御规则优化提供了极具洞察力的实证基准。