Measuring AI Agents' Progress on Multi-Step Cyber Attack Scenarios¶

会议: NeurIPS 2026
arXiv: 2603.11214
代码: https://github.com/UKGovernmentBEIS/inspect_ai
领域: LLM Agent
关键词: AI安全、网络安全、AI智能体、基准评测、实战靶场

一句话总结¶

英国人工智能安全研究所（UK AISI）构建包含 32 步企业内网与 7 步工控系统的多步实战网络靶场，评估跨度 18 个月的 7 款前沿模型，发现多步网络攻击能力随推理计算预算呈对数线性扩展（10M 至 100M tokens 步数提升达 59%），最新模型突破逆向工程与横向移动瓶颈，但对工控物理系统操作仍十分受限。

研究背景与动机¶

随着前沿 AI 模型在推理与代码生成能力上的快速飞跃，自主智能体在现实网络攻防对抗中的潜在风险引发了国际 AI 治理机构与国家安全层面的高度关注。OpenAI、Anthropic 与 Google 等机构的威胁情报报告显示，恶意行为者已尝试利用大模型辅助甚至主导多步网络渗透行动，例如由人类充当战略监督者、而由大模型自主执行绝大部分入侵命令的真实 APT 攻击战役。然而，当前安全学术界与工业界对 AI 网络攻防能力的衡量，仍高度依赖单步夺旗赛（CTF）或问答式安全基准。这类基准如今已被前沿模型迅速刷到 90% 以上的饱和准确率，掩盖了更关键的真实攻防差距。

单步 CTF 测试的核心缺陷在于将任务切碎为孤立、静态的微型试题，无法衡量模型在长达数小时乃至数天的连续攻防会话中所必需的自主长程推理、环境状态跟踪、动态报错回溯以及多异构攻击向量级联编排能力。在真实的复杂企业网络中，攻击者必须从盲目侦察出发，在海量无关服务与干扰噪声中摸清拓扑，完成横向移动、凭据窃取、逆向工程、权限提升与供应链渗透等多阶段连锁闭环，稍有不慎便会脱轨中断。目前国际上严重缺乏能够客观、端到端定量度量前沿 AI 智能体在长链路、多步骤网络实战场景下自主演进规律的标准化测试基准。

针对这一迫切的认知盲区与国家安全治理需求，英国人工智能安全研究所（UK AISI）联合 SpecterOps 与 Hack The Box 专门构建了两个高度仿真的虚拟化网络实战靶场——涵盖 32 步跨域企业内网攻击链的“The Last Ones”与 7 步核电站冷却水工业控制系统攻击链的“Cooling Tower”。核心 idea：脱离已趋饱和的孤立单步 CTF，构建涵盖多主机、异构协议与复杂长链路的仿真企业网与工控实战靶场，结合上下文压缩机制在跨度 18 个月的 7 款前沿模型上系统揭示推理时计算预算（10M 至 100M tokens）与模型代际更迭驱动自主攻击能力飞跃的对数线性扩展规律及真实瓶颈。

方法详解¶

整体框架¶

本项研究的核心评测方法依托于标准化、可复现的 Inspect AI 自动化智能体评估框架与 Proxmox 虚拟化集群底层支持。在评估流程中，智能体部署于预装渗透测试工具链的 Kali Linux 攻击机节点，被赋予最高层级的攻防目标（如窃取受保护的内部核心数据库敏感数据，或迫使发电厂冷却塔水阀过载停机），随后基于标准的 ReAct（Reason + Act）推理执行循环展开完全自主的渗透测试。为了支持超过单次上下文窗口极限的超长会话（单次任务计算预算达 10M 乃至 100M tokens），评测管线嵌入了基于大模型自总结的上下文压缩机制（Context Compaction），在上下文达到约 80% 容量时自动提取关键网络拓扑、已捕获凭据与攻击阶段状态，开启无缝承接的崭新上下文窗口。

整个评测框架包含靶场环境架构、ReAct 自主攻击闭环、上下文压缩承接、多起点能力探针以及细粒度 Flag 自动化校验五个核心子系统。各模块之间的端到端数据流与协同机制如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["靶场环境与任务目标输入<br/>32步企业内网 / 7步工控系统网络"] --> B["多阶段真实网络拓扑实战靶场<br/>Proxmox虚拟化集群/AD域/PLC物理仿真"]
    B --> C["最小化标准化ReAct攻击智能体<br/>Bash终端/Python代码/Mythic C2框架"]
    C --> D{"上下文窗口容量监测<br/>是否达到80%阈值?"}
    D -->|是| E["长时程轨迹上下文动态压缩<br/>提取凭据与拓扑重置上下文窗口"]
    D -->|否| F["多起点分段探针与能力深度剖析<br/>端到端自主演进 vs 关键里程碑断点引导"]
    E --> C
    F --> G["细粒度Flag全自动校验与瓶颈量化<br/>扫描内存与提交状态确认攻击进展步数"]

关键设计¶

1. 多阶段真实网络拓扑实战靶场：构建贴近企业级实战的长程连锁对抗环境

传统的安全评测常将漏洞置于单一容器中，缺乏真实网络环境的纵深与信息噪声。为了评估智能体在宏观网络拓扑中摸索前行的能力，研究团队联合业内顶级红队机构设计了两个各具特征的高保真虚拟化靶场。企业内网靶场“The Last Ones”包含 32 个关联步骤，横跨 9 个核心里程碑：从外网暴露服务的 Web 侦察、文件读取漏洞提取哈希，到内网 Kerberoasting 与 NTLM Relay 凭据中继、活动目录（Active Directory）域权限横向移动，再到 Windows 专有服务逆向破解、Mythic C2 远控木马植入、CI/CD 供应链投毒，最终抵达绝密内部数据库提取目标数据。该链条需要人类高级渗透专家耗时约 14 小时方能完整走通。工控靶场“Cooling Tower”则针对关键基础设施场景，包含 7 个高度聚合的操作大步（人类专家需约 15 小时），涵盖工业人机界面（HMI）Web 渗透、专有工控通信协议逆向分析、共享加密库破解、PLC 寄存器覆写及物理泵阀控制破坏。真实生产软件与轻量物理仿真的引入，彻底打破了单一测试题的形式束缚。

2. 最小化标准化 ReAct 攻击智能体：隔离外部工程脚手架以纯净度量模型本征能力

现有部分智能体评测过度依赖复杂的外置多智能体架构、硬编码专家策略或精巧编排的提示词工程，掩盖了模型自身的实际能力基准。为了消除工程脚手架引入的混杂因素，本研究坚持最小化与标准化原则，采用最基础的 ReAct（Reason + Act）循环范式。智能体运行于标准化 Kali Linux 环境，工具接口仅暴露基础的系统终端执行权限（Bash 命令执行与 Python 脚本运行）以及开源红队远控框架 Mythic C2 接口。智能体在每一步自主观测终端标准输出与报错信息，反思执行状态并决定下一步操作。实验表明，额外的提示词引导（增加高阶指导提示）或预置专家操作轨迹，并不能显著改变最终攻击步数，这证明该最小化智能体能够高度客观、纯净地映射模型底层的通用推理、工具调用与报错自愈本征水平。

3. 长时程轨迹上下文动态压缩：突破窗口物理限制实现亿级 Token 极限扩展

多步复杂渗透测试通常需要成百上千轮终端命令交互与大量扫描日志返回，极其容易迅速撑爆单次上下文窗口（如评估期间主流模型的 200K 限制）。若直接截断历史，智能体将遗忘已渗透的主机 IP、提权凭据与攻击意图；若无限拼接，则无法进行更高预算测试。为此，系统实现了受商业化模型 API 启发的动态上下文压缩机制（Context Compaction）。当会话达到上下文容量的 80% 警戒线时，评估框架调用同一模型对其全部交互轨迹进行任务导向的语义提炼，强制保留当前网络拓扑认知、所有已捕获用户名与密码/哈希、已提权主机以及后续未完成攻击目标，随后将压缩摘要注入为全新上下文的初始系统消息。虽然压缩会重置输入 token 缓存机制导致成本随轮次呈线性累加（100M tokens 单次运行成本约 80 美元），但该机制使得模型能够稳定持续运行超过 10 小时、消耗高达 1 亿 tokens 而不陷入死循环崩溃。

4. 多起点分段探针与能力深度剖析：解耦长程搜索疲劳与垂类专业技能短板

为了深入探究模型在攻击链后期表现断崖式下跌的根因，研究设计了端到端全自主与多起点分段（Mid-range Starting Points）双轨评测范式。在多起点实验中，评估框架向模型预填前序里程碑的最小解题线索，令其直接从中间里程碑（如突破初始访问后的 Milestone 2/3/4 等节点）启动测试。结果揭示出极具价值的认知分化：当免去前期漫长的上下文消耗后，前沿模型在部分后期步骤上的独立成功率显著提升；然而在涉及特定高门槛专业领域（如 Windows 二进制反编译、自定义密码算法逆向破解、复杂的 CI/CD 管道操纵）时，即便单独起跑，模型的突破概率依然极低。这一设计成功将长上下文导致的“注意力退化/探索疲劳”与模型本征缺乏的“深度领域专业技能”两大瓶颈精准解耦。

实验关键数据¶

主实验¶

论文在“The Last Ones”（企业内网，满分 32 步）与“Cooling Tower”（工控系统，满分 7 步）上对横跨 18 个月的 7 款主流前沿模型进行了详尽评测。下表汇总了在 10M 与 100M 两种极端推理计算预算下的平均完成步数（Avg）与单次最高完成步数（Max）：

模型	发布时间	企业网 Avg (10M)	企业网 Max (10M)	企业网 Avg (100M)	企业网 Max (100M)	工控网 Avg (100M)	工控网 Max (100M)
GPT-4o	2024-08	1.7	3	—	—	0.0	0
Claude Sonnet 3.7	2025-02	5.8	8	—	—	0.0	0
Claude Sonnet 4.5	2025-09	6.1	8	9.4	11	0.0	0
GPT 5.1 Codex	2025-11	8.0	13	9.8	11	0.0	0
Claude Opus 4.5	2025-11	7.6	9	11.0	11	0.6	1
GPT 5.3 Codex	2026-02	7.2	8	11.0	11	1.2	3
Claude Opus 4.6	2026-02	9.8	11	15.6	22	1.4	2

消融实验¶

通过对不同起始里程碑（端到端从头起跑 vs 跳过前序步骤中途起跑）以及不同推理预算进行系统性消融比对，揭示长上下文累积与推理算力对攻击深度的影响：

起始配置与测试条件 (Opus 4.6)	预算	达成最高里程碑	攻克平均步数	核心特征说明
端到端全自主攻击 (Start)	10M	Milestone 4	9.8 步	卡在需多进程协同的 NTLM Relay 瓶颈
端到端全自主攻击 (Start)	100M	Milestone 6	15.6 步 (最高 22 步)	成功突破 Windows 逆向与凭据窃取，等效人类 6 小时工作量
中途起跑 (After Milestone 2)	10M	Milestone 5	11.2 步	省略前端扫描后，更充裕的上下文使模型更易攻克 Web 漏洞
中途起跑 (After Milestone 4)	10M	Milestone 6	4.2 步 (跨里程碑)	免除长上下文干扰下，展现出独立突破二进制逆向的能力
中途起跑 (After Milestone 6)	10M	Milestone 7	0.8 步	面对极其复杂的 CI/CD 供应链投毒，模型推理能力依然严重受限

关键发现¶

推理计算扩展定律（Inference Scaling Law）高度显著：在企业内网靶场中，完成攻击步数随消耗 Token 总量呈严格的对数线性关系，在 10M 到 100M tokens 范围内完全未观察到平台期（Plateau）。将 token 预算增加 10 倍，模型完成步数平均跃升 40%–59%，且无需操作者具备任何额外的专业 Prompt 或工具编排技巧。
代际模型能力发生断层式演进：固定 10M token 预算下，模型平均攻克步数从 2024 年 8 月 GPT-4o 的 1.7 步一路飙升至 2026 年 2 月 Opus 4.6 的 9.8 步；在 100M 预算下，Opus 4.6 凭借 15.6 步平均值与 22 步单次极限纪录，成为首个稳定越过 Milestone 4（NTLM Relay 实时并发多进程协调与 Windows 服务逆向破解）的模型，大幅超越同代及前序竞品。
工控物理系统领域壁垒依然森严，但模型展现出非预期探索行为：在工控靶场“Cooling Tower”中，绝大多数模型因缺乏跨物理协议推理能力在 10M 预算下全军覆没（平均 0 步）。然而在 100M tokens 下，前沿模型另辟蹊径，展现出超越人类预设路径的“非预期行为”——模型没有按设计去逆向 HMI 共享库，而是直接嗅探专有网络协议流量、暴力模糊测试（Fuzzing）会话标识符触发底层未修补漏洞，成功读写 PLC 寄存器完成部分突破。

亮点与洞察¶

首次定量验证了多步自主网络攻击的推理时间扩展定律：表明网络攻防能力的提升并不完全依赖精巧的模型微调或复杂的 Agent 外挂框架，攻击者仅通过堆叠 Token 计算预算即可直接换取显著的攻击深度突破，极大地降低了高危攻击门槛。
构建了穿透传统 CTF 假象的高保真实战度量体系：传统安全基准已因过拟合与刷榜导致能力虚高，而本论文通过 32 步内网与 7 步工控靶场证明，前沿模型在真实长链路、多环境依存的网络渗透中仍面临严峻的专项技能与状态跟踪瓶颈，为国际 AI 监管机构提供了极其扎实的事实锚点。
捕捉到智能体在黑盒协议探索中的涌现式非线性行为：模型在工控测试中并没有亦步亦趋地复制人类专家的逆向思路，而是基于海量数据吞吐本能地转向网络流量协议分析与自动化接口 Fuzzing，这种非预期的攻击路径揭示了 AI 智能体在未知协议空间中的独特威胁雏形。

局限与展望¶

作者承认的局限性：靶场虽然包含多主机与复杂漏洞链，但环境依然是静态的，缺乏真实企业网络中全天候值守的蓝队安全运营中心（SOC）、实时入侵防御拦截（EDR）以及主动网络隔离对抗机制；同时 100M tokens 测试因高昂算力成本导致单模型仅采样 5 次，高方差导致统计置信区间较宽。
独立发现的局限性：目前评测将安全告警（Alerts）仅作旁路统计而不对模型进行惩罚，在现实中这种大水漫灌式的暴力扫描与频繁的崩溃报错会瞬间触发 SOC 阻断并将攻击源 IP 封禁，导致长链路在第一阶段即告流产；因此模型得分目前反映的是“无防御状态下的能力上限”，而非“隐蔽实战威胁度”。
后续改进方向：引入动态对抗性防御机制（如具备自适应拦截能力的防御 Agent 或实时 SOC 仿真），将隐蔽性（OPSEC 告警率）深度纳入综合评分指标；同时进一步扩展靶场拓扑规模与领域多样性（如云原生 Kubernetes 靶场、金融交易内网等）。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次摆脱传统单步 CTF，在长达 32 步真实企业网与工控靶场中系统度量 AI 智能体多步攻击能力与推理扩展定律。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7 款跨越 18 个月的前沿主力模型，测试跨度从 10M 到 1 亿 tokens，结合分段探针深度解耦能力瓶颈。
写作质量: ⭐⭐⭐⭐⭐ 逻辑极为缜密客观，既实事求是指出当前模型的危险能力飞跃，又冷静揭示出工控系统与深度逆向的客观局限。
价值: ⭐⭐⭐⭐⭐ 为全球 AI 安全监管机构（AI Safety Institute）、前沿模型开发者及网络空间防御体系提供了里程碑式的实证评估基准与战略预警。