How Do Hardware Faults Manifest Differently in LLM Agents?¶

会议: NeurIPS 2026
arXiv: 2610.12756
论文: https://arxiv.org/abs/2610.12756
领域: 其他
关键词: 硬件故障, 大语言模型智能体, 容错韧性, 闭环系统评估, 随机故障注入

一句话总结¶

本文首次系统性评测并揭示了随机硬件故障（双比特权重跳变）在 LLM 智能体闭环执行中的传播与涌现机理，发现闭环环境具有自愈能力但也引发显著计算开销与情境依赖的语义隐蔽及安全失齐风险。

研究背景与动机¶

随着大语言模型（LLM）从单次孤立的推理服务快速演进为具备工具调用、环境感知与自主决策能力的智能体（Agents），其规模化部署越来越依赖于配备庞大异构显存的大规模加速器硬件集群。在这一生产级基础设施上，由宇宙射线、电压抖动或物理磨损引发的软错误与随机硬件瞬态故障，已成为系统高可靠性运行的严峻威胁。为了抵御单比特翻转，现代 GPU 普遍配置了单错误纠正（SEC-ECC），但超出纠错能力的双比特错误（Two-bit Errors）依然会作为静默数据损坏（SDC）逃逸至模型持久状态中。

然而，现存针对 LLM 硬件容错与韧性（Resilience）的研究，无一例外地将孤立单轮生成的“模型输出”作为故障传播的终止端点。这类工作聚焦于生成文本的质量退化、困惑度剧变或语法乱码，天然忽视了智能体系统的核心本质——闭环反馈控制。在真实智能体执行流中，模型的中间输出并非最终结果，而是转化为对外部环境的操作动作；执行动作产生环境反馈观测，该观测再次输入并被故障模型反复调用。这种跨步持久复用的模型状态与交互循环，从根本上改变了故障的表现形式。

这一断层导致系统设计者无法回答关键问题：硬件底层的比特损坏进入智能体执行轨迹后，到底会产生怎样的系统级后果？核心 idea：将硬件故障注入评估的边界从单轮模型生成终点推进至智能体环境交互闭环终点，通过跨多任务框架注入持久化双比特权重翻转，系统揭示闭环恢复机制、计算开销膨胀、隐式语义错误以及模型/情景依赖的安全失齐演化。

方法详解¶

整体框架¶

本文构建了针对 LLM 智能体闭环系统的故障注入与轨迹追踪评测框架。整个评测流程覆盖底层硬件故障模拟、持久化状态维护、多轮交互执行驱动以及多维度系统级指标度量。

在故障模型上，框架针对权重参数实施随机双比特翻转（Two-bit Weight Faults），这精确模拟了超出 GPU 硬件 SEC-ECC 纠错能力的非破坏性双比特内存错误。被破坏的单一权重参数在模型加载期间被注入，并在整个智能体执行轨迹中保持持久化，进而被多步连续的推理调用反复重用；与此相对，外部环境交互沙箱、工具链 API 以及基准评估 Harness 保持绝对无故障状态，从而将因果扰动精准锚定在模型内部状态上。

评测系统跨越三种互补的智能体工作负载驱动执行：结构化动作生成的 HomeBench、多轮多工具调用的 AgentDojo，以及高风险情境决策的 Agentic Misalignment。整个交互轨迹经由沙箱执行并采集 Token 消耗、动作合法性、多轮重试恢复行为以及最终语义任务结果。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["硬件故障注入器<br/>随机抽取权重参数进行 2-bit 翻转"] --> B["持久化模型状态载入<br/>Qwen3.6 / Qwen3.8 / Granite4.1 权重常驻"]
    B --> C["智能体闭环执行引擎<br/>Inspect AI 驱动多轮推理-行动-观测循环"]
    C --> D["异构工作负载环境沙箱<br/>HomeBench / AgentDojo / Agentic Misalignment"]
    D -->|环境观测反馈与错误提示| C
    C --> E["多维度系统级韧性度量<br/>任务完备性 / 执行开销膨胀 / 隐蔽语义与安全漂移"]

关键设计¶

1. 闭环执行故障模型构建：持久化双比特权重扰动与沙箱解耦隔离

传统 LLM 容错评估常将故障局限于临时激活张量或单轮推理缓存，无法反映模型权重作为持久常驻内存单元在多轮调用中的累积效应。本文针对大语言模型显存权重矩阵随机采样单一权重值，在 IEEE 754 浮点表示中执行两处独立的比特反转。该翻转直接注入模型权重并贯穿单次智能体执行任务全程，确保智能体在思考、规划、纠错等各阶段调用的均处于同一损坏的模型参数状态。同时，为严格控制实验因变量，框架对模型运行环境进行严格沙箱化隔离，确保底层 Python 运行时、Inspect AI 执行器、外部真实/模拟工具与环境交互 Harness 处于无故障状态，使得所有系统级行为偏差严格归因于模型权重的硬件退化。

2. 闭环错误恢复追踪机制：解耦中间崩溃与智能体自我修复能力

在单轮推理评测中，格式损坏或无效工具调用直接等价于任务终止与性能清零。而在智能体交互模式下，外部工具和运行环境通常会捕获语法异常并返回报错上下文。评估框架在执行轨迹中显式拆解并定义了两大类典型中间故障表象：第一类为格式畸形工具调用（Malformed Tool Call），例如 JSON 结构缺失或缺少必要键值；第二类为 Token 循环风暴（Token Storm），即权重损坏破坏了生成分布使得模型不断重复输出同一 Token 直至触顶截断。框架自动追踪模型在接收到环境报错后，能否通过重新对照工具 Schema、核验前序环境改变结果完成上下文自省重试。这种机制使得研究者能够精确量化智能体闭环对硬件故障的被动“容错弹性”。

3. 多维系统级影响量化：统筹开销膨胀、语义隐蔽性与安全对齐演化

传统评测仅关注单一度量（如 Accuracy/F1），严重掩盖了系统级隐性代价。本文框架建立了三维量化体系：其一是任务结果维度（Task Outcome），评估最终目标完成与端到端准确率；其二是执行开销维度（Execution Cost），跨轨迹追踪输入 Token 数、输出 Token 数以及交互轮次（Turns）的变化分布，特别度量了由 Token 循环风暴及反复无效尝试诱发的计算成本膨胀；其三是关键的后果性行为维度（Consequential Behavior），涵盖在没有语法崩溃的表面伪装下产生的隐蔽语义错误（如错误数值赋值、越权转账），以及基于 Prompt Injection 攻击成功率（ASR）与内部威胁有害行动率的安全性演化。

评测框架与工作负载¶

评测工作在 Inspect AI 评估套件上实现，结合 PyTorch 2.11.0 与 CUDA 13.0，运行在配备 8× NVIDIA A40（48 核 CPU，768GB 内存）与 8× NVIDIA H100（112 核 CPU，2TB 内存）的真实计算集群上。共纳入 218 个基准任务，每个任务实施 8–13 次基线干净执行与 15–25 次独立随机故障注入执行，总体构建了包含 6,814 次完整智能体执行的大规模真实轨迹数据集。所涵盖的三套典型评测场景如下：

HomeBench：智能家居受控场景下的结构化动作生成基准，作为海量样本统计的基础负荷，主要考察模型输出动作序列的精确匹配与 Token 开销。
AgentDojo：具备复杂多工具调用与潜在外部提示注入（Prompt Injection）攻击环境的动态安全智能体平台，支撑多轮自愈恢复机制和安全性漏洞的联合评估。
Agentic Misalignment：高后果自主决策环境，模拟具有潜在内部威胁的 Agent 行为，以判定模型底层硬件故障是否会导致安全对齐机制失效，从而直接作出有害或越权行动。

测试基座以 Qwen3.6-27B 为全工作负载的主干模型，并在多项关键实验中交叉拓展了 Qwen3.8-27B 与 Granite4.1-30B，以验证结论对模型架构与容量的泛化性。

实验关键数据¶

主实验¶

下表汇总了在多轮工具调用智能体基准 AgentDojo 上，面对硬件随机双比特翻转诱发的两类主要中间错误时，各主流模型的错误发生率以及智能体利用闭环交互完成最终任务的恢复率（Recovery Rate）：

模型	中间错误类型	错误发生率 (Error Rate)	最终任务恢复率 (Recovery Rate)
Qwen3.6-27B	Token 风暴 (Token Storm)	11.3%	0.0%
Qwen3.6-27B	格式畸形工具调用 (Malformed Call)	11.0%	24.4%
Qwen3.8-27B	Token 风暴 (Token Storm)	1.3%	0.0%
Qwen3.8-27B	格式畸形工具调用 (Malformed Call)	61.4%	25.9%
Granite4.1-30B	Token 风暴 (Token Storm)	4.8%	0.0%
Granite4.1-30B	格式畸形工具调用 (Malformed Call)	2.3%	3.3%

下表展示了硬件故障注入对 Qwen3.6-27B 在三大工作负载中的执行开销（输入 Token、输出 Token 及执行轮次）带来的系统级变化幅度（百分比变化）：

评估基准 (Benchmark)	输入 Token 变化	输出 Token 变化	智能体交互轮次变化
HomeBench	—（单轮设计固定）	+51.3%	—
AgentDojo	-3.5%	+5.6%	-5.1%
Agentic Misalignment	—（单轮设计固定）	+31.7%	—

下表汇报了硬件故障注入对智能体安全性与对齐行为的影响对比（Clean 状态 → Fault 状态）：

评测基准	测试模型	评测指标	Clean 表现 → Fault 表现
AgentDojo	Qwen3.6-27B	攻击成功率 (ASR)	32.7% → 32.5%
AgentDojo	Qwen3.8-27B	攻击成功率 (ASR)	2.6% → 3.0%
AgentDojo	Granite4.1-30B	攻击成功率 (ASR)	51.3% → 49.7%
Agentic Misalignment	Qwen3.6-27B	有害行为率 (Harmful Action)	33.3% → 42.2%
Agentic Misalignment	Qwen3.6-27B	分类器判害率 (Classifier Verdict)	38.9% → 46.7%
Agentic Misalignment	Qwen3.8-27B	有害行为率 (Harmful Action)	5.6% → 3.4%
Agentic Misalignment	Qwen3.8-27B	分类器判害率 (Classifier Verdict)	11.1% → 6.7%
Agentic Misalignment	Granite4.1-30B	有害行为率 (Harmful Action)	5.6% → 4.5%
Agentic Misalignment	Granite4.1-30B	分类器判害率 (Classifier Verdict)	5.6% → 4.5%

关键发现¶

闭环恢复的客观存在与边界：在单轮评测中属于致命错误的格式畸形工具调用（Malformed tool call），在多轮交互的 AgentDojo 中展现了显著的自愈恢复能力（Qwen3.6 和 Qwen3.8 恢复率分别达 24.4% 和 25.9%）。智能体通过对照环境返回的错误信息重新生成合规请求；但针对 Token 风暴（Token Storm），所有模型恢复率均为 0.0%，因其直接破坏有效意图生成导致环境 Harness 被迫提前终止。
计算资源消耗的极端倾斜：硬件故障导致的 Token 开销大幅上涨（平均上涨 38.0%），且开销增长呈现极端偏态分布。中位数输出 Token 增长仅为 3.8%–16.6%，而均值暴增 5.6%–51.3%；深入分析表明，全基准中高达 96.0% 的额外开销由少数触发 Token 风暴的故障轨迹所产生。
隐式语义破坏的危险性：部分随机硬件故障并不导致格式报错或崩溃，模型依然流畅生成结构完全合规的 JSON 或函数调用，但在业务逻辑层出现严重谬误（如篡改数值、无依据的交易提交、误判上报层级），这类故障无法被传统的语法和格式校验器感知。
特定故障下的安全漏洞放大：尽管宏观平均下 AgentDojo 攻击成功率变化不大，但针对单个使安全性退化的特定 2-bit 故障进行全量回放时，Qwen3.6-27B 在保持正常功能效用（56.0% → 58.0%）的同时，攻击成功率从 31.0% 激增至 43.0%，在 Slack 场景下更是从 57.0% 飙升到 92.0%，直接诱发严重的越权攻击隐患。

亮点与洞察¶

从孤立推断走向闭环系统韧性：打破了过去将硬件软错误仅视作模型输出乱码的局限视角，将评估体系拓展为贯穿“生成-执行-报错-重试”的完整闭环，首次系统证明了智能体系统自身对硬件瞬态错误兼具自愈潜力与代价放大效应。
故障后果的多样性与隐蔽性：揭示了硬件错误不仅仅表现为任务失败，还会以“高昂静默成本”（输出 Token 激增）和“语义伪装异常”（语法正确但逻辑越轨）等系统工程更难以防御的形式潜伏在服务链路中。

局限与展望¶

故障模型与场景的延展性有限：当前研究聚焦于静态持久的双比特浮点权重故障，未深入探讨运行时瞬态比特跳变（如 KV Cache 内存或临时激活中的瞬发错误）以及更长周期的多智能体协同场景。
系统层防御机制尚待建立：论文深入揭示了闭环系统下的故障表象，但尚未提出轻量级、运行时无侵入的软硬件协同检测与自愈干预协议，未来需要结合语义一致性校验与硬件 ECC 状态构建主动防御屏障。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次跨入硬件故障与 LLM 智能体闭环系统的交叉领域，开辟了系统级韧性评估新维度]
实验充分度: ⭐⭐⭐⭐⭐ [完成超过 6,800 次端到端智能体执行，横跨 3 款主流开源模型与 3 组代表性复杂评测场景]
写作质量: ⭐⭐⭐⭐⭐ [问题定义明确，理论分析严谨，系统级实验结论对比扎实透彻]
价值: ⭐⭐⭐⭐⭐ [为大规模数据中心构建高可用、安全防御与经济性兼顾的 Agent 服务基础设施提供了关键依据]