Beyond LLM-Based Reasoning: Lightweight GNNs for Agent Failure Attribution¶

会议: NeurIPS 2026
arXiv: 2608.18575
代码: https://github.com/kfq20/AEGIS
领域: LLM Agent
关键词: 智能体故障归因, 图神经网络, 多智能体系统, 轻量化模型, 异常检测

一句话总结¶

针对多智能体系统故障归因（AFA）依赖高开销大语言模型推理且效果受限的瓶颈，提出轻量级图神经网络框架 AFANet，通过多轮对话图建模时序依赖与智能体间一致性信号，仅凭 65K 参数与毫秒级推理即在归因精度上比肩或超越全量微调大模型。

研究背景与动机¶

基于大语言模型（LLM）的多智能体系统在协同推理、复杂工具调用和多步任务执行中展现出强大能力，但由于多智能体交互具备长时程与紧耦合特性，局部智能体引入的微小错误常在多轮交互中级联放大，最终引发整体任务崩溃。针对这一难题，智能体故障归因（Agent Failure Attribution, AFA）任务旨在给定失败交互轨迹的前提下，精准定位犯错的责任智能体并识别其具体的错误类型。当前主流方法普遍将故障归因视作生成式推理问题，高度依赖大语言模型通过复杂提示词、合成数据监督微调（SFT）或多阶段智能体审计流水线（如引入因果图、自省记忆等）进行判别。

然而，现有生成式归因方案面临三项根本性瓶颈：一是极其昂贵的计算与推理开销，长上下文的多轮轨迹使得大模型处理单条轨迹耗时达数百秒，严重限制了在线监控与自动化调试的实用性；二是系统工程极其复杂，多阶段启发式流水线与密集提示词脆弱繁琐；三是存在系统性低效，即便是前沿专有大模型（如 GPT-4.1、Gemini-2.5-Pro）或经强化学习（GRPO）调优的推理模型，在既有基准上的归因准确率依然偏低，甚至频频低于随机基线，表明单纯堆砌参数规模与生成式推理链条并不能有效解决故障定位的本质困难。

本文切入的核心视角在于：智能体行为异常往往显式投射在交互动力学的异常偏离与智能体内部行为一致性的突变上，而无需对全部轨迹文本进行重度生成式语义重述。核心 idea：将多智能体失败轨迹形式化为包含时序演进与智能体归属关系的异构对话图，利用轻量级图神经网络（AFANet）显式聚合轮次级统计偏离特征与上下文表征，以仅 65K 参数量实现远超百亿级大模型效率的毫秒级故障归因。

方法详解¶

整体框架¶

AFANet 抛弃了传统依赖大模型长文本自回归生成的方案，构建了一个由图构建、特征抽取、消息传递和双层池化预测头组成的轻量级图判别流水线。系统首先将长时程多智能体交互轨迹转化为以轮次（turn）为节点的局部连通图；随后，通过联合词频偏离特征、结构统计特征与轻量级句子嵌入构建轮次节点的复合特征向量；接着利用具有残差跳跃连接的图卷积网络在时序边和同智能体边上进行消息汇聚；最终通过双重池化（均值与最大池化拼接）汇聚智能体级别表征，并由解耦预测头输出智能体故障概率与错误类型。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多智能体失败轨迹<br/>T = {(a_it, x_t)}"] --> B["对话图构建<br/>轮次节点 + 双向时序边与同智能体边"]
    B --> C["轮次多维偏离与统计特征提取<br/>TF-IDF截断SVD偏离 + 统计量 + Sentence-BERT"]
    C --> D["输入投影与多层GNN消息传递<br/>LayerNorm/ReLU + 残差图卷积聚合"]
    D --> E["双重智能体池化与解耦预测头<br/>Mean/Max池化 + 故障判定与错误分类"]
    E -->|推理阶段| F["自适应阈值/排序解码输出<br/>预测故障智能体及错误类别"]

关键设计¶

1. 融合异常偏离与局部统计的对话图构建：显式刻画错误传播拓扑与一致性漂移

针对单纯文本匹配无法捕捉交互时序突变的问题，模型将多智能体交互轨迹 $\mathcal{T}=\{(a_{i_t}, x_t)\}_{t=1}^T$ 转换为轮次级图 $\mathcal{G}=(\mathcal{V}, \mathcal{E})$，其中每个节点 $v_t \in \mathcal{V}$ 代表一次智能体发言。边结构显式解耦为两类：双向时序推进边 $\mathcal{E}_{\mathrm{seq}}^{\leftrightarrow}$（连接相邻轮次 $v_t$ 与 $v_{t+1}$，建模上下文流向）与同智能体依存边 $\mathcal{E}_{\mathrm{agent}}^{\leftrightarrow}$（连接属于同一智能体 $a_{i_u} = a_{i_v}$ 的所有跨步轮次，建模智能体跨周期的长期行为一致性）。

在节点表征上，模型汲取图异常检测洞察，构建偏离特征 $\mathbf{X}_{\mathrm{dev}}$、统计特征 $\mathbf{X}_{\mathrm{stat}}$ 与密集语义特征 $\mathbf{X}_{\mathrm{dense}}$ 的拼接向量。通过对整条轨迹计算局部词频矩阵并执行截断奇异值分解（SVD，保留秩 $r=16$）得到低维词频基向量 $\phi_t = \mathbf{z}_{\mathrm{svd}}^t$。基于此设计多维余弦偏离指标，包括前后连续轮次偏离 $f_{\mathrm{seq}}(t) = 1 - \cos(\phi_t, \phi_{t-1})$、智能体自身历史偏离 $f_{\mathrm{self}}(t) = 1 - \cos(\phi_t, \mu_{a_{i_t}})$（其中 $\mu_{a_{i_t}}$ 为该智能体发言均值中心）、对话全局共识偏离 $f_{\mathrm{cons}}(t) = 1 - \cos(\phi_t, \mu_{\mathcal{T}})$ 以及跨智能体偏离 $f_{\mathrm{other}}(t)$。同时注入词汇稳定性、数值标记出现指标、归一化发言位置 $f_{\mathrm{pos}}(t) = \frac{t-1}{T-1}$ 和发言长度分布特征，与轻量 Sentence-BERT 语义向量拼接构成初始节点输入 $\mathbf{x}_t \in \mathbb{R}^d$。

2. 残差图消息传递与双重智能体表征池化：跨时序与实体维度的特征聚合

为了在不引发过平滑的前提下充分捕获错误传播的动态链条，初始节点特征首先经由线性映射、ReLU 激活和层归一化（LayerNorm）投影到隐空间 $\mathbf{h}_t^{(0)} \in \mathbb{R}^{d_{\mathrm{hidden}}}$（默认设为 64 维）。随后经过 $L=2$ 层带残差连接的图神经网络（GNN）层进行邻居聚合： $$\mathbf{h}_t^{(\ell+1)} = \mathbf{h}_t^{(\ell)} + \operatorname{GNN}^{(\ell)}\big(\mathbf{h}_t^{(\ell)}, \{\mathbf{h}_u^{(\ell)} : (u,t) \in \mathcal{E}\}\big)$$ 经 $L$ 层聚合后获得上下文感知的轮次向量 $\mathbf{h}_t^{\mathrm{gnn}} \in \mathbb{R}^{d_{\mathrm{hidden}}}$。

由于最终决策作用于智能体实体级别，模型需要从轮次表征提炼智能体级别特征。针对单一均值池化易平滑极端突变异常、单一最大池化易丢失整体交互背景的缺陷，提出双重池化算子。对于智能体 $a_j$ 的所有轮次索引集合 $\mathcal{I}_j$，将其均值池化与最大池化向量直接拼接： $$\mathbf{z}_j = \left[ \frac{1}{|\mathcal{I}_j|} \sum_{t \in \mathcal{I}_j} \mathbf{h}_t^{\mathrm{gnn}} \;\|\; \max_{t \in \mathcal{I}_j} \mathbf{h}_t^{\mathrm{gnn}} \right] \in \mathbb{R}^{2d_{\mathrm{hidden}}}$$ 随后送入含瓶颈层（$d_{\mathrm{mid}}=32$）与 Dropout 的多层投影头，映射到无归一化的得分向量 $\mathbf{s}_j \in \mathbb{R}^{K+1}$，其中第 0 类表示无错误正常状态（clean），其余 $1 \dots K$ 类对应具体故障模式。

3. 解耦层次化损失函数：兼顾严重正负样本失衡与细粒度错误区分

在多智能体系统中，大部分智能体表现正常，故障智能体极其稀疏，直接进行 $K+1$ 类多分类极易导致模型退化为全预测为无害。为此，AFANet 引入解耦的双目标优化损失：智能体级故障二分类损失 $\mathcal{L}_{\mathrm{agent}}$ 与故障智能体细粒度错误分类损失 $\mathcal{L}_{\mathrm{fm}}$。

模型首先将预测得分 $\mathbf{s}_j$ 转化为该智能体是否犯错的二值判别 Logit： $$a_j = \log \sum_{k=1}^K \exp(s_{j,k}) - \log \exp(s_{j,0})$$ 随后在全体智能体上施加带动态正类权重的加权二元交叉熵损失： $$\mathcal{L}_{\mathrm{agent}} = \frac{1}{M} \sum_{j=1}^M \operatorname{BCEWithLogits}(a_j, y_j^{\mathrm{binary}}; w^+)$$ 其中 $w^+ = \frac{n_{\mathrm{clean}}}{n_{\mathrm{faulty}}}$ 为批次内正常与故障智能体数量比，以对抗极端类别失衡。对于实际判定为故障的智能体子集 $\mathcal{F} = \{j \mid y_j \neq 0\}$，则计算其在 $K$ 个故障类别子空间上的多分类交叉熵： $$\mathcal{L}_{\mathrm{fm}} = \frac{1}{|\mathcal{F}|} \sum_{j \in \mathcal{F}} \operatorname{CE}([s_{j,1}, \dots, s_{j,K}], y_j - 1)$$ 总目标由加权和 $\mathcal{L} = \lambda_{\mathrm{agent}}\mathcal{L}_{\mathrm{agent}} + \lambda_{\mathrm{fm}}\mathcal{L}_{\mathrm{fm}}$ 驱动端到端训练。

损失函数 / 训练策略¶

训练采用 Adam 优化器，学习率设为 $1 \times 10^{-2}$，训练批大小（Batch Size）为 2000，Dropout 率设为 0.1。模型在验证集对配对微平均 F1 指标进行监控，设定耐心度为 10 轮的早停机制（Early Stopping）。在测试时，针对多错误场景（如 AEGIS-Bench）采用两阶段自适应阈值解码（验证集网格搜索智能体阈值 $\tau$ 与错误类型阈值 $\tau_{\mathrm{fm}}$）；针对单故障场景（如 Who&When）采用基于概率排序的 Top-1 解码。

在域外分布偏移（OOD）场景下，模型支持免重训的测试时自适应（Test-Time Adaptation, TTA）：冻结除 LayerNorm 仿射参数外的全部权重，通过最小化故障智能体的条件熵目标进行 30 步微调，即可实现域外性能的持续跃升。

实验关键数据¶

主实验¶

在代表性评测基准 AEGIS-Bench（域内测试，含 600 条长时程失败轨迹）和 Who&When（分布外 OOD 测试，含 184 条真实轨迹）上全面对比主流 LLM 方案。核心指标包括智能体识别（Agent）、错误类型识别（Error）以及要求两者均准确的端到端配对识别（Pair），汇报微平均（$\mu\text{F1}$）与宏平均（$\text{MF1}$）。

类别	模型 / 方法	AEGIS Agent (μF1 / MF1)	AEGIS Error (μF1 / MF1)	AEGIS Pair (μF1 / MF1)	Who&When Pair (μF1 / MF1)	全局平均 F1 (Avg.)	可训练参数量	推理耗时 (AEGIS/OOD)
基线	Random Baseline	4.54 / 3.56	11.23 / 11.15	0.33 / 0.21	0.11 / 0.05	4.08	—	—
预训练 LLM	Qwen2.5-7B-Instruct	27.55 / 14.49	14.96 / 11.36	5.02 / 2.52	2.31 / 1.14	12.43	7B	199s / 108s
预训练 LLM	Qwen2.5-14B-Instruct	35.78 / 12.71	20.24 / 5.91	5.47 / 2.20	0.00 / 0.00	13.99	14B	367s / 231s
微调/RL LLM	Qwen2.5-7B-It + SFT	60.03 / 22.70	19.61 / 16.90	5.05 / 2.80	1.26 / 0.52	17.99	7B	199s / 108s
微调/RL LLM	Qwen2.5-14B-It + SFT	76.53 / 47.97	27.53 / 27.66	16.62 / 9.99	4.03 / 2.08	26.51	14B	367s / 231s
微调/RL LLM	Qwen2.5-14B-It + SFT + GRPO	49.74 / 18.38	21.19 / 16.10	6.84 / 2.55	2.45 / 1.49	18.41	14B	367s / 231s
闭源前沿模型	GPT-4.1	37.48 / 11.12	20.65 / 15.75	7.44 / 2.27	3.36 / 1.16	15.27	闭源 API	API 延迟
闭源前沿模型	o3 (OpenAI 强推理)	40.31 / 23.27	22.37 / 16.76	7.86 / 2.27	7.41 / 3.98	20.24	闭源 API	API 延迟
闭源前沿模型	Gemini-2.5-Flash	42.02 / 16.45	23.47 / 19.85	6.99 / 2.76	7.32 / 3.33	19.55	闭源 API	API 延迟
闭源前沿模型	Claude-Sonnet-4	40.73 / 15.51	21.21 / 16.55	7.68 / 2.34	6.77 / 2.66	18.16	闭源 API	API 延迟
本文方法	AFANet (2层 GCN)	74.16 / 47.86	27.01 / 25.96	17.42 / 16.35	6.90 / 4.16	24.82	65K	1.16s / 0.37s

消融实验¶

评估对话图拓扑连接方式、特征构建组合与网络骨干对归因性能的影响：

配置 / 变体	AEGIS Agent (μF1 / MF1)	AEGIS Error (μF1 / MF1)	AEGIS Pair (μF1 / MF1)	Who&When Pair (μF1 / MF1)	全局平均 F1 (Avg.)	核心结论与机制说明
AFANet (完整模型, 2层 GCN)	74.16 / 47.86	27.01 / 25.96	17.42 / 16.35	6.90 / 4.16	24.82	全要素保留时性能最优，兼顾实体与类型
骨干: GAT (注意力机制)	71.92 / 43.31	24.23 / 23.13	16.57 / 13.38	0.46 / 0.25	22.04	节点数较少时注意力易过度拟合局部噪声
骨干: GraphSAGE	74.34 / 50.76	24.94 / 24.68	16.42 / 14.30	3.45 / 1.55	23.10	采样聚合在大图更优，小图与 GCN 相当
无图拓扑边 (w/o edges)	71.26 / 43.21	24.65 / 23.54	18.49 / 15.03	3.45 / 2.39	22.78	缺失交互结构后 OOD 泛化性能急剧腰斩
仅保留同智能体边 (Same-agent only)	70.53 / 42.74	22.32 / 21.58	16.31 / 12.23	4.60 / 3.16	22.14	失去时序上下文流动，时序因果线索中断
仅保留相邻时序边 (Temporal only)	74.82 / 53.60	24.82 / 24.39	17.54 / 16.52	4.60 / 1.99	23.58	无法跨轮次追踪特定智能体的长期一致性
去除偏离/统计特征 (w/o dev/stat)	65.90 / 35.47	23.59 / 22.25	14.00 / 9.80	1.72 / 1.14	21.04	掉点最严重（Pair μF1 下降 3.42%），证明统计异常是关键判别凭据
去除句子语义嵌入 (w/o sentence emb)	73.58 / 48.18	23.62 / 22.14	14.78 / 10.16	2.30 / 1.33	22.44	缺乏深层语义使细粒度错误类型分类能力明显受损
去除 GNN 模块 (w/o GNN)	71.11 / 43.80	26.34 / 25.61	17.81 / 14.93	2.87 / 1.89	22.24	证明结构化显式消息传递对时序故障归因不可或缺

关键发现¶

最关键特征组件：移除基于 SVD 的偏离与统计特征（w/o dev/stat）导致在 AEGIS 上的配对宏平均 F1 从 16.35% 跌至 9.80%，且在 OOD 数据集上的配对微平均 F1 从 6.90% 跌至 1.72%，说明交互动力学偏离是判定智能体失效的最具通用性的不变特征，单纯依赖文本语义在分布外极易失效。
效率绝对碾压：相比于微调后的 Qwen2.5-14B 需要训练 8.8 小时、测试单条耗时 367 秒，AFANet 仅包含 65K 参数，GPU 训练仅需 1.1 小时，单条轨迹图构建仅 80.8 毫秒，推理延时降至 1.16 秒（提速超 300 倍），彻底解除了在线 AFA 系统的算力卡脖子问题。
大模型盲目微调可能导致反噬：在 Qwen2.5-14B 上引入 GRPO 强化学习调优后，配对微平均 F1 反而由 SFT 的 16.62% 下滑至 6.84%，体现出生成式大模型在极长上下文多轮轨迹中极易被虚假相关性或格式对齐奖励误导。

亮点与洞察¶

范式颠覆（以判别图建模取代生成式长文本重构）：打破了“智能体复杂故障只能由更大参数规模的 LLM 深入阅读推理”的思维定势，敏锐指出故障传播本质上是对话图上的时序与归属关联异常，用 65K 参数实现了 14B 甚至专有大模型都难以稳定达成的判别效果。
解耦式图结构拓扑构建：双向时序边负责捕获局部对话推进，同智能体跳跃边负责建立实体跨步一致性约束，二者结合完美映射了多智能体交互的物理时空拓扑。
非侵入式极速测试时自适应（TTA）：在无监督分布外环境下，通过仅优化 LayerNorm 仿射参数并最小化故障智能体熵损失，进一步将 Who&When 上的配对微平均 F1 从 5.17% 提升至 7.47%，展现了判别式框架极高的可扩展性。

局限与展望¶

作者承认的局限：极端分布外泛化（OOD）仍面临挑战；当交互模式与拓扑结构出现激进颠覆（如智能体角色动态重编排或层次化子群组）时，静态图边构建机制的自适应能力可能减弱。
实测与分析局限：AFANet 的局部节点文本依赖通用 sentence-BERT，对于极度依赖复杂数学逻辑推导或长代码沙盒内部细粒度执行语义的深层逻辑故障，极轻量的语义嵌入可能丢失部分上下文细节。
未来改进路径：将 AFANet 作为前端快速初筛路由器，以极低开销预判候选嫌疑智能体与可疑轮次区间，再定向调用大语言模型进行精准因果细查，构建“轻量图初筛 + 强模型精查”的混合协同归因系统。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆性挑战 AFA 依赖大模型生成的范式，首次提出利用轻量级 GNN 解决智能体故障归因。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7B-14B 开源与多款前沿闭源 LLM、全套 SFT/GRPO 对比、完整消融与 TTA 验证。
写作质量: ⭐⭐⭐⭐⭐ 逻辑推进严谨，图表排版紧凑清晰，数学建模规范且实验复现细节完整。
价值: ⭐⭐⭐⭐⭐ 为生产环境中的大规模多智能体系统监控、在线根因定位与轻量化故障自愈提供了极具落地前景的方案。