Behavioral Probes for Information Flow in LLM Swarms¶

会议: NeurIPS 2026
arXiv: 2610.25966
代码: https://github.com/HaRry-qaq/Swarmprobe
领域: LLM Agent
关键词: LLM Swarms, Information Flow, Behavioral Probes, External Context Score, Parametric Knowledge Score

一句话总结¶

将原本用于单模型幻觉分析的外部上下文得分（ECS）与参数化知识得分（PKS）重塑为大语言模型群体（LLM Swarm）内部信息流的行为探针，以无侵入辅助信号指导拓扑剪枝与推理路径搜索。

研究背景与动机¶

大语言模型群体（LLM Swarm）协同推理结构的演进经历了从手工静态拓扑到可学习有向无环图（DAG）的转变，然而当前主导的结构优化机制大多完全由端到端最终效用驱动。诸如 GPTSwarm、AgentNet 或基于 Shapley 值的效用分配方法，普遍依赖最终答案的正确性作为稀疏奖励反向更新拓扑连接与边权重，这导致多智能体之间的信息处理动态、上下文依赖性与知识整合机制始终处于黑盒状态。当局部节点产生冗余中继、复制输出或引入弱相关噪声时，纯效用信号无法归因这些隐式交互的真实贡献，容易在探索中形成庞大的冗余通信与巨大 Token 消耗。

虽然近期一些工作尝试引入中间步骤的置信度评估或显式维护上下文状态，但依然缺乏细粒度刻画“节点究竟在多大程度上依赖输入上下文 vs. 依赖自身参数记忆”的动态工具。现有优化范式面对的核心矛盾在于：最终效用信号高度纠缠且稀疏迟滞，无法反映群体协同中的内部信息流向与收敛进程；若仅仅依赖结果正误，模型极易陷入局部虚假关联，保留大量对最终正确性无贡献甚至有害的交互边。

本文的切入视角是打开多智能体协同交互的信息流黑盒，探究微观节点在单步与多步传播中的上下文吸收及参数记忆依赖特性。核心 idea：将原本用于单模型幻觉归因的外部上下文得分（ECS）与参数化知识得分（PKS）重塑为群体内部信息流的“行为探针”，构建启发式行为图谱作为中间辅助信号，协同效用奖励实现精准节点剪枝与收敛推理路径定向搜索。

方法详解¶

整体框架¶

本文提出的信息流行为探针系统从拓扑 DAG 的计算图视角出发，将每个智能体视作 DAG 节点，接收上游前驱节点的拼接输出，并结合自身参数生成结果传至后继。系统在模型深层注意力头与 FFN 层轻量级提取 ECS 与 PKS，形成表征节点交互状态的二维行为图谱 $\phi(v) = (\mathrm{ECS}_v, \mathrm{PKS}_v)$。在此基础上，系统通过 EMA 平滑、基于中位数与绝对离差中位数（MAD）的鲁棒局部/全局标准化，再经由分段饱和奖励映射，将行为探针信号作为辅助奖励直接叠加到任务效用更新中，分别驱动两类结构优化：节点剪枝（异常行为过滤）与推理路径搜索（PKS 下降驱动的收敛加速）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["群体协同拓扑输入<br/>多智能体 DAG 交互序列"] --> B["双重行为探针度量<br/>尾层注意力 ECS 与 FFN 层 PKS"]
    B --> C["鲁棒特征校准与平滑<br/>EMA 滤波 + 局部/全局 MAD 标准化"]
    C --> D["双步门控拓扑剪枝<br/>ECS 上下文过滤 + PKS 冗余抑制"]
    C --> E["收敛差分路径引导<br/>边级 ΔPKS 驱动的推理链定向搜索"]
    D --> F["混合奖励拓扑更新<br/>效用信号 + 行为先验共同优化结构"]
    E --> F

关键设计¶

1. 双重行为探针度量：以注意力流与残差投影刻画上下文及参数依赖 针对多智能体协同中信息流动不可见的问题，本文借鉴 ReDeEP 框架并针对拓扑计算做了确定性采样加速。外部上下文得分（ECS）用于度量下游节点对外部输入信息的吸收程度，仅选取网络末端 $5\%$ 的 Transformer 层和其中 $10\%$ 的关键注意力头 $\mathcal{S}_{\text{ECS}}$；对于生成 token $t_n$ 和末层隐藏状态 $x_n^L$，提取其对高注意力上下文 token 表征均值 $e$ 的余弦相似度： $$E_n^{l,h} = \frac{e \cdot x_n^L}{\|e\|\,\|x_n^L\|}$$ 参数化知识得分（PKS）则度量节点输出对自身静态参数记忆的依赖，选取模型末端 $10\%$ 的前馈网络（FFN）层，利用 LogitLens 将 FFN 前后残差流映射至词表概率分布 $q(x) = \text{softmax}(\text{LogitLens}(x))$，计算 Jensen-Shannon 散度（JSD）： $$P_n^l = \text{JSD}\left(q(x_n^{\text{mid},l}) \,\|\, q(x_n^l)\right)$$ 在多源拼接场景下，分段 ECS（seg-ECS）仅限定在特定前驱节点的 token 区间内计算，从而能精细辨识多个上游输入中谁真正提供了有效增益。

2. 鲁棒特征校准与平滑：消除群体探索噪声的动态标准化 原始探针信号在单步生成中存在波动，且跨问题、跨节点的绝对尺度不一致。为建立稳定优化的中间监督，系统首先采用动态指数移动平均（EMA）进行时序滤波，系数 $\beta$ 在前 50 轮从 0.4 线性爬升至 0.9 并固定。随后借鉴 GRPO 的鲁棒统计归一化方案，在局部前驱组或全局网络中利用中位数与绝对离差中位数（MAD）计算标准分： $$z_i = \frac{x_i - \text{median}(\mathcal{G})}{c_s \cdot \text{MAD}(\mathcal{G})}, \quad c_s = 1.4826$$ 归一化分数通过带死区阈值 $\tau=1.5$ 的双曲正切分段函数 $g(z)$ 映射至 $[-r_{\min}, r_{\max}]$ 奖励区间，有效抑制均值附近的无效波动，只对显著偏离正常区间的行为施加惩罚或正向激励。

3. 双步门控拓扑剪枝：解耦过滤无关干扰与无益冗余节点 传统的梯度灵敏度或效用分配在多智能体冗余剪枝时无法区分“无关胡说”与“重复搬运”。本文设计双步门控奖励逻辑： - 第一步（ECS 门控）：首先计算下游节点对所有传入边的局部归一化分数 $z_e^E$。若 $z_e^E < 0$，判定该边为上下文无关传播（如胡言乱语的 Bubble 节点），直接施加负向惩罚 $\lambda_{\text{ECS}} g(z_e^E)$，且禁止其进入后续评估； - 第二步（PKS 门控）：对通过 ECS 检验的边，汇集其绝对 PKS 值至全局组计算 $z_e^P$。若 $z_e^P < 0$，说明该节点严重依赖已有上下文且几乎不提供新参数增益（如单纯中继搬运的 Lazy 节点），判定为冗余传播并施加惩罚 $\lambda_{\text{PKS}} g(z_e^P)$；只有当两者均非负时才给与联合正向奖励。最终边奖励为任务效用与探针奖励的直接相加 $R_{\text{edge}}(e) = U_{\tau} + R(e)$，在保证任务准确率的前提下极大地剔除了无效拓扑连接。

4. 收敛差分路径引导：利用边级知识依赖衰减加速推理搜索 在长链条多跳推理拓扑搜索中，端到端效用往往仅在抵达终点时提供 0/1 判定，前期采样随机性极高。本文发现，随着有用上下文信息的逐步累积，节点的参数知识依赖度（PKS）呈现单调下降并趋于平缓。基于此洞察，本文将有向边 $u \to v$ 的前后 PKS 差值作为收敛先验： $$\Delta \tilde{P}_{u \to v} = \tilde{\mathrm{PKS}}_u - \tilde{\mathrm{PKS}}_v$$ 正向差值越大，意味着前驱 $u$ 传递给后继 $v$ 的信息使其更加“心中有数”（显著降低对自身记忆猜测的依赖），即标志着推理向真实目标有效收敛。将局部标准化的 $\Delta \tilde{P}$ 转化为过程奖励注入边更新概率，可以在效用信号稀疏甚至陷入局部偶然错误的冷启动初期，引导搜索快速向正确的阶梯式推理链靠拢。

训练策略¶

在拓扑结构优化阶段，通信拓扑的采样策略参数 $\theta$ 通过基于 REINFORCE 框架的梯度上升进行优化更新。在节点剪枝实验中，采用软剪枝策略（不设硬阈值截断），学习率设为 0.1，训练 200 轮，探针超参数设为 $\lambda_{\text{ECS}} = \lambda_{\text{PKS}} = 0.5$；在推理路径搜索中，先经过 50 轮纯效用预热以让探针 EMA 统计量稳定，随后注入探针奖励。所有探针度量仅在离线诊断或训练优化阶段运行，推理部署时完全保留原生 LLM 拓扑执行，不增加在线计算开销。

实验关键数据¶

主实验¶

在随机 DAG 节点剪枝任务中（包含直接回答 DA、懒惰复制 LA、无关胡说 BA 三类节点及最终决策 FD），对比了纯效用基线（GPTSwarm、AgentNet、AgentPrune）与行为探针引导方法（Probe-Joint）。

模型	信号类型	方法	DA 入度权重 ↑	LA 冗余权重 ↓	BA 冗余权重 ↓	总冗余权重 (Rdn) ↓	准确率 (%)	每题消耗 Token (Tok/Q) ↓
Qwen-2.5-32B	纯效用	GPT Swarm	1.515	1.505	1.438	2.943	80.6	2294
Qwen-2.5-32B	纯效用	Agent Net	1.876	1.834	1.849	3.683	80.8	2744
Qwen-2.5-32B	纯效用	Agent Prune	1.140	0.837	0.708	1.545	80.8	1879
Qwen-2.5-32B	探针引导	Probe-Joint*	1.474	0.491	0.506	0.997	80.0	1589
LLaMA-3-70B	纯效用	GPT Swarm	1.287	1.147	1.081	2.228	72.0	2282
LLaMA-3-70B	纯效用	Agent Net	1.912	1.897	1.864	3.761	72.2	2984
LLaMA-3-70B	纯效用	Agent Prune	1.262	1.111	1.068	2.179	71.4	1980
LLaMA-3-70B	探针引导	Probe-Joint*	1.528	0.297	0.201	0.498	71.2	1563

消融实验¶

评估单个探针信号对不同类型冗余节点的抑制能力（以 Qwen-2.5-32B 拓扑剪枝为例）：

配置	DA 权重	LA 权重	BA 权重	总冗余权重 (Rdn)	说明
Probe-Joint* (完整双探针)	1.474	0.491	0.506	0.997	双门控协同，同时压制搬运与无关噪声
单独 Probe-ECS*	1.859	1.650	0.551	2.201	强力压制 BA 无关节点(0.551)，但无法识别 LA 复制节点(1.650)
单独 Probe-PKS*	1.052	0.432	1.599	2.031	识别出 LA 节点过低PKS并压制(0.432)，但误伤 DA 且放过了发散的 BA
纯效用基准 (GPT Swarm)	1.515	1.505	1.438	2.943	缺乏细粒度交互归因，无法区分有效与冗余中继

关键发现¶

双探针正交互补性：单凭 ECS 只能发现不被下游引用的“离题噪声”（BA 节点），却误以为按原样中继搬运的复制节点（LA 节点）具备高上下文相关性；而单凭 PKS 会惩罚无新知识注入的节点，却可能错放凭空发散捏造的 BA 节点。只有 Probe-Joint 联合建模，才能在保持 80.0% 相当准确率的同时，将冗余边权重从 2.943 骤降至 0.997，平均每题推理 Token 消耗降低 30.7%（从 2294 降至 1589）。
工具调用中的关键证据敏感度：在 GAIA 真实工具智能体实验中，CombineAnswer 节点在被移除 WebSearch 关键证据后，PKS 出现显著跃升（配对均值差 +0.214, $p=4.75 \times 10^{-5}$），表明节点因证据缺失被迫退回基于参数记忆猜测；同时对于工具返回片段，有用信息的 seg-ECS（0.372）显著高于无关信息（0.129, $\Delta\mu=0.243$）。
冷启动与误导路径修复：在分级分类推理路径搜索中，若在前 50 步由于随机命中巧合导致纯效用强化了错误推理边，纯效用基线几乎被永久困在局部最优；引入 PKS 差分收敛探针后，即便在恶劣冷启动（Poor warm-starts）下，也能快速纠正关键边权重，显著加速真收敛路径的涌现。

亮点与洞察¶

将原本局限于单模型幻觉评测的指标（ECS/PKS）成功升维映射为分布式智能体拓扑的信息流示踪器，为黑盒群体协同优化提供了极具洞察力的显微镜。
双步门控机制非常巧妙：先用上下文依赖度（ECS）进行粗粒度过滤排除“离题胡说”，再用内部知识消耗度（PKS）识别“占位中继”，二者互补形成严密的拓扑剪枝护栏。
在实际应用中实现了“训练期可观测探针诊断，部署期零额外计算开销”的解耦，为高开销多智能体系统的结构轻量化设计提供了可行范例。

局限与展望¶

白盒模型状态依赖：ECS 与 PKS 需要获取深层注意力权重与隐藏层输出分布，无法直接应用于闭源黑盒商用 API（如 OpenAI / Anthropic 商业端点），亟需探索基于词级熵、输出对比或代理模型的黑盒近似探针。
PKS 收敛不等于事实正确性：当上游传入极度确信的虚假或误导信息时，模型也会因笃信虚假上下文而出现 PKS 下降（假收敛），因此探针绝不能脱离任务最终效用独立使用。
实验场景偏向受控基准：当前验证主要在受控的亲属推理、分类阶层与过滤后的 GAIA 任务上展开，在更长轮次、开放式协同工作流中的泛化扩展性仍待进一步检验。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙跳出纯效用驱动的固有思维，开创性地将注意力/残差行为探针引入多智能体协同结构优化。
实验充分度: ⭐⭐⭐⭐☆ 涵盖单节点校准、多源聚合、长链推理、GAIA 工具代理与拓扑优化，统计检验严密，但评估场景偏受控。
写作质量: ⭐⭐⭐⭐⭐ 逻辑主线极为清晰，实验设计环环相扣，对探针的启发式定性与反例局限阐述诚恳严谨。
价值: ⭐⭐⭐⭐☆ 为理解和压缩大模型群体交互开辟了崭新的信息流研究路径，在多智能体系统降本增效上具有显著指导意义。