UMAS: System-Level Uncertainty Quantification for Multi-Agent LLM Systems¶
会议: NeurIPS 2026
arXiv: 2610.33013
代码: https://github.com/Dby52-04/UMAS
领域: LLM Agent
关键词: 多智能体系统、不确定性量化、置信度动态校准、选择性预测、幻觉检测
一句话总结¶
针对多智能体系统（MAS）盲目套用单智能体不确定性量化（UQ）导致可靠性显著下降的问题，提出无参数、零推理开销的系统级量化框架 UMAS，通过显式追踪交互图上的节点置信度并按同行可信度动态更新与聚合，在主流基准上实现平均 10.54 点的 AUROC 提升。
研究背景与动机¶
大语言模型驱动的多智能体系统（MAS）通过辩论（Debate）、动态协作网络（如 DyLAN）等多轮交互机制，在复杂推理和事实性任务中展现出远超单模型的协同优势。然而，多智能体协同并不天然免疫幻觉与推理错误，如何度量整个协作系统的预测不确定性，成为高风险场景（如医疗诊断、代码合成、严密数学推理）落地部署的核心前提。令人意外的是，当研究人员将经典的单智能体不确定性量化方法（如语义熵 SE、最大序列概率 MSP、基于困惑度 PPL 等）直接套用到 MAS 时，系统的置信度可靠性（AUROC）反而发生了大幅劣化——即协作系统虽然任务答对率提高了，但对自身对错的评估却更加失准。
造成这一困境的核心矛盾在于拓扑错配与计算开销壁垒的双重挤压。一方面，现有 UQ 算法绝大多数只关注终端最终回答，完全忽视了多智能体历经多轮辩论与相互妥协的动态轨迹；协作过程中如果某个智能体被错误或过度自信的同行“带偏”，这种不确定性会在传播图中逐层放大，终端输出无法捕捉该历史传播路径。另一方面，以语义熵（SE）为代表的多重采样一致性方法本身就需要多次随机生成，面对已经成倍消耗 Token 的多智能体多轮多节点交互，再引入外层采样在计算延迟和 API 成本上完全不可承受。
本文的切入角度是：无需为 UQ 引入任何额外前向采样或外部辅助判别器，协作过程中各节点自身生成所附带的序列概率本就构成了天然的置信度信号。核心 idea：将多智能体协作建模为有向交互图，提出无参数、零推理开销的系统级量化框架 UMAS，利用各节点内在置信度的相对比值评估同行影响的可信度，以信度加权滑动平均动态校准节点置信度，并在交互图轨迹上全局聚合得出系统级不确定性。
方法详解¶
整体框架¶
UMAS 将多智能体系统在 \(M\) 轮通信中 \(N\) 个智能体的交互历史建模为一个有向交互图 \(\mathcal{G}=(\mathcal{V}, \mathcal{E})\)。其中节点 \(v_i^{(t)} \in \mathcal{V}\) 表示智能体 \(i\) 在第 \(t\) 轮的状态及生成内容 \(g(v_i^{(t)})\)，边集 \(\mathcal{E}\) 刻画前一轮前驱节点向当前节点的依赖信息流。UMAS 的整体运行包含三个串行核心阶段：首先为每个节点抽取无需额外采样的单次生成内在置信度；其次利用前一轮同行与自身的相对置信度差异计算“同行可信度”，进而通过动态滑动平均更新节点的当前置信度；最后遍历全图所有交互节点，全局聚合得出系统级不确定性评分。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多智能体交互图构建<br/>有向依赖图 G=(V, E) 收集各轮节点生成"] --> B["节点内在置信度估计<br/>单次生成对数序列概率 ci(t)"]
B --> C["同行影响可信度估计<br/>相对动态置信度差异 wj->i 并 Sigmoid 归一化"]
C --> D["可信度感知动态校准<br/>同行信任权重 wi(t) 滑动平均更新 ci,dyn(t)"]
D --> E["系统级不确定性聚合<br/>全交互轨迹负均值 U_G,dyn 作为系统 UQ 评分"]关键设计¶
1. 节点内在置信度估计：零开销单次生成对数概率
针对采样类 UQ 方法在 MAS 中极高推理延迟的缺陷，UMAS 采用最大序列概率（Maximum Sequence Probability, MSP）作为基础置信度代理。对于节点 \(v_i^{(t)}\) 在给定输入上下文 \(x_i^{(t)}\) 下生成的序列 \(g(v_i^{(t)})=(y_1, \dots, y_T)\)，其内在置信度定义为输出序列的对数概率和： $\(c_i^{(t)} = \log P\left(g(v_i^{(t)}) \mid x_i^{(t)}\right) = \sum_{\tau=1}^T \log p_\theta\left(y_\tau \mid y_{<\tau}, x_i^{(t)}\right)\)$ 由于 \(c_i^{(t)} < 0\)，其值越接近 0 代表生成模型对该回答的内部确定性越高。该计算完全复用模型前向解码时产生的 logits，在整个系统交互中不触发任何额外的采样调用或模型参数微调。
2. 同行影响可信度估计：相对置信度比值与安全归一化
在协作式 MAS 中，智能体在第 \(t\) 轮会参考前一轮同行生成的候选集 \(\mathbb{R}_i^{(t)}\)。若盲目采纳低质量甚至幻觉同行的意见，智能体的置信度会被严重污染。为了给每次跨智能体信息流动赋予可比的信任权重，UMAS 计算前驱同行节点 \(v_j^{(t-1)}\) 相对当前智能体历史状态 \(v_i^{(t-1)}\) 的相对动态置信度差异： $\(w_{j\to i}^{(t-1)} = \frac{c_{j,\mathrm{dyn}}^{(t-1)} - c_{i,\mathrm{dyn}}^{(t-1)}}{c_{i,\mathrm{dyn}}^{(t-1)}}\)$ 注意到对数概率为负数，当同行比当前智能体更自信时（\(c_{j,\mathrm{dyn}}^{(t-1)} > c_{i,\mathrm{dyn}}^{(t-1)}\)），分子为正、分母为负，使得原始边权重 \(w_{j\to i}^{(t-1)} < 0\)；反之，若同行比自身更不确定，该比值为正。为防止极端比值破坏更新稳定性，UMAS 将其映射到 \((0,1)\) 区间并通过取补集得到节点级综合信任权重： $\(\hat{w}_{j\to i}^{(t-1)} = \sigma\left(w_{j\to i}^{(t-1)}\right) = \frac{1}{1 + \exp\left(-w_{j\to i}^{(t-1)}\right)}, \quad w_i^{(t)} = 1 - \mathbb{E}_{j: \langle v_j^{(t-1)}, v_i^{(t)}\rangle \in \mathcal{E}}\left[\hat{w}_{j\to i}^{(t-1)}\right]\)$ 该设计天然具备对称稳定性：当同行与自己置信度相同时，\(\hat{w}=0.5, w_i^{(t)}=0.5\)；当同行明显更可靠时，\(w_i^{(t)} \to 1\)；当同行极不可靠时，\(w_i^{(t)} \to 0\)。
3. 可信度感知动态校准与全图系统级聚合
基于计算所得的同行综合信任权重 \(w_i^{(t)}\)，当前节点的动态校准置信度采用历史置信度与当前生成置信度的凸组合更新： $\(c_{i,\mathrm{dyn}}^{(t)} = (1 - w_i^{(t)}) \cdot c_{i,\mathrm{dyn}}^{(t-1)} + w_i^{(t)} \cdot c_i^{(t)}\)$ 这构成了极佳的鲁棒调节器：若本次更新所参考的同行缺乏可信度（\(w_i^{(t)} \to 0\)），系统压制当前节点可能受骗产生的虚假高置信，保留前一轮历史估计 \(c_{i,\mathrm{dyn}}^{(t)} \approx c_{i,\mathrm{dyn}}^{(t-1)}\)；若同行极其可信（\(w_i^{(t)} \to 1\)），则充分吸收当前轮次新生成的置信度。
在获得交互图中全部节点的校准置信度后，UMAS 克服“仅看最终轮输出”的短视偏见，通过对整条多轮多智能体协作轨迹进行长度归一化聚合，输出最终的系统级不确定性评分： $\(U_{\mathcal{G},\mathrm{dyn}}(\mathcal{Y} \mid x) = -\frac{1}{|\mathcal{V}|} \sum_{v_i^{(t)} \in \mathcal{V}} c_{i,\mathrm{dyn}}^{(t)}\)$ 通过取负均值，分值越小表示系统越确定，极大避免了个别轮次异常节点对整体评估的绑架。
一个完整示例¶
以 3 个智能体参与的 Debate 求解 GSM-Hard 数学问题为例：第 1 轮中，Agent 1、2、3 独立给出初步解答，各自对数序列概率分别为 \(c_1^{(1)}=-2.0, c_2^{(1)}=-5.0, c_3^{(1)}=-10.0\)（初始动态置信度等于内在置信度）。 进入第 2 轮辩论时，Agent 3 尝试根据 Agent 1 和 Agent 2 的意见修正自身解答。对于边 \(1 \to 3\)，\(w_{1\to 3}^{(1)} = (-2.0 - (-10.0))/(-10.0) = -0.8\)，经过 Sigmoid 映射为 \(\sigma(-0.8) \approx 0.31\)；对于边 \(2 \to 3\)，\(w_{2\to 3}^{(1)} = (-5.0 - (-10.0))/(-10.0) = -0.5\)，\(\sigma(-0.5) \approx 0.38\)。 二者均值为 \(0.345\)，由此计算出 Agent 3 对同行修正的信任权重 \(w_3^{(2)} = 1 - 0.345 = 0.655\)。因为参考了更有把握的高置信同行，Agent 3 赋予本轮新生成高达 0.655 的吸收权重；若本轮 Agent 3 吸收同行后生成了高质量答案（假设当前 \(c_3^{(2)}=-3.0\)），则其更新后的动态置信度为 \((1-0.655)\times(-10.0) + 0.655\times(-3.0) = -3.45 - 1.965 = -5.415\)。该机制成功将 Agent 3 从前一轮极度怀疑状态拉回至合理可信区间，并在最终聚合时准确反映了系统的协作收敛过程。
实验关键数据¶
主实验¶
评估在 Debate（3 智能体 × 3 轮）与 DyLAN（4 智能体 × 3 轮）架构下展开，底座涵盖 Llama 4 Scout（109B MoE）与 GPT-4o mini，对比了 PPL、MSP、PE、SE、SentSAR、Deg、CoCoA、G-NLL 等多种基线。下表展示在 Llama 4 Scout 上的系统级 AUROC（%）核心表现：
| 方法 | Debate: MMLUP | Debate: AQUA | Debate: GSM-H | DyLAN: MMLUP | DyLAN: AQUA | DyLAN: GSM-H | 10项全任务均值 |
|---|---|---|---|---|---|---|---|
| PPL | 67.67 | 64.48 | 36.02 | 60.15 | 71.94 | 55.28 | 58.46 |
| MSP | 70.70 | 78.61 | 47.98 | 61.02 | 75.00 | 57.47 | 62.66 |
| PE | 69.58 | 70.33 | 37.09 | 63.58 | 74.03 | 56.44 | 59.62 |
| SE (采样5次) | 47.81 | 47.33 | 51.41 | 50.29 | 55.30 | 49.41 | 48.90 |
| CoCoA* | 69.20 | 78.59 | 49.53 | 61.58 | 76.62 | 59.24 | 63.00 |
| UMAS_FIX | 80.97 | 79.17 | 64.25 | 79.71 | 80.11 | 65.97 | 70.32 |
| UMAS (本文) | 80.90 | 79.77 | 72.69 | 83.70 | 80.63 | 79.48 | 74.93 |
注：在 GPT-4o mini 上，最佳基线 SentSAR* 平均 AUROC 为 64.86%，UMAS_FIX 达到 71.49%，UMAS 进一步达到 74.02%。跨两个底座模型，UMAS 相对最佳基线平均取得 10.54 点的显著 AUROC 提升。
消融实验¶
为解耦“轨迹全局聚合”与“同行可信度动态更新”的独立贡献，论文专门设立了仅包含轨迹平均聚合但忽略同行动态校准的基准 UMAS_FIX（即跳过同行加权，直接在整张图上平均原始节点置信度 \(c_i^{(t)}\)），并在不同置信度度量底座上进行消融：
| 配置 / 变体 | 核心改动说明 | Llama 4 Scout 平均 AUROC | GPT-4o mini 平均 AUROC | 增益来源分析 |
|---|---|---|---|---|
| 最佳基线 | 仅基于终端输出做单次或多次采样 UQ | 63.00% | 64.86% | 基准线 |
| UMAS_FIX | 仅在全交互图节点上做朴素平均聚合 | 70.32% (+7.32) | 71.49% (+6.63) | 验证轨迹拓扑结构感知的关键性（主要增益源） |
| UMAS (完整) | 引入同行可信度估计与动态滑动校准更新 | 74.93% (+4.61) | 74.02% (+2.53) | 验证同行信任机制消除虚假置信的有效性 |
| UMAS (替换为PE) | 将节点级内在置信度由 MSP 替换为 PE | 70.92% (Debate-4任务) | - | 相比基准 PE (64.43%) 同样获得大幅提升 |
| UMAS (替换为PPL) | 将节点级内在置信度替换为 PPL | 70.22% (Debate-4任务) | - | 相比基准 PPL (62.18%) 证明框架对底座指标通用 |
关键发现¶
- 增益解耦：全轨迹结构感知聚合（
UMAS_FIX）贡献了大约 60%~70% 的性能飞跃，证明单智能体 UQ 忽视多轮交互过程是导致 MAS 评估失效的头号病因；动态可信度校准在此基础上再稳步拉升 2.5~4.6 点。 - 同行方差效应：当同行之间的能力与置信度差距显著（例如在逻辑复杂的 GSM-Hard 和医学多选题 MedMCQA）时，动态可信度更新的提升尤为剧烈（GSM-Hard 上动态校准相比固定聚合猛增 8.4~13.5 个点）；而当智能体普遍均匀自信时，加权效应相对收敛。
- 计算极致轻量：在推理耗时上，基于多重采样的语义熵（SE）在 Debate 模式下需耗费 127.32 秒推理与 1813.92 毫秒 GPU 不确定性计算，而 UMAS 推理时间保持在原始单轨迹的 84.17 秒，且仅需 CPU 执行 0.143 毫秒的纯代数运算，真正实现了 Inference Cost-Neutral。
- 下游选择性预测赋能：在多轨迹采样（\(K=5\)）通过最小化不确定性进行答案筛选时，UMAS 驱动的选择性预测相比无筛选的原生 MAS 系统，在 AQUA 上取得最高 12.6 点的绝对准确率飞跃（从 83.7% 提升至 96.3%）。
亮点与洞察¶
- 拓扑感知与成本中立的精妙平衡：绝大多数针对多轮复杂推理的 UQ 尝试依赖采样更多树状/图状轨迹（如 UProp），导致原本昂贵的 MAS 成本指数级膨胀；UMAS 证明无需任何额外模型调用，单次已完成的交互图内各节点 logits 加上简单的无参数图更新公式，就能完全释放系统级拓扑信息。
- 置信度相对比值的巧妙归一：使用 \((c_j - c_i) / c_i\) 并通过 Sigmoid 映射巧妙抹平了不同提示词、不同任务长度甚至不同模型体系间的对数概率标度漂移，使同行可信度成为通用无偏的权重算子。
- 对单步 UQ 具备强兼容性：UMAS 本身是一个 meta-framework，其实验表明内部节点得分无论是换用序列概率、困惑度还是预测熵，均能即插即用并稳定获得架构级增强。
局限与展望¶
- 依赖内部 Token Logits 访问权：UMAS 依赖解码阶段的序列对数概率，这对于完全黑盒、仅提供文本生成的闭源商业 API 无法直接部署，未来需探索基于无概率黑盒代理信号的轻量化拓展。
- 受限于协作式对等拓扑假设：当前的边可信度规则假定智能体之间处于对等协作模式（如 Debate、DyLAN），若应用于对抗性系统或结构高度不对称的“提案-审判（Proposer-Critic）”架构，置信度高低与内容有效性之间的单调映射假设可能不再成立。
- 共识性系统性幻觉盲区：当所有协作智能体共享相同的知识盲区，并一致以极高置信度给出错误结论时，交互图内部不存在任何低信度对抗信号，此时单纯依靠内在相对置信度难以阻断系统性共识幻觉。
相关工作与启发¶
- vs 单智能体终端 UQ (Semantic Entropy / MSP / CoCoA)：以往方法只对最终输出文本计算统计或语义分散度，丢弃了智能体多轮博弈演化的中间轨迹；UMAS 证明多智能体必须在整张有向图上聚合动态演进历史才能避免可靠性雪崩。
- vs 基于图与隐马尔可夫模型的多步 UQ (SAUP / UProp)：SAUP 引入外部隐马尔可夫模型且依赖带标签的测试域数据训练，UProp 则需要采样多条轨迹造成推理负担翻倍；UMAS 做到完全无参数（Parameter-free）且零额外推理开销（Cost-neutral）。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 敏锐揭示了 MAS 准确率提升与单智能体 UQ 性能劣化的悖论，提出了无需额外开销的图结构动态校准框架。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖两大主流协同范式（Debate、DyLAN）、三大主流开源闭源底座、七种参数量级及五大任务基准，全方位展示了 AUROC、选择性预测、幻觉检测及计算延时。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨自洽，公式定义紧凑精巧，动机阐述发人深省。
- 价值: ⭐⭐⭐⭐⭐ 为高可靠多智能体系统在工业化落地中提供了一套近乎零成本的系统级安全防线与置信监控工具。