Narrowing the Collaboration Gap, Probably¶

会议: NeurIPS 2026
arXiv: 2610.19215
OpenReview: https://openreview.net/forum?id=50dMZu0zm0
领域: 其他
关键词: 多智能体协作, 概率通信, 对话校准, 不确定性估计, 链式奇偶校验

一句话总结¶

针对多智能体在分布式私有信息下的决策聚合难题，本文证明了传递校准的行动概率分布能克服动作通信的信息坍塌，并提出后验对话校准算法消除置信度失真与阿谀奉承偏差。

研究背景与动机¶

大语言模型日益被部署为多智能体团队以解决复杂任务，其中不同智能体分别持有部分私有信息，例如物理机器人分别获取不同传感器的观测数据，或编程智能体在超长代码库中各自检视不同代码文件。为了使团队能够做出超越单一智能体上限的优良联合决策，智能体之间必须通过通信有效汇聚各自持有的异构私有信息。然而在现实受限场景下，受限于带宽、上下文窗口长度以及跨模态不可读性，智能体无法直接广播完整的私有观测；更严重的是，即便允许传输全部原始观测，接收方智能体也往往难以将其可靠解析为正确答案，导致系统陷入多智能体间信息共享不足、信念更新失效和局部观测聚合受阻的“协作鸿沟”（collaboration gap）。

面对有限通信带宽，最自然的直觉是让智能体仅在每轮交互中直接广播自己认为最优的单步动作提议。然而，仅仅通信离散动作会彻底丢弃关键决策不确定性：两位智能体可能因完全不同乃至矛盾的证据恰好偏好同一动作。当最优动作过于粗粒化时，离散动作通信将压垮状态区分度，导致后序轮次无法引入新证据更新决策。博弈论中的共识理论表明，贝叶斯推理者通过交换信念能逐步收敛并聚合信息，但这极度依赖于交换的不确定性是否具有统计意义上的可靠校准性。

当前大语言模型在输出不确定性时普遍存在全局置信度失准以及迎合前序发言者的阿谀奉承（sycophancy）倾向，导致原始概率消息无法作为下游智能体执行贝叶斯更新的可靠载体。本文的核心切入点在于探究在有限带宽交互下究竟应当通信何种数学对象，从而在理论与实践上系统搭建连接。核心 idea：在部分可观测多轮协作中，通信经过对话交叉校准的动作概率分布能够严格超越离散动作通信，并通过轻量级后验校准算法消除置信度畸变与阿谀锚定，恢复全信息聚合保证。

方法详解¶

整体框架¶

本文探讨由 Alice 与 Bob 构成的双智能体多轮协作决策框架。全量特征 $x = (x_A, x_B) \in \mathcal{X}_A \times \mathcal{X}_B$ 对应目标真实动作 $a^* \in \mathcal{A}$，但 Alice 仅观测 $x_A$，Bob 仅观测 $x_B$。通信共持续 $K$ 轮，奇数轮由 Alice 发言，偶数轮由 Bob 发言。在动作通信协议下，第 $k$ 轮说话者发送动作提案 $\hat{a}_k \in \mathcal{A}$；在概率通信协议下，第 $k$ 轮说话者发送动作分布 $\hat{p}_k \in \Delta(\mathcal{A})$，最后一轮由终止发言者执行概率最大的动作。

整个协作机制从理论基石推向实际部署：首先在链式奇偶校验（Chained-Parity）任务中建立概率通信与动作通信的信息聚合分离理论；随后引入仿射偏差模型刻画 LLM 常见的全局置信度缩放与阿谀锚定偏差；最后提出后验对话校准算法（Algorithm 1），利用严格真评分规则训练逐轮校准映射，修正原始畸变分布。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["分布式私有观测<br/>Alice 获 xA, Bob 获 xB"] --> B["链式奇偶分离机制<br/>标量后验概率保留前缀状态并线性降险"]
    B --> C["通信偏差建模<br/>置信度失准 c 与阿谀奉承锚定 λ 扭曲报告"]
    C --> D["后验对话校准算法<br/>严格真评分规则迭代优化交叉校准映射"]
    D --> E["多轮一致决策输出<br/>收敛至全信息贝叶斯最优动作 argmax pK"]

关键设计¶

1. 链式奇偶分离机制：利用标量概率的可逆性打破动作通信的信息停滞 在链式奇偶校验任务中，状态由 $K$ 个独立均匀分布的二进制位 $b_1, \dots, b_K \in \{-1, +1\}$ 构成，前缀奇偶校验定义为 $S_j = \prod_{\ell=1}^j b_\ell$。目标标签 $a^* \in \{0, 1\}$ 的后验概率满足 $p^* = \frac{1}{2} + \sum_{j=1}^K \alpha_j S_j$，其中权重系数满足严格递减正序列且 $\sum \alpha_j < 1/2$。由于每一项 $j \ge 2$ 均交错依赖双方私有位，单人无法单独判定 $a^*$。在概率通信协议下，第 $k$ 轮发言者持有私有位 $b_k$，若前一轮标量概率满足不同位前缀对应不同部分和的可逆性假设，发言者可从 $p_{k-1}$ 完整反解出前缀 $(S_1, \dots, S_{k-1})$，进而结合自身 $b_k$ 算出 $S_k = S_{k-1} b_k$。每轮交互准确揭示一项全新奇偶积，超额平方损失每轮精准下降 $\alpha_k^2$ 并最终在第 $K$ 轮达成全信息贝叶斯下界： $$p_k = p_{k-1} + \alpha_k S_k = \frac{1}{2} + \sum_{j \le k} \alpha_j S_j, \qquad \mathbb{E}[(a^* - p_k)^2] - \mathbb{E}[(a^* - p^*)^2] = \sum_{j > k} \alpha_j^2$$ 相反，若采用动作通信协议，发言者仅发送当前后验符号 $\hat{a}_k = \mathbf{1}\{\tilde{p}_k \ge 1/2\}$。在 $\alpha_1 > \alpha_2$ 的条件下，Alice 的首轮动作固定由 $b_1$ 决定；而后续 Bob 计算后验时，由于其余奇偶项期望均为零，其后验表达式中 $\alpha_1 + \alpha_2 b_2$ 的符号始终受 $\alpha_1$ 主导而无法翻转。导致每轮动作消息均恒等坍塌为首位符号 $\mathbf{1}\{b_1 = +1\}$，通信彻底停滞，并在特定状态下以不低于 $1/4$ 的概率与全信息最优动作相悖。

2. 通信偏差建模：刻画置信度失调与阿谀奉承锚定对不确定性的双重扭曲 实际神经网络与大语言模型在自我陈述概率时无法天然达成理想贝叶斯后验。作者建立了一类结合全局置信度缩放参数 $c > 0$ 与前序消息阿谀奉承（sycophancy）锚定参数 $\lambda \in \mathbb{R}$ 的仿射失真模型： $$\hat{p}_k = \frac{1}{2} + c \left(p_k - \frac{1}{2}\right) + \lambda \left(p_{k-1} - \frac{1}{2}\right)$$ 当 $c > 1$ 时表现为过度自信，$c < 1$ 时为缺乏自信，而 $\lambda > 0$ 则刻画了智能体迎合对话上文、不自觉向上一轮伙伴观点靠拢的偏差。若接收者未经校准而直接将带偏概率投影到最近的可能合法报文，首轮由于无前序信息锚定（$p_0 = 1/2$），符号保持不变故可正确解码；但进入第 2 轮后，阿谀项引入系统偏差。当且仅当满足临界失衡条件 $|c + \lambda - 1|\alpha_1 > c\alpha_2$ 时，最近邻投影将以 $1/2$ 的先验概率错误翻转潜在位 $b_2$，并在错误发生时产生高达 $4\alpha_2^2$ 的超额平方损失代价。

3. 后验对话校准算法：利用严格真评分规则实现轮次级交叉校准 为了消除上述失真，论文提出后验对话校准算法。对话校准（Conversation Calibration）要求每一轮预测 $p_k$ 不仅在边际上满足自校准，更要对上一轮发言者的预测 $p_{k-1}$ 保持交叉校准（Cross-Calibration），即满足 $\Pr(a^* = a \mid \hat{p}_k, \hat{p}_{k-1}) = \hat{p}_k(a)$。作者证明，只要在已知输入元组 $Z = (\tilde{p}_k, \hat{p}_{k-1})$ 下采用严格真评分规则（Strictly Proper Scoring Rule，如交叉熵损失或 Brier 平方损失）训练后验映射 $g_k$，其总体最优解必收敛为真实条件标签分布： $$g_k \in \arg\min_{g \in \mathcal{G}_k} \sum_{i=1}^n \ell\left(g(\tilde{p}_{k,i}, \hat{p}_{k-1,i}), a_i^*\right) \implies h^*(Z) = \Pr(a^* = 1 \mid \tilde{p}_k, \hat{p}_{k-1}) = p_k$$ 该映射利用单隐藏层感知机在标注轨迹上离线拟合，使得智能体在每一轮次通信中先由基模型产生原始预测，经由 $g_k$ 重校准后再行传递给下一位智能体，彻底消除前序历史引入的漂移。

损失函数 / 训练策略¶

在受控 Transformer 实验中，模型基于 4 层 NanoGPT 结构按字符级自回归训练，针对下一步动作使用标准交叉熵损失 $\mathcal{L}_{CE} = - \sum \log p(a^*)$ 进行优化，使用 AdamW（学习率 $10^{-4}$ 配合余弦退火）。在后验校准阶段，校准器 $g_k$ 采用一层的单隐藏层 MLP，直接以当轮原始概率向量及上一轮校准后概率向量为输入，利用交叉熵损失监督拟合标注样本的真实动作分布。

实验关键数据¶

主实验¶

论文在多智能体协作迷宫求解（$6 \times 6$ 网格，30% 障碍密度，双方各持有互补的 50% 掩码视图，必须协作推理唯一通向终点的完整路径）上对训练的小型 Transformer 以及包含 GPT-4.1-mini、GPT-5、GPT-5.4-nano、GPT-5.4-mini 在内的黑盒预训练 LLM 进行了 4 轮通信评测。主实验对比了动作通信（Action）、原始语言口头陈述概率（Verbalized Prob）、多采样经验分布（Sampled Prob, $M=10$）以及经后验对话校准后的概率通信（Calibrated Prob）。

智能体模型 / 架构	通信协议配置	迷宫求解成功率 (Round 4)	对话校准损失 ConvCal (Round 4)	相比动作通信提升
Trained Transformer (Controlled)	动作通信 (Action-only)	~14.2%	-	基线 (停滞)
Trained Transformer (Controlled)	概率通信 (Unbiased Prob)	52.8%	-	+38.6% (单调上升)
GPT-4.1-mini	动作通信 (Action-only)	12.5%	-	基线
GPT-4.1-mini	口头陈述概率 (Verbalized)	14.1%	0.285	+1.6%
GPT-4.1-mini	采样经验概率 (Sampled, M=10)	26.3%	0.210	+13.8%
GPT-4.1-mini	后验对话校准 (Calibrated Prob)	28.5%	0.174	+16.0%
GPT-5.4-nano	动作通信 (Action-only)	8.3%	-	基线
GPT-5.4-nano	口头陈述概率 (Verbalized)	7.9%	0.312	-0.4% (退化)
GPT-5.4-nano	采样经验概率 (Sampled, M=10)	8.1%	0.320	-0.2%
GPT-5.4-nano	后验对话校准 (Calibrated Prob)	21.7%	0.188	+13.4%
GPT-5	动作通信 (Action-only)	16.7%	-	基线
GPT-5	口头陈述概率 (Verbalized)	15.8%	0.264	-0.9%
GPT-5	后验对话校准 (Calibrated Prob)	36.4%	0.142	+19.7% (翻倍以上)

消融实验¶

在受控 Transformer 实验中，作者系统消融了注入不同人工偏差（全局置信度缩放 $c$ 与阿谀锚定 $\lambda$）以及应用不同校准策略（无校准、自校准 Self-Cal、对话校准 Conv-Cal）后的成功率变化。

偏差注入配置	校准干预策略	4轮通信迷宫成功率	说明
无人工偏差 (Ideal Base)	无干预 (Raw Prob)	52.8%	理论上限，跨轮次单调显著提升
全局失准 ($c \ne 1, \lambda = 0$)	无干预 (Uncalibrated)	21.4%	置信度缩放严重破坏了下游概率更新
全局失准 ($c \ne 1, \lambda = 0$)	自校准 (Self-Cal)	41.5%	纠正自身置信度比例，恢复大部分丢失性能
全局失准 + 阿谀锚定 ($c \ne 1, \lambda > 0$)	无干预 (Uncalibrated)	11.2%	双方陷入盲目迎合，多轮通信使性能严重崩溃
全局失准 + 阿谀锚定 ($c \ne 1, \lambda > 0$)	自校准 (Self-Cal)	24.8%	无法消除跨轮历史依赖，误差随轮次持续放大
全局失准 + 阿谀锚定 ($c \ne 1, \lambda > 0$)	对话校准 (Conv-Cal)	49.6%	引入 $p_{k-1}$ 联合建模，几乎完全恢复至无偏差基线

关键发现¶

语言模型口头陈述的概率往往无法忠实反映内在真实不确定性，导致原始 Verbalized 概率在 GPT-5.4-nano 与 GPT-5 等顶尖模型中表现与动作通信持平甚至更差。
经过后验对话校准后，所有被测 LLM 的迷宫成功率均获得成倍提升（GPT-5 从 15.8% 跃升至 36.4%），且校准损失 ConvCal 显著下降，证实多智能体间通信的本质在于提供下游可依赖的统计更新对象。
采样概率并不总是优于口头概率：在经过 RLHF 强对齐的紧凑模型（如 GPT-5.4-nano）中，重复采样会导致极度过度自信并损失多样性；而后验校准仅需单次前向推理即能达到或超越 10 次采样的效果，计算开销降低一个数量级。
盲目传输包含思维链的完整自然语言回答（Full response）在多智能体通信中求解成功率近乎归零，表明无约束的冗长信息不仅引入大量噪声，更会导致智能体难以从中抽取决策不确定性。

亮点与洞察¶

严格揭示了通信内容从“动作”到“校准概率”的本质代数跃迁：证明了动作通信会过早坍塌解空间导致推理停滞，而概率通信则构成了信息累积的充分标量摘要。
揭示了后验对话校准在多智能体协作中的双重杠杆效应：既纠正了个体的全局置信度失调，又通过条件化上一轮报文强力抵消了多智能体讨论中典型的“阿谀奉承”假共识。
否定了“通信越多越好”的泛语言直觉：在严格的部分可观测决策场景下，轻量但统计校准的概率矢量通信效果远远碾压高带宽、含复杂 CoT 的自由自然语言交流。

局限与展望¶

实验环境主要集中于合成链式奇偶校验与 $6 \times 6$ 离散空间迷宫任务，动作空间仅有 4 个离散方向，向大动作空间或连续具身控制的扩展机制尚不完备。
通信协议限制在 Alice 与 Bob 的双智能体交替轮次，尚未探索包含 3 个以上智能体的复杂拓扑网络结构与异步通信场景。
后验校准器目前依赖于部分标注数据的离线拟合，未来有望探索智能体在无监督交互流中自适应在线校准置信度的交互式更新机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从校准不确定性视角系统建立多智能体通信协议的分离理论与实证框架。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖合成理论模型、端到端 Transformer 训练、消融偏好分析以及 4 种主流前沿 LLM。
写作质量: ⭐⭐⭐⭐⭐ 理论推导严丝合缝，动机到算法链路清晰，实验图表针对性极强。
价值: ⭐⭐⭐⭐⭐ 为突破多智能体系统协作瓶颈提供了超越单纯提示词工程的坚实理论工具与实操方案。