Group Perspective Matters: Regulating Debate Relationships Can Mitigate Blind Conformity in Multi-Agent Debate¶

会议: NeurIPS 2026
arXiv: 2608.03648
代码: https://github.com/W-Hao/DEAR
领域: LLM Agent
关键词: 多智能体辩论, 盲目从众, 辩论关系调控, 主观逻辑, 多智能体强化学习

一句话总结¶

针对多智能体辩论中因多数派偏见导致的盲目从众问题，提出从群体视角动态调控辩论关系的 DEAR 框架，通过主观逻辑解耦群体共识与分歧证据，结合顺序协同的异质双 RL 智能体动态裁剪参考同伴并自适应调整生成行为，在显著降低 Token 消耗的同时大幅提升复杂推理准确率。

研究背景与动机¶

多智能体辩论（Multi-Agent Debate, MAD）通过组织多个大语言模型（LLM）展开多轮交互与观点碰撞，已成为提升模型复杂推理能力并缓解事实幻觉的重要范式。然而，现有辩论系统普遍面临严重的“盲目从众”（Blind Conformity）困境——处于少数派地位的智能体往往在几轮辩论后放弃自身独立的正确推理，转而盲目妥协并倒向错误的多数派意见，导致错误推论在全连通拓扑中快速放大传播。

现有工作多尝试从个体评估视角解决该问题，例如引入置信度（Confidence）过滤或基于困惑度（Perplexity）的记忆掩码来阻断低质量信息的扩散。然而，这些个体评估指标存在根本性缺陷：一方面，LLM 普遍具有严重的“过度自信”（Overconfidence），即使经过校准也频频对错误答案输出极高置信度；另一方面，困惑度衡量的是语言流利度而非逻辑推理正确性，模型完全能够以极低的困惑度生成一本正经的错误推导。更关键的是，缺乏真值监督时在推理阶段静态评估单体正确性在本质上不可行，硬性阈值甚至会进一步放大虚假权威，加速群体从众的发生。

盲目从众本质上并不是孤立的个体推理错误，而是在群体互动过程中由多数派压迫涌现出的集体行为。既然病灶出在群体交互上，辩论的核心介质便是智能体之间相互参考形成的“辩论关系”（Debate Relationships）。核心 idea：跳出单体可靠性评估的误区，从群体视角建立动态辩论关系调控机制（DEAR），将群体共识与分歧量化为主观逻辑证据，通过端到端异质多智能体强化学习（HAPPO）顺序决定“参考谁”（Who）与“如何调整生成行为”（How），从而保护少数派独立推理并破除盲目从众。

方法详解¶

整体框架¶

DEAR 的整体执行流程严格遵循认知闭环，在不微调 LLM 自身内部参数的前提下，将群体交互转化为部分可观测马尔可夫决策过程（POMDP）。系统在每轮辩论后首先抽取跨模型的群体证据，随后依次执行“认知解耦（What）- 同伴选择（Who）- 行为调控（How）”三大阶段：首先利用主观逻辑（Subjective Logic）将结论与推理过程的相似度解耦为协商倾向与群体不确定度；接着由选择智能体（Selection RL-Agent）输出离散交互掩码以动态剪枝有害连接；最后由行为智能体（Behavior RL-Agent）在 Dempster-Shafer 证据理论融合的基础上动态调整采样温度和 Nucleus Sampling 阈值，二者通过 HAPPO 算法联合优化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入问题与辩论上下文"] --> B["阶段1：群体证据抽取与主观逻辑解耦<br/>结论与推理相似度 → 协商倾向与不确定度"]
    B --> C["阶段2：自适应同伴选择<br/>Selection RL-Agent 输出离散拓扑掩码"]
    C --> D["阶段3：证据理论融合与生成行为自适应<br/>DST 证据融合 → Behavior RL-Agent 调整 T / Top-p"]
    D -->|更新上下文与采样参数| E["下一轮多智能体生成与交互"]
    E -->|达到终止轮次 T| F["输出群体共识答案"]

关键设计¶

1. 群体证据抽取与主观逻辑解耦：将群体共识与分歧客观量化为认知倾向 为摆脱对单模型输出置信度或困惑度的依赖，DEAR 完全基于智能体间的客观语义对齐程度刻画群体状态。针对标准答案标识语义稀疏的问题，系统促使每个 LLM 显式总结其结论与推理链，并借助预训练文本编码器（BGE-M3）分别映射至语义向量。结论相似度 $e_{ij}^{(con)}$ 与推理相似度 $e_{ij}^{(rea)}$ 均采用缩放余弦相似度计算并取算术平均，得到无视任务先验的任务通用证据分值 $e_{ij} \in [0, 1]$： $$e_{ij} = \frac{1}{2} \left( e_{ij}^{(con)} + e_{ij}^{(rea)} \right) = \frac{1}{4} \left( 2 + \frac{h_i^\top h_j}{\|h_i\|_2 \|h_j\|_2} + \frac{c_i^\top c_j}{\|c_i\|_2 \|c_j\|_2} \right)$$ 然而，客观相似度无法体现面临分歧时的群体不确定度，而这种不确定度恰恰是模型是否会盲从多数派的预警信号。因此，DEAR 引入主观逻辑（Subjective Logic），将智能体 $i$ 对同伴 $j$ 的累积证据 $E_i = \sum_{j \in \mathcal{V}} e_{ij}$ 映射为信念质量（即协商倾向）$b_{ij}$ 与整体不确定度 $u_i$。引入基准权重为智能体总数 $V$（代表先验全不确定状态），定义整体证据强度 $S_i = E_i + V$，则协商倾向与不确定度计算为： $$b_{ij} = \frac{e_{ij}}{S_i}, \quad u_i = \frac{V}{S_i}, \quad \text{满足 } u_i + \sum_{j \in \mathcal{V}} b_{ij} = 1$$ 这一公式优雅地建立了自洽的零和认知约束：当智能体之间分歧极大、证据不足时，$u_i$ 趋近于 1，提示系统当前处于摇摆脆弱期；反之，当形成扎实共识时，信念质量主导分布。

2. 自适应同伴选择：基于离散伯努利策略动态剪枝有害多数派拓扑 传统全连通辩论拓扑极易使少数正确观点被铺天盖地的错误多数派淹没。为此，DEAR 引入选择智能体（Selection RL-Agent），其策略网络 $\rho_\phi$ 接收由各智能体协商倾向 $b_i$、不确定度 $u_i$ 及唯一身份编码 $\text{ID}_i$ 拼接而成的群体观测向量 $o^\rho \in \mathbb{R}^{V(2V+1)}$，并将其映射为成对参考偏好矩阵 $\mathcal{P} = [p_{i \leftarrow j}]_{i \neq j}$。决策动作被建模为独立的伯努利随机变量，决定了智能体 $i$ 在下一轮是否参考同伴 $j$ 的历史回答： $$\boldsymbol{ids} \sim \rho(\boldsymbol{ids} \mid o^\rho) = \prod_{i=1}^V \prod_{j=1, j \neq i}^V (p_{i \leftarrow j})^{ids_{i \leftarrow j}} (1 - p_{i \leftarrow j})^{1 - ids_{i \leftarrow j}}$$ 采样的二值掩码 $ids_{i \leftarrow j} \in \{0, 1\}$ 直接作用于后续上下文构建，在保持良性逻辑互补的同时，主动物理切断来自错误多数派的盲目从众压力，为正确的少数派构建受保护的思考空间。

3. 证据理论融合与生成行为自适应：平衡意见收敛与发散探索 确定参考子集 $\mathcal{X}_i = \{j \in \mathcal{V} \mid j \neq i, ids_{i \leftarrow j} = 1\}$ 后，如果仅采用朴素的均值池化，将抹平共识与分歧的细粒度结构。DEAR 采用 Dempster-Shafer 证据理论（DST）正交组合规则，将智能体自身信念集 $\mathcal{M}_i = (\{b_{ik}\}, u_i)$ 与选定同伴信念正交融合： $$b_k = \frac{1}{1 - C} \left( b_{1k} b_{2k} + b_{1k} u_2 + b_{2k} u_1 \right), \quad u = \frac{1}{1 - C} u_1 u_2$$ 其中冲突系数 $C = \sum_{p \neq q} b_{1p} b_{2q}$ 显式量化了观点冲突程度。融合后的信念与不确定度通过逆向映射还原为综合证据 $\hat{E}_i = \hat{b}_i \cdot (V / \hat{u}_i)$，并输入行为智能体（Behavior RL-Agent）策略网络 $\pi_\theta$。网络从对角高斯分布中采样潜变量，再经 Sigmoid 映射缩放至物理执行空间： $$T_i = T_{min} + (T_{max} - T_{min}) \cdot \sigma(z_{i,T}), \quad Top\_p_i = P_{min} + (P_{max} - P_{min}) \cdot \sigma(z_{i,P})$$ 该设计使模型行为具备高度自适应性：当冲突高、不确定度大时，自动提升采样随机度以鼓励跳出思维定势进行发散探索；当意见高度一致时，降低温度加速向高置信逻辑收敛。

4. 顺序协同的异质多智能体强化学习优化机制 由于选择智能体（离散动作）与行为智能体（连续动作）具有严格的因果依赖关系——行为调节必须以选定的拓扑为前置条件，且二者动作空间异质，传统的独立 PPO（IPPO）无法保障联合收敛。DEAR 采用异质多智能体近端策略优化（HAPPO），令两类智能体共享由全局 Critic $V_\psi(s)$ 提供的终端环境奖励 $R_{debate}$。在每次迭代中，选择智能体先更新，其策略重要性采样比率 $r_\phi^{\rho,t} = \frac{\rho_\phi(\boldsymbol{ids}^t \mid o^\rho)}{\rho_{\phi_{old}}(\boldsymbol{ids}^t \mid o^\rho)}$ 被直接注入行为智能体的顺序替代优势函数中： $$M^{\pi,t} = r_\phi^{\rho,t} \hat{A}^t, \quad \hat{A}^t = \sum_{l=0}^{T-t} (\gamma \lambda)^l \delta^{t+l}$$ 行为智能体随后基于修正后的优势函数进行策略截断更新。这一机制严格在数学层面校正了上游拓扑分布漂移对下游行为策略的影响，保证了双智能体协同调控辩论关系的单调提升。

一个完整示例¶

以 GSM-Hard 中一道存在误导性干扰项的算术题为例（设定 3 个智能体 $V_1, V_2, V_3$，初始轮次中 $V_1, V_2$ 受迷惑得出错误答案 42，而 $V_3$ 独立推导出正确答案 56）： 1. 证据抽取与解耦：第一轮结束后，计算语义相似度矩阵。$V_1$ 与 $V_2$ 答案一致且推理步骤相似，测得 $e_{12}=0.92$；而正确但处于少数派的 $V_3$ 与其他两者分歧极大，$e_{13}=0.21, e_{23}=0.18$。经主观逻辑解耦，$V_3$ 的不确定度显著偏高（$u_3 \approx 0.88$），处于极易被同化的危险状态。 2. 拓扑剪枝（Who）：选择智能体感知到高不确定度与少数派冲突结构，输出动作二值掩码：阻断 $V_3$ 对 $V_1$ 和 $V_2$ 的单向连接（$ids_{3 \leftarrow 1}=0, ids_{3 \leftarrow 2}=0$），同时开启多数派对少数派观点的反思通道（$ids_{1 \leftarrow 3}=1$）。 3. 行为调节（How）：对接收到冲突观点的 $V_1$，DST 模块检测到显著冲突度 $C$，驱动行为智能体将 $V_1$ 的温度从基准 0.7 调高至 0.95，$Top\_p$ 设为 0.9，促使其重新审视并探索其他可能；而受保护的 $V_3$ 则将温度降低至 0.2，固定正确逻辑。 4. 结果收敛：第二轮中，$V_1$ 受启发修正了此前计算漏洞转向 56，群体最终以 2:1 扭转局势达成正确共识，成功规避了多数派带偏全场的悲剧。

实验关键数据¶

主实验¶

在 Qwen3-8B（开源）与先进闭源模型（Claude-4.5-Sonnet / Gemini-3.1-Flash-Lite）上，针对四项数学推理（GSM8K、AIME24、GSM-Hard、MATH-500）与四项问答基准（ARC-C、MMLU-Pro Health、TruthfulQA、GPQA Diamond）进行了严格评估。

表 1 展示了在开源骨干模型 Qwen3-8B 上的全基准评测表现（Acc. 表示准确率 %，T. 表示每道题平均消耗 Token 千数 K）：

架构 / 方法	数学 ID (GSM8K)	数学 OOD (AIME24)	数学 OOD (GSM-Hard)	数学 OOD (MATH-500)	数学均分 (Avg)	问答均分 (Avg QA)	综合 Token 消耗
Single CoT	91.5 / 0.4K	30.0 / 4.1K	57.0 / 0.4K	70.8 / 1.2K	62.3 / 1.5K	61.7 / 0.8K	极低（基线）
Single CoT-SC (16路)	93.5 / 5.4K	36.7 / 64.2K	60.3 / 8.4K	75.8 / 16.9K	66.6 / 23.7K	66.9 / 11.9K	极高（计算冗余）
MAD (全连通)	93.5 / 11.1K	30.0 / 75.7K	61.5 / 16.3K	76.3 / 30.8K	65.3 / 33.5K	65.5 / 24.3K	很高
DMAD (多样化辩论)	91.5 / 17.5K	33.3 / 98.2K	61.8 / 23.4K	78.8 / 41.0K	66.4 / 45.0K	66.4 / 38.4K	极高
CortexDebate (置信度)	94.0 / 15.9K	30.0 / 100K	60.5 / 21.3K	69.3 / 35.6K	63.5 / 43.2K	67.2 / 26.5K	高
MAD-M²(O) (困惑度)	92.0 / 8.7K	30.0 / 47.9K	61.5 / 10.0K	77.0 / 20.8K	65.1 / 21.9K	67.7 / 14.0K	中等
DEAR (本文方法)	94.0 / 7.6K	36.7 / 21.2K	73.5 / 6.2K	85.0 / 8.4K	72.3 / 10.9K	73.7 / 7.6K	显著降低 (-67% vs MAD)

在顶尖闭源模型 Claude-4.5-Sonnet 上，面对极高难度的竞赛级题库，DEAR 同样展现出强悍的跨模型通用性（表 2 节选）： - AIME24 (数学竞赛)：MAD 为 60.0% (40.7K Token)，CortexDebate 为 53.3% (57.6K Token)，而 DEAR 达到 76.7% (26.6K Token)，准确率提升 16.7 个百分点且 Token 开销降低近 35%。 - GPQA Diamond (博士级物理化生问答)：MAD 为 35.0% (29.1K Token)，DEAR 达到 40.0% (23.2K Token)。 - IMOAnswerBench (国际奥数)：MAD 仅 23.0%，DEAR 达到 35.0%。

消融实验¶

为定量拆解从众抑制机制，作者特别定义了“有益修正率”（Beneficial Correction Rate, BCR，即错误少数派被正确多数派挽救的比例）与“有害从众率”（Harmful Conformity Rate, HCR，即正确少数派被错误多数派带偏的比例）。表 5 显示了各方法在盲目从众抑制上的关键行为学指标：

方法	MATH-500 HCR ↓ (越低越好)	MATH-500 BCR ↑ (越高越好)	TruthfulQA HCR ↓ (越低越好)	TruthfulQA BCR ↑ (越高越好)	说明
MAD	51.4%	73.9%	41.7%	79.3%	全连通容易盲从错误多数
DMAD	70.8%	66.4%	26.7%	45.5%	多样性未能阻断有害同化
CortexDebate	23.3%	59.6%	20.8%	68.3%	置信度失真导致保护不足
MAD-M²(O)	70.9%	69.7%	31.0%	78.9%	困惑度掩码波动大
DEAR (完整模型)	18.3%	82.5%	18.3%	86.7%	有害从众率骤降超 33%，有益修正率保持最高

模块级消融（Figure 4）结果进一步确认： 1. 移除选择智能体（w/o Selec. Policy）：导致性能断崖式下跌（在 GSM-Hard 上准确率从 73.5% 暴跌至 62% 左右），证明动态裁决“参考谁”是遏制盲目从众的核心生命线。 2. 移除行为智能体或降级为朴素均值（w/o Behav. Policy (Mean)）：使模型丧失在分歧时发散探索的能力，性能在所有数据集上下降 3-6 个百分点，验证了 DST 区分冲突并引导生成参数的关键价值。

关键发现¶

有害从众率显著降低而有益纠错率提升：DEAR 并没有走向“顽固不化、拒绝任何同伴意见”的极端；相反，它在将错误少数纠正为正确共识（BCR 达 82.5%~94.5%）的同时，将正确少数被带偏的概率（HCR）压缩至 12.5%~18.3%，达成了非对称的防御保护。
Token 效率与准确率的双赢契机：以往多智能体工作常认为“高准确率必须依赖巨额上下文交互与冗余采样（如 CoT-SC 16路、DMAD 多轮扩散）”。DEAR 通过自适应同伴拓扑剪枝，仅保留高质量交换通路，使平均 Token 消耗在 Qwen3-8B 上相比传统 MAD 降低了 67.5%，在闭源 API 场景下带来巨大的推理成本优势。
跨域零样本迁移性能稳健：虽然强化学习在特定领域训练（如 GSM8K 或 ARC-C），但由于输入状态构建于与具体语言语义解耦的向量余弦相似度之上，在未见过的复杂专业领域（如从基础四则运算直接零样本 Transfer 到竞赛奥数 IMO 或临床医学 MedXpertQA）依然展现出压倒性领先。

亮点与洞察¶

从个体信用评估向群体关系拓扑的范式转移：敏锐地指出现有方法试图通过置信度或困惑度给单个无监督回答“打分”是徒劳且危险的。将研究重心转移至交互拓扑与观点冲突度，抓住了群体盲从的社会学本质。
主观逻辑与证据理论的精妙桥接：利用主观逻辑（SL）将连续的向量相似度投射为带不确定度的信念分布，再利用 Dempster-Shafer 规则处理同伴证据冲突，为原本黑盒且不可靠的 LLM 生成参数（Temperature / Top-p）调节提供了严谨的数学支点。
HAPPO 解决异质决策链的联合强化学习：将离散拓扑图选择与连续超参数调节拆解为顺序决策过程，并通过重要性采样比率跨智能体传递优势函数，解决了传统 MARL 算法在复合动作空间下难以协同收敛的技术痛点。

局限与展望¶

计算瓶颈依赖于文本编码器的质量与对齐：群体证据的抽取高度依赖预训练 Embedding 模型（BGE-M3）对推理步骤的语义捕捉能力。在涉及极端形式化证明或符号代码等高度抽象场景下，余弦相似度可能无法精准反映细微的推理分歧。
目前局限于判别式与确定性答案任务：现有验证主要集中于数学推理与选择型问答，对于开放式长文本创作、跨轮多回合代码重构等没有单一真值或发散自由度极高的生成场景，环境奖励 $R_{debate}$ 的设计与共识判定仍需进一步探索。
未来方向：作者指出后续计划将 DEAR 拓展至多模态交互（结合视觉反思与图表推演）以及开放式规划（Open-ended Planning）和分布式协作编程等更为复杂的 Agent 协作系统中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [跳出传统单体可靠性评估死胡同，首次从群体视角将主观逻辑证据与辩论拓扑/行为双 RL 调控结合，思路新颖且理论自洽。]
实验充分度: ⭐⭐⭐⭐⭐ [跨越开源 Qwen3 与闭源 Claude-4.5 / Gemini 等多个基座，覆盖 8 大数学与问答基准，专门定义 HCR/BCR 指标深入剖析从众机理。]
写作质量: ⭐⭐⭐⭐⭐ [形式化表述严谨，POMDP 建模清晰，逻辑论证层层递进，消融与分析透彻。]
价值: ⭐⭐⭐⭐⭐ [兼具学术理论高度与极高工程实用性，大幅提升推理上限的同时立省 60%+ Token，对多智能体落地具有直接参考价值。]