Measuring Collapse and Correction in Homogeneous-Panel LLM Debate¶

会议: NeurIPS 2026
arXiv: 2609.35279
论文: https://lixin.ai/DebateLedger
领域: 其他
关键词: 多智能体辩论, 辩论崩塌, 翻转率, 转移账本, 带符号重放

一句话总结¶

针对多智能体辩论终局准确率掩盖正反向动态转移的问题，提出包含前置探针分流、四格转移账本、发病轮次定位与带符号干预重放的审计协议，揭示防崩塌冻结策略因抹杀更多有益修正而在等权下净亏损的根本权衡。

研究背景与动机¶

多智能体大语言模型（LLM）辩论常被视作提升推理与事实性的自治修复机制，通过智能体间相互质疑、暴露逻辑漏洞来纠正初始错误。然而，多轮辩论中智能体的观点迁移具有双向性：既能通过讨论将初始占少数的错误意见纠正为正确共识，也可能在没有任何外部对抗扰动或虚假工具输入的情况下，由于从众、谄媚或信息级联效应，将初始原本正确的多数意见彻底瓦解为错误共识。传统以终局准确率为单一指标的评估范式将这两种截然相反的动态机制混为一谈，无法量化讨论过程究竟拯救了多少错误，又摧毁了多少正确。

这种掩盖效应导致严重的反直觉现象：例如 Sonnet 4.5 与 Llama-3.1-8B 在辩论中的表面答案翻转率几乎完全相同（0.705 对 0.726），但后者的条件性崩塌率却是前者的近四倍（8.46% 对 2.15%）。若仅凭翻转总量或最终正确率设计控制策略，极易误判模型特性。更关键的是，如果在发现崩塌风险后盲目采取保守干预（如检测到分歧即冻结辩论），虽然能够截断恶性级联，但也会同步抹杀辩论原本带来的修正收益。因此，迫切需要建立一套能够清晰追踪观点迁移方向、发生时机并权衡干预利弊的严谨审计体系。

核心 idea：将多智能体辩论解构为由初始多数与最终多数正误构成的四格转移账本（保留、崩塌、修正、未修复），结合 8-probe 行为翻转率分流与发病轮次定位，通过权衡防止崩塌与损失修正的带符号重放效用全面评估辩论脚手架与干预策略。

方法详解¶

整体框架¶

本文构建了一套用于同构三智能体单项选择题（MCQ）辩论的完整审计协议。该协议不依赖不可靠的 LLM-as-a-judge 或人工主观打分，全部采用确定性规则提取解析答案，并在四个解耦的层级展开：选择层通过前置 8-probe 探针测试预估模型家族级崩塌风险，用于低成本分流并确定是否值得采集昂贵的辩论轨迹；记账层建立 $2 \times 2$ 转移账本，严格区分崩塌与修正；定位层追踪多数意见首次由对变错的发病轮次（onset round）与首轮轨迹特征；重放层则在测试集上以带符号效用严格评估各类冻结门控策略的实际得失。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["单模型 MCQ 题目输入"] --> B["前置行为探针分流<br/>4 强度 × 2 社交 8-probe 测定 α_tot"]
    B --> C["同构三智能体三轮标准辩论<br/>独立作答 Round 0 → 交互讨论 Round 1-3"]
    C --> D["四格转移账本记账<br/>保留 / 崩塌 / 修正 / 未修复"]
    D --> E["时序发病定位与轨迹诊断<br/>首轮发病率与 OOF AUC 特征分析"]
    E --> F["带符号重放效用评估<br/>计算防止崩塌与损失修正的净收益"]

关键设计¶

1. 预辩论行为探针与分流测度：以轻量交互预估家族级崩塌风险
针对多智能体全量辩论 trace 采集与推理成本过高的问题，设计了紧凑的预辩论 8-probe 行为测试矩阵。对每个模型与题目，在两档社交压力（单人反论 vs. 声称其他两位专家一致选择干扰项）和四档论点强度（弱、中、强、极强）构成的 $4 \times 2$ 因子设计下测试智能体改变答案的概率，计算全样本总翻转率 $\alpha_{\text{tot}}$ 以及社交-论点敏感度比值 S/A： $$S/A = \frac{s_{\text{soc}}}{|s_{\text{soc}}| + |s_{\text{arg}}| + \varepsilon}, \quad \text{其中 } s_{\text{soc}} = \bar{r}_{\text{social}} - \bar{r}_{\text{solo}}$$ 同时根据基线答案正误将翻转细分为对抗性流向 $\alpha_{\text{adv}}$ 与修正性流向 $\alpha_{\text{cor}}$。该测度在不运行多智能体交互的前提下，提供了家族级先验风险分流信号，指导算力向高风险模型分配。

2. 四格转移账本与确定性规则判定：彻底分离崩塌与修正
针对传统指标混淆观点漂移正负效益的缺陷，将每个辩论运行映射至由初始多数与最终多数决定的四格空间： - 保留（Preserved）：初始正确且最终正确； - 崩塌（Collapse）：初始多数正确但最终多数错误（条件崩塌率 $C^{\text{cond}} = \Pr(\text{final wrong} \mid \text{initial correct})$）； - 修正（Correction）：初始多数错误但最终多数正确（条件修正率 $K = \Pr(\text{final correct} \mid \text{initial wrong})$）； - 未修复（Unrepaired）：初始多数错误且最终仍错误。答案解析严格按照预设正则优先级提取（Final Answer: X $\rightarrow$ 选项关键词 $\rightarrow$ 末尾孤立字母），弃用随机性平局裁决，统一采用确定性字典序规则，确保完全脱离 LLM-judge 偏差且支持零 API 成本离线复现。

3. 发病轮次时序追踪与带符号干预重放：揭示保守控制的负效用
针对“早期分歧是否意味着应立即终止讨论”的核心疑问，记录多数意见首次发生正确到错误翻转的轮次分布（onset round）。分析发现接近六成崩塌集中爆发于第一轮交互（Round 1），但该轮次的意见分歧同样是后续成功修正的关键前兆。为此，提出带符号重放效用测度评估门控函数 $g$： $$U_w(g) = w_{\text{coll}} \cdot \text{prevented\_collapses}(g) - w_{\text{corr}} \cdot \text{lost\_corrections}(g)$$ 通过在保存的辩论记录上回放干预决策（当门控触发时强制回退并采用初始多数答案），计算盈亏平衡权重比值 $r^\star = w_{\text{coll}} / w_{\text{corr}}$。实验证明在等权假设下，探针门控冻结与 Round 1 分歧冻结均因抹杀了远多于崩塌的有效修正而导致整体准确率净下跌。

损失函数 / 训练策略¶

本文研究属于推理阶段的多智能体交互评估与治理机制，模型本身无需进行参数微调或梯度反向传播。但在推理执行与门控策略整定中包含以下关键配置与参数协议： - 解码温度配置：三智能体独立作答及辩论讨论阶段分别设定为固定的异构温度组 $(0.5, 0.7, 1.0)$，以兼顾确定性与观点多样性；探针反驳后的最终作答在支持的模型上采用贪婪解码（$T = 0$）； - 留一模型交叉验证（LOMO）：门控分类器超参数、决策阈值 $\tau$ 及冻结模式仅在训练折模型上拟合，并在严格隔离的测试模型上完全冻结评估，严禁测试集标签泄露； - 平局处理约束：在主试验中采用确定性字典序破平局，在后续鲁棒性消融中则扩展为未决状态（undecided）赋予期望得分 $1/k$（$k$ 为平局选项数），消除平局规则偏置。

实验关键数据¶

主实验¶

在 MMLU-Pro 基准上针对 14 个模型（覆盖 7 大模型家族）、共计 6,925 场辩论展开系统评估。探针 $\alpha_{\text{tot}}$ 展现出对家族级条件崩塌风险的高度排序相关性，同时各家族表现出极具差异的崩塌倾向。

模型家族 / 代表模型	初始多数准确率 (%)	辩论终局准确率 (%)	探针翻转率 $\alpha_{\text{tot}}$	条件崩塌率 $C^{\text{cond}}$ (%)	修正数 / 初始错误数
DeepSeek-v4-flash	71.0	73.5	0.113	0.00	9 / 58
Google (Gemini-3-flash)	85.0	85.5	0.288	0.29	3 / 30
OpenAI (GPT-4o-mini / 5.4-mini)	70.0	71.5	0.346	1.52	18 / 120
Anthropic (Sonnet 4.5)	77.5	78.5	0.450	2.15	4 / 27
Phi (Phi-4-mini)	50.6	53.5	0.469	10.24	174 / 1067
Meta (Llama-3.1-8B)	50.7	51.3	0.774	8.46	98 / 987
Qwen (6个变体均值)	48.2	52.1	0.699	19.75	461 / 1120

注：家族级 $\alpha_{\text{tot}}$ 与条件崩塌率 $C^{\text{cond}}$ 的 Spearman 秩相关系数达到 $\rho = +0.893$（精确检验 $p = 0.0123$）。但初始准确率与崩塌的秩相关亦高达 $\rho = -0.821$，控制能力基线后的偏相关为 $\rho = 0.767$（$p = 0.0877$），表明探针主要作为分流而非独立因果预报器。

消融实验¶

评估三种常见冻结干预策略在保持相同分母下的带符号重放收益，以及发病轮次时序分布。

干预策略	评估队列规模	验证模式	防止崩塌数 (Prev)	损失修正数 (Lost)	净收益 (Net)	准确率变化 ($\Delta \text{acc}$)	盈亏比门槛 $r^\star$
探针门控冻结 (Probe-gated Freeze)	6,525 场辩论	留一模型 LOMO	29	108	-79	-1.21 pp	3.72
Round 1 多数变更冻结规则	1,255 场轨迹	固定重放	56	69	-13	-1.04 pp	1.23
学得 Round 1 决策桩 (Stump)	1,255 场轨迹	严格 LOMO	2	31	-29	-2.31 pp	15.50
初始分歧门控 (DisagreementGate)	1,255 场轨迹	相同轨迹重放	63	104	-41	-3.27 pp	1.65

在崩塌时序发病（Onset Round）分布中，全样本 253 起崩塌在 Round 1、Round 2、Round 3 的爆发占比分别为 58.9% (149 起)、18.6% (47 起) 和 22.5% (57 起)；加入 Round 1 轨迹特征使样本外崩塌预测 AUC 从 0.669 跃升至 0.768。

关键发现¶

保守冻结策略在等权下普遍有害：所有被测的预防性冻结策略（基于探针得分、首轮多数变更或初始一致性）在等权（$w_{\text{coll}} = w_{\text{corr}} = 1$）假设下均出现净负收益（净亏损 13 至 79 题），必须在用户设定崩塌惩罚高于修正价值数倍（如探针门控需 $r > 3.72$）时才具备正向价值；
崩塌主要爆发于辩论首轮但具有长尾：近六成崩塌在第一轮交互后即已铸成，且首轮轨迹特征显著提升了崩塌识别能力（AUC 提升 0.099），但仍有超过 40% 的崩塌潜伏至第二、三轮才完成反转；
推理模型与私有自省并未消除崩塌：在后续针对 Qwen-Thinking 与 R1-Distill 等模型的延展实验中，带有显式思考链的模型在辩论中依然持续发生崩塌与修正；而单智能体私有自省（Private Revision）在所有 12 个设置下的准确率均低于同行辩论（差幅 -1.44 至 -4.81 pp），说明多智能体交互的信息交换价值显著优于闭门自我检查。

亮点与洞察¶

提出带符号转移记账思想：跳出以往只看前向准确率涨跌的单向评价，构建了崩塌与修正并行的净效用度量，纠正了多智能体研究中“防止崩塌等于提升系统安全性”的片面认知。
全链路确定性与零成本可复现：整个评估流程不依赖易发生漂移与不可控判断的 LLM-as-a-judge，使用纯规则解析器与确定性破平局算法，提供了完整的零 API 成本离线复现代码与数据 schema。
前置行为探针的分流应用价值：通过廉价的单机 8-probe 快速测试，在不执行多轮辩论的前提下即可预先筛查出对社交与对抗压力极度敏感的高危模型族群，为大规模系统部署提供了精准的算力分配依据。

局限与展望¶

同构与闭卷选择题设定局限：当前实证研究严格限定于同构模型（同系列、同尺寸）在闭卷选择题上的辩论，尚未涵盖异构模型辩论、开放式自由文本生成以及引入实时网页检索或工具调用的复杂场景；
探针信号与能力基线存在共线性：探针测定的翻转率与模型自身的初始答题能力高度反向相关，在控制能力基线后探针的独立预测增益有所收窄，不能简单视作完全独立于能力的物理本征参数；
未来方向：探索保留有益修正的同时精准抑制崩塌的细粒度置信度路由机制，将评估协议推广至异构人机辩论与代码生成等开放式智能体协作系统。

评分¶

新颖性: ⭐⭐⭐⭐ [首次系统化建立辩论崩塌与修正的带符号转移账本与干预重放评估范式]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 14 个模型、近 7,000 场完整辩论及数万次探针，提供完备统计鲁棒性检验]
写作质量: ⭐⭐⭐⭐⭐ [逻辑层层递进，概念定义极为严谨，对负面与反直觉结果毫不掩饰]
价值: ⭐⭐⭐⭐⭐ [对多智能体协作、可扩展监督与自治推理系统的安全性设计具有深远的指导意义]