Agreement Is Not Truth: Characterizing and Controlling Consistent-but-Wrong Reasoning in LLMs¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/mjdddol/agreement-is-not-truth
领域: LLM 推理
关键词: 自一致性, 一致但错误推理, 风险控制预测, 验证器校准, 测试期计算扩展
一句话总结¶
揭示大语言模型自一致性中“高一致性不等于正确性”的理论下界与跨任务结构,并提出结合验证器信号与 Learn-then-Test 有限样本校准的 RISC 框架,以低于全 API 多数投票近 9 倍的成本实现严格的推理风险控制。
研究背景与动机¶
在大语言模型(LLM)的复杂多步推理中,自一致性(Self-Consistency, SC)及其各种预算自适应变体已被广泛视作提升准确率的标准手段,测试期计算扩展更将其背后的采样共识直接等同于置信度或真实性。然而,这种将“模型在独立思维链中重复产生相同答案”直觉解读为“答案正确”的范式存在根本性的隐患。现实中,即便模型对其最终结果展现出极高的投票共识(例如超过 90% 的采样路径输出相同答案),该答案仍可能源自共同的系统性认知盲区、多跳检索中断或虚假的捷径推理。既有的自适应采样证书仅能保障模型输出的是渐近多数类,却完全无法保障该多数类是否真实;当模型高度自一致但整体陷入错误时,单纯依赖答案直方图的置信度将彻底失效。
这一失效背后的核心理论矛盾在于:纯粹基于输出答案经验分布的判定规则,在信息集上存在本质的不可辨识性——在理论极限下,一个多数类正确的问答实例与一个多数类错误的问答实例完全可能诱导出完全相同的答案分布 \(\mu\)。由于仅读取答案直方图的决策规则对二者打分完全相同,这就注定了在共享同类分布的实例子集内部,任何仅依赖自一致性共识的判定机制都无法突破错误多数类占比所构成的选择误差理论下界。实证上,多模型在跨任务评测中也展现出惊人的一致性失效,高一致但错误(Consistent-but-Wrong, CBW)的现象并非小样本抽样扰动,而是被任务本质结构严格主导,且即便引入前沿的强化学习思维链推理训练也无法消除这种任务固有结构。
本文的切入角度是打破封闭在生成器自身答案直方图内的信息局限,引入正交于生成分布的外部验证器信号,并将其与共识比例有机融合。核心 idea:证明仅依赖自一致性分布无法辨识真伪并给出理论误差下界,提出结合验证器证据与多数共识打分的 RISC 框架,利用 Learn-then-Test 在有限样本校准集上求解具有统计风险保证的接受阈值,在无合格阈值时主动弃权以规避高一致性错误。
方法详解¶
大语言模型推理中的自一致性共识无法作为正确性的绝对保证。针对这一瓶颈,RISC 构建了从理论下界证明、验证器信号融合到有限样本保真校准的完整风控流水线。系统先让生成器执行 \(K\) 次采样并提取多数答案与多数共识比率,随后选取首条支撑该多数答案的显式思维链交由轻量级验证器打分,最后通过联合评分机制与基于置信上界的假设检验,在满足统计风险约束的前提下决定接受该预测还是整题弃权。
整体框架¶
RISC 的整体流水线涵盖生成采样、外生验证、联合评分与严格风控接受判定四个阶段。输入问题首先输入主生成模型采样生成多条思维链并聚合多数类,随后抽取一条完整的思维链文本送入外部验证器进行多轮二元有效性检验,两者评分经过无量纲融合后,由离线校准得到的置信阈值决定最终是否输出答案。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入推理问题 q"] --> B["多数共识提取<br/>采样 K 条思维链并计算多数比例 ρ"]
B --> C["思维链外部验证<br/>验证器阅读首条多数链给出支持率 sv"]
C --> D["联合风险评分构建<br/>无量纲加权均值 s = 1/2(ρ + sv)"]
D --> E["Learn-then-Test 校准与准入判定<br/>检验 UCB(τ*) ≤ α,达标接受否则整题弃权"]
E -->|接受| F["输出多数类答案 ŷ"]
E -->|拒绝| G["触发安全弃权机制"]
关键设计¶
1. 多数共识提取:基于答案直方图的共识捕获与理论下界约束
针对传统方法盲目信任多数类而缺乏理论定界的问题,该设计在给定生成器 \(g\) 和问题 \(q\) 的条件下抽取 \(K=16\) 条独立思维链,规范化提取终端答案后计算多数类 \(\hat{y}(q)\) 的投票比例 \(\rho(q) = \frac{1}{K_{\text{valid}}} \sum_{k=1}^K \mathbb{I}[y_k = \hat{y}(q)]\)。该模块不仅提供基础共识信号,更揭示了核心理论定理:对任意纯依赖答案分布 \(\mu\) 的判定规则 \(C\),在共享同一分布 \(\mu\) 的实例子集 \(T_\mu\) 内部,其条件选择误差严格满足下界:
$\(\beta_\mu(C) = \Pr[\text{mode}(\mu) \neq y(q) \mid C \text{ 接受}, q \in T_\mu] \ge \frac{p_2}{p_1 + p_2}\)$
其中 \(p_2\) 为该分布类中多数类错误的实例比例。实验表明在真实评测中高一致性样本高达 98.3% 处于正负混杂的特征类中,证明仅靠调整 \(\rho\) 的截断无法突破数据固有的错误多数类下界,必须引入外源信息。
2. 思维链外部验证:跨模型显式推理链正交审计
针对单纯依赖生成器自身共识或内部 token 对数概率无法引入正交纠错信息的问题,该模块利用完全独立的外部验证器模型对生成器的解题逻辑进行审计。系统从 \(K\) 条采样中按原始采样序列提取第一条与多数类答案一致的代表性完整思维链 \(r^*\)(包含完整的中间推理推导与最终声明),向验证器提交二元核查提示词并执行 \(K_v=4\) 次采样查询。验证器通读完整推导过程后输出单词 yes 或 no,统计获得验证器经验接受率 \(s_v(q) \in \{0, 0.25, 0.5, 0.75, 1.0\}\)。实证消融显示,剥离思维链仅让验证器审查答案会导致风险覆盖曲线全面恶化(AURC 从 9.6% 恶化至 14.4%),证实显式中间推理链是外部审计有效捕捉认知漏洞的关键载体。
3. 联合风险评分构建:无参数鲁棒单调评分融合
针对多源置信度特征容易出现过拟合或极值退化的问题,该设计评估了包括乘积、最小值以及通过 5 折交叉拟合训练的逻辑回归与等保广义可加模型(Isotonic GAM)等多种形式,最终确立了具备最高鲁棒性的无量纲等权算术平均评分:
$\(s(q) = \frac{1}{2}(\rho(q) + s_v(q))\)$
该设计能有效保留两个正交信号的辨识度。当生成器内部共识达到极限(\(\rho=1.0\))而其实际错误时,验证器的低得分 \(s_v\) 能显著拉低综合评分 \(s(q)\),成功打破单纯依赖 \(\rho\) 时海量样本在最高阈值处的平局并列;同时相比于乘积或取最小值的方案,均值融合不会因单项信号的局部噪声发生塌陷,在全子集测试中以 7.76% 的 AURC 击败单纯共识(10.18%)和单纯验证(10.65%)。
4. Learn-then-Test 校准与准入判定:有限样本下的分布无关风险控制
针对静态硬编码阈值在跨场景应用中无法提供理论安全保障的痛点,该机制在独立的留出校准集 \(\mathcal{D}_{\text{cal}}\) 上利用 Learn-then-Test(LTT)框架执行控制校准。对于候选阈值网格 \(\mathcal{T} = \{s(q) : q \in \mathcal{D}_{\text{cal}}\}\) 中的每一个候选 \(\tau\),计算选择错误率在置信水平 \(1 - \delta / |\mathcal{T}|\) 下的 Clopper-Pearson 严格置信上界 \(\text{UCB}(\tau)\)(经 Bonferroni 多重假设检验校正)。算法选取能够满足预设风险上限 \(\alpha\) 的最小有效阈值:
$\(\tau^* = \min \{ \tau \in \mathcal{T} : \text{UCB}(\tau) \le \alpha \}\)$
当校准集上没有任何候选阈值能够证明风险小于 \(\alpha\) 时,准入机制触发不可行判定,系统在该任务上采取安全自保策略对所有查询整体弃权。这一设计赋予了系统有限样本下的理论统计保障,杜绝了无根据的过度接受。
损失函数 / 训练策略¶
RISC 的核心判定与校准层属于免训练(training-free)的测试期推理与决策机制,主生成模型与外部验证模型均采用标准推断配置。生成端开放权重模型通过 vLLM 在单张 NVIDIA RTX A5000(24GB)上部署,采用 bfloat16 或 NF4 量化(如 Qwen2.5-14B),采样超参数固定为 \(T=0.7, p=0.95\);闭源模型(如 GPT-5.4-mini)按照服务接口默认配置运行。外部验证器执行 \(K_v=4\) 次查询,验证器提示词严格要求仅输出单词判定。离线校准阶段采用 50/50 划分的留出校准集并执行 10 次随机种子重复检验,置信容差参数固定为 \(\delta=0.10\)。
实验关键数据¶
主实验¶
论文在五大权威推理数据集(GSM8K、StrategyQA、MATH500、ARC-Challenge、CommonsenseQA)和五种不同尺寸/架构的生成器(Qwen2.5-7B、Qwen2.5-14B、Llama-3.1-8B、Mistral-7B-Instruct、GPT-5.4-mini)上构建了涵盖 8,222 个有效样本的完整评测基准,并额外评测了前沿思维链推理模型。
下表展示了三款经过强化学习推理训练的模型在极值对比数据集上的高一致但错误率([email protected])与高一致条件错误率(Err@\(\rho \ge 0.9\)),以验证推理训练是否能够消除 CBW 现象:
| 生成器模型 | GSM8K [email protected] (%) | GSM8K Err@\(\rho \ge 0.9\) (%) | StrategyQA [email protected] (%) | StrategyQA Err@\(\rho \ge 0.9\) (%) | 整体特性说明 |
|---|---|---|---|---|---|
| 五模型队列均值 (Cohort mean) | 2.1 | ~2.0 | 20.8 | 15.0–29.7 | 指令微调基线模型平均表现 |
| DeepSeek-R1-Distill-Qwen-7B | 4.0 | 3.1 | 20.0 | 27.1 | 小尺寸蒸馏推理模型,CBW 依然显著 |
| DeepSeek-V4-Pro (Thinking) | 1.7 | 1.4 | 11.3 | 8.5 | 前沿长思维链推理模型,错误率减半但结构保留 |
| Claude Sonnet 4.6 (Extended Thinking) | 1.3 | 1.4 | 11.5 | 11.9 | 前沿深度思考模型,StrategyQA 条件错误仍超 10% |
在特定覆盖率下的各任务选择错误率表现中,RISC 与传统自一致性(SC-only)在覆盖率为 0.70 时的逐任务对比表现如下表所示:
| 数据集 | 传统 SC 错误率 (%) | RISC 选择错误率 (%) | 误差变动 \(\Delta\) (pp) | 任务特性分析 |
|---|---|---|---|---|
| GSM8K | 4.0 | 2.1 | -1.9 | 形式化数学推理,验证器显著削减尾部错误 |
| MATH500 | 21.6 | 19.3 | -2.2 | 竞赛级多步数学推导,验证器大幅剔除伪解 |
| ARC-Challenge | 5.9 | 4.7 | -1.3 | 科学常识选择题,外生核验修正错位选项 |
| StrategyQA | 23.9 | 25.0 | +1.1 | 隐式多跳常识检索,验证器收益受限并在特定点微增 |
| CommonsenseQA | 9.7 | 12.0 | +2.3 | 单步常识语义关联,多数比例与外部验证互有干扰 |
消融实验¶
下表汇总了验证信号消融、辅助分布特征对比以及校准方案选择在 \(N=6,154\) 样本子集上的关键指标:
| 评估配置 / 打分机制 | 风险覆盖面积 AURC (%) | 控制目标 \(\alpha=0.10\) 下覆盖率 (%) | 核心消融结论与说明 |
|---|---|---|---|
| 单独多数比例 \(\rho\) (SC-only) | 10.18 [9.21, 11.12] | 67.90 [63.00, 72.47] | 仅依据共识,受限于错误多数下界,AURC 偏高 |
| 负熵特征 \(-\text{Entropy}\) | 10.09 [9.11, 11.03] | 67.57 [62.59, 70.85] | 仅利用直方图形状,与 \(\rho\) 处于同一置信区间内 |
| 候选答案间隙 Margin | 9.88 [8.90, 10.82] | 69.20 [64.61, 73.84] | 区分首选与次选差距,性能略优但无质的突破 |
| 单独验证器打分 \(s_v\) | 10.65 [9.66, 11.66] | 67.50 [62.40, 71.80] | 脱离多数共识时单点估计噪声较大 |
| 联合均值 \(\frac{1}{2}(\rho + s_v)\) (RISC 默认) | 7.76 [6.95, 8.54] | 72.38 [68.64, 76.21] | 结合内外信号,AURC 绝对降低超 2.4pp |
| 逻辑回归结合器 (Logistic) | 7.94 [7.13, 8.78] | 73.60 [69.10, 77.40] | 引入可学习参数,表现未显著优于简单均值 |
| 等保加性模型 (Isotonic GAM) | 7.91 [7.11, 8.76] | 73.40 [69.00, 77.20] | 单调非参数拟合,置信区间完全覆盖简单均值 |
关键发现¶
- 任务差异主导 CBW 发生率:方差双因素分解表明,数据集对 [email protected] 的方差解释率高达 \(\eta^2_{\text{task}} = 0.91\)(\(F(4, 16) = 50.7\)),而模型生成器仅贡献 \(\eta^2_{\text{gen}} = 0.02\);聚类 Bootstrap 检验确认 \(\Pr[\eta^2_{\text{task}} > 5\eta^2_{\text{gen}}] = 1.0\),说明高一致性错误是任务固有的推理拓扑属性,而非特定模型的偶发偏差。
- 推理强化训练无法根治共识幻觉:前沿强化推理模型(DeepSeek-V4-Pro、Claude Sonnet 4.6)虽然在绝对准确率上有大幅提升,但在 StrategyQA 上当投票共识 \(\rho \ge 0.9\) 时,错误率依然保持在 8.5% 和 11.9%(而 GSM8K 均为 1.4%),证实了仅靠增大内生测试期推理算力无法弥合由任务决定的真实性鸿沟。
- 低覆盖率保守决策增益最为显著:在全样本汇总中,RISC 在 0.50 覆盖率时的选择误差相较自一致性基线大幅降低 3.01 个百分点(\([-3.75, -2.29]\)),在 0.71 覆盖率时降低 0.87pp,在 0.91 覆盖率时降低 0.63pp,有效规避了在不可信场景下妄下定论的灾难性错误。
- 低成本本地模型加轻量验证超越全 API 多数表决:在 0.9 目标选择覆盖率下,采用本地 Qwen2.5-7B 配合 GPT-5.4-mini 验证器的 RISC 方案每千题 API 成本仅为 1.17 美元,相较于直接调用 GPT-5.4-mini 进行 \(K=16\) 多数投票(每千题 10.47 美元)节省约 8.9 倍成本,且在 GSM8K、StrategyQA、ARC 和 CSQA 四大任务上的选择误差差异统计上均不显著(区间均跨越零点),仅在需要极强符号推演基础的 MATH500 上落后 7.94pp。
亮点与洞察¶
- 严格证明自一致性的不可辨识性极限:形式化证明了任何仅依赖答案直方图的证书均无法在理论上区分正确多数类与错误多数类,给出了错误多数类占比构成的理论选择误差下界,打破了“采样越多越逼近真理”的经验主义迷思。
- 构建具备有限样本统计有效性的拒绝推理闭环:通过引入 Learn-then-Test 与 Clopper-Pearson 严格置信上界,使得 LLM 在测试期的选择性问答不仅停留在打分排序,而是能根据用户指定的不可容忍风险 \(\alpha\) 动态确立接受门槛,并在校准失败时主动拒答。
- 非对称的计算与成本优化范式:发现验证思维链的输入提示虽长但输出仅需单个
yes/no标记,而生成阶段需要多路径长文本生成,因此将主生成留在本地、将轻量级验证交由云端高阶模型的架构,能够将测试期推断成本压低近一个数量级。
局限与展望¶
- 可交换性假设破缺导致跨任务校准迁移失效:LTT 严格风险控制依赖于校准集与测试集同分布的可交换性假设。跨任务直接迁移校准阈值时,风险越界违背率飙升至 31%~63%,因此在真实多变场景中必须依赖按任务进行的细粒度重新校准。
- 选择机制无法突破生成器基础能力天花板:RISC 仅针对已有候选答案实施严格的“接受/拒答”过滤,并不会主动修正生成结果或重写思维链;当基础生成模型在极其困难的题型中未能在任何一条思维链中产出正确答案时,RISC 只能通过全面弃权来控制风险,无法提升有效产出的覆盖上限。
- 对显式思维链文本的强依赖:外部验证器需要审查完整的解题推导步骤;如果未来大模型将推理过程全部折叠为内部不可见的潜在状态(Latent Reasoning Tokens),外部验证器将无法有效获取推理证据,导致验证信号退化为单纯的答案猜度。
相关工作与启发¶
- vs Adaptive Consistency (Aggarwal et al., 2023):Adaptive Consistency 旨在通过序贯检验提前终止采样以节约计算量,但其保证的是选出的答案与渐近多数类一致,本质依然是关于“共识”的证书;本文从理论和实验上证明多数类本身可能系统性出错,并通过外源验证器将保证目标由“多数类”升级为“正确性”。
- vs Confidence-Weighted Voting (Taubenfeld et al., 2025 / CISC):CISC 尝试利用生成模型内部的 token 对数概率为各条思维链加权以优化投票结果;本文实验表明,内部置信度是生成器自持的信息,65.2% 的样本在共识饱和处无法区分,权重调整对选择风险的改善微乎其微(仅 0.07pp),而外部独立验证器才能提供打破下界所需的正交信息。
- vs Self-Refine / Reflexion (Madaan et al., 2023; Shinn et al., 2023):自我修正类工作让模型自行审查并生成新文本,但在高一致性错误场景下,模型往往坚信自己的错误假设而陷入自我肯定的闭环;本文则固定生成候选,引入异构外部模型充当审计员,专注于测试期风控抉择而非无止境的循环迭代。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从理论上建立自一致性正确性判定的不可辨识性定理与选择误差下界,将统计风控严格落地至多步推理共识场景。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 大数据集、5 大生成器、3 款前沿长推理模型、6 类外部验证器,详尽开展了方差分解、人工失误归因与双评委一致性检验。
- 写作质量: ⭐⭐⭐⭐⭐ 数学证明严谨,叙事逻辑层层递进,对理论边界、基线对比与消融代价的剖析极其诚实通透。
- 价值: ⭐⭐⭐⭐⭐ 为大模型安全落地、测试期可靠性部署与高性价比端云协同推理提供了极具指导意义的理论基石与实用方案。