Consilience for Verifier-Free Test-Time Scaling¶

会议: NeurIPS 2026
arXiv: 2608.09898
代码: https://github.com/LechengKong/consilience
领域: Reasoning
关键词: 测试时扩展、无验证器评估、融通性、置信度轨迹、代码生成

一句话总结¶

本文提出基于“融通性（Consilience）”的无验证器测试时扩展选择指标，揭示了复杂推理中全局高置信度实为过早收敛并导致“自信而错误”长尾解的根源，通过惩罚推理初期过高置信度并奖赏最终逻辑收敛确定性，在自由形式代码生成与复杂推理基准上显著超越 Pass@1 与传统置信度基线。

研究背景与动机¶

测试时计算扩展（Test-Time Scaling, TTS）通过在推理阶段生成多条并行候选轨迹并挑选最优解答，显著提升了大语言模型在复杂任务中的准确率。然而，传统的并行候选筛选高度依赖外部验证器（如代码编译器、单元测试用例或强化学习价值网络）；在开放域自由文本生成、自由形式代码补全以及多步智能体中间工具调用等现实场景中，高质量的外部验证器往往不可用。为此，近期无需验证器的测试时扩展（Verifier-Free TTS, VF-TTS）逐渐受到广泛关注，其中基于内部 token 级对数概率的置信度最大化方法（如 Self-Certainty、Deep-Conf）因近乎零额外计算开销、无需微调训练且能直接泛化到黑盒或白盒模型而成为主流范式。

现有置信度方法的基础假设是“全序列平均置信度越高，答案越准确”。在宏观数据集尺度上该相关性确实成立，但在具有挑战性的复杂任务中却遭遇灾难性崩溃。在模型准确率低于 20% 的难题子集上，错误候选输出的平均置信度甚至反常地高于正确输出，并在极高置信度区间呈现严重的长尾右偏分布。在无法进行多数投票的非结构化生成中，直接执行最大置信度 argmax 筛选必然会导致系统性选取“自信但错误（confidently wrong）”的幻觉幻灭轨迹。究其认知根源，单向最大化序列置信度在模型生成初期就强行促成确定性坍缩，压制了模型对替代解法路径的考量与试探，使得系统盲目投入到局部存在逻辑漏洞的单一路线上。

科学认识论中的“融通性（Consilience）”指出：一个结论只有在被多条异构、独立的探索路径相互印证并收敛到同一结果时才是真正可靠的。在自回归生成模型中，token 置信度实质反映的是前序上下文对当前生成步的约束严格程度，而非对未来客观真理的保证。若模型对复杂问题具备深刻理解与发散探索，意识到存在多种潜在解法，其自回归概率质量在初期必然被分散，从而表现出初始低置信度；随后随着推理逻辑的层层推进与分支收敛，最终阶段必须表现出确定性的高置信度。本文的核心 idea 是：将有效推理表征为“早期探索发散、后期收敛确定”的时间不对称置信度轨迹，构建显式惩罚推理初始置信度并奖励最终置信度的 Consilience 指标，结合思维链推理相隔离实现无验证器的高鲁棒性最优轨迹挑选。

方法详解¶

整体框架¶

Consilience 框架旨在不依赖外部编译器、奖励模型或标注判别器的前提下，从并行的 \(N\) 条候选生成轨迹中选出最可靠的推理结果。整个评估流程分为四个阶段：首先利用模型的自回归 Top-\(K\) 对数概率构建无偏的 Token 级置信度序列；随后进行推理阶段语义隔离（Reasoning-Phase Isolation），剔除最后答案总结性 token 的虚高置信度噪声；接着截取推理轨迹首尾的滑动边界窗口，计算初始探索置信度 \(C_{initial}\) 与最终收敛置信度 \(C_{final}\)；最后通过不对称惩罚目标合成 Consilience 得分 \(S\)，挑选得分最高的候选轨迹作为最终输出。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入 Prompt: 复杂推理 / 自由形式编程 / 智能体任务"] --> B["并行采样 N 条候选解答序列"]
    B --> C["Token 级置信度量化<br/>基于 Top-K 负均值对数概率计算"]
    C --> D["推理相语义隔离<br/>剥离总结性最终答案，纯化思维链轨迹"]
    D --> E["双端边界窗口采样<br/>跳过前置公共 token，截取初始探索与最终收敛段"]
    E --> F["融通性评分与最优解挑选<br/>惩罚初始过早收敛，奖励最终逻辑确定性"]
    F --> G["输出最终选定的最优推理与解答"]

关键设计¶

1. Token 级置信度量化：基于局部概率质量集中的负对数均值

传统方法若仅依靠单个生成 token 的对数概率容易引入瞬时采样方差，而在词表全局求熵则计算与传输开销巨大，无法适配只暴露部分 logprobs 的商用推理 API。Consilience 沿用前人定义，在自回归生成的第 \(t\) 步，取词表中条件概率最高的前 \(K\) 个候选 token \(\{v_{t,j}\}_{j=1}^K\)，以其负平均对数概率作为该位置的置信度 \(c_{y,t}\)：

\[c_{y,t} = -\frac{1}{K}\sum_{j=1}^{K}\log P_\theta(v_{t,j}|y_{<t}, x)\]

当模型输出概率分布高度集中于少数候选词时，\(c_{y,t}\) 显著增大，表示模型在此步具有极高的确定性；当分布平坦发散时，\(c_{y,t}\) 下降，表示存在多条分支路径的分歧。实验中固定 \(K=5\)，此时 Top-5 候选词已覆盖超 93.9% 的步长概率质量，既大幅降低了数据载荷，又完美契合主流云端 API 的接口约束。

2. 融通性评分：时间不对称的置信度轨迹对比目标

为了精准区分真正经过充分思考的成功解与过早确信的错误解，论文定义了包含四种状态的认知象限：过早收敛（初高-终高）、生成退化（初高-终低）、融通轨迹（初低-终高）以及全面混乱（初低-终低）。传统最大化置信度的方法会误将过早收敛（Category 1）视为最优，进而选中长尾幻觉。Consilience 通过在推理轨迹上设置大小为 \(W\) 的双端评估窗口量化时间动态性：

\[C_{initial} = \frac{1}{W}\sum_{t=P+1}^{W+P} c_t, \quad C_{final} = \frac{1}{W}\sum_{t=L-W+1}^{L} c_t\]

其中参数 \(P\) 预先跳过生成前缀中占总长 5% 的初始 token，消除各候选在相同 prompt 下高度相似的开头引导词对置信度的稀释效应；窗口大小 \(W\) 可取动态比例（如序列长度的 20%）或绝对阈值（如 2048 tokens）。在此基础上，Consilience 评分函数 \(S\) 定义为显式惩罚初始置信度、同时要求最终高确定性的线性组合：

\[S = C_{final} - \alpha C_{initial}\]

其中平衡因子 \(\alpha \ge 0\)（默认设为 \(\alpha = 3\)）。由于自回归推理天然呈现置信度前低后高的递增趋势，设置 \(\alpha > 1\) 是平衡初始探索惩罚与终端收敛奖励尺度的关键保证。若 \(\alpha\) 过小，算法将退化回过早收敛陷阱；若 \(\alpha\) 过大，则会混淆融通轨迹与全面混乱轨迹（两者初值皆低）。

3. 推理相语义隔离：剥离虚假高置信度总结的纯化机制

在具备显式思维链（Chain-of-Thought）或内生思考机制（如 <think> 标记）的模型中，输出序列在结构上自然解耦为活跃解题的思维阶段 \(Y_{reason}\) 与得出结论后的答案陈述阶段 \(Y_{answer}\)。\(Y_{answer}\) 中的 token 往往只是机械复述或转录推理中已经锁定的结论，其自回归生成极其确定，往往展现出无实质认知价值的虚高置信度，严重污染全序列平均值。Consilience 提出推理相隔离策略：通过特定语义分隔符（如 DeepSeek-R1 的 </think>、GPT-OSS 的 <|channel|>final、代码任务中的首个代码块或特定输出标记）精确切分序列，使窗口采样 \(C_{initial}\) 与 \(C_{final}\) 严格限定在 \(Y_{reason}\) 内部，从而提取出模型真实认知搜索的最纯粹轨迹信号。

4. 针对智能体关键动作的定向拦截调度机制

在 SWE-bench 等多步自主软件工程智能体环境中，对所有交互步骤无差别执行多路并行推理（如采样 32 条轨迹）会导致计算成本爆炸，且绝大部分查询文件目录或查看局部的基础步骤并不需要复杂的反思。为此，论文设计了基于上下文感知的定向拦截机制：在每步交互时先做单路基线生成，利用关键词（sed -i、cat <<、tee、patch 等）和 bash 脚本行数阈值（如 GPT-OSS 设 40 行，Qwen 设 100 行）动态识别核心修改步骤；仅在触碰代码修改的关键决策节点触发 \(n=32\) 并行采样，并利用 Consilience 评分挑选最佳编辑命令，以仅增加约 2.25 倍的实际壁钟开销实现了性能的稳健跃升。

实验关键数据¶

主实验¶

主实验覆盖了自由形式代码生成（LiveCodeBench-v6）、高级数学竞赛（HMMT25）与研究生级科学问答（GPQA-Diamond）。在候选池样本数 \(n=64\) 下对比贪婪解码（Pass@1）、全序列置信度（Self-Certainty）、尾部置信度（DeepConf-20% 与 DeepConf-2K）以及 Consilience 的各变体。

数据集	模型	Pass@1 (%)	Self-Certainty (%)	DeepConf-20% (%)	DeepConf-2K (%)	Consilience (Cns-think / Cns-2K-think) (%)
LCB-v6	GPT-OSS-120B	65.7 ± 0.2	64.5 ± 1.3	61.9 ± 1.3	62.5 ± 0.8	69.7 ± 0.9 (Cns-think)
LCB-v6	GPT-OSS-20B	80.2 ± 0.1	79.0 ± 1.3	79.1 ± 0.9	76.7 ± 1.2	81.1 ± 0.7 (Cns-think)
LCB-v6	DS-R1-Qwen-7B	47.8 ± 0.1	54.9 ± 1.5	53.7 ± 1.6	53.7 ± 1.4	57.1 ± 0.9 (Cns-2K-think)
LCB-v6	Qwen3-Next-80B	55.3 ± 0.2	53.2 ± 1.7	52.0 ± 1.6	55.4 ± 1.8	60.9 ± 1.6 (Cns-2K-full)
HMMT	GPT-OSS-20B	76.5 ± 0.3	68.0 ± 3.1	69.3 ± 3.3	73.3 ± 4.9	80.7 ± 2.5 (Cns-2K-think)
HMMT	Qwen3-Next-80B	52.6 ± 0.5	45.3 ± 3.1	51.3 ± 4.3	47.3 ± 3.6	53.7 ± 2.3 (Cns-2K-think)
GPQA	GPT-OSS-20B	71.8 ± 0.2	71.7 ± 1.4	71.0 ± 1.2	71.3 ± 1.3	73.8 ± 1.5 (Cns-2K-think)
GPQA	Qwen3-Next-80B	60.5 ± 0.2	57.8 ± 1.8	60.4 ± 1.3	57.6 ± 2.4	65.2 ± 1.6 (Cns-full)

在 SWE-bench-Verified 智能体任务上，在关键编辑步采用 Consilience 筛选（\(n=32\)）： - mini-SWE-agent + GPT-OSS-120B: 解决率从 23.0% ± 0.8% 提升至 26.9% ± 1.1%（提升 +3.9%）。 - mini-SWE-agent + Qwen3-Coder-Next: 解决率从 65.3% ± 0.8% 提升至 67.3% ± 1.2%（提升 +2.0%）。

消融实验与分析¶

1. 推理阶段隔离消融与全序列对比 (LCB, \(n=64\))

配置变体	GPT-OSS-120B (%)	GPT-OSS-20B (%)	DS-R1-Qwen-7B (%)	Qwen3-Next-80B (%)	说明
Cns-full (全序列，20% 窗口)	62.2 ± 1.0	80.2 ± 0.4	52.0 ± 1.9	59.5 ± 2.0	包含答案总结的噪声
Cns-2K-full (全序列，2048 窗口)	64.6 ± 1.7	79.4 ± 0.8	56.0 ± 0.3	60.9 ± 1.6	绝对窗口略微平滑噪声
Cns-think (推理相隔离，20% 窗口)	69.7 ± 0.9	81.1 ± 0.7	54.0 ± 0.5	58.7 ± 0.9	纯化认知轨迹，全面最优
Cns-2K-think (推理相隔离，2048 窗口)	67.8 ± 1.5	80.7 ± 0.6	57.1 ± 0.9	60.4 ± 1.9	在长推理链模型上表现突出

2. 任务难度分层测试 (LiveCodeBench 分层准确率 %)

模型	方法	Easy 题集 (简单)	Medium 题集 (中等)	Hard 题集 (困难)
Qwen3-Next-80B	Mean-conf (平均置信度)	99.9	58.1	3.7
Qwen3-Next-80B	Consilience	99.9	70.3 (+12.2)	8.1 (+4.4)
GPT-OSS-120B	Mean-conf (平均置信度)	100.0	74.9	13.4
GPT-OSS-120B	Consilience	99.1	88.6 (+13.7)	17.2 (+3.8)

关键发现¶

简单最大化置信度在难题上严重失效：在 HMMT 上，Self-Certainty 相比 Pass@1 暴跌 8.5%（OSS-20B: 76.5% → 68.0%），Qwen 下跌 7.3%；在 LCB 上 DeepConf 同样显著落后于 Pass@1。这是由于长尾错误解具有异常高置信度，简单求最大值直接落入“自信而错误”的陷阱。
Consilience 的增益精准集中于中高难度题：在简单题上，所有候选路径都快速确定，初始置信度差异小，Consilience 保持中立且无负面影响；而在中等和困难题目中，Consilience 分别斩获高达 +12~13.7% 的暴涨，成功遏制过早收敛错误。
区分度统计显著性：在 Pass@1 < 20% 的难题上，平均置信度区分正误的 AUROC 仅为 0.47~0.50（等同随机猜测），而 Consilience 的 AUROC 达到 0.61~0.62，95% 置信区间完全不重叠；配对检验表明正确解的置信度上升斜率 \(\Delta = C_{final} - C_{initial}\) 显著大于零（\(p < 0.02\)）。
参数迁移性与稳定性：固定超参数 \(\alpha=3\)、窗口比例 20% 并在首部跳过 5% 前缀，在不用各数据集调优的情况下即可保留 72%~78% 的全局网格搜索最优增益，且从代码跨数据集迁移到数学任务依然稳获 +2.2% 提升。

亮点与洞察¶

认知探索与认识论融合的视角转移：跳出了“高置信度即高正确率”的机械直觉，借用科学哲学中的“融通性”概念，将复杂的推理认知过程定义为“早期低置信度（多路发散假设）向晚期高置信度（逻辑闭合收敛）”的时间不对称动态。
纯粹利用模型自生对数概率实现零额外开销：完全摒弃了训练昂贵的过程奖励模型（PRM）或引入调用延迟高昂的大模型评审（LLM-as-a-Judge），仅需 Top-5 token 的 logprob，以 \(O(1)\) 的计算代价实现了超越复杂重排算法的稳定扩展增益。
思维阶段隔离有效过滤虚假总结信号：敏锐地指出了模型在最终生成答案阶段纯属格式复述的确定性假象，通过在标记层截断思维链，保证了对推理真实认知动态的精准刻画。

局限与展望¶

作者指出的局限：Consilience 当前的显式评分函数是一种基于时间不对称性的固定启发式规则，难以包容不同认知风格问题中可能存在的多样化置信度演化模式；在多步智能体中的接入基于粗粒度的 bash 关键词匹配与行数阈值，未能实现全自适应的触发调度。
潜在评估盲区：对于原本就不需要展开多分支思考的纯事实型短检索或确定性记忆问题，强行追求初始低置信度无法带来收益甚至可能受随机波动扰动；在超高温度采样或长思考模型耗尽 token 上限被强制截断时，末端置信度评估可能失真。
未来改进路径：将融通性指标扩展为非线性或轻量级判别模型，基于局部发散模式与树形搜索（MCTS）联动剪枝；进一步将这种无验证器的推理相置信度上升信号转化为无需外部反馈的内在强化学习奖励（Intrinsic RL Reward），指导自主推理模型的后训练对齐。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 独辟蹊径地引入认识论融通原理，精准戳破了置信度全局最大化在难题上的过早收敛陷阱，提出了不对称置信度轨迹这一新维度。
实验充分度: ⭐⭐⭐⭐⭐ 横跨四个代表性顶尖模型（7B 到 120B）、四大领域权威基准，包含详尽的难度分层、AUROC 显著性检验、参数热力图及智能体应用验证。
写作质量: ⭐⭐⭐⭐⭐ 概念阐释深入透彻，论证逻辑严密，图文对照与个案跟踪极具说服力。
价值: ⭐⭐⭐⭐⭐ 为无验证器推理与开放域测试时扩展提供了轻量、普适且即插即用的新标准方案，对未来大模型搜索与自进化 RL 极具启发意义。