On the Overscaling Curse of Parallel Thinking: System Efficacy Contradicts Sample Efficiency¶

会议: NeurIPS2026
arXiv: 2601.21619
论文: https://arxiv.org/abs/2601.21619 https://openreview.net/forum?id=yLcpYgtJ0Z
代码: 待确认
领域: Reasoning
关键词: parallel thinking, test-time scaling, overscaling curse, budget allocation, PreAda, LanBo

一句话总结¶

本文首次揭示并形式化了并行思考中的“过度扩展诅咒”（Overscaling Curse）——全局最优预算被少数难题拉高导致大部分样本的预算利用率不足50%，并提出了基于隐空间预测样本最优预算的轻量级预测器LanBo及解码前预算自适应范式PreAda，在保持系统精度的同时实现超过50%的延迟与显存削减。

研究背景与动机¶

测试时扩展（Test-Time Scaling, TTS）已成为激发大语言模型复杂推理潜能的核心范式。其中，以多路径采样与聚合（如自洽性多数投票、奖励模型重排序）为代表的“并行思考”（Parallel Thinking），通过在解码阶段对同一输入独立采样多条推理路径并聚合结果，显著扩展了推理搜索空间。然而，现行主流评测与部署策略普遍采用系统级全局预算约束：在缺乏样本先验的情况下，整个数据集的所有样本共享一个旨在最大化数据集整体准确率的全局统一采样预算 $N_{\mathcal{D}}$。

作者在深入分析实际推理系统时发现了一个根本性的内在矛盾：不同样本达到其最高精度所需的采样预算呈现极强的异质性。大多数样本在极小预算（甚至 $N=1$）下即达到精度峰值，而少数极具挑战性的难题则需要大预算方可获益。为了追求系统级全局有效性，全局预算必然被迫向大预算偏移，从而强制海量简单或中等样本承受远超自身所需的冗余计算开销。这种“追求系统级整体效能（System Efficacy）反噬样本级计算效率（Sample Efficiency）”的闭环约束现象构成了过度扩展诅咒（Overscaling Curse）。实测表明，在94%的模型与数据集组合中，期望预算利用率均低于1.0，且在受影响系统中几乎全部低于0.5，意味着超过一半的并行采样算力属于无效冗余。核心 idea：打破全局统一预算的硬约束，利用模型在编码输入问题时深层隐状态中蕴含的“感知难度与能力边界”先验，在正式生成前预测样本专属的最优预算（Latent Budget Predictor, LanBo），进而开创不阻断底层硬件全并行流水的“解码前预算自适应”（Pre-decoding Budget Adaptation, PreAda）全新范式。

方法详解¶

整体框架¶

PreAda范式将并行推理预算的决策阶段移至自回归生成之前，由模型输入编码、隐空间预算预测和全并行硬件解码三部分构成，避免了解码过程中频繁的同步阻断。整体流程如下图所示：

flowchart TD
    %% Styling
    classDef io fill:#eef2ff,stroke:#6366f1,stroke-width:1.5px;
    classDef model fill:#f0fdf4,stroke:#22c55e,stroke-width:1.5px;
    classDef lanbo fill:#fef3c7,stroke:#f59e0b,stroke-width:1.5px;
    classDef decode fill:#fdf2f8,stroke:#ec4899,stroke-width:1.5px;

    Input["输入问题 x"] --> PromptEnc["主模型前向编码 & 提取各层末尾Token隐状态 h_T^l"]
    PromptEnc --> Predictors["L个层级轻量级预测器 phi_l (单隐层MLP)"]
    Predictors --> NormPreds["各层归一化预算预测 n_hat_{x,l}*"]
    NormPreds --> InvWeighting["逆均方误差可靠性动态加权 (Inverse Error Weighting)"]
    InvWeighting --> FinalBudget["样本特异性最优预算 N_hat_x*"]
    FinalBudget --> BatchGen["vLLM 一次性发射 N_hat_x* 路径完全并行解码"]
    BatchGen --> Aggregation["答案聚合 (多数投票 / 验证器评分) --> 最终答案 y_hat"]

    class Input,FinalBudget,Aggregation io;
    class PromptEnc model;
    class Predictors,NormPreds,InvWeighting lanbo;
    class BatchGen decode;

关键设计¶

1. 形式化预算-精度函数与过度扩展机理的单调性剖析
作者将样本 $\bm{x}$ 在预算 $N \in [1, N_{\max}]$ 下的期望准确率形式化为 $\mathcal{A}_{\bm{x}}(N) = \mathbb{E}[\mathbb{I}(\mathcal{F}(\{\bm{a}_{\bm{x}, n}\}_{n=1}^N) = \bm{y})]$，定义样本最优预算为其取得最高期望精度的最小预算 $N_{\bm{x}}^* = \min(\operatorname{argmax}_N \mathcal{A}_{\bm{x}}(N))$。样本预算利用率定义为 $\mathcal{U}_{\bm{x}} = N_{\bm{x}}^* / N_{\bm{x}}$。在全局预算 $N_{\mathcal{D}}^* = \min(\operatorname{argmax}_N \mathbb{E}_{\bm{x}}[\mathcal{A}_{\bm{x}}(N)])$ 下，利用率退化为 $\mathcal{U}_{\bm{x}} = N_{\bm{x}}^* / N_{\mathcal{D}}^*$。为探究利用率暴跌的本质，作者将样本按 $\mathcal{A}_{\bm{x}}(N)$ 的单调性分为5类： - Type-1（恒对，$\mathcal{A}_{\bm{x}} \equiv 1$，$N_{\bm{x}}^* = 1$）； - Type-2（恒错，$\mathcal{A}_{\bm{x}} \equiv 0$，$N_{\bm{x}}^* = 1$）； - Type-3（单调递减，随着采样增多多数投票反而被混淆错误答案主导，$\bar{\Delta}_3 < 0$）； - Type-4（单调递增，能够显著受益于大预算采样，具有极大的 $N_{\bm{x}}^*$ 与正向精度增益 $\bar{\Delta}_4 > 0$）； - Type-5（非单调波动，增益微弱 $\bar{\Delta}_5 \approx 0$）。
作者证明了定理1：只要系统满足 $p_4 \bar{\Delta}_4 > p_3 [-\bar{\Delta}_3]_+$，则全局最优预算必有 $N_{\mathcal{D}}^* \ge B_4 = \lceil \mu_4 \rceil$。由于 Type-4 样本主导了全局精度的唯一正向增益，系统最优预算被这部分难题强行拉向高预算区域（如64或128），而其余四类样本的期望最优预算均极小，导致全局平均预算利用率 $\mathbb{E}[\mathcal{U}_{\bm{x}}] \le \frac{\mathbb{E}[N_{\bm{x}}^*]}{B_4} < 1$ 严重受损。

2. 基于隐状态特征的解耦层级预算预测器（LanBo）
由于一个样本的最优采样预算既取决于问题自身的客观难度，又取决于特定语言模型对该问题的理解置信度，外部黑盒评级无法准确反映内部认知。LanBo直接探测模型自身对输入提示词编码后的最后一层Token隐状态 $\bm{h}_T^l \in \mathbb{R}^d$。为充分利用不同网络深度的语义互补性并避免高维拼接带来的过拟合与稀疏性，LanBo针对模型的全部 $L$ 个Transformer层分别建立独立的单隐层MLP回归器 $\phi_{\theta_l}^\pi: \mathbb{R}^d \to [0, 1]$。隐层维度设计遵循极简代数结构原则，设定为 $\lfloor r \cdot d \rfloor$（其中缩放因子 $r = 1/8$），后接ReLU与Sigmoid输出层，输出归一化预测值 $\hat{n}_{\bm{x}, l}^* = \phi_{\theta_l}^\pi(\bm{h}_T^l(\bm{x}))$。

3. 最优跨层协方差对角化代理加权推理
在推理阶段整合 $L$ 个层级预测器的输出时，最终预算预测表示为 $\hat{N}_{\bm{x}}^* = N_{\max} \cdot \bm{\omega}^\top \hat{\bm{n}}_{\bm{x}}^*$。为了最小化无监督未见样本上的预测方差，理论最优权重满足受约束优化问题 $\min_{\bm{\omega}} \bm{\omega}^\top \Sigma \bm{\omega}$（满足 $\bm{1}^\top \bm{\omega} = 1$），其闭式解为 $\bm{\omega}^* = \frac{\Sigma^{-1}\bm{1}}{\bm{1}^\top \Sigma^{-1}\bm{1}}$。考虑到满秩协方差矩阵求逆存在数值不稳定性与估计误差，作者证明了采用对角化代理矩阵 $\Sigma \approx \operatorname{diag}(m_1, \dots, m_L)$（其中 $m_l$ 为各层预测器在验证集上的经验均方误差 $\hat{m}_l$）不仅在理论上有界，且在实测中非对角相对能量极小。由此推导出高度健壮的“逆均方误差加权法则”（Inverse Squared Error Weighting）： $$\omega_l = \frac{1 / \hat{m}_l}{\sum_{j=1}^L (1 / \hat{m}_j)}$$ 该设计使低误差、高可靠的层级享有更高的决策话语权，兼顾了跨层互补信息与鲁棒性。

损失函数 / 训练策略¶

训练目标：
不同于将预算粗暴离散化的多分类任务，采样预算偏差具有严格的距离敏感性（即偏离最优预算小幅距离对精度的惩罚远小于大幅偏离）。LanBo采用连续距离感知的均方误差（MSE）作为训练损失： $$\mathcal{L}_l^\pi = \mathbb{E}_{\bm{x} \sim P_{\mathcal{D}_{\text{train}}}}\left[\left(\phi_{\theta_l}^\pi(\bm{h}_T^l(\bm{x})) - \frac{N_{\bm{x}}^*}{N_{\max}}\right)^2\right], \quad 1 \le l \le L$$ 训练数据与优化策略：
训练集仅需5,000个样本，由两部分均匀混合组成：从开源 Deepmath-103K 中按10个难度等级各抽样250例（共2,500例，覆盖难度多样性），以及从 WebInstruct 涵盖的10个通用领域中各抽样250例（共2,500例，覆盖领域多样性）。验证集同源采选5,000例且无重叠。优化器选用 AdamW，批大小为128，学习率为 $1\times 10^{-3}$，权重衰减为 $1\times 10^{-4}$，训练300轮。每个基础模型的预测器仅需一次离线训练（总耗时仅60~90秒），即可直接泛化至未见的新任务领域，无需针对测试集重新微调。

实验关键数据¶

实验覆盖4类代表性模型（Qwen2.5-7B、Llama3.1-8B、DeepSeek-R1-Distill-Qwen-7B、Qwen3-4B）及7个跨难度与领域的基准评测集（MATH500、AMC、AIME24、AIME25、GPQA、MMLU-Pro、BrowseComp）。在vLLM框架下，硬件评估指标包括相对标准并行基线的峰值显存比 $\delta_{\mathcal{M}} = \mathcal{M} / \mathcal{M}_{\text{std}}$、端到端时延比 $\delta_{\mathcal{T}} = \mathcal{T} / \mathcal{T}_{\text{std}}$ 以及聚合准确率。

1. 主流高效并行解码方法对比（Qwen3-4B，多数投票聚合）¶

下表展示了标准全局预算（STD.，设置 $N=N_{\mathcal{D}}^*$）、解码时自适应基线（InAda：AC、ESC、DSC、DeepConf）与本文PreAda范式（LanBo）的完整性能对比（结果源自原文表3）：

范式	方法	MATH500 ($\delta_{\mathcal{M}} / \delta_{\mathcal{T}}$ / Acc)	AMC ($\delta_{\mathcal{M}} / \delta_{\mathcal{T}}$ / Acc)	AIME24 ($\delta_{\mathcal{M}} / \delta_{\mathcal{T}}$ / Acc)	AIME25 ($\delta_{\mathcal{M}} / \delta_{\mathcal{T}}$ / Acc)	GPQA ($\delta_{\mathcal{M}} / \delta_{\mathcal{T}}$ / Acc)	MMLU-Pro ($\delta_{\mathcal{M}} / \delta_{\mathcal{T}}$ / Acc)	BrowseComp ($\delta_{\mathcal{M}} / \delta_{\mathcal{T}}$ / Acc)
—	STD.	1.00 / 1.00 / 92.88	1.00 / 1.00 / 82.18	1.00 / 1.00 / 59.35	1.00 / 1.00 / 54.53	1.00 / 1.00 / 65.24	1.00 / 1.00 / 71.87	1.00 / 1.00 / 11.23
InAda	AC	0.18 / 1.56 / 92.17	0.14 / 2.67 / 81.73	0.84 / 3.12 / 57.81	0.26 / 2.41 / 53.81	0.21 / 2.11 / 65.03	0.30 / 2.36 / 71.72	0.26 / 1.90 / 10.51
InAda	ESC	0.12 / 0.88 / 92.11	0.23 / 1.84 / 81.77	0.55 / 1.93 / 57.34	0.28 / 2.25 / 53.86	0.32 / 1.97 / 65.12	0.34 / 2.23 / 71.50	0.34 / 2.34 / 9.80
InAda	DSC	0.16 / 1.35 / 91.17	0.28 / 1.71 / 81.32	0.72 / 2.21 / 57.18	0.22 / 2.78 / 50.23	0.36 / 3.92 / 64.21	0.39 / 2.97 / 70.38	0.45 / 2.67 / 10.00
InAda	DeepConf	0.29 / 2.77 / 91.87	0.32 / 3.27 / 81.65	1.19 / 4.63 / 59.30	0.24 / 3.76 / 52.97	0.49 / 3.20 / 64.87	0.58 / 4.99 / 72.15	0.62 / 4.23 / 10.11
PreAda	LanBo (Ours)	0.20 / 0.45 / 92.07	0.10 / 0.52 / 81.88	0.57 / 0.79 / 59.29	0.17 / 0.56 / 54.55	0.27 / 0.46 / 65.17	0.22 / 0.40 / 72.20	0.28 / 0.48 / 10.63

2. 消融实验：推理层级加权策略与架构设计验证¶

下表对比了LanBo在Qwen3-4B上采用不同加权方案与结构设计的准确率表现（结果源自原文表22、23、24）：

验证维度	实验配置方案	MATH500	AMC	AIME24	AIME25	GPQA	MMLU-Pro	BrowseComp
加权策略消融	逆均方误差加权 (Ours)	92.88	82.18	59.35	54.53	65.24	71.87	11.23
	单最优层 One-hot 选取	91.54	81.43	56.68	53.92	64.88	71.79	10.23
	各层等权均匀平均 (Uniform)	89.49	80.09	56.63	53.24	64.34	70.82	9.93
网络结构设计	独立层级预测器 (Ours)	92.88	82.18	59.35	54.53	65.24	71.87	11.23
	全层隐状态直接拼接 (Concatenated)	90.09	79.80	59.12	52.90	64.23	70.16	10.24
目标形式设计	连续距离回归目标 (Ours)	92.88	82.18	59.35	54.53	65.24	71.87	11.23
	离散 $N_{\max}$ 类别分类器	88.54	79.64	55.28	50.13	62.73	69.22	8.32

亮点与洞察¶

破除InAda的“串行停机陷阱”：现有动态早停算法（InAda）虽然在数学上削减了采样路径总数，但在GPU批处理基础设施（如vLLM）中，将大Batch拆解为多轮串行小Batch动态判定，阻断了张量并行与流水线饱和度。在长思维链场景下，生成128条路径与生成1条路径的时延差异往往仅为2~3倍，因此InAda反复启停的同步开销常导致其实际时延暴增2~4倍（$\delta_{\mathcal{T}} > 2.0$），甚至远慢于固定大预算的基线。
轻量预判激活真并行加速：LanBo在解码前执行预测仅引入约 0.03 ms 的极微小前向开销，使得下游解码仍能以单次发射的大Batch尽情吞吐，首次在硬件层面上真正兑现了采样裁剪带来的时延收益，将整体端到端推理时延普遍压缩至原始标准的 37%~79%。
强大的跨域先验泛化能力：仅基于5k混合数据训练的一套小预测器，在未见过的通用问答（GPQA）、跨学科测试（MMLU-Pro）乃至浏览器Agent交互（BrowseComp）上均能有效预测预算，证明模型自身深层表征中对“自身是否熟练、是否需要多次尝试”具有极高的内省表达力。

局限性 / 可改进方向¶

强依赖模型内部隐状态白盒访问：LanBo依赖于模型内部最后一层Token的Hidden States，目前仅适用于具备权重控制权的开源大模型，无法直接应用于通过闭源API提供服务的专有模型。
仅限于确定性可验证评测任务：由于最优样本预算 $N_{\bm{x}}^*$ 依赖确定性的真实标签来拟合准确率增益曲线，目前方法未覆盖没有标准Ground-Truth的开放式生成（Open-ended generation）任务。
预测器仍需参数拟合：未来可探索免训练（Training-free）的隐空间预算预测方法（如基于内在几何曲率或自注意力熵分布的无监督度量），进一步降低前期拟合成本。

评分¶

新颖性: 4.5 / 5.0 (首次形式化过度扩展诅咒与单调性五分类定理，提出PreAda新范式)
实验充分度: 5.0 / 5.0 (4种模型、7大基准、5种主流基线、真实显存与时延硬件测量全面严密)
写作质量: 5.0 / 5.0 (逻辑极为清晰，数学证明严谨，图表呈现扎实)
价值: 4.8 / 5.0 (直击TTS落地推理成本昂贵的工业界核心痛点，实用价值显著)