BORA-BUDGET: Learning When to Think Under a Token Budget¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://anonymous.4open.science/r/BORA-BUDGET-E777
领域: LLM 推理
关键词: 混合思考大模型, 预算自适应推理, 测试时计算分配, 采纳门控, 错误覆盖风险
一句话总结¶
针对混合思考大模型全量开启思考消耗过大且易破坏正确答案的问题,本文提出了具有种子保护机制的预算自适应控制框架 BORA-BUDGET,通过种子状态特征预测边际收益与风险,并在触发思考后设立采纳门控,在显著削减推理 token 消耗的同时逼近统一思考的准确率。
研究背景与动机¶
近年来,大语言模型通过测试时计算扩展(如思维链生成、自洽性采样、树搜索等)显著提升了复杂逻辑与数学推理能力。随着 Qwen3 等混合思考(hybrid-thinking)模型的出现,系统在单模型内部同时提供了廉价的非思考模式(/no_think)与昂贵但强大的显式思考模式(/think)。这一演进将模型部署的核心矛盾从单纯的“能否推理”转变为“何时值得付出高昂 token 成本与覆盖风险去深度思考”。
全量开启高算力思考模式虽然性能强劲,但在模型原本就能轻松作答的简单样本上造成了极大的算力浪费;若完全关闭思考模式,则在困难任务上表现贫弱。更致命的是,现有级联路由通常只看最终准确率,忽视了混合模型推理中的“错误覆盖风险”(harmful override):即廉价非思考种子输出本已正确,但调用昂贵思考模式后模型却生成了错误答案。现有的测试时缩放与令牌预算控制方案多侧重于分配思考长度或搜索广度,无法在推断开始前准确预判哪些样本具有真正的正向边际价值,且缺乏防止恶性覆盖的纠错兜底机制。
本文的切入视角是将混合思考推理形式化为有预算约束的“机会分配(opportunity allocation)”问题。控制器首先获取廉价种子输出并将其作为默认的零成本接受基线,仅在预测额外思考的预期收益显著覆盖 token 成本与覆盖风险时才触发思考,并在思考后引入独立的采纳门控决定是否采纳新答案。核心 idea:将混合思考推理重构为“种子保护的预算机会分配”,利用种子状态轻量特征预测边际帮助率、有害覆盖率与生成成本,通过 AutoThreshold 阈值机制在总 token 预算下自适应触发思考,并以触发与采纳彻底解耦的双阶段架构实现高回报、低风险的测试时计算分配。
方法详解¶
整体框架¶
BORA-BUDGET 的核心流程围绕“默认保护种子、预测边际收益、预算自适应触发、严格门控采纳”展开。系统处理输入问题时,首先通过廉价的非思考策略获得初始种子答案、轨迹和开销,并抽取种子上下文特征。随后,控制器内的机会模型与成本模型估算调用思考模式的帮助概率、有害覆盖概率以及额外 token 开销。基于全局指定的额外 token 预算,预算分配器(AutoThreshold 或拉格朗日乘子策略)自适应确定触发样本集。对于未触发样本,系统直接零成本输出种子答案;对于触发样本,系统调用模型思考模式生成候选答案,最后经由采纳门控核验有效性——若门控通过则更新答案,否则回退保留种子输出。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入问题 x"] --> B["阶段 1:种子状态特征抽取<br/>廉价推理并提取解析/统计/一致性特征"]
B --> C["阶段 2:机会与成本建模<br/>预测帮助概率、有害风险与预期 Token 开销"]
C --> D["阶段 3:AutoThreshold 预算分配<br/>依据总预算自适应求解触发阈值与样本集"]
D -->|未达到触发阈值| E["默认接受路径<br/>零额外开销保留种子答案"]
D -->|触发思考模式| F["阶段 4:采纳门控核验<br/>生成思考候选并执行解析/符号一致性校验"]
F -->|门控通过| G["采纳思考答案"]
F -->|门控拒绝| H["回退保留种子答案"]
关键设计¶
1. 种子状态特征抽取:输入难以直接评估难度 -> 多视角轻量特征表征 -> 零显式标注构建上下文
直接依据原始输入问题往往难以准确判断思考的必要性,而廉价非思考模式给出的输出轨迹与答案中蕴含着丰富的置信度线索。系统在冻结模型的 /no_think 模式下生成种子答案 \(\hat{y}_i^0\) 及轨迹 \(\tau_i^0\),并抽取五组轻量特征:一是答案解析特征(包括解析是否成功、数值正负号、整型/浮点型、候选答案多样性);二是轨迹统计特征(种子 token 数、词数、字符数、截断标志及数值片段密度);三是种子自洽性特征(包含方框答案计数、首次与末次答案是否一致、多个候选数值间的分散度,以及“wait”、“mistake”、“check”、“confirm”等修正标记词频);四是问题形态特征(代数、几何、数论、极值、证明用语等词法指示符);五是可选的独立校验特征(符号格式风险与基础算术一致性)。所有特征均在无需真实标签或昂贵思考参与的前提下离线提取,为后续控制器提供了低延迟、高信息量的判别依据。
2. 机会与成本建模:统一思考盲目性与有害覆盖风险 -> 边际效用概率估计 -> 机会得分显式惩罚有害风险 昂贵思考模式并非处处有益,它既可能挽救错误的种子(Helpful: \(\hat{y}^0 \neq y \land \hat{y}^T = y\)),也可能破坏本已正确的种子(Harmful: \(\hat{y}^0 = y \land \hat{y}^T \neq y\))。为了精细量化这一权衡,BORA-BUDGET 基于离线校准数据训练基于梯度提升决策树(HistGradientBoosting)的分类器,分别估计给定种子上下文 \(s\) 下的帮助概率 \(P_{\text{help}}(s)\) 与有害概率 \(P_{\text{harm}}(s)\),并定义综合机会得分: $\(v(s) = P_{\text{help}}(s) - \alpha P_{\text{harm}}(s)\)$ 其中 \(\alpha\) 为有害惩罚系数(在主实验中设为 2)。同时,系统利用同结构的回归模型拟合调用思考模式的额外 token 成本 \(\hat{C}(s) = \mathbb{E}[c^T - c^0 \mid s]\)。该设计摆脱了只以单点准确率为目标的局限,将潜在的性能退化直接内化为控制惩罚项。
3. AutoThreshold 预算分配:固定比例不适应用量限制 -> 拉格朗日流式阈值求解 -> 动态确定触发边界 在实际生产中,算力预算通常以总 token 上限 \(B_{\text{extra}}\) 形式下达,而非人工预设的固化触发比例(如 Top-30%)。BORA-BUDGET 提出了 AutoThreshold 机制,在受限的多重选择背包问题设定下引入等价的拉格朗日影子价格 \(\lambda_B\)。系统选择使得总预测消耗不超过总预算的最大价格 \(\lambda_B\),并触发所有满足边际性价比条件的样本: $\(P_{\text{help}}(s) - \alpha P_{\text{harm}}(s) - \lambda_B \hat{C}(s) > 0\)$ 在流式或单样本决策场景中,该准则等价于根据预测单位 token 收益 \(r_i = \frac{v(s_i)}{\hat{C}(s_i)}\) 排序并截断至预算耗尽。理论分析证明,当机会预测与成本估计的误差上界分别为 \(\epsilon_G, \epsilon_H, \epsilon_C\) 时,AutoThreshold 策略相对于预知真实的理论最优解的效用遗憾有明确上界 \(2(\epsilon_G + \mu \epsilon_H + \lambda \epsilon_C)\),保证了预算满足与收益接近最优的稳定性。
4. 采纳门控核验:相同模型幻觉导致错误覆写 -> 触发与采纳双阶段解耦 -> 严格守卫种子安全 决定触发付费思考并不等同于必须无条件采纳其结果。深度思考模型往往在产生更长推导时出现自圆其说的幻觉,盲目覆盖高置信度的种子答案会造成不可逆的精度损失。BORA-BUDGET 将触发与采纳彻底解耦,设立了多级采纳门控 \(g(\hat{y}^0, \tilde{y}^T, \tau^T)\)。基础门控(Main Gate)要求生成的思考候选答案必须成功解析为合法数值,且生成过程未触发最大 token 上下文截断(near-cap);严格门控(Strict Gate)进一步施加正负号一致性核验(sign consistency check),当种子与思考答案均为标量数值但符号不一时直接拒绝采纳。若门控拒绝,系统安全回退至种子答案 \(\hat{y}^0\)。该机制将有害覆盖率压低至近乎零水平,构成高可靠推理的关键防线。
损失函数 / 训练策略¶
控制器采用轻量级二阶段离线校准:
1. 分类与回归模型训练:利用校准集(如 LOSO 留一随机种子策略中除测试种子外的两组随机种子展开数据),提取种子特征作为输入。对标签 \(Y_{\text{help}} = \mathbb{I}(\hat{y}^0 \neq y \land \hat{y}^T = y)\) 与 \(Y_{\text{harm}} = \mathbb{I}(\hat{y}^0 = y \land \hat{y}^T \neq y)\),采用 scikit-learn 的 HistGradientBoostingClassifier 分别训练,超参数设定为最大迭代轮数 \(\text{max\_iter}=200\)、学习率 \(\eta=0.05\)、\(L_2\) 正则化系数为 0.01;成本预测器使用具有相同参数的 HistGradientBoostingRegressor。
2. AutoThreshold 标定:给定测试批次或全局目标额外预算 \(B_{\text{extra}}\),在校准集合上扫描或二分搜索边际惩罚乘子 \(\lambda_B\),使得预估总体额外 token 开销 \(\sum_i \hat{C}(s_i) \cdot \mathbb{I}(v(s_i) - \lambda_B \hat{C}(s_i) > 0) \approx B_{\text{extra}}\)。
实验关键数据¶
主实验¶
论文在 MATH500 数据集上跨 Qwen3-4B、Qwen3-8B 和 Qwen3-14B 三种模型规模进行了三随机种子评测,主对比结果采用严格采纳门控(strict)。
| 模型 | 方法 | 准确率 (%) | 标准差 | 平均 Token 数 | 挽救错误数 (Helpful) | 破坏正确数 (Harmful) |
|---|---|---|---|---|---|---|
| Qwen3-4B | /no_think | 72.93 | 0.46 | 605.6 | – | – |
| Qwen3-4B | Always /think@8k | 91.00 | 0.80 | 3754.9 | – | – |
| Qwen3-4B | Always /think@12k | 93.93 | 0.12 | 4080.9 | – | – |
| Qwen3-4B | Random top50 strict | 82.50 | 0.35 | 2644.4 | 145 | 1 |
| Qwen3-4B | GBDT top30 strict (本文) | 90.60 | 0.53 | 2664.6 | 266 | 1 |
| Qwen3-4B | GBDT top50 strict (本文) | 91.87 | 0.70 | 3418.1 | 286 | 2 |
| Qwen3-8B | /no_think | 73.40 | 0.53 | 610.2 | – | – |
| Qwen3-8B | Always /think@8k | 90.73 | 0.58 | 3867.8 | – | – |
| Qwen3-8B | Always /think@12k | 93.33 | 1.21 | 4293.1 | – | – |
| Qwen3-8B | Random top50 strict | 82.71 | 0.59 | 2755.1 | 140 | 0 |
| Qwen3-8B | GBDT top30 strict (本文) | 90.53 | 1.29 | 2781.0 | 258 | 1 |
| Qwen3-8B | GBDT top50 strict (本文) | 91.40 | 0.87 | 3533.5 | 272 | 2 |
| Qwen3-14B | /no_think | 75.60 | 0.72 | 607.0 | – | – |
| Qwen3-14B | Always /think@12k | 95.07 | 0.46 | 3902.7 | – | – |
| Qwen3-14B | Random top50 strict | 84.45 | 0.50 | 2557.5 | 134 | 3 |
| Qwen3-14B | Trace top50 strict | 92.33 | 0.70 | 3439.0 | 254 | 3 |
| Qwen3-14B | GBDT top30 strict (本文) | 92.73 | 0.46 | 2685.3 | 257 | 0 |
| Qwen3-14B | GBDT top50 strict (本文) | 93.13 | 0.61 | 3360.1 | 265 | 2 |
消融实验¶
下表汇总了 Qwen3-8B 在 MATH500 上的触发命中诊断(Table 7)以及在明确 Token 预算驱动下的 AutoThreshold 表现(Figure 3 对应数据),展示了模型识别高价值样本的能力与预算平滑控制表现。
| 预算/触发配置 | 评价指标/覆盖表现 | 说明 |
|---|---|---|
| 触发诊断 Top10 | 种子错误覆盖率: 34.84% / 种子正确暴露率: 1.00% | 极低预算下控制器几乎完全聚焦于错误样本 |
| 触发诊断 Top20 | 种子错误覆盖率: 68.92% / 种子正确暴露率: 2.27% | 极高性价比阶段 |
| 触发诊断 Top30 | 种子错误覆盖率: 88.72% / 种子正确暴露率: 8.72% | 覆盖近 90% 的错误,同时仅打扰不到 9% 的正确种子 |
| 触发诊断 Top50 | 种子错误覆盖率: 94.49% / 种子正确暴露率: 33.88% | 召回更多边界错误,但正确样本暴露度上升 |
| 显式预算 400k (AutoThreshold) | 准确率: 82.20% / 诱导触发率: 10.40% / 平均 1434.8 tokens | 较 /no_think (+8.80%) 显著提升,消耗极低 |
| 显式预算 1.0M (AutoThreshold) | 准确率: 90.00% / 诱导触发率: 28.53% / 平均 2636.6 tokens | 达到 90% 准确率门槛,有害覆盖率低于 1 次均值 |
| 显式预算 1.5M (AutoThreshold) | 准确率: 91.47% / 诱导触发率: 55.27% / 平均 3619.0 tokens | 接近 Always /think@8k (90.73%) 但更节省 token |
| 显式预算 1.63M (AutoThreshold) | 准确率: 91.60% / 诱导触发率: 62.40% / 平均 3866.8 tokens | 逼近计算收益饱和点 |
关键发现¶
- 显著超越随机分配:在所有模型规模下,GBDT top50 严格门控模式均比随机触发策略领先 8.6 到 9.3 个百分点,充分验证了边际机会可学性。
- 低预算高精准命中:诊断数据显示,在 Top30 触发比例下,控制器成功覆盖了 88.72% 的初始错误样本,而仅将 8.72% 的正确样本暴露于二次推导中;挽救了超过 250 道题目,展现出极高的边际精度。
- 与轨迹长度基线的较量:在严格的留一问题(qid-disjoint)分割下,仅凭种子输出长度的启发式(Trace baseline)展现了很强的难度代理能力(如 Qwen3-14B Trace top50 达到 92.33%),GBDT 在泛化场景下能够与其抗衡并略占优势,但凸显出跨任务特征设计的复杂性。
亮点与洞察¶
- 解耦“付费思考”与“答案采纳”:传统推理路由往往在触发复杂分支后直接覆盖初始解,而本文敏锐指出模型深度思考同样存在幻觉风险,通过在后置链路引入符号与合法性门控,以极小的代码代价遏制了有害覆盖。
- 基于拉格朗日因子的 AutoThreshold 连续预算映射:避开了传统工程中为不同任务手动调优 Top-k 比例的繁琐流程,使用影子价格将全局 token 预算优雅地解构为各样本的独立判定阈值。
- 低开销的非侵入式架构:无需对底层模型进行微调或增加高计算量的辅助判别网络,仅凭借廉价树模型和轻量统计特征即实现了卓越的推理控制。
局限与展望¶
- 跨任务泛化能力参差不齐:当前机会与成本校准强依赖任务内的分布分布,在迁移至 GPQA Diamond 或多选题型时泛化表现有所下滑,依赖特定提示词工程与评估格式。
- 未能完全杜绝错误转移(wrong-to-wrong):采纳门控主要防御了“从对到错”的恶性覆盖,但对于思考后依然给出其他错误答案的情况缺乏进一步的逻辑检验能力。
- 多预算臂(K-armed)选择尚未达到理想效果:尽管理论上支持在多种思考长度预算间灵活选择,但实测学习型多臂选择器尚未战胜稳健的单预算二元开关。
相关工作与启发¶
- vs FrugalGPT / RouteLLM 等跨模型级联路由:级联路由致力于在不同参数量或供应商模型间分流,而 BORA-BUDGET 解决的是单个冻结混合思考模型内,廉价种子模式与高阶思考模式之间的测试时计算微观调配问题。
- vs Thinkless / AdaCoT 等自适应思考方法:以往工作多通过微调或强化学习使模型学会插入思考标记,而 BORA-BUDGET 是纯外部控制层,兼顾了成本预算硬约束与防覆写安全机制。
评分¶
- 新颖性: ⭐⭐⭐⭐ [将混合推理形式化为有预算约束且兼顾覆盖风险的种子保护机会分配问题]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 3 个模型尺度、多任务迁移、消融诊断及细致的理论遗憾分析]
- 写作质量: ⭐⭐⭐⭐⭐ [逻辑严密,正文与附录推导清晰,对局限与失败模式披露客观坦诚]
- 价值: ⭐⭐⭐⭐⭐ [对推理大模型的落地降本、延迟控制与稳定性保障具有极高的实用价值]