跳转至

Latent Thoughts, Certain Gains: Bayesian Optimization for LLM Reasoning

会议: EMNLP 2026
论文: ACL Anthology
领域: 大模型推理
关键词: 隐式推理, 贝叶斯优化, 变分推断, 测试时计算, 输出熵奖励

一句话总结

提出无需训练的测试时优化框架 BLTO,将大模型连续隐式思维建模为带高斯先验的随机变分后验分布,利用自监督输出熵作为置信度内在奖励和重参数化梯度更新,在冻结的大模型上实现显著的推理性能增益。

研究背景与动机

显式思维链(Chain-of-Thought, CoT)的兴起极大激发了大语言模型在多步逻辑推导、数学命题证明与符号操作等复杂任务中的推理潜能。通过自回归地解码中间自然语言推导步骤,CoT 将原本难以跨越的复杂目标逐层拆解为认知负荷较低的子任务,并在诸多评测基准上确立了显著优势。然而,这种将认知轨迹完全物化为离散文本 token 的机制面临不可忽视的计算与理论瓶颈:随着推理链条的延伸,自回归生成的延迟、键值缓存(KV Cache)显存占用和算力开销呈爆炸式增长;更为本质的是,自然语言离散表征往往无法忠实反映模型深层的内部认知动态,推理链条中极易掺杂冗余计算、虚假推理步甚至诱导累积误差。

为了突破显式文本推理的效率与表达限制,隐式思维(Latent Reasoning)作为前沿范式受到学术界的广泛关注。该范式主张在连续隐空间中表示中间认知演进,直接在嵌入或中间隐藏状态层注入连续向量(如 Coconut 的连续思考步、SoftCoT 的软提示或 CCOT 的压缩冥想词元),从而在避免昂贵文本生成的同时保留多步计算容量。然而,现有的隐式推理方法在面对困难、分布外(OOD)或强逻辑约束任务时表现出严重的脆弱性与不稳定性。由于连续隐空间具备高达数千维的维度且缺乏离散词表所固有的词法与句法拓扑约束,模型在测试时往往陷入盲目启发式搜索,不仅极难探索到真正有效的推理表征,反而极易偏离预训练语言流形并诱发激活坍缩。

现有方法在解决该困境时存在核心分歧:依赖监督微调或蒸馏的方法(如 iCoT、CODI)改动了模型权重且严重受限于静态数据的覆盖面;而辅助模块或策略梯度方法(如 SoftCoT 训练轻量模型生成隐向量、LTPO 采用强化学习策略梯度)则饱受高方差梯度估计和局部极值振荡的困扰,难以在冻结参数下自适应匹配不同难度样本的搜索深度。核心 idea:将冻结大模型的隐式思维生成重构为连续空间中的贝叶斯后验推断问题,引入各向同性高斯先验正则化以锚定预训练流形,通过最小化基于预测熵的内在奖励加权 ELBO 目标,并结合重参数化梯度与不确定性自适应退火,实现完全自监督且收敛稳定的测试时推理增强。

方法详解

整体框架

BLTO 在不改动大模型参数 \(\theta\) 的前提下,在推理阶段动态推断高质量的连续隐式思维向量。给定长度为 \(N\) 的输入文本序列 \(x = (x_1, \dots, x_N)\),嵌入层将其映射为词嵌入向量 \(E(x) = (e_1, \dots, e_N) \in \mathbb{R}^{N \times d}\)。BLTO 在输入末尾追加 \(K\) 个特殊的占位符 token(例如 [THINK]),其对应的连续嵌入向量 \(H = (h_1, \dots, h_K) \in \mathbb{R}^{K \times d}\) 充当可优化的隐式思维向量。整个推断过程将隐向量视作随机变量,构建关于后验分布 \(p(H|x) \propto p(H) \exp(\beta R(x, H))\) 的变分高斯近似,通过自监督的输出熵作为内在质量奖励,在闭式 KL 散度正则化约束下进行重参数化梯度更新与自适应步数早停。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入序列与占位嵌入<br/>E(x) 拼接 K 个 [THINK] 嵌入 H"] --> B["变分高斯后验与先验正则化<br/>因子化高斯 q_phi(H) 与标准正态先验 KL 约束"]
    B --> C["输出熵自监督内在奖励与低方差重参数化更新<br/>负平均输出熵生成奖励驱动梯度解析更新 mu 与 rho"]
    C --> D["基于后验不确定性的自适应退火与多准则早停控制<br/>不确定性动态调控采样温度并据收敛性自适应分配步数"]
    D --> E["生成最终确定性推理答案<br/>基于最优后验均值引导冻结模型自回归解码"]

关键设计

1. 变分高斯后验与先验正则化:高维无约束搜索易导致语义漂移与模式崩溃

在连续高维空间 \(\mathbb{R}^{K \times d}\)(通常达数千甚至上万维)中直接点估计搜索最优向量 \(H\),极易因奖励曲面高度非凸非线性而陷入退化解,或脱离预训练嵌入空间的几何支撑区。BLTO 采取贝叶斯推断视角,定义隐式思维后验 \(p(H|x) \propto p(H) \exp(\beta R(x, H))\),其中先验分布设定为标准各向同性高斯分布 \(p(H) = \prod_{k=1}^K \mathcal{N}(h_k; 0, I)\)。该先验施加了强烈的 \(L_2\) 范数惩罚,在缺乏高置信度奖励信号驱动时迫使隐向量回退至原点附近,防止优化偏离预训练嵌入流形。为了实现高效的后验逼近,BLTO 引入对角协方差的可分解高斯变分族 \(q_\phi(H) = \prod_{k=1}^K \mathcal{N}(h_k; \mu_k, \text{diag}(\sigma_k^2))\),变分参数为均值 \(\mu \in \mathbb{R}^{K \times d}\) 与对数方差 \(\rho \in \mathbb{R}^{K \times d}\)(满足 \(\sigma_k^2 = \exp(\rho_k)\)),保证方差恒正且无需带约束优化。目标函数即为证据下界(ELBO)的负等价形式:

\[\mathcal{L}(\phi) = \text{KL}(q_\phi(H) \parallel p(H)) - \beta \cdot \mathbb{E}_{q_\phi}[R(x, H)]\]

得益于先验与变分后验的高斯假设,KL 散度项具备精确的解析闭式解:

\[\text{KL}(q_\phi(H) \parallel p(H)) = \frac{1}{2} \sum_{k=1}^K \sum_{j=1}^d \left( \sigma_{k,j}^2 + \mu_{k,j}^2 - 1 - \log \sigma_{k,j}^2 \right)\]

该解析项不仅天然平滑了优化曲面并压低梯度方差,其中 \(\sigma_{k,j}^2 - \log \sigma_{k,j}^2 - 1\) 驱使方差对齐先验方差 1,而 \(\mu_{k,j}^2\) 严格抑制均值偏离原点,构建了原则性的连续正则化护栏。

2. 输出熵自监督内在奖励与低方差重参数化更新:缺乏真实标注监督且得分函数梯度方差过大

测试时优化无法依赖真实答案标签或外部验证器(External Verifier)。BLTO 提出完全内生的自监督奖励机制,其核心洞见在于:合理的深层认知状态应当降低大模型后续预测的不确定性,提升模型对推理轨迹的确定度。将拼接了隐式思维向量的序列送入冻结大模型 \(M_\theta\),在 \(K\) 个思考位置处获得词表分布 \(P_{N+k}(v)\),计算各隐思考 token 的输出熵 \(H_k = -\sum_{v \in \mathcal{V}} P_{N+k}(v) \log P_{N+k}(v)\)。BLTO 将负平均熵定义为内在优化奖励:

\[R(x, H) = -\frac{1}{K} \sum_{k=1}^K H_k\]

为了避免经典策略梯度(Score-Function / REINFORCE)由于采样单一样本而引入的巨大方差导致优化崩溃,BLTO 采用重参数化技巧(Reparameterization Trick),令 \(H = \mu + \sigma \odot \epsilon\),其中 \(\epsilon \sim \mathcal{N}(0, I)\) 且 \(\sigma = \exp(\frac{1}{2}\rho)\)。借助 \(S\) 个蒙特卡洛采样点,推导出针对变分参数 \(\mu\) 与 \(\rho\) 的显式梯度解析式:

\[\nabla_\mu \mathcal{L} = \mu - \frac{\beta}{S} \sum_{s=1}^S \nabla_H R^{(s)}\]
\[\nabla_\rho \mathcal{L} = \frac{1}{2}(\sigma^2 - 1) - \frac{\beta}{2S} \sum_{s=1}^S \left( \nabla_H R^{(s)} \odot \sigma \odot \epsilon^{(s)} \right)\]

式中 \(\nabla_H R^{(s)}\) 通过冻结网络反向传播精确获取。均值梯度实现了先验回拉与奖励最大化的闭环折衡,而对数方差梯度则依据曲率与当前不确定性自适应调节探索带宽,极大提升了测试时优化的数值平稳性。

3. 基于后验不确定性的自适应退火与多准则早停控制:固定迭代步数导致过拟合与计算冗余

不同复杂度的推理题目所需认知开销迥异:简单算术题过量优化易诱发熵坍缩和过拟合,而高难度竞赛题则需要充分探索复杂解空间。此外,固定噪声尺度的采样容易在优化后期干扰收敛。BLTO 提出结合后验不确定性的自适应退火机制,引入动态温度参数 \(\lambda_t\) 缩放采样扰动:

\[H^{(s)} = \mu + \lambda_t \cdot \sigma \odot \epsilon^{(s)}, \quad \lambda_t = \lambda_{\min} + (\lambda_{\max} - \lambda_{\min}) \cdot \frac{\bar{\sigma}_t}{\bar{\sigma}_0}\]

其中 \(\bar{\sigma}_t = \frac{1}{Kd}\sum_{k,j} \sigma_{k,j}^{(t)}\) 为当前平均标准差。优化初期不确定性较高,\(\lambda_t \to \lambda_{\max}\) 促进广泛的全局探索;后期不确定性坍缩收敛,\(\lambda_t \to \lambda_{\min}\) 确保在均值局域细致精炼,形式上类同于连续空间的模拟退火。在此基础上,BLTO 设计了涵盖步数界限、不确定性坍缩与奖励停滞的多准则自适应停止准则:

\[t \ge T_{\min} \land \left( t \ge T_{\max} \lor \bar{\sigma}_t < \epsilon_{\text{unc}} \lor \max_{i=0}^{\tau-1} |\bar{R}_{t-i} - \bar{R}_{t-i-\tau}| < \epsilon_{\text{rew}} \right)\]

其中 \(\bar{R}_t\) 为衰减因子 \(\alpha\) 的指数移动平均奖励。该机制自动将简单样本截断在 5 步左右,而将长尾高难样本放行至最高 22 步,实现了准确率与推理算力分配的最优平衡。

损失函数 / 训练策略

BLTO 属于纯测试时优化(Test-time Optimization)方法,基座语言模型全部参数 \(\theta\) 完全冻结,无需预先离线训练。优化过程仅在单卡 GPU 上为单个问题实例在线迭代变分参数 \(\phi = \{\mu, \rho\}\)。初始化时,\(\mu^{(0)}\) 取自占位符 token 的预训练词嵌入并添加细微高斯扰动 \(\delta \sim \mathcal{N}(0, \epsilon^2 I)\) 打破对称性,\(\rho^{(0)}\) 初始化为常数向量 \(\log(\sigma_0^2)\mathbf{1}\)。变分参数采用 AdamW 优化器更新,学习率为 \(\eta\),对数方差 \(\rho\) 被截断在 \([-14, -2.3]\) 区间内以防数值溢出。实验默认采样数 \(S = 5\),超参数设定 \(\beta = 0.8\),KL 散度权重为 \(0.008\)。自适应步数范围 \(T_{\min}=5, T_{\max}=22\),窗口滑动容忍度 \(\tau=5\),奖励改善阈值 \(\epsilon_{\text{rew}}=0.006\),在经过 3 步预热后当后验不确定性 \(\bar{\sigma}_t < \epsilon_{\text{unc}}=0.025\) 时触发提前终止。

实验关键数据

主实验

在 LLaMA-3.1-8B-Instruct 与 Qwen-2.5-7B-Instruct 两个不同架构体系的模型上,针对 GSM8K、MATH-500、ASDiv-Aug、AIME2024 与 AIME2025 五大多步数学推理基准进行全面评估。

模型 & 方法 GSM8K MATH-500 ASDiv-Aug AIME2024 AIME2025 平均准确率
LLaMA-3.1-8B-Instruct
Zero-Shot CoT 76.88 48.60 79.58 6.67 0.00 42.35
Zero-Shot CoT-Unk 80.67 46.20 89.50 10.00 3.33 45.94
SoftCoT 80.36 39.80 87.57 0.00 0.00 41.55
LTPO 80.89 46.60 88.25 10.00 6.67 46.48
BLTO (本文) 82.03 51.00 90.08 16.67 6.67 49.29
Qwen-2.5-7B-Instruct
Zero-Shot CoT 88.55 72.40 91.71 10.00 10.00 54.53
Zero-Shot CoT-Unk 86.20 70.80 91.52 13.33 10.00 54.37
SoftCoT 85.29 65.20 88.92 0.00 0.00 47.88
LTPO 87.87 71.80 91.71 10.00 3.33 52.94
BLTO (本文) 88.55 74.80 92.58 20.00 16.67 58.52

在对比需要离线更新权重的训练方法时(基于 LLaMA-3.1-8B-Instruct),BLTO 展现了超越微调模型的强劲能力:

方法 更新参数 监督类型 GSM8K MATH-500 AIME2024
Genius 是 自监督 78.09 47.60 3.33
SimpleRL-Zoo† 是 外部数据 79.20 23.00 0.00
iCoT 是 外部数据 50.05 - -
SoftCoT 是 外部数据 80.36 39.80 0.00
LTPO 否 自监督 80.89 46.60 10.00
BLTO (本文) 否 自监督 82.03 51.00 16.67

消融实验

基于 LLaMA-3.1-8B-Instruct 研究隐式思维 token 数量 \(K\) 对不同难度任务性能的影响:

隐式思维数量 \(K\) ASDiv-Aug (%) GSM8K (%) MATH-500 (%)
\(K = 2\) 90.08 80.14 47.20
\(K = 4\) 87.86 80.06 48.40
\(K = 6\) 88.63 79.98 49.00
\(K = 8\) 89.40 81.90 49.40
\(K = 10\) 88.82 82.03 51.00

在基座模型尺度跨度分析中,评估 Qwen2.5 系列不同参数规模在 GSM8K 与 ASDiv-Aug 上的性能迁移:

数据集 优化方法 Qwen2.5-0.5B Qwen2.5-1.5B Qwen2.5-7B
GSM8K LTPO 13.57 40.80 87.87
GSM8K BLTO (本文) 37.76 (+24.19) 57.86 (+17.06) 88.55 (+0.68)
ASDiv-Aug LTPO 50.87 56.07 91.71
ASDiv-Aug BLTO (本文) 75.53 (+24.66) 78.90 (+22.83) 92.58 (+0.87)

关键发现

  • 任务难度越高,贝叶斯优化收益越显著:在 GSM8K 与 ASDiv-Aug 等相对基础的算术问题上,BLTO 相对 LTPO 取得 1% 到 2% 的稳步增益;而在高难度的 MATH-500 以及极富挑战性的 AIME2024/2025 竞赛题上,绝对提升幅度分别达到 3%~4% 和 6.67%~10.00%。这印证了自适应探索机制的价值,复杂逻辑依赖更宽广的隐空间不确定性探索。
  • 无需参数更新即可匹敌甚至压倒微调模型:在完全不更改权重的情况下,BLTO 在 GSM8K (82.03%)、MATH-500 (51.00%) 和 AIME2024 (16.67%) 上全线超过了依赖外部数据或强化微调的 SimpleRL-Zoo、SoftCoT 与 Genius,证明在冻结表征中存在被抑制的优良推理潜能,可通过测试时变分搜索被充分激发。
  • 极小模型受惠最大:在 Qwen2.5-0.5B 和 1.5B 等极轻量级模型上,BLTO 带来了多达 17%~25% 的惊人准确率跃升。小模型受限于表达容量往往难以维持冗长自回归链条的稳定性,而高质量的连续隐思维直接为其奠定了扎实的语义先验。
  • 思维长度 \(K\) 具有任务异质性:简单常识应用题(ASDiv-Aug)在 \(K=2\) 时表现最佳,过多 token 易导致过度参数化;而复杂的 MATH-500 随着 \(K\) 从 2 增至 10,准确率从 47.20% 单调攀升至 51.00%,说明高阶数学推理需要更大的连续状态容量。

亮点与洞察

  • 将测试时优化从启发式爬山升级为严谨的变分推断:以往工作大多将软提示优化视为孤立的确定性点优化或无约束策略梯度,极易陷入高方差不稳定陷阱。BLTO 首次从第一性原理推导出带有闭式高斯先验正则项的 ELBO 目标,将正则化、探索度与置信度统一在概率框架内。
  • 输出熵作为内在质量奖励的物理直觉:无需标注或训练判别模型,直接借助冻结 LLM 自身的词元预测信息熵量化认知一致性。通过最大化负熵驱动隐状态,使模型从认知迷茫(均匀高熵)状态自然收敛到聚焦高确信度(低熵极化)状态。
  • 可复用的测试时计算算力自适应调度策略:通过实时追踪后验方差 \(\bar{\sigma}_t\) 的收敛轨迹动态退火采样温度,并设计不确定性坍缩与滑动窗口停滞多重早停门控,为测试时缩放定律(Test-time Scaling Laws)提供了优雅且即插即用的轻量级调度范例。

局限与展望

  • 测试时反向传播带来的延迟与显存开销:每个测试样本在自回归生成前需经历 5 至 22 步完整的梯度反向传播以更新变分参数,并维护包含 \(S=5\) 个轨迹的蒙特卡洛抽样,在延迟敏感的在线交互场景下会显著削弱隐式推理相较于显式短 CoT 的速度优势。
  • 模型尺度的验证范围局限于小中型模型:论文实验覆盖了 0.5B 至 8B 规模的语言模型,尚未在 70B 及以上超大规模前沿基座(如 Llama-3-70B、DeepSeek-V3 等)上验证梯度更新的内存开销与优化收益比例。
  • 未来方向:探索低秩(LoRA 形式)或子空间投影的变分隐思维表示以进一步压缩变分参数量;将先验分布从静态各向同性高斯升级为基于问题语义特征条件化的数据依赖先验网络。

相关工作与启发

  • vs Coconut / SoftCoT: Coconut 依赖在多轮离线课程微调中逐步替换语言 token 为隐藏状态;SoftCoT 依赖训练一个额外的轻量级辅助模型来发射 soft thought。BLTO 彻底摆脱了任何离线训练流程或辅助模型依赖,基座模型完全冻结,直接在测试时基于自监督概率目标推导隐状态。
  • vs LTPO (Latent Thought Policy Optimization): LTPO 采用纯强化学习策略梯度在连续向量上优化置信度,缺乏先验正则化约束,极易在高维空间发生剧烈方差震荡与过拟合。BLTO 引入贝叶斯高斯先验、重参数化低方差梯度推导以及自适应模拟退火控制,有效解决了优化稳定性和步数分配问题。
  • vs 显式测试时搜索 (MCTS / Best-of-N): 传统的测试时增强主要在离散文本空间执行蒙特卡洛树搜索(MCTS)或多次采样加外部验证器重排序,受制于自回归生成的庞大开销。BLTO 证明在连续嵌入层进行连续梯度的贝叶斯寻优,能够以极少的步数与纯内在熵信号激活大模型深层推理力。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次将测试时连续隐思维推理严谨建立在变分贝叶斯推断框架之上,设计优雅闭环。
  • 实验充分度: ⭐⭐⭐⭐☆ 评测覆盖两大家族多尺度模型及 5 项数学、常识与符号推理数据集,消融与定性分析详实;若能补充更大规模模型的开销实测将更为完备。
  • 写作质量: ⭐⭐⭐⭐⭐ 形式化推导严密清晰,梯度展开与变分目标数学表述规范,图文对照极高。
  • 价值: ⭐⭐⭐⭐⭐ 为轻量级与离线模型突破固有推理上限开辟了极具前景的无需微调的连续测试时优化路径。