跳转至

Latent Thoughts, Certain Gains: Bayesian Optimization for LLM Reasoning

会议: EMNLP 2026
论文: ACL Anthology
领域: LLM 推理
关键词: 隐式思维优化, 贝叶斯推断, 测试期优化, 变分推断, 大语言模型推理

一句话总结

本文提出面向冻结大语言模型的无训练测试期推理优化框架 BLTO,将连续空间隐式思维建模为随机变量并引入高斯变分推断,利用模型输出预测分布的负平均熵作为自监督内在奖励,通过重参数化梯度更新与不确定度自适应早停机制实现高置信推理轨迹的高效搜索。

研究背景与动机

大语言模型在多步符号推导、数学解题与复杂逻辑推理等任务中展现出卓越能力,其背后的主要驱动力是显式思维链(Chain-of-Thought, CoT)提示范式。CoT 通过促使模型在生成最终答案前逐词外化中间推理步骤,将复杂解题目标拆解为若干细粒度的自然语言子步骤。然而,这种显式文本展开在实际工程落地中暴露出了严重的效率与认知瓶颈:自回归逐 token 生成冗长的中间解释显著增加了推理计算延时、显存占用以及带宽开销,且模型输出的表面文本推理轨迹往往无法忠实反映内部注意力与表征动力学的真实流转,甚至极易引入误导性的冗余或虚假推导步骤。

为了突破显式思维链的效率天花板,以连续隐空间内部状态表征推理过程的“隐式思维(Latent Reasoning)”逐渐成为前沿热点。现有隐式推理方法大致可分为两类:一是参数微调路线(如 iCoT、Coconut、CODI),直接修改骨干网络权重以促成隐状态推理与自蒸馏;二是外置辅助模块路线(如 SoftCoT),通过微调轻量模型生成软提示投影至嵌入层。然而,高维连续空间固有的非结构化与非凸特性使得优化极其脆弱。一方面,现有方法在面对困难或分布外(OOD)问题时极易陷入表征崩溃或退化为不可解的漂移模式;另一方面,依赖固定长度提示或启发式单向搜索(如 LTPO 采用的策略梯度)在多模态与高不确定度解空间中缺乏全局分布探索能力与收敛保障。

面对这一困境,最根本的瓶颈在于如何在不改动基础大模型任何权重、不依赖外部标注验证器(Ground-Truth Verifiers)的前提下,为连续隐思维探索建立具备严格概率测度与理论收敛约束的最优控制机制。既然模型内部表征的演进天然伴随着不确定性,将连续隐状态视作先验约束下的概率认知分布便成为最合乎逻辑的切入点。核心 idea:将冻结大模型的测试期隐式思维搜索形式化为高维连续嵌入空间中的贝叶斯变分推断问题,以各向同性标准高斯分布作为先验约束防止表征漂移,以模型输出分布的负预测熵构造自监督内在奖励,借助重参数化低方差梯度更新与不确定度驱动的自适应退火控制器在推理期动态搜索最佳思维表征。

方法详解

整体框架

BLTO(Bayesian Latent Thought Optimization)在冻结模型 \(M_\theta\) 的前向过程中切入。对于离散输入 prompt \(x = (x_1, \dots, x_N)\),嵌入层将其映射为连续向量序列 \(E(x) \in \mathbb{R}^{N \times d}\)。模型在输入末尾追加 \(K\) 个特殊的连续隐式思维占位向量 \(H = (h_1, \dots, h_K) \in \mathbb{R}^{K \times d}\),拼接后构成输入 \(E(x) \parallel H\)。BLTO 并不寻求单个孤立的确定性点估计向量,而是推断条件后验分布 \(p(H|x) \propto p(H) \cdot \exp(\beta \cdot R(x, H))\)。为了使推断可解,框架采用对角协方差分解高斯变分族 \(q_\phi(H)\) 近似真实后验,将证据下界(ELBO)的极大化转化为解析 KL 散度与基于预测分布熵的内在奖励期望之间的权衡优化。在优化循环中,系统利用重参数化技巧完成梯度的低方差反向传播,并实时监测后验不确定度以动态控制退火噪声与推理迭代轮次。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入提示词与占位嵌入<br/>E(x) 拼接初始隐式向量 H"] --> B["变分隐式思维建模与先验正则<br/>对角高斯分布参数化与解析 KL 正则"]
    B --> C["基于输出分布熵的内在奖励<br/>冻结 LLM 预测分布与负平均熵度量"]
    C --> D["低方差重参数化梯度更新<br/>AdamW 更新均值与对数方差"]
    D --> E["不确定度引导的自适应控制器<br/>动态噪声退火与多准则早停判断"]
    E -->|未收敛/达到预算前| B
    E -->|满足停止条件| F["输出优化后隐式表征<br/>冻结 LLM 自回归生成最终答案"]

关键设计

1. 变分隐式思维建模与先验正则:防止高维连续解空间中的表征漂移与优化崩溃
在高维连续嵌入空间(维度通常为 \(K \times d\),高达数千维)中直接优化自由变量向量极易破坏预训练模型的语义流形,使隐表征漂移至未训练的奇异区域。BLTO 将 \(K\) 个隐式思维 token 的状态空间形式化为相互独立的对角多元高斯变分后验 \(q_\phi(H) = \prod_{k=1}^K \mathcal{N}(h_k; \mu_k, \text{diag}(\sigma_k^2))\),其中优化参数为均值矩阵 \(\mu \in \mathbb{R}^{K \times d}\) 与对数方差矩阵 \(\rho \in \mathbb{R}^{K \times d}\)(满足 \(\sigma_k^2 = \exp(\rho_k)\))。引入标准各向同性高斯先验 \(p(H) = \prod_{k=1}^K \mathcal{N}(h_k; 0, I)\) 作为认知原点锚定。得益于全对角高斯假设,KL 散度项具备精确的解析闭式解:

\[ \text{KL}(q_\phi(H) \parallel p(H)) = \frac{1}{2} \sum_{k=1}^K \sum_{j=1}^d \left( \sigma_{k,j}^2 + \mu_{k,j}^2 - 1 - \log \sigma_{k,j}^2 \right) \]

该解析正则项不仅具有平滑的可微梯度,而且在物理意义上具有直观的几何牵引力:\((\sigma_{k,j}^2 - \log \sigma_{k,j}^2 - 1)\) 迫使变分方差向先验方差 1 收敛以维持充分的探索广度,而 \(\mu_{k,j}^2\) 严格惩罚均值模长偏移,强制隐式思维向量紧贴预训练嵌入空间的局部流形。参数初始化阶段,均值 \(\mu^{(0)}\) 由预设占位符嵌入叠加高斯微扰构成以打破对称性,对数方差 \(\rho^{(0)}\) 初始化为全局基准值,为后续推断提供稳定起点。

2. 基于输出分布熵的内在奖励:无外部标签条件下的自监督置信度引导
测试期优化无法获取外部标签或真实奖励,传统策略梯度难以构建可靠的优化目标。BLTO 从大语言模型内部预测的一致性切入,将输入表征 \(E(x) \parallel H\) 传入冻结骨干 \(M_\theta\),提取词表概率分布 \((P_1, \dots, P_{N+K}) = \text{softmax}(M_\theta(E(x) \parallel H))\)。针对 \(K\) 个隐式思维 token 所处位置,定义每个 token 的预测信息熵 \(H_k = -\sum_{v \in V} P_{N+k}(v) \log(P_{N+k}(v) + \varepsilon)\),并以负平均熵作为衡量推理质量的内在奖励:

\[ R(x, H) = -\frac{1}{K} \sum_{k=1}^K H_k \]

该设计的理论洞察在于:当隐式思维向量有效地激发并理顺了模型的因果推理机制时,后续 token 的生成概率质量将迅速向少数高相关语义候选集中,表现为低预测熵;反之,混乱无序的思维状态将导致词表概率趋于均匀扩散的高熵状态。通过将全词表对数概率严格裁剪至 \([-20, 0]\) 并在求和中加入 \(\varepsilon = 10^{-10}\) 扰动,奖励函数在整个反向传播链路上具备极佳的数值稳定性与连续可导性。

3. 低方差重参数化梯度更新:消除策略梯度方差并协同更新认知均值与方差
若采用常规强化学习的 REINFORCE 打分函数估计器,高维空间内的梯度估计方差会随连续维度急剧爆炸,引发推理期搜索振荡。BLTO 采用重参数化技巧 \(H = \mu + \sigma \odot \epsilon\)(其中 \(\epsilon \sim \mathcal{N}(0, I)\)),将变分目标函数 \(\mathcal{L}(\phi) = \text{KL}(q_\phi(H) \parallel p(H)) - \beta \mathbb{E}_{q_\phi}[R(x, H)]\) 的求导操作转化为关于标准高斯噪声变量期望的精确微分。在单步优化中采样 \(S\) 条随机轨迹,推导出的解析梯度如下:

\[ \nabla_\mu \mathcal{L} = \mu - \frac{\beta}{S} \sum_{s=1}^S \nabla_H R^{(s)}, \quad \nabla_\rho \mathcal{L} = \frac{1}{2}(\sigma^2 - 1) - \frac{\beta}{2S} \sum_{s=1}^S \left( \nabla_H R^{(s)} \odot \sigma \odot \epsilon^{(s)} \right) \]

均值梯度 \(\nabla_\mu \mathcal{L}\) 自然平衡了先验衰减与内在奖励爬升;对数方差梯度 \(\nabla_\rho \mathcal{L}\) 则依据曲率与采样残差自动调节探索尺度。利用 AdamW 优化器进行参数迭代更新,并将对数方差 \(\rho\) 显式裁剪在 \([-14, -2.3]\) 区间内,既避免了方差过小引起的数值下溢与早熟收敛,又防止了方差过大导致的随机漫游。

4. 不确定度引导的自适应控制器:动态探索退火与实例感知的高效早停
不同复杂度的推理题目对计算预算的需求差异巨大。固定迭代步数不仅会在简单实例上浪费算力,更易诱发过优化与记忆坍塌。BLTO 提出了结合模拟退火与多准则收敛的自适应控制器。首先,构建基于全局后验平均标准差 \(\bar{\sigma}_t = \frac{1}{Kd}\sum_{k,j} \sigma_{k,j}^{(t)}\) 的采样温度退火策略:

\[ H^{(s)} = \mu + \lambda_t \cdot \sigma \odot \epsilon^{(s)}, \quad \lambda_t = \lambda_{\min} + (\lambda_{\max} - \lambda_{\min}) \cdot \frac{\bar{\sigma}_t}{\bar{\sigma}_0} \]

在优化初始阶段认知不确定度高,\(\lambda_t \approx \lambda_{\max}\) 促进在全域范围泛化寻优;随着迭代深入与方差坍缩,\(\lambda_t \to \lambda_{\min}\) 锁定局部优质盆地精细微调。其次,建立多准则联合停止判据:设定最小步数 \(T_{\min}\) 与最大步数 \(T_{\max}\),当滑动窗口内的指数移动平均奖励改善量低于阈值 \(\epsilon_{\text{rew}}\) 或平均不确定度 \(\bar{\sigma}_t\) 跌破临界值 \(\epsilon_{\text{unc}}\) 时,控制器立即截断优化循环,将最终均值表征交付模型进行解码。

损失函数 / 训练策略

BLTO 属于完全无参数微调(Training-Free)的测试期推断框架,模型权重 \(\theta\) 完全保持冻结。其单样本测试期目标函数为加权最小化负 ELBO:

\[ \min_{\phi = \{\mu, \rho\}} \mathcal{L}(\phi) = \text{KL}(q_\phi(H) \parallel p(H)) - \beta \cdot \mathbb{E}_{\epsilon \sim \mathcal{N}(0, I)} \left[ R(x, \mu + \lambda_t \sigma \odot \epsilon) \right] \]

实现超参数设置遵循高灵敏度与稳定性原则:逆温度系数设为 \(\beta = 0.8\),KL 散度平衡系数取 \(0.008\),每步蒙特卡洛采样轨迹数 \(S = 5\)。自适应步数范围设定为 \(T_{\min} = 5\) 至 \(T_{\max} = 22\),滑动窗口容忍步数 \(\tau = 5\),奖励改善截断阈值 \(\epsilon_{\text{rew}} = 0.006\)。在经历 3 步预热后,当后验不确定度 \(\bar{\sigma}_t < 0.025\) 时触发提前终止。最终生成阶段采用 top-\(k = 10\),最大生成长度设为 4096 tokens。

实验关键数据

主实验

实验基于开源指令微调大模型 LLaMA-3.1-8B-Instruct 与 Qwen-2.5-7B-Instruct,在 5 个代表性数学推理基准上全面对比了基线方案(包括显式 Zero-Shot CoT、固定未调 token 的 Zero-Shot CoT-Unk、外置模型软提示方法 SoftCoT 以及基于策略梯度的连续优化 SOTA 方法 LTPO)。

骨干模型与测试方法 GSM8K MATH-500 ASDiv-Aug AIME 2024 AIME 2025 平均准确率
LLaMA-3.1-8B-Instruct
Zero-Shot CoT (Kojima et al., 2022) 76.88 48.60 79.58 6.67 0.00 42.35
Zero-Shot CoT-Unk (Kojima et al., 2022) 80.67 46.20 89.50 10.00 3.33 45.94
SoftCoT (Xu et al., 2025b) 80.36 39.80 87.57 0.00 0.00 41.55
LTPO (Ye et al., 2025) 80.89 46.60 88.25 10.00 6.67 46.48
BLTO (Ours) 82.03 51.00 90.08 16.67 6.67 49.29
Qwen-2.5-7B-Instruct
Zero-Shot CoT (Kojima et al., 2022) 88.55 72.40 91.71 10.00 10.00 54.53
Zero-Shot CoT-Unk (Kojima et al., 2022) 86.20 70.80 91.52 13.33 10.00 54.37
SoftCoT (Xu et al., 2025b) 85.29 65.20 88.92 0.00 0.00 47.88
LTPO (Ye et al., 2025) 87.87 71.80 91.71 10.00 3.33 52.94
BLTO (Ours) 88.55 74.80 92.58 20.00 16.67 58.52

此外,针对参数可训练方法的基线对比进一步验证了无训练测试期推断的优越性。在 LLaMA-3.1-8B-Instruct 架构下,参数微调自监督方案 Genius 在 GSM8K、MATH-500 与 AIME2024 上分别录得 78.09%、47.60% 与 3.33%;依赖外监督的 SimpleRL-Zoo 录得 79.20%、23.00% 与 0.00%;而 BLTO 在完全冻结参数的前提下实现了 82.03%、51.00% 与 16.67% 的全面领先。

消融实验与分析

针对隐式思维 token 数量 \(K\) 的参数敏感性消融(基于 LLaMA-3.1-8B-Instruct)呈现出显著的任务复杂度依赖规律:

隐式思维 Token 数量 \(K\) ASDiv-Aug 准确率 (%) GSM8K 准确率 (%) MATH-500 准确率 (%) 机制分析与设计考量
\(K = 2\) 90.08 80.14 47.20 较少 token 适合浅层小学应用题,避免过参数化
\(K = 4\) 87.86 80.06 48.40 中等容量,初显过度参数化微幅干扰
\(K = 6\) 88.63 79.98 49.00 表现稳定,平稳过渡
\(K = 8\) 89.40 81.90 49.40 复杂任务表征容量逐步扩大,指标回升
\(K = 10\) 88.82 82.03 51.00 大容量表征在高等竞赛与多步推导上取得峰值性能

在模型尺度泛化测试中,对比 LTPO 与 BLTO 在 Qwen2.5 家族(0.5B、1.5B、7B)上的表现揭示了更深刻的规律:在 GSM8K 上,BLTO 帮助 0.5B 模型从 13.57% 跃升至 37.76%(+24.19%),帮助 1.5B 模型从 40.80% 提升至 57.86%(+17.06%);在 ASDiv-Aug 上,0.5B 模型准确率由 50.87% 暴涨至 75.53%(+24.66%)。表明小模型因参数容量受限本身生成显式连贯思维较弱,连续空间的贝叶斯优化能够最大化激活其潜在认知潜能。

关键发现

  • 任务难度正相关增益:BLTO 的性能提升幅度随问题求解深度与难度呈现阶梯式放大。在 GSM8K 与 ASDiv-Aug 等基础算术任务上,BLTO 相比 LTPO 带来 1% 至 2% 的稳步微调;而在更具挑战性的 MATH-500 上增益扩大至 3% 至 4%,在顶级数学竞赛 AIME 2024 / 2025 上更实现了高达 6.67% 至 10.00% 的绝对跃升。自适应控制器赋予了高难度样本更多的探索预算。
  • 小模型潜能激发更显著:在参数容量极受限的 0.5B 与 1.5B 模型上,连续隐空间的概率搜索带来的绝对精度增幅达 17% 至 25%,远超 7B 模型的增益幅度,充分证明隐式推理能有效补偿小模型的表层解码推理短板。
  • 常识与符号任务的跨域稳健性:在 StrategyQA 常识推理与 Date Understanding 符号时间推导任务中,BLTO 在四组设定中有三组夺得第一,其中 Qwen2.5-7B 在符号推导上达到 76.8%,未出现 SoftCoT 常见的跨任务语义退化问题。

亮点与洞察

  • 将启发式隐式微调升华为正统贝叶斯变分推断:BLTO 摆脱了传统连续提示词脆弱的点估计与高方差策略梯度框架,建立以高斯先验正则与对角变分后验为支柱的概率优化体系,为无监督测试期推理提供了扎实的数学根基。
  • 以自监督内部输出熵作为认知连贯性的代理指标:无需依赖难以在测试期获得的外部判别器或真实答案标签,巧妙通过输出分布的信息熵捕获模型推理思维的收敛性,将无监督学习与生成式决策完美自洽闭环。
  • 动态不确定度退火与自适应早停的计算配比法则:将模型认知状态的后验方差作为自然的时钟与温度计,既在初期鼓励广度探索又在收敛时截断低效迭代,为测试期计算预算分配(Test-Time Compute Scaling)提供了极具工程价值的解法。

局限与展望

  • 测试期额外延迟与显存开销:由于在生成答案前需要进行多步迭代推断,且每步需维护变分分布并在多个蒙特卡洛样本路径上反向传播计算梯度,使得首字延时(Time-to-First-Token, TTFT)显著上升,对强实时对话系统部署构成挑战。
  • 超大模型扩展性尚待验证:当前验证范围集中在 0.5B 至 8B 参数规模的开源模型,在 70B+ 或 MoE 架构(如 DeepSeek-V3/R1、Qwen-2.5-72B)上,高维嵌入反向传播的显存与吞吐瓶颈仍需进一步探索低秩近似或量化优化。
  • 静态先验的自适应性有待增强:目前采用各向同性标准高斯先验,未来可探索结合上下文语义自适应生成的先验分布,进一步加速后验推断的收敛速度。

相关工作与启发

  • vs SoftCoT (Xu et al., 2025b):SoftCoT 依赖离线微调一个额外的小语言模型作为生成连续隐思维的“辅助脑”,不仅引入了额外显存与训练管线,且在跨域(如 AIME、StrategyQA)迁移时泛化性能严重滑坡;BLTO 完全免训练,直接在冻结大模型的自身表征流形内以变分优化自监督寻优,泛化更稳定。
  • vs LTPO (Ye et al., 2025):LTPO 使用强化学习策略梯度优化隐式连续向量,其单样本更新缺乏分布层面的正则约束,梯度方差大且极易陷入局部尖锐鞍点;BLTO 采用贝叶斯变分框架与重参数化梯度更新,配合解析高斯 KL 正则化,大幅抑制方差并杜绝了表征崩溃。
  • vs Coconut (Hao et al., 2024) & iCoT (Deng et al., 2024):此类方法均属于权重微调路线,需耗费巨大的连续思维训练成本且容易损害模型的通用对话与指令遵循基底;BLTO 纯粹作用于推理期(Test-Time),即插即用,完整保留了基础大模型的原生通用能力。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次将变分贝叶斯推断与输出熵自监督奖励完整引入大语言模型测试期连续隐式思维优化,理论形式优美且严谨自洽。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 大核心数学基准、常识与符号推理,跨越两个主流模型家族及 3 种参数尺寸(0.5B/1.5B/7B-8B),并包含细致消融与质性分析。
  • 写作质量: ⭐⭐⭐⭐⭐ 数学公式推导完整严密,问题背景、方法推导与实验洞察逻辑链条清晰通透。
  • 价值: ⭐⭐⭐⭐⭐ 为大模型测试期计算缩放(Test-Time Scaling)与免微调思维跃迁开辟了富有前景的概率优化新范式。