Entropy-Gated Latent Recursion

会议: NeurIPS 2026
arXiv: 2606.16620
代码: https://github.com/soham-bhattacharjee/EGLR
领域: Reasoning
关键词: 推理时计算扩展, 隐空间递归, 熵门控解码, 确定性采样轴, 自洽性聚合

一句话总结

本文提出无需训练的熵门控隐空间递归（EGLR），通过在不确定性极高的 token 处复用顶层解码器层进行局部自适应递归，开辟了与温度随机采样正交且互补的确定性采样轴 \(L\)，构建了 \(L \times T\) 笛卡尔采样空间，显著推高了推理时推理能力的上限。

研究背景与动机

近年来，推理时计算扩展（Inference-time compute scaling）已成为提升大语言模型复杂推理能力的核心杠杆。无论是以自洽性（Self-Consistency）、带验证器的 Best-of-\(N\) 还是蒙特卡洛树搜索（MCTS）为代表的方法，其背后的共同底层范式都是通过在 token 生成层面注入随机温度噪声来获取多样化的解题轨迹。然而，这种单轴随机采样空间存在根本性的表达瓶颈：升高温度引入的主要是词元级别的随机扰动，而不是质上不同的推理逻辑，生成 \(M\) 个样本在本质上仍属于同一随机过程的重采样，极易在困难题目上反复陷入相同的错误局部解或逻辑死循环。

与之形成鲜明对比的是隐空间递归推理（Latent Recursion）的崛起，类似 HRM 与 TRM 等架构证明，在隐藏状态空间反复迭代计算无需生成多余的思考词即可大幅增强推理深度。但现有隐空间递归模型必须依赖昂贵且专用的端到端训练与微调，无法直接赋能海量已部署的冻结预训练大模型。若对所有词元均等施加额外的内部层计算（如均等束搜索），又会造成巨大的计算开销，因为推理轨迹中绝大多数词元处于几乎确定状态，只有极少数决策关键点承载了主要的不确定性。

针对上述矛盾，本文提出了一种无需修改任何模型权重、即插即用的解码推理机制：核心 idea：将冻结 Transformer 顶层解码器的递归跨度 \(L\) 确立为第二条完全确定性且与随机温度正交的采样轴，仅在高熵不确定性 token 处触发隐层递归融合，从而以极低计算开销构建 \(L \times T\) 笛卡尔采样空间。

方法详解

整体框架

EGLR 作用于任意冻结的自回归 Transformer 语言模型。在每一步自回归生成中，模型首先计算标准前向传播，得到顶层输出隐状态及下一个 token 的概率分布。系统通过检测该分布的香农熵是否超过自适应动态阈值 \(\tau_H\) 来决定是否进入递归循环：对于占绝大多数的低熵平稳词元，直接进行贪心或常规解码；一旦遇到高熵决策词元，则将第 \(N-L\) 层的锚点隐状态与经过模长匹配的第 \(N\) 层输出进行凸组合融合，送入顶层 \(L\) 层解码器进行局部闭环迭代，直至前后分布的 KL 散度收敛或达到最大迭代次数。通过遍历不同的递归层数 \(L\)，模型能够确定性地产生截然不同的高质量推理分支。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入上下文与常规前向计算<br/>$x_{<t} \to h_t^{(N-L)} \to h_t^{(N)}$"] --> B["熵门控动态判定<br/>计算分布香农熵 $H(p_t)$"]
    B -->|"$H(p_t) \le \tau_H$ (低不确定性)"| C["标准贪心/采样发射词元"]
    B -->|"$H(p_t) > \tau_H$ (高不确定性)"| D["模长匹配与凸组合融合<br/>锚定前置隐状态与递归状态"]
    D --> E["顶层 $L$ 层递归前向传播<br/>$\mathcal{R}_L(h_t^{\mathrm{in},(k)})$"]
    E --> F{"收敛判定<br/>$\mathrm{KL} < \tau_{\mathrm{KL}}$ 或达 $K_{\max}$"}
    F -->|未收敛| D
    F -->|已收敛| G["更新预测分布并选词发射<br/>$y_t = \arg\max p_t^{(k^\star)}$"]
    G --> H["跨层跨温度自洽性聚合 EGLR-SC<br/>构建 $L \times T$ 候选池并多数表决"]

关键设计

1. 熵门控自适应计算分配：将递归算力聚焦于高不确定性关键决策点

语言模型在生成长链推理时，词元间的不确定性极不均衡，符号连接词、固定语法结构往往处于低熵状态，而算子选择、分支假设推导等关键决策步则高度不确定。均匀为每个位置增加前向层数会导致严重的算力浪费。EGLR 设置熵门控机制：

\[H(p_t) = -\sum_{v=1}^{V} p_{t,v} \ln p_{t,v}\]

仅当 \(H(p_t) > \tau_H\) 时才触发隐空间递归，其余情况直接沿用原始前向输出。为了消除人工调参负担，阈值 \(\tau_H\) 设定为该模型与数据集在贪心基线运行下的第 95 分位数（且上限截断在 2.5 nats），使得触发概率精确维持在 \(\rho \approx 5\%\) 左右。由于每一步递归只复用顶层 \(L\) 层（占总层数 \(N\) 的比例为 \(L/N\)），全流程的计算开销上限被严格限制在 \((1 + \rho K_{\max} \frac{L}{N}) C_{\mathrm{full}}\)，在典型配置下较标准解码仅增加不到 5% 的理论 FLOPs。

2. 模长匹配与凸组合隐状态融合：防止隐层递归漂移并保持表征统计一致性

当触发递归时，直接将顶层输出 \(h_t^{(N, k-1)}\) 塞回底层输入会导致表征空间剧烈偏移甚至数值发散，因为深层状态与浅层状态具有截然不同的模长分布和语义几何。EGLR 选取原始前向通过第 \(N-L\) 层未经过最终归一化的残差流输出 \(h_t^{(N-L)}\) 作为锚点，并在每轮递归中对前一轮迭代的顶层状态执行显式模长重缩放：

\[\hat{h}_t^{(N, k-1)} = h_t^{(N, k-1)} \cdot \frac{\|h_t^{(N-L)}\|}{\|h_t^{(N, k-1)}\|}\]

随后利用小权重凸组合参数 \(\alpha \in [0, 1]\)（默认取保守的 \(\alpha=0.2\)）将标准化后的递归状态注入锚点：

\[h_t^{\mathrm{in}, (k)} = (1 - \alpha) h_t^{(N-L)} + \alpha \hat{h}_t^{(N, k-1)}\]

该混合状态随后传入仅由层集 \(\{N-L+1, \dots, N\}\) 构成的递归子网络 \(\mathcal{R}_L\) 中完成前向计算。模长匹配确保了注入状态符合第 \(N-L\) 层输入端原生的尺度特征，而小步长扰动则防止了多轮递归中语义锚点的丢失，使思考过程在保持原始语义骨架的同时完成局部精炼。

3. KL 散度早停判据与确定性层跨度轴：完全无随机噪声的结构化多样性

递归精炼并不需要盲目耗尽上限预算。在每轮递归生成新的 token 概率分布 \(p_t^{(k)}\) 后，计算其与上一轮分布 \(p_t^{(k-1)}\) 的对称或正向相对熵：

\[\mathrm{KL}\left(p_t^{(k)} \,\|\, p_t^{(k-1)}\right) < \tau_{\mathrm{KL}}\]

当 KL 散度低于阈值 \(\tau_{\mathrm{KL}} = 5 \times 10^{-4}\) 时立即早停，避免过拟合与过精炼。更核心的理论发现是：改变层跨度 \(L\) 构成了一条全新的、完全确定性的采样轴。不同层跨度 \(L_1 \ne L_2\) 使得切入残差流的深度不同，捕获的中间语义增量存在本质差异，导致在高熵决策点翻转最可能输出的 token；一旦首个高熵 token 改变，后续生成轨迹便通过自回归机制完全分道扬镳。这一性质在数学上构成了完全独立于温度 \(T\) 的正交轨迹池。

4. 笛卡尔空间聚合器 EGLR-SC：跨 \(L \times T\) 空间的稳健答案解码与迁移

为了将层跨度轴 \(L\) 带来的结构化多样性落地为可部署的性能增益，EGLR 提出了笛卡尔采样池下的自洽性聚合算法 EGLR-SC。给定配置集合 \(\mathcal{C} = \{(L_i, T_i)\}_{i=1}^M\)，模型分别运行对应的 EGLR 生成轨迹并提取最终答案字符串 \(a_i\)，通过简单的多数投票机制汇聚最终结果：

\[\hat{a} = \arg\max_a |\{i : a_i = a\}|\]

当所有 \(T_i = 0\) 时，EGLR-SC 演化为纯确定性聚合，完全杜绝了温度采样带来的偶然性崩溃；而在 \(L \times T\) 全笛卡尔网格下，它能以相同计算预算获得比传统单轴温度采样更高质量、更具互补性的解空间候选池，为后续 Best-of-\(N\) 排序或强化学习（如 GRPO）的分组优势估计提供高质量输入。

损失函数 / 训练策略

EGLR 为完全免训练（training-free）的测试时解码算法，不引入任何可学习参数，亦无需对模型进行任何 SFT 或 RL 微调。推理时的关键超参数固定为：融合强度 \(\alpha = 0.2\)，最大迭代步数 \(K_{\max} = 3\)，KL 早停阈值 \(\tau_{\mathrm{KL}} = 5 \times 10^{-4}\)，采样网格默认取 \(L \in \{1, \dots, 10\}\)。

实验关键数据

主实验

在 8 个开源指令微调大模型（参数量涵盖 0.5B 至 14B）以及 6 大数学推理基准（GSM8K、MATH-500、MinervaMath、AMC23、AIME24、AIME25）上的评测表明，EGLR-SCL 仅通过确定性层跨度轴的多数表决，就在 48 个对比测试单元中的 44 个上显著超越贪心基线，且从未在任何单元上劣化。

模型	方法	GSM8K	MATH-500	MinervaMath	AMC23	AIME24	AIME25
Qwen2.5-3B-Instruct	Greedy	83.1	64.6	15.4	37.5	6.7	3.3
	EGLR (best \(L\))	83.0	65.0	18.4	47.5	13.3	6.7
	EGLR-SCL (\(B=10\))	85.1	69.2	19.1	55.0	16.7	6.7
	EGLR-OracleL	93.1	81.2	30.9	67.5	20.0	13.3
Qwen2.5-7B-Instruct	Greedy	89.1	73.2	22.1	52.5	6.7	10.0
	EGLR (best \(L\))	89.2	75.2	23.9	60.0	16.7	13.3
	EGLR-SCL (\(B=10\))	89.7	77.8	23.5	60.0	16.7	16.7
	EGLR-OracleL	94.1	88.0	32.4	82.5	23.3	26.7
Llama-3.1-8B-Instruct	Greedy	85.4	44.8	12.9	20.0	0.0	0.0
	EGLR (best \(L\))	85.0	47.4	16.9	30.0	13.3	3.3
	EGLR-SCL (\(B=10\))	87.9	58.0	18.0	47.5	10.0	6.7
	EGLR-OracleL	94.8	72.8	27.9	50.0	23.3	6.7

在计算量完全匹配（FLOP-matched）的束搜索（Beam Search）严格对比中，EGLR-SCL 在 12 个评估单元中赢下了 11 个（例如 Qwen2.5-3B 在 MATH-500 上达到 69.2%，显著压制 Beam-11 的 66.8%；在 AMC23 上达到 55.0%，超越 Beam-11 的 47.5%）。

消融实验与轴正交性验证

在 MATH-500 数据集上基于 Qwen2.5-3B-Instruct，对超参数敏感性以及 \(T\) 轴、\(L\) 轴与 \(L \times T\) 联合空间的 Oracle 解空间上限进行全面分解：

超参数配置	MATH-500 准确率 (%)	机制分析说明
融合权重 \(\alpha=0.1\)	65.4	保守微扰，保留绝大部分前置残差锚点
融合权重 \(\alpha=0.2\) (默认)	65.0	最佳平衡点，兼具扰动精炼与结构稳定性
融合权重 \(\alpha=0.5\)	56.6	锚点信号被削弱，开始出现语义偏移 (-8.4 pp)
融合权重 \(\alpha=0.7\)	10.4	状态剧烈失真，递归过程发散崩溃
迭代上限 \(K_{\max}=1\)	63.2	单次递归不足以促使高熵词元完成充分重分布
迭代上限 \(K_{\max}=3\) (默认)	65.0	性能拐点，结合 KL 早停达到最佳收益与效率比
迭代上限 \(K_{\max}=5\)	64.6	迭代饱和，进一步增加算力无边际增益

双轴采样空间与聚合天花板对比（MATH-500, Qwen2.5-3B-Instruct）：

采样空间 / 指标	单配置最优 (Best)	自洽性聚合 (SC, \(B=10\))	理论上限 (Oracle)
仅温度轴 \(T\) (\(L=0, T \in [0.1, 1.0]\))	66.0%	72.6%	83.4%
仅层跨度轴 \(L\) (\(T=0, L \in [1, 10]\))	65.0%	69.2%	81.2%
联合笛卡尔轴 \(L \times T\) (100 种组合)	66.8%	74.2%	91.6%

关键发现

• 双轴本质互补性：\(L \times T\) 笛卡尔采样池的理论上限高达 91.6%，相较于仅温度轴的 83.4% 暴涨了 +8.2 个百分点，相较于仅层跨度轴的 81.2% 提升了 +10.4 个百分点。成对分歧度（Pairwise Disagreement）分析显示，跨轴分歧（平均 78.3/500）显著高于 \(L\) 轴内部不同层之间的分歧（67.4/500），且与不同温度间的随机分歧（84.4/500）相当，证明改变 \(L\) 能攻克温度随机采样彻底失效的全新题目子集。
• 无全局最优层跨度：在所有测试模型上，最佳单一 \(L\) 呈现出强烈的任务与架构依赖性（例如 Qwen2.5-0.5B 最优为 \(L=4\)，Qwen2.5-7B 为 \(L=1\)，而 Qwen2.5-Math-7B 为 \(L=10\)）。单一固定 \(L\) 难以普遍超越基线，但跨 \(L\) 的集合涵盖了丰富的互补真解，极度契合聚合算法。
• 融合参数 \(\alpha\) 极其敏感：\(\alpha\) 必须维持在小步长扰动区间（\(\le 0.2\)）。一旦过大，递归状态会迅速覆盖底层语义锚点，导致多轮递归中误差指数级放大。

亮点与洞察

• 开辟推理时采样的全新物理维度：打破了自洽性与测试时扩展长期依赖温度采样的单一范式，证明了冻结大模型的顶层解码器本身就是一个现成的、多粒度的确定性隐空间推理器。
• 免训练的轻量化即插即用属性：无需像 Looped Transformer、HRM 或 CoCoNuT 那样进行复杂的端到端再训练，通过模长重标定和残差凸组合即可平滑迁移到任何现成的预训练或指令微调模型上。
• 高确定性在强化学习中的应用潜力：纯温度采样轨迹不可复现，而 \(L\) 轴提供的多样性在固定贪心或种子下完全确定且可复现，为 GRPO 等依赖 Group 差异的后训练算法提供了更稳定、无噪声的优势函数估计基础。

局限与展望

• 单配置表现存在波动：个别模型在未经聚合的单一特定 \(L\) 下偶现轻微掉点（例如 Qwen2.5-3B 在 \(L=10\) 时降至 61.6%），表明静态指定层数存在误伤正常词元分布的风险，高度依赖后端的 EGLR-SC 聚合机制。
• KL 早停准则敏感度有限：在实际高熵触发过程中，多数词元趋向于直接耗尽 \(K_{\max}=3\) 步递归，表明以 token 级 KL 散度作为隐层收敛停机准则仍显粗糙，未来需要探索基于隐层表征向量余弦相似度或注意力熵增的更优早停机制。
• 全网格评估开销巨大：由于 \(L \times T\) 全网格评估在每个题目上需要跑 100 条完整长生成轨迹，本文仅在 Qwen2.5-3B + MATH-500 上完成了完整的笛卡尔空间测绘，更大规模模型在全网格下的空间几何特性仍待进一步验证。

相关工作与启发

• vs Entropy-Gated Branching (EGB)：EGB 同样在不确定性词元处触发计算，但其采用的是外部分支并在 token 空间由评估器（Verifier）做前向树搜索裁剪；而 EGLR 是纯内生的、在隐状态层级进行确定性精炼，无需外挂任何奖励或判别模型。
• vs Looped Transformer / HRM / TRM：这类工作验证了循环递归架构对推理的巨大推动力，但必须专门设计递归网络架构并重头训练或微调；EGLR 将这一思想成功外推至免训练的冻结黑盒模型上。
• vs DoLa / Contrastive Decoding：DoLa 与对比解码利用中间层对比来提高事实性与消除幻觉，其输出仍然是单次通过的确定性点估计；EGLR 则利用层级作为采样生成轴，产出多条并行的多样化候选解。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次提出将解码器层跨度 \(L\) 确立为与温度正交的第二采样轴，立意极为新颖且具备开创性。
• 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 8 个模型、6 大顶尖数学基准，并给出了计算匹配的 Beam Search 对比及严谨的笛卡尔空间理论上限解构。
• 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰规范，符号定义一致严谨，实验图表信息量极其丰富。
• 价值: ⭐⭐⭐⭐⭐ 为免训练推理时计算扩展开辟了全新的几何空间，可直接无缝结合现有 RL、MCTS 及重排序框架。

相关论文

• [NeurIPS 2026] Advancing Entropy-Level Credit Assignment in RLVR via Proximal Entropy Policy Optimization
• [NeurIPS 2026] Efficient Reasoning via Constrained Optimization in Latent Space
• [ICLR 2026] PEAR: Phase Entropy Aware Reward for Efficient Reasoning
• [NeurIPS 2026] Depth-Recurrent Attention Mixtures: Giving Latent Reasoning the Attention it Deserves
• [NeurIPS 2026] Why Struggle with Continuous Latents? Interpretable Discrete Latent Reasoning via Rendered Compression