Geometric Latent Reasoning Induces Shorter Generations in LLMs¶

会议: NeurIPS 2026
arXiv: 2606.02248
论文: https://arxiv.org/abs/2606.02248 https://openreview.net/forum?id=6TX25lR2SG
领域: Reasoning
关键词: 隐空间推理, 思维链, 计算效率, 嵌入空间几何, 几何捷径

一句话总结¶

本文提出几何隐式推理（GLR），将隐空间推理建模为词元嵌入空间内的连续路径逼近问题，利用轻量级转移头预测局部方向更新替代前期冗余离散词元，在无显式长度惩罚的情况下自发诱导生成更短的推理步骤并保持高准确率。

研究背景与动机¶

大语言模型在解决多步骤复杂推理任务时，通常依赖显式思维链（Chain-of-Thought, CoT）逐步展开自然语言推理。然而，这种将中间认知计算强行序列化为离散词元的方式带来了显著的计算开销：模型不仅生成冗长，而且每一步都必须对具体离散词元进行过早的硬性离散化承诺。为了降低自回归解码开销并摆脱离散语言的束缚，隐空间推理（Latent Reasoning）逐渐成为前沿热点，尝试在连续隐表征空间中执行中间推理。

然而，现有隐空间推理方法面临着中间连续状态结构化设计的核心挑战。直接将未经约束的深层隐藏状态（hidden states）循环反馈回模型输入端，往往会引发严重的嵌入分布偏移（distribution shift）；而通过外部潜变量模块（如 VQ-VAE）或知识蒸馏（如 SoftCoT、CODI）构造软轨迹，不仅引入了复杂的训练依赖，还常常破坏模型预训练所得的表征几何结构。另一方面，离散思维链中的大量词元往往只是为了自然语言可读性而存在的句式连接词，缺乏实质性的推理信息量，造成了严重的推理冗余。

针对上述矛盾，本文提出了一种全新的几何视角：标准思维链本质上是模型预训练词元嵌入空间中的一条离散轨迹，而该轨迹局部的连续邻域同样具备良好的语义与计算连续性。核心 idea：将隐空间推理形式化为预训练词元嵌入空间内的几何路径逼近问题，利用轻量级转移头在冻结嵌入空间中预测连续位移向量来替代前期离散思维步骤，从而通过几何捷径自发诱导大语言模型生成更短的推理序列。

方法详解¶

整体框架¶

几何隐式推理（Geometric Latent Reasoning, GLR）的核心思想是将离散文本 CoT 视作嵌入空间中由离散点连接而成的折线轨迹，并通过学习连续向量位移在局部邻域内走“几何捷径”。系统在模型顶层隐藏状态之上附加一个参数量极小的线性转移头（Transition Head），在冻结输入词元嵌入层的约束下，预测从当前推理状态指向下一步嵌入的位移向量。

在推理阶段，模型进入 <think> 推理范围后，首先执行固定步数 $K$ 的连续隐式步（Latent Steps），每一步利用转移头输出的连续嵌入直接作为下一步 Transformer 的输入，绕过对庞大词表的投射与离散词元采样；$K$ 步隐式推进完成后，模型切换回标准的离散自回归解码生成后续显式文本和最终答案。整体流程如图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入题目上下文<br/>Prompt Context"] --> B["初始推理标记<br/>&lt;think&gt; 词元嵌入"]
    B --> C["连续局部转移预测<br/>轻量转移头预测位移 Δe"]
    C --> D["隐空间循环步进<br/>执行 K 步连续状态更新"]
    D --> E["双通道两阶段训练<br/>解耦交叉熵与位置衰减转移损失"]
    E --> F["恢复离散解码<br/>生成紧凑思维链并输出答案"]

关键设计¶

1. 连续局部转移预测：在预训练嵌入空间中逼近离散轨迹 为了避免非约束隐藏状态反馈带来的表征崩溃，GLR 将隐式状态严格限制在模型已对齐的输入词元嵌入空间 $\mathbb{R}^d$ 中。设推理序列中第 $i$ 个思维词元的标准输入嵌入为 $\mathbf{e}_i^t = E_{\mathrm{in}}(t_i)$，两相邻词元间的真实位移为 $\Delta \mathbf{e}_i^t = \mathbf{e}_i^t - \mathbf{e}_{i-1}^t$。GLR 在最终隐藏状态 $\mathbf{h}_{i-1}^t$ 之上构建一个单层线性转移头 $g_\phi: \mathbb{R}^d \to \mathbb{R}^d$，直接预测局部位移量 $\Delta \hat{\mathbf{e}}_i^t = g_\phi(\mathbf{h}_{i-1}^t)$。通过在局部连续邻域内连续积分位移，模型无需在离散词表点之间硬跳变，从而保留了连续表征的平滑表达能力。

2. 隐式替换与几何路径逼近损失：两遍前向传播机制 为了让模型在训练阶段学会以连续隐状态为条件进行稳定计算，GLR 采用双通道两阶段前向传播（Two-Pass Procedure）。第一遍前向传播输入完整的离散文本序列，转移头预测各步的位移增量，并构造连续隐式替换嵌入 $\hat{\mathbf{e}}_i = \mathbf{e}_{i-1} + g_\phi(\mathbf{h}_{i-1}^t)$。第二遍前向传播将 <think> 内部的离散嵌入全部替换为对应的连续隐式嵌入 $\hat{\mathbf{e}}_i$ 重新输入模型。转移目标函数采用带位置衰减系数 $\gamma \in (0, 1]$ 的均方误差（MSE）： $$\mathcal{L}_{\Delta} = \frac{1}{m} \sum_{i=1}^{m} \gamma^{i-1} \left\| g_\phi(\mathbf{h}_{i-1}^t) - \Delta \mathbf{e}_i^t \right\|_2^2$$ 其中 $\gamma^{i-1}$ 随着推理步数后移逐步衰减惩罚权重，允许模型在较后的隐式步骤中更自由地偏离原始文本路径，探索更紧凑的高维推理捷径。

3. 解耦训练目标与冻结嵌入：防止表征漂移 GLR 的联合优化目标由显式答案的交叉熵损失与转移头损失构成：$\mathcal{L} = \mathcal{L}_{\mathrm{CE}} + \lambda \mathcal{L}_{\Delta}$。关键之处在于：在连续隐式替换的位置上，完全不施加词元级别的交叉熵损失。如果对连续隐式位置强加交叉熵，会强迫连续向量重新坍缩为单步即时词元预测，破坏连续几何探索；同时，训练全程冻结输入词元嵌入层 $E_{\mathrm{in}}$，防止转移头学习与嵌入表征更新之间形成非平稳目标恶性循环。

4. 预算自适应推理：连续跳步与显式解码无缝衔接 在推理阶段，用户可通过超参数 $K$ 显式控制隐式计算预算。模型从 $\widetilde{\mathbf{e}}_1 = E_{\mathrm{in}}(\texttt{<think>})$ 出发，执行 $K$ 次连续递推更新：$\hat{\mathbf{e}}_i = \hat{\mathbf{e}}_{i-1} + g_\phi(\mathbf{h}_{i-1}^t)$。在此期间，完全跳过计算代价高昂的庞大语言头（以 Qwen3-1.7B 为例，跳过约 300M 参数的词表线性映射，仅使用约 4M 参数的轻量转移头）。当 $K$ 步耗尽后，模型直接在当前隐状态下恢复标准自回归解码，此时模型往往已越过冗长铺垫，直接从中途关键计算式展开并迅速收敛至答案。

损失函数 / 训练策略¶

模型的端到端损失函数定义为： $$\mathcal{L} = \mathcal{L}_{\mathrm{CE}} + \lambda \mathcal{L}_{\Delta}$$ 在优化实现中，超参数 $\gamma$ 设置为 0.999，权重衰减为 $1 \times 10^{-4}$，学习率峰值为 $4 \times 10^{-5}$ 并采用余弦退火策略（Warmup 比例 0.05）。两模型（Qwen3-0.6B 与 Qwen3-1.7B）均在 1 张 Nvidia H100 80GB GPU 上基于 bfloat16 混合精度微调 5 个 Epoch，全局有效批大小设为 16，最大序列长度截断为 8192。输入嵌入层在训练过程中全程严格冻结。

实验关键数据¶

主实验¶

实验基于 Qwen3-0.6B 和 Qwen3-1.7B，在 6 项数学推理评测集（GSM8K、SVAMP、MultiArith、MATH500、AMC23、OlympiadBench）上评估贪婪解码 pass@1 准确率与生成步数开销。主实验主要对比基线 CoT-SFT 与 GLR 在受限预算及无限制预算下的表现。下表展示了 Qwen3-1.7B 在核心基准上的代表性表现对比：

数据集	评测预算限制	基线 CoT-SFT 准确率	GLR-10 准确率	GLR-20 准确率	表现差异 / 效率提升
GSM8K	$\le 256$ 步	$\approx 0.0\%$	$\approx 58.2\%$	$\approx 64.5\%$	严格受限下基线完全未完成，GLR大幅领先
GSM8K	2048 步（全预算）	$\mathbf{78.4\%}$	$74.2\%$	$72.1\%$	全量预算下准确率微降，但步数大幅减少
MATH500	$\le 512$ 步	$\approx 0.0\%$	$\approx 41.5\%$	$\approx 43.8\%$	基线前缀截断，GLR在512步内解出超40%题目
MATH500	4096 步（全预算）	$\mathbf{48.2\%}$	$44.6\%$	$42.0\%$	全量准确率保持高位，换取显著长度压缩
SVAMP	$\le 256$ 步	$\approx 12.0\%$	$\approx 68.0\%$	$\approx 71.0\%$	极简算术上GLR迅速绕过冗余表述

下表展示了模型在各数据集上正确解答样本的生成步数中位数（Generation Length Median for Correct Solutions，包含隐式步与显式词元）：

模型与数据集	CoT-SFT 中位数步数	GLR-10 中位数步数	GLR-20 中位数步数	生成压缩倍率
Qwen3-1.7B on GSM8K	$\approx 1050$	$\approx 180$	$\approx 140$	压缩约 7.5x
Qwen3-1.7B on MATH500	$\approx 2000$	$\approx 350$	$\approx 330$	压缩约 6.0x
Qwen3-1.7B on SVAMP	$\approx 580$	$\approx 105$	$\approx 95$	压缩约 5.8x
Qwen3-0.6B on GSM8K	$\approx 850$	$\approx 210$	$\approx 190$	压缩约 4.5x

消融实验¶

为了严格厘清生成长度缩短究竟来源于“推理阶段实际执行连续几何更新”还是仅仅归因于“微调数据配方与损失函数”，作者对 Qwen3-1.7B 在 GSM8K 上进行了 $K=0$（推理时不执行隐式步，直接从第 1 步起执行离散解码）的对照消融：

实验配置	隐式步数 $K$	正确解答中位数生成步数	受限预算 ($\le 256$) 准确率	说明
完整 GLR 模型	$K=20$	$\mathbf{140}$	$\mathbf{64.5\%}$	连续更新带入中间认知态，大幅缩短生成
完整 GLR 模型	$K=10$	$180$	$58.2\%$	适中隐式步数兼顾稳定与压缩
完整 GLR 模型	$K=5$	$260$	$44.0\%$	少量隐式步即可显著启动压缩机制
推理关闭隐式步 ($K=0$)	$K=0$	$\approx 1000$	$\approx 2.0\%$	退化回冗长生成，证明压缩源自连续转移机制
过度隐式推理 ($K=80$)	$K=80$	$110$	$38.5\%$	连续步累积几何漂移，导致准确率明显下降

关键发现¶

无惩罚下的自发长度压缩：GLR 在训练中完全没有加入任何关于文本长度的负惩罚或强化学习奖励，更短的生成是模型在连续嵌入空间走“几何捷径”后自然涌现出的现象。
计算开销的双重缩减：GLR 的提速收益来自两方面：一是总生成步数（隐式步 + 显式词元）锐减 4～7 倍；二是在前 $K$ 步中，模型绕过了参数量约 300M 的词表投射层，仅调用约 4M 参数的轻量转移头。
准确率与长度的非单调权衡曲线：隐式步数 $K$ 并非越大越好。当 $K \in [5, 20]$ 时，压缩与精度的平衡最优；当 $K \ge 80$ 时，自回归连续预测缺乏离散词元的锚定与修正，容易在连续空间中累积几何漂移（Geometric Drift），进而破坏下游解码精度。
定性跳步现象验证：案例分析显示，经过 20 步隐式转移后，模型恢复显式文本解码时不再从问题复述或背景推导开始，而是直接从中间计算核心式（如 54 - 20 = 34）开始生成并迅速收尾输出答案。

亮点与洞察¶

将离散思维链几何化为连续嵌入折线：以往隐空间推理常常强行构造外挂模块或循环未经校准的高层隐状态，而 GLR 巧妙地将推理空间扎根于预训练固有的词元嵌入空间，利用嵌入空间的局部连续性构建微小位移预测，设计优雅且理论开销极小。
位置衰减与解耦损失破解表示坍缩：位置衰减因子 $\gamma^{i-1}$ 允许模型在远离提示词的深层隐式步中自由探索偏离原始语篇的非自然语言捷径；同时对隐式替换位置禁用交叉熵损失，避免了连续表征被强行拉回离散单字预测的矛盾。
极具潜力的测试期推理由连续转向混合：揭示了未来大模型推理的一个重要范式——无需在全离散与全隐空间之间二选一，前期基础推理可完全在廉价且高维连续的隐空间内高效完成，中后期关键结论再转回离散文本供人类审阅。

局限与展望¶

训练规模与基座模型局限：受制于学术算力，当前实验仅在 10K 微调数据以及 0.6B/1.7B 规模的 Qwen3 模型上验证，其在百亿、千亿参数大模型或更具普适性的百万人份预训练/强化学习中的几何稳定性有待验证。
连续步累积几何漂移：当前转移头仍采用简单的自回归递推方式，缺乏类似离散词元重整化（Grounding）或自校正机制，导致 $K$ 较大时误差累积加剧。未来引入流匹配（Flow Matching）或扩散几何平滑（Diffusion Latents）有望支持超长隐式推理。
评测局限于数学领域：当前验证主要集中在形式化较强的数学与算术任务上，在代码生成、长文档问答、科学发现及多轮智能体规划等开放领域中的适用性仍需进一步探索。

评分¶

新颖性: ⭐⭐⭐⭐ [将思维链建模为预训练嵌入空间的几何路径逼近，角度新颖直观]
实验充分度: ⭐⭐⭐⭐ [在 6 个数学基准上开展评测，覆盖全量与受限预算，但受算力限制缺乏超大模型验证]
写作质量: ⭐⭐⭐⭐⭐ [动机阐述清晰，数学形式化定义严谨，分析深入]
价值: ⭐⭐⭐⭐ [为高效长思维链推理提供了轻量、无需离散序列惩罚的新方向]

实验配置	隐式步数 \(K\)	正确解答中位数生成步数	受限预算 (\(\le 256\)) 准确率	说明
完整 GLR 模型	\(K=20\)	\(\mathbf{140}\)	\(\mathbf{64.5\%}\)	连续更新带入中间认知态，大幅缩短生成
完整 GLR 模型	\(K=10\)	\(180\)	\(58.2\%\)	适中隐式步数兼顾稳定与压缩
完整 GLR 模型	\(K=5\)	\(260\)	\(44.0\%\)	少量隐式步即可显著启动压缩机制
推理关闭隐式步 (\(K=0\))	\(K=0\)	\(\approx 1000\)	\(\approx 2.0\%\)	退化回冗长生成，证明压缩源自连续转移机制
过度隐式推理 (\(K=80\))	\(K=80\)	\(110\)	\(38.5\%\)	连续步累积几何漂移，导致准确率明显下降

数据集	评测预算限制	基线 CoT-SFT 准确率	GLR-10 准确率	GLR-20 准确率	表现差异 / 效率提升
GSM8K	\(\le 256\) 步	\(\approx 0.0\%\)	\(\approx 58.2\%\)	\(\approx 64.5\%\)	严格受限下基线完全未完成，GLR大幅领先
GSM8K	2048 步（全预算）	\(\mathbf{78.4\%}\)	\(74.2\%\)	\(72.1\%\)	全量预算下准确率微降，但步数大幅减少
MATH500	\(\le 512\) 步	\(\approx 0.0\%\)	\(\approx 41.5\%\)	\(\approx 43.8\%\)	基线前缀截断，GLR在512步内解出超40%题目
MATH500	4096 步（全预算）	\(\mathbf{48.2\%}\)	\(44.6\%\)	\(42.0\%\)	全量准确率保持高位，换取显著长度压缩
SVAMP	\(\le 256\) 步	\(\approx 12.0\%\)	\(\approx 68.0\%\)	\(\approx 71.0\%\)	极简算术上GLR迅速绕过冗余表述

模型与数据集	CoT-SFT 中位数步数	GLR-10 中位数步数	GLR-20 中位数步数	生成压缩倍率
Qwen3-1.7B on GSM8K	\(\approx 1050\)	\(\approx 180\)	\(\approx 140\)	压缩约 7.5x
Qwen3-1.7B on MATH500	\(\approx 2000\)	\(\approx 350\)	\(\approx 330\)	压缩约 6.0x
Qwen3-1.7B on SVAMP	\(\approx 580\)	\(\approx 105\)	\(\approx 95\)	压缩约 5.8x
Qwen3-0.6B on GSM8K	\(\approx 850\)	\(\approx 210\)	\(\approx 190\)	压缩约 4.5x