Why Struggle with Continuous Latents? Interpretable Discrete Latent Reasoning via Rendered Compression

会议: NeurIPS 2026
arXiv: 2606.29712
OpenReview: https://openreview.net/forum?id=Z9x8Ex4A4f
代码: https://github.com/Miraclecsc/Discrete-Latent-Reasoning
领域: Reasoning
关键词: 隐空间推理, 离散潜变量码本, 渲染文本压缩, 过程奖励强化学习, 可解释性

一句话总结

针对连续隐空间推理难以对齐监督、动态漂移及不可解释的问题，本文提出离散潜变量推理（DLR），通过渲染CoT与随机向量量化构建离散码本，使大模型能在统一词表下以自回归预测生成可解释且支持过程奖励的紧凑隐式推理序列。

研究背景与动机

显式思维链（Chain-of-Thought, CoT）与强化学习大幅提升了大语言模型（LLM）的复杂数学推理能力，但冗长的推理文本显著推高了输出 token 预算与推理延迟。为了缓解推理计算开销，连续隐空间推理方法（如 Coconut、CODI、ReGuLaR）尝试将中间推导直接下沉至高带宽的连续隐藏状态中，以致密的隐向量替代繁琐的自然语言表述。然而，现有隐式推理系统普遍面临三大难以克服的结构性瓶颈：在训练层面，连续隐向量缺乏离散符号那样的对齐锚点，既无法天然适配标准自回归的 Teacher Forcing 模式，也难以在强化学习中划分清晰的步骤边界以施加过程级奖励；在动力学层面，缺乏强语言先验的弱约束连续通道极易在多步传递中出现误差累积、表征坍塌（Representation Collapse）或脱离决策证据；在透明度层面，完全黑盒的连续状态无法供外部审计、验证与干预。

上述缺陷的根本症结在于：连续隐空间推理的状态空间与离散符号监督之间存在本质上的维度错配。传统自回归语言模型建立在离散词表之上，享有成熟的下一步预测与监督闭环，而连续向量却剥夺了逐步对齐与误差修正的锚点。

为了在压缩推理长度的同时恢复稳定可控且可解释的训练动力学，研究团队从光学字符与文本渲染压缩（DeepSeek-OCR）中获得启发：既然思维链文本可以通过图像渲染被高度压缩为致密且具备因果结构的视觉特征，那么就可以进一步将这些连续特征离散化为具象的词表单元。核心 idea：将连续推理状态离散化为可解释的隐式 token 序列，利用渲染 CoT 特征构建随机向量量化码本并扩充模型词表，让大模型在标准自回归框架下统一生成自然语言与隐式推理标记，同时通过辅助解码器实现步骤级过程奖励强化学习与语义复原。

方法详解

整体框架

离散潜变量推理（Discrete Latent Reasoning, DLR）由两大核心系统协同运作：一是随机隐式码本构建模块（Stochastic Latent Codebook Construction），负责将思维链渲染为图像并离散化为可逆重构的语义单元；二是增强型隐式语言模型训练管线（Augmented Latent LM Training Pipeline），通过词表扩充与三阶段优化（隐-文对齐、隐式SFT、隐式RL），实现隐式 token 的自回归建模与强化学习。

方法的整体计算流向如下图所示：首先将文本 CoT 渲染为图像并经过视觉压缩提取因果特征，经过随机向量量化映射至离散码本；随后将码本扩充至语言模型词表，通过三阶段训练驱动主干模型自主生成离散隐式推理序列，并由梯度截断的辅助解码器实现过程审计。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入思维链文本 y<br/>与问题 x"] --> B["因果流渲染特征提取<br/>文本转图像 + DeepSeek-OCR2 提取因果特征 H"]
    B --> C["随机向量量化码本构建<br/>高斯扰动量化 + 双分支课程学习与重构监督"]
    C --> D["扩展词表与投影层<br/>V = V_text ∪ V_lat，统一为自回归预测空间"]
    D --> E["双分支并行隐式监督微调<br/>生成结构化序列与 stop-gradient 辅助解码器协同"]
    E --> F["过程对齐奖励驱动的强化学习<br/>辅助解码验证 r_proc + 答案奖励 + 格式校验在 GRPO 下优化"]
    F --> G["紧凑可解释答案输出<br/>大幅压缩推理长度并可追溯逻辑轨迹"]

关键设计

1. 因果流渲染特征提取：兼顾高压缩比与严格时间序列依赖 连续隐向量在长序列传递中极易发散，而直接在文本 embedding 层面做池化往往破坏局部语义。DLR 借鉴 DeepSeek-OCR2 的光学压缩机制，将长度至多为 2,048 token 的 CoT 文本自适应渲染为最大 \(1024 \times 1024\) 分辨率的正方形 RGB 图像 \(I = \mathcal{R}(y)\)。通过视觉编码器 \(\mathbf{E}_{\mathrm{vis}}\) 将其压缩为视觉 token 序列 \(V \in \mathbb{R}^{N_v \times d_c}\)（其中 \(N_v = (L/64)^2\)，在 \(1024\) 尺度下仅产生 256 个视觉 token，天然实现 8×–20× 的致密压缩）。为了从二维图像特征中恢复推理的单向时序因果，模型维护一组位置敏感的可学习查询 \(Q \in \mathbb{R}^{N_v \times d_c}\)，将其与 \(V\) 拼接后送入因果 Transformer \(\mathbf{E}_{\mathrm{cf}}\)，并截取后半段查询侧输出 \(H = \Pi_Q(\mathbf{E}_{\mathrm{cf}}([V; Q])) = [h_1, \ldots, h_{N_v}]\)，获得兼具高维语义密度与严格因果先后顺序的紧凑连续推理特征。

2. 随机向量量化与课程码本优化：防止码本坍塌并确保语义可逆 在将连续特征 \(h_i\) 离散化为字典索引时，确定性量化常导致严重的分辨率退化和码字利用不均（Codebook Collapse）。DLR 设计了一个容量为 \(K\)（默认设为 10,000）、特征维度为 \(d_c=896\) 的向量量化码本 \(\mathcal{C} = \{c_1, \ldots, c_K\}\)，并在聚类热启动的基础上引入高斯随机扰动：

\[a_i = \arg\min_{k \in \{1,\ldots,K\}} \|h_i + \epsilon_i - c_k\|_2, \quad \epsilon_i \sim \mathcal{N}(0, \sigma^2 \mathbf{I})\]

将选中的码字 \(c_{a_i}\) 映射为离散 token \(z_{a_i} \in \mathcal{V}_{\mathrm{lat}}\)。在前向传递中，借助 Straight-Through Estimator 构建可微特征 \(\hat{h}_i^{\mathrm{st}} = h_i + \text{sg}[\hat{h}_i - h_i]\)。为了确保每个离散 token 都具备确凿的语义重构能力，辅助 OCR 解码器 \(\mathbf{D}_{\mathrm{ocr}}\) 必须从量化特征中完整还原原始文本 \(y\)。在训练初期，模型采用双分支课程策略，训练损失定义为：

\[\mathcal{L}_{\mathrm{cb}}^{(e)} = \mathcal{L}_{\mathrm{CE}}(\hat{H}^{\mathrm{st}}, y) + \alpha(e) \mathcal{L}_{\mathrm{CE}}(H, y) + \lambda_{\mathrm{VQ}} \mathcal{L}_{\mathrm{VQ}}\]

其中 \(\alpha(e)\) 在首个 epoch 内从 1 线性衰减至 0。连续分支的平滑退火有效防止了离散初始化阶段的优化震荡；收敛后连续分支被完全剥离，使辅助解码器转变为专门读取离散隐式轨迹的可解释性探针。

3. 双分支并行隐式监督微调：解耦主干推理优化与外部可解释性 获得结构化码本后，模型通过轻量线性投影层将离散码字嵌入矩阵 \(E_{\mathrm{lat}}\) 与输出头权重 \(W_{\mathrm{lat}}\) 拼接到原语言模型中，形成统一空间 \(\mathcal{V} = \mathcal{V}_{\mathrm{text}} \cup \mathcal{V}_{\mathrm{lat}}\)。在 SFT 阶段，模型处理包含显式边界符的目标序列 \(s = [x; \mathtt{<latent>}; z_{1:n}; \mathtt{</latent>}; \mathtt{<answer>}; a_{1:M}; \mathtt{</answer>}]\)，从而将复杂的隐空间多步推导退化为标准的 Teacher-Forced 交叉熵优化。为了同时保持轨迹的可解释性而不破坏大模型的表征空间，DLR 构建了双分支并行机制：主干网络全参数学习隐式 token 生成，而对应的连续嵌入 \(G(z_{1:n})\) 被送入辅助解码器 \(\mathbf{D}_{\mathrm{ocr}}\) 还原原始 CoT，其关键设计是在 LLM 接口处施加梯度截断（stop-gradient）：

\[\mathcal{L}_{\mathrm{dec}} = -\sum_{t=1}^T \log p_{\mathbf{D}_{\mathrm{ocr}}}\left(y_t \mid y_{<t}, \text{sg}[G(z_{1:n})]\right)\]

这种结构性隔离确保了大语言模型能够完全自由地以极简的计算步数进行隐式思维跳跃，而外部解码器则持续提供高质量的自然语言翻译能力，二者互不干扰。

4. 过程对齐奖励驱动的强化学习：利用离散可读性实现中间步骤验证 以往连续隐式方法在强化学习阶段只能依赖最终答案的稀疏奖励，极易诱发欺骗性拟合（Reward Hacking）与逻辑漂移。DLR 创新性地利用辅助解码器建立了过程对齐奖励（Process Alignment Reward）。在策略自由探索产生无监督轨迹时，辅助解码器将离散隐式序列 \(\tau_i\) 中的 \(z_{1:n_i}^{(i)}\) 解码为可读文本 \(\hat{y}^{(i)} = \mathbf{D}_{\mathrm{ocr}}(G(z_{1:n_i}^{(i)}))\)。随后，一个冻结的评估模型（如初始基座模型 \(\pi_{\mathrm{eval}}\)）以 \((x, \hat{y}^{(i)})\) 为提示预测验证答案 \(\tilde{a}^{(i)}\)，并与标准答案 \(a^*\) 匹配得出过程奖励 \(r_i^{\mathrm{proc}} = R_{\mathrm{ans}}(\tilde{a}^{(i)}, a^*)\)。结合答案正确性奖励与边界格式惩罚，全量复合奖励定义为：

\[r_i = R_{\mathrm{ans}}(a^{(i)}, a^*) + \lambda_{\mathrm{proc}} r_i^{\mathrm{proc}} + \lambda_{\mathrm{fmt}} R_{\mathrm{fmt}}(\tau_i)\]

通过在 Group Relative Policy Optimization（GRPO）框架下对候选 rollout 进行优势归一化与裁剪更新，模型在无需额外训练 Critic/Value 模型的情况下，成功约束隐式推理轨迹在高度压缩的同时严格遵循数学推导逻辑。

损失函数 / 训练策略

系统采用分阶段渐进式优化体系： 1. 码本预训练：使用 Unsloth 框架在 8×H100 节点上端到端训练 DeepSeek-OCR2 与向量量化码本（33 epochs，学习率 \(1\text{e-}4\)，\(\lambda_{\mathrm{VQ}}=0.25, \beta=0.1\)）。 2. Stage 1 隐-文对齐：冻结 LLM/LMM 主干，仅优化投影矩阵 \(P_{\mathrm{in}}, P_{\mathrm{out}}\)（33 epochs，学习率 \(1\text{e-}4\)），使其具备向文本流形投影的基础能力。 3. Stage 2 隐式 SFT：联合微调 LLM 主干、投影层与码本，辅助解码器以梯度截断同步训练（33 epochs，学习率 \(2\text{e-}5\)，余弦退火，Warmup 比率 0.03）。 4. Stage 3 隐式 RL：冻结码本与辅助解码器，在 TRL 框架下以 GRPO 优化主干与投影层（11 epoch，学习率 \(1\text{e-}6\)，每提示词采样 32 个 rollouts，KL 散度惩罚 \(\beta_{\mathrm{KL}}=0.001\)，超参数 \(\lambda_{\mathrm{proc}}=0.25, \lambda_{\mathrm{fmt}}=0.1\)）。

实验关键数据

主实验

论文在纯文本语言模型（Qwen3-4B）和多模态大模型（Qwen3-VL-4B-Instruct）上，全面评估了小学算术在分布内（GSM8K-Aug）与跨分布（GSM-Hard、SVAMP、MultiArith）基准上的零样本求解表现，并统计平均推理 token 长度（#L）。

模型系列 / 方法	GSM8K-Aug (Acc / #L)	GSM-Hard (Acc / #L)	SVAMP (Acc / #L)	MultiArith (Acc / #L)	平均准确率	平均推理长度 (#L)
Qwen3-4B
Direct-SFT	27.4% / 0.0	9.2% / 0.0	69.4% / 0.0	86.3% / 0.0	48.1%	0.0
CoT-SFT (显式)	83.1% / 119.8	52.3% / 189.4	82.9% / 53.7	98.5% / 57.6	79.2%	105.1
iCoT	13.5% / 0.0	4.1% / 0.0	36.9% / 0.0	49.2% / 0.0	25.9%	0.0
Coconut (CoLM 2025)	16.9% / 6.0	5.4% / 6.0	43.6% / 6.0	60.3% / 6.0	31.6%	6.0
CODI (EMNLP 2025)	7.3% / 6.0	2.2% / 6.0	11.0% / 6.0	18.3% / 6.0	9.7%	6.0
CoLaR (NeurIPS 2025)	40.0% / 39.6	9.2% / 47.4	57.7% / 19.2	82.2% / 21.1	47.3%	31.8
DLR (SFT)	47.4% / 6.4	13.7% / 6.8	70.3% / 3.6	96.1% / 4.2	56.9%	5.3
DLR (Full)	62.2% / 6.5	19.3% / 7.0	72.3% / 3.8	97.8% / 4.3	62.9%	5.4
Qwen3-VL-4B-Instruct
Direct-SFT	26.2% / 0.0	9.5% / 0.0	70.0% / 0.0	85.6% / 0.0	47.8%	0.0
CoT-SFT (显式)	81.2% / 127.3	53.4% / 191.1	84.3% / 55.9	98.3% / 59.1	79.3%	108.4
Coconut (CoLM 2025)	16.1% / 6.0	5.2% / 6.0	42.0% / 6.0	58.9% / 6.0	30.5%	6.0
CODI (EMNLP 2025)	7.1% / 6.0	2.0% / 6.0	10.7% / 6.0	17.8% / 6.0	9.4%	6.0
CoLaR (NeurIPS 2025)	39.2% / 38.8	8.2% / 47.8	52.0% / 18.4	81.0% / 22.1	45.1%	31.8
RoT (ACL 2026)	37.8% / 32.0	14.1% / 32.0	72.7% / 32.0	97.2% / 32.0	55.4%	32.0
DLR (SFT)	48.0% / 6.3	14.7% / 6.8	68.7% / 3.6	97.8% / 4.2	57.3%	5.2
DLR (Full)	63.3% / 6.5	18.3% / 7.0	72.7% / 3.8	98.3% / 4.3	63.2%	5.4

在更具挑战的高中竞赛级数学基准 MATH-500 上，Qwen3-VL 系列展现了出色的跨规模扩展性：

模型规模 / 方法	Qwen3-VL-2B (Acc / #L)	Qwen3-VL-4B (Acc / #L)	Qwen3-VL-8B (Acc / #L)
Direct-SFT	20.8% / 0.0	29.4% / 0.0	33.5% / 0.0
CoT-SFT (显式)	29.2% / 324.5	55.8% / 291.5	69.4% / 310.6
RoT (ACL 2026)	24.0% / 64.0	33.2% / 64.0	37.8% / 64.0
DLR (SFT)	29.4% / 26.7	35.4% / 27.9	39.8% / 27.2
DLR (Full)	34.0% / 28.9	44.6% / 28.4	54.0% / 29.5

消融实验

在 Qwen3-VL-4B-Instruct 上对训练阶段构成与关键奖励项的系统消融：

配置方案	Stage 1 (Align)	Stage 2 (SFT)	Stage 3 (RL)	过程奖励 \(r_i^{\mathrm{proc}}\)	GSM8K-Aug 准确率	GSM-Hard 准确率	SVAMP 准确率	MultiArith 准确率
移除对齐阶段 (– Align)	✗	✓	✓	✓	49.6%	14.3%	65.3%	93.9%
移除 SFT 阶段 (– SFT)	✓	✗	✓	✓	21.4%	3.2%	42.3%	49.4%
移除 RL 阶段 (– RL)	✓	✓	✗	✓	48.0%	14.7%	68.7%	97.8%
移除过程奖励 (– Proc. Rwd.)	✓	✓	✓	✗	59.6%	16.2%	72.3%	98.3%
DLR (完整配置)	✓	✓	✓	✓	63.3%	18.3%	72.7%	98.3%

关键发现

• 离散锚点有效遏制误差累积：在数值扰动的 GSM-Hard 基准上，所有连续隐向量基线（Coconut 5.4%、CODI 2.2%）均发生灾难性性能退化，而 DLR 保持了 19.3% 的准确率，表明离散量化显著增强了逻辑鲁棒性。
• 过程奖励对强化学习至关重要：剥离过程对齐奖励后，虽然纯结果奖励能够维持较简单的 MultiArith，但在多步推导的 GSM8K 上显著掉点 3.7%，证明缺乏过程审计时，隐式策略极易被欺骗性捷径破坏。
• 卓越的推理压缩比：相较于显式 CoT 动辄 100–300 个 token，DLR 仅需约 5.4 个离散隐式 token 即可完成小学数学推理，在 MATH-500 上也仅需不到 30 个 token，实现了高达 20× 的推理吞吐加速。
• 可解释性保持与语义抽象：案例分析表明，辅助解码器能够稳定还原完整的四则运算计算图，尽管个别实体名称或单位可能在重构时发生轻微幻觉，但这印证了离散隐式空间高度聚焦于因果数学骨架的特征。

亮点与洞察

• 离散化弥合监督裂隙：传统连续隐向量方法之所以训练脆弱，根源在于无法利用成熟的自回归交叉熵目标。DLR 将隐状态直接映射为统一词表中的离散 token，使模型得以沿用自回归预测与标准 Teacher Forcing，从底层化解了优化困境。
• 借助光学渲染实现非线性无损压缩：文字排版渲染为图像天然蕴含极高的视觉冗余压缩能力，借助 OCR 基础模型的因果查询机制构建码本，使得极少数离散 token 便能承载高度密集的数理推理逻辑。
• 梯度截断保障双重收益：在 SFT 与 RL 中通过 stop-gradient 将主干推理与辅助重构解耦，既确保了大语言模型在极短序列下的推理自由度，又保留了外部可审计的透明窗口。

局限与展望

• 离线数据构建开销：在预训练码本阶段，需要将海量 CoT 文本动态渲染为图像并提取特征，增加了离线数据管线的算力与存储负担。
• 跨领域码本泛化性：当前的 10k 码本主要基于数学推理数据构建，若迁移至形式化代码生成、长篇多语言论证等领域，码本容量与量化超参可能需要重新调优。
• 重构细节与语义微漂移：辅助解码器还原的文本有时会出现命名置换（如将人物名称替换），未来可探索在解码器中引入轻量实体约束以提升自然语言复原的一致性。

相关工作与启发

• vs Coconut & CODI：Coconut 与 CODI 均在最后一层连续隐状态中打转，不仅存在严重的表征塌缩风险，且难以稳定挂载 RL 奖励；DLR 创新性地引入离散向量量化与统一词表，赋予隐式推理明确的符号锚点。
• vs RoT & ReGuLaR：RoT 与 ReGuLaR 虽然引入了渲染图像的特征监督，但依然将隐空间视作连续向量，导致单步推理开销固定且难以自适应压缩；DLR 将渲染特征量化为离散 token，不仅支持自回归自主终止，更达成了更高的压缩率与可解释性。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次提出离散隐变量推理范式，通过渲染压缩与离散码本重塑隐式推理。
• 实验充分度: ⭐⭐⭐⭐⭐ 覆盖纯文本与多模态双系列、1B至8B参数尺度以及5大多步数学基准，消融详实。
• 写作质量: ⭐⭐⭐⭐⭐ 论证严密，对连续隐状态缺陷的剖析深刻透彻，公式与图表表达极其清晰。
• 价值: ⭐⭐⭐⭐⭐ 为超高效、可信赖的大模型内部快速思考（Fast Thinking）奠定了全新的理论与工程基石。

相关论文

• [NeurIPS 2026] DiscoLoop: Looping Discrete Embeddings and Continuous Hidden States for Multi-hop Reasoning
• [NeurIPS 2026] Why Deterministic PRM Guidance Underperforms in Discrete Diffusion Reasoning
• [ICLR 2026] When Reasoning Meets Compression: Understanding the Effects of LLMs Compression on Large Reasoning Models
• [NeurIPS 2026] Efficient Reasoning via Constrained Optimization in Latent Space
• [NeurIPS 2026] Entropy-Gated Latent Recursion