Efficient Reasoning via Constrained Optimization in Latent Space

会议: NeurIPS 2026
arXiv: 2609.34181
代码: https://github.com/hzn18/Opt4Reasoning
领域: Reasoning
关键词: 大推理模型, 隐空间优化, 二次规划, 表示引导, 过度思考

一句话总结

本文提出一种免训练的隐空间约束优化方法，通过将推理步骤在隐空间投影到高效推理凸多面体区域内，抑制模型冗余犹豫与自我重复，在数学、代码与科学推理多基准上大幅削减 11.8%～52.8% Token 并提升推理准确率。

研究背景与动机

随着长思维链（Chain of Thought, CoT）与强化学习推理技术的发展，大型推理模型（Large Reasoning Models, LRMs，如 DeepSeek-R1 系列）展现出强悍的复杂问题求解能力。然而自回归生成过长的思维链带来了沉重的计算开销，更致命的是常常诱发过度思考（Overthinking）现象——模型陷入无意义的自我怀疑、反复重新措辞和无效死循环，不仅浪费大量 Token，反而降低最终答案准确率。现有免训练加速方案（如早期退出、截断提示或单向引导向量）往往采取被动惩罚策略，粗暴抑制反思词汇或强制缩短推理链，极易牺牲必要的推导步骤而引发欠思考（Underthinking），导致模型准确率出现灾难性下滑。

这种困境的核心矛盾在于：模型需要保持充分的推理自由度以确保逻辑正确性，但现有方法缺乏对“高效推理状态在隐空间中应居何处”的先验几何认知，盲目排斥过度思考只会造成过度校正。现有表示引导方法大多沿单一方向推离错误行为，却无法给出合法且最优的目标落脚点。

本文的切入视角是深入大模型激活隐空间探究高效推理与冗余步骤的几何表征差异。实证发现，紧凑高效的推导步骤自然聚集在隐空间的核心聚集区域，而冗余的反复校验与犹豫步骤则发散环绕在外部，且偏离该区域的几何距离与生成长度呈显著正相关、与准确率负相关。核心 idea：将高效推理定义为隐空间中的凸多面体约束集，在推理阶段将偏离该区域的隐状态通过多参数二次规划（mp-QP）精准投影回高效区域，并结合 GPU 张量显式查表实现近乎零延迟的在线干预。

方法详解

整体框架

本文方法在模型自回归生成过程中以非侵入方式实施免训练干预。其核心流水线分为两个阶段：离线构建高效推理凸多面体区域 \(\mathcal{H}\)，以及在线自回归阶段对步骤定界符（如换行符 \n\n）隐状态实施二次规划投影修正。整体流程如下所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入题目与自回归推理生成"] --> B["步骤定界符隐状态提取与PCA降维"]
    B --> C["高效推理集多面体约束判定<br/>判断是否偏离凸集 H"]
    C -->|未偏离| D["保持原始表征继续前向生成"]
    C -->|偏离边界| E["二次规划约束投影<br/>求解最近邻点 z* 并保残差映射回原空间"]
    E --> F["GPU显式分段仿射加速计算<br/>mp-QP离线多面体剖分直接查表"]
    F --> G["更新隐状态并输出紧凑推理步骤"]

在离线阶段，利用少量带答案与紧凑推导提示引导模型生成紧凑无冗余的 Direct CoT，并在隐空间中通过 PCA 降维与多向支持向量机（SVM）划分，拟合出包裹高效状态的凸多面体约束集 \(\mathcal{H}\)。在线生成时，仅在遇到步骤定界符 token 时读取隐状态，若其投影脱离 \(\mathcal{H}\)，则调用二次规划求解出距离最近的高效状态并映射回原始空间，引导后续自回归生成保持紧凑。

关键设计

1. 推理进展量化与高效状态几何表征：明确界定何为高效推理

为从理论上刻画单步推理对整体质量的贡献，本文首先形式化定义了推理进展（Progress）向量 \(p(c_t; c_{<t}, q) = [p_{\text{acc}}, p_{\text{len}}]\)。其中 \(p_{\text{acc}}\) 衡量当前步 \(c_t\) 带来的期望成功概率增量，而 \(p_{\text{len}}\) 衡量总体期望剩余生成 Token 长度的缩减幅度。理论推导证明，整条推理轨迹的累积准确率与长度收益正是各单步进展的伸缩和（Telescoping Series）。因此，高效推理步骤集合可形式化为双目标非负子集 \(\mathcal{S}(c_{<t}, q) = \{c_t \mid p_{\text{acc}} \geq 0, p_{\text{len}} \geq 0\}\)。

然而直接蒙特卡洛采样评估 \(p\) 开销巨大。作者提出使用带真实答案提示的 Direct CoT 作为经验代理（Proxy）。主成分分析（PCA）降维实验表明，Direct CoT 在潜空间中呈现高度紧致的几何聚集核心区 \(\mathbf{Z}_D\)，而无干预的 Vanilla CoT 步骤 \(\mathbf{Z}_V\) 则弥散分布并包裹该核心区。冗余的自我修正（Reflection）和视角跳转（Transition）步骤大多落在核心区之外。

2. 多面体高效推理集构建：以多方向松弛超平面围出可行域

为将离散采样的状态转化为可优化的连续几何边界，本文利用 K-Means 聚类将发散的冗余状态 \(\mathbf{Z}_V\) 分割为 \(M\) 个子类簇 \(\{\mathbf{Z}_V^{(1)}, \dots, \mathbf{Z}_V^{(M)}\}\)。随后针对每个冗余类簇训练线性支持向量机（SVM），获得分离超平面的法向量 \(\mathbf{w}_m\) 与初始截距 \(b_m\)。为防止边界过紧误伤合法的推理变体，引入分位数松弛机制调整截距：

\[b^{\prime}_{m} = -\max\left(P_{\alpha}\left(\{\mathbf{w}_{m}^{\top}\mathbf{z} \mid \mathbf{z} \in \mathbf{Z}_{D}\}\right),\ \mathbf{w}_{m}^{\top}\bar{\mathbf{z}}_{D}\right)\]

其中 \(P_\alpha\) 表示投影标量的 \(\alpha\) 分位数（默认 \(\alpha=90\%\)），\(\bar{\mathbf{z}}_D\) 为高效样本均值中心。由这 \(M\) 个半空间相交形成的凸多面体：

\[\mathcal{H} = \left\{\mathbf{z} \in \mathbb{R}^k \mid \mathbf{w}_m^\top \mathbf{z} + b^\prime_m \leq 0,\ \forall m \in \{1,\dots,M\}\right\}\]

由于均值中心 \(\bar{\mathbf{z}}_D\) 在构造上恒满足所有线性约束，确保多面体 \(\mathcal{H}\) 严格非空且有界凸闭。

3. 二次规划约束投影与正交残差保真：兼顾几何纠偏与语义完整

在推理阶段，设某中间层定界符处的高维隐状态为 \(\mathbf{x}_t \in \mathbb{R}^d\)，经 PCA 降维得到 \(\mathbf{z}_t = \mathbf{U}\mathbf{x}_t\)。若 \(\mathbf{z}_t \notin \mathcal{H}\)，纠偏目标即为求解离 \(\mathbf{z}_t\) 最近的可行解 \(\mathbf{z}_t^*\)。该问题严格构成标准二次规划（QP）：

\[\mathbf{z}_t^* = \arg\min_{\mathbf{u} \in \mathbb{R}^k} \frac{1}{2} \|\mathbf{z}_t - \mathbf{u}\|_2^2 \quad \text{s.t.} \quad \mathbf{w}_m^\top \mathbf{u} + b^\prime_m \leq 0, \quad \forall m \in \{1,\dots,M\}\]

由于目标函数强凸且约束集非空，存在唯一全局最优解。若直接用 \(\mathbf{U}^\top \mathbf{z}_t^*\) 替换原隐状态，将彻底抹去正交补空间上的特定题目语义。因此，本文保留正交残差，仅对主子空间内的偏差向量实施修正：

\[\mathbf{x}_t \leftarrow \mathbf{x}_t + \lambda \mathbf{U}^\top \left(\text{Proj}_{\mathcal{H}}(\mathbf{U}\mathbf{x}_t) - \mathbf{U}\mathbf{x}_t\right)\]

干预强度默认取 \(\lambda = 1.0\)，既纠偏逻辑走向，又完整保留题目的细粒度语义信息。

4. 基于 mp-QP 的 GPU 显式分段仿射加速：打通高吞吐部署瓶颈

数值 QP 求解器（如 CPU 上的 CvxpyLayer/OSQP）涉及频繁的 GPU-CPU 数据传输，会使高并发推理引擎（如 vLLM）吞吐暴跌。针对本问题低维（\(k=10\sim 16\)）且约束较少（\(M=8\)）的特性，作者应用多参数二次规划（Multi-Parametric QP, mp-QP）理论。根据 Karush-Kuhn-Tucker (KKT) 条件，输入参数空间可被离线精确划分为有限个临界凸区域 \(\{\mathcal{CR}_1, \dots, \mathcal{CR}_N\}\)，在每个区域内，最优化投影解是关于输入 \(\mathbf{z}_t\) 的显式分段仿射函数：

\[\mathbf{z}_t^* = \mathbf{F}_i \mathbf{z}_t + \mathbf{g}_i, \quad \text{当 } \mathbf{z}_t \in \mathcal{CR}_i\]

利用 PDAQP 求解器在离线完成多面体剖分并预计算矩阵对 \((\mathbf{F}_i, \mathbf{g}_i)\)。在线干预时，求解 QP 简化为纯 GPU 上的矩阵不等式区域定位（Region Querying）与矩阵仿射乘加变换，将干预耗时从 1.7~5.3ms 骤降至 0.3~0.5ms，显存占用低于 2MB。

实验关键数据

主实验

在涵盖初级算术（GSM8K）、中高难度竞赛数学（MATH500、AMC2023、AIME2025）、代码生成（LiveCodeBench）与科学知识问答（GPQA-Diamond）6 个基准，以及 4 款开源大推理模型上进行全方位评估：

模型	方法	GSM8K Acc / Tok	MATH500 Acc / Tok	AMC2023 Acc / Tok	AIME2025 Acc / Tok	LiveCode Acc / Tok	GPQA Acc / Tok
DeepSeek-R1-1.5B	Vanilla	81.5% / 1489	82.1% / 4476	64.4% / 7708	17.3% / 11811	32.1% / 10013	33.3% / 8241
DeepSeek-R1-1.5B	SEAL	82.2% / 924	82.4% / 3460	72.5% / 5382	23.5% / 9904	30.5% / 8111	33.8% / 6620
DeepSeek-R1-1.5B	ReBalance	81.0% / 895	83.0% / 3697	67.5% / 6292	24.4% / 10600	30.2% / 9196	22.7% / 9071
DeepSeek-R1-1.5B	Ours	83.1% / 853	83.2% / 2949	75.2% / 4821	26.7% / 8502	32.7% / 7656	36.4% / 5651
DeepSeek-R1-7B	Vanilla	90.9% / 1129	91.6% / 3647	86.3% / 5846	26.9% / 11209	58.9% / 8320	48.9% / 7194
DeepSeek-R1-7B	Ours	91.3% / 716	92.2% / 2599	91.1% / 4083	39.0% / 9042	61.2% / 6788	51.0% / 4599
Qwen3-4B	Vanilla	94.9% / 2476	95.2% / 4587	95.9% / 7588	60.2% / 16835	87.7% / 7818	53.2% / 8080
Qwen3-4B	Ours	95.4% / 1168	95.8% / 3550	97.5% / 5898	67.1% / 14809	88.5% / 6898	57.5% / 6698
Qwen3-14B	Vanilla	95.6% / 1433	96.2% / 4559	96.9% / 7277	67.1% / 16019	90.5% / 7252	63.6% / 7323
Qwen3-14B	Ours	96.4% / 1011	96.8% / 3510	98.3% / 5751	70.4% / 13144	91.0% / 6210	64.1% / 6309

注：在 DeepSeek-R1-7B 的 AIME2025 极难数学挑战上，准确率净增 +12.1%（26.9%→39.0%），Token 生成量减少 19.3%；Qwen3-4B 在 GSM8K 上 Token 消耗直降 52.8%（2476→1168）。

消融实验

针对超参数敏感性与工程加速方案的效率消融实验如下：

配置 / 模型	求解器模式	单次求解耗时 (ms)	额外显存 (MB)	MATH500 端到端延迟 TPR (s)	说明
DeepSeek-R1-1.5B (Vanilla)	无干预	-	-	0.83	基线原生 vLLM 推理
DeepSeek-R1-1.5B (Ours Online)	CvxpyLayer (CPU)	1.7 ms	0.0 MB	0.66 (-21.2%)	求解耗时拖累吞吐
DeepSeek-R1-1.5B (Ours Explicit)	PDAQP (GPU)	0.3 ms	0.41 MB	0.51 (-38.4%)	显式查表实现近乎零延迟
DeepSeek-R1-7B (Ours Explicit)	PDAQP (GPU)	0.3 ms	0.93 MB	1.02 (-25.0%)	TPS 与原生相当，端到端大提速
Qwen3-4B (Ours Explicit)	PDAQP (GPU)	0.3 ms	0.56 MB	2.62 (-29.2%)	显存占用微乎其微
Qwen3-14B (Ours Explicit)	PDAQP (GPU)	0.5 ms	1.80 MB	4.14 (-24.9%)	16变量8约束下依然极速

超参数敏感性消融（基于 MATH500）： - 干预强度 \(\lambda\)：在 \([1.0, 1.6]\) 范围内 Token 削减显著；当 \(\lambda > 1.0\) 时因潜在的隐状态过度校正使准确率略微下挫，因此 \(\lambda=1.0\) 为最优权衡点。 - 干预层数（Steering Layer）：中后深层（如 1.5B/7B 的第 20 层、Qwen3-4B 的第 25 层、14B 的第 30 层）效果最佳，浅层以底层 token 语法为主无法表征抽象思维，过深层已成输出 summary。 - PCA 维度 \(k\)：\(k \in [8, 16]\) 表现极其稳健，过小信息损失严重，过大引入高频噪声且加剧求解复杂度。 - 约束超平面数 \(M\)：\(M=8\) 为黄金分割点，\(M \leq 4\) 导致多面体过于粗糙约束力弱，\(M\) 过大导致 KKT 临界区域数增加。

关键发现

• 语义词频统计证实冗余被靶向压制：在 MATH500 上的词汇统计表明，干预后反思（Reflection）词汇词频降低 55%～75%（例如 1.5B 模型从 28.5 降至 6.0），视角转换（Transition）词频降低约 78%，直接证实 Token 缩减源于无意义自省的消除。
• 跨领域与跨难度强迁移性：仅在基础数学（MATH500/GSM8K）提取的多面体，直接迁移到竞赛级数学 AIME、代码生成 LiveCodeBench 及专业科学 GPQA 上依然稳定增效，证明高效思维表征具有通用的几何流形特征。
• 探索能力完全保持：AMC23/AIME2025 的 Pass@16 评测显示，干预并未降低模型的探索多样性（如 7B 在 AIME 上的 Pass@16 从 66.7% 提升至 70.0%），剔除冗余后模型注意力更集中于高潜力解题分支。

亮点与洞察

• 将表征干预重构为约束优化：摒弃传统“盲目推离”或“经验线性外推”的 Steering 范式，首次在隐空间为“何为高效推理”划定了清晰的凸几何边界，利用 QP 正向投影确保了理论最优性与数值稳定性。
• 利用 mp-QP 将在线优化转化为纯 GPU 查表：巧妙利用低维隐空间约束少的特点，借由多参数二次规划将实时数值优化瓶颈消解为离线多面体分割与在线张量索引，端到端延迟降低多达 38.4%，真正具备生产环境部署落地能力。

局限与展望

• 模型尺度评测上限受限：受制于算力，当前验证集中在 1.5B～14B 模型，超大参数量模型（如 70B+）隐空间几何流形是否保持类似的单聚集区特性仍待深入挖掘。
• 超专业垂直领域验证：虽然在常规数学、代码和科学常识上表现优异，但在复杂法律推理、医学病理诊断等高度依赖发散性证据罗列的领域，该凸多面体是否需动态重构值得未来进一步探索。

相关工作与启发

• vs SEAL / STIR / ReBalance (隐空间表示引导)：既有方法大多利用两类样本的均值差计算单向引导向量，属于“排斥性”策略，极易矫枉过正引发欠思考；本文显式构造凸多面体可行域 \(\mathcal{H}\) 并以最近邻投影实施约束纠偏，从数学上保证不脱离合理语义流形。
• vs DEER / CCoT (早期退出与提示截断)：早退方法依赖粗粒度置信度截断，容易在难题上中途弃权；本文自始至终保留完整的思维链生成过程，仅在定界符层面剪除无效自言自语，实现“Token 大幅精简而准确率反而提高”。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次从几何集中性角度刻画高效思维链并引入多参数凸优化投影机制。
• 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 4 个代表性模型、6 大跨学科基准，包含详尽的理论证明、语义统计与 GPU 延迟消融。
• 写作质量: ⭐⭐⭐⭐⭐ 理论推导严密自洽，几何物理图像直观生动。
• 价值: ⭐⭐⭐⭐⭐ 兼具深刻的认知机制可解释性与立竿见影的工程加速收益，对推理模型推理端落地极具启发。

相关论文

• [ICLR 2026] ∇-Reasoner: LLM Reasoning via Test-Time Gradient Descent in Latent Space
• [ICLR 2026] Adaptive Thinking: Large Language Models Know When to Think in Latent Space
• [AAAI 2026] Efficient Thought Space Exploration Through Strategic Intervention
• [NeurIPS 2025] DisCO: Reinforcing Large Reasoning Models with Discriminative Constrained Optimization
• [NeurIPS 2026] Entropy-Gated Latent Recursion