跳转至

SAGE: Mitigating Long-Horizon Reasoning Biases via Topological Guidance

会议: NeurIPS 2026
arXiv: 2609.30192
代码: https://github.com/Susan571/SAGE-NeurIPS2026
领域: 大语言模型推理
关键词: 长程推理、强化学习、拓扑引导、双曲几何、代数稀疏化

一句话总结

针对大语言模型长程推理在稀疏奖励下易陷入局部合理分支与误差累积的痛点,本文提出 SAGE 框架,通过代数稀疏化与双曲几何引导注入结构先验,在零推理开销下大幅提升长程符号与数学推理能力。

研究背景与动机

后训练(Post-training)与强化学习已成为激发大语言模型复杂推理能力的核心范式,并在数学推导与代码生成任务中取得了显著进展。然而,当推理步数显著增加且环境仅能提供最终结果层面的稀疏奖励时,基于结果的强化学习优化往往表现出极强的脆弱性。中间状态缺乏有效反馈使得策略无法感知当前推导对于全局目标的长期可行性,模型频繁生成表面看起来极其合理、语法严密,但在宏观结构上已脱离正确解题空间的伪可行轨迹。

这种深层退化根源于复杂推理空间固有的两类耦合偏差。第一是探索偏差(Exploration Bias):推理搜索树随着深度呈指数级膨胀,可行且可最终通向成功的有效轨迹集中在极狭窄的流形上,而绝大多数局部合规的转换并不能真正化简问题或收敛至目标状态;基于结果的策略由于缺乏结构甄别能力,过度耗费采样预算在这些高体积但无效益的局部合理分支上。第二是累积偏差(Compounding Bias):在稀疏奖励下,前期的微小局部偏差由于得不到及时惩罚而在步数递增过程中不断累积放大,甚至在带有 KL 散度约束的优化目标下,退化为过度保留参考模型的局部先验,致使模型偏离长期可行区域且迟迟无法自愈。现有解决手段要么依赖昂贵且难以泛化的步骤级验证器(PRM),要么通过启发式熵正则或语法过滤辅助探索,未曾从推理流形的内在几何结构上形式化刻画解空间的拓扑特性。

为了从根本上厘清长程推理在稀疏奖励下的失效机理,本文构建了符号闭包分析(Symbolic Closure Analysis, SCA)理论视角,证明了推理可行闭包的前缀闭合性与方差分解机制。核心 idea:通过将推理状态映射到算子索引的代数子空间以实现代数稀疏化,并嵌入负曲率双曲空间以提供连续的深度拓扑引导,SAGE 在后训练阶段联合抑制无效分支与累积漂移,无需人工步骤标签且完全不增加推理阶段的计算开销。

方法详解

整体框架

SAGE(Structural Admissibility-Guided Exploration)旨在将长程推理空间的结构先验内化至大语言模型的策略参数中。整体流程在策略优化(RL Post-training)阶段运作,包含三个紧密耦合的阶段:首先利用状态编码器解析当前推理前缀与未解符号残差;接着计算代数稀疏化得分以过滤发散算子,并利用庞加莱双曲空间计算当前状态逼近目标拓扑的测地距离以提供密集深度势能;最后将双重拓扑势能融合至候选步采样与优势函数估计中,驱动策略自适应收敛至全局可行的紧致流形。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入题目 / 当前推理状态 s_t"] --> B["算子候选步生成与残差预测"]
    B --> C["代数稀疏化:投影至算子子空间"]
    B --> D["双曲结构引导:庞加莱球测地距离"]
    C --> E["结构先验融合与引导采样"]
    D --> E
    E --> F["拓扑增强优势估计与策略更新"]
    F --> G["推理输出:无需额外几何计算的策略模型"]

关键设计

1. 代数稀疏化:压制局部合理但发散的探索分支 面对长程推理中候选项数量庞大但仅极少数具有长期可收敛性的探索偏差,该设计旨在利用算子作用子空间的重构能量判别候选步骤是否真正针对未解残差。系统首先基于冻结的语言编码器提取前缀表征,并通过轻量线性探针预测未解残差向量 \(r_t \in \mathbb{R}^d\)。对于候选算子 \(L_j\),将其关联的代数特征子空间基向量张成投影矩阵 \(P_{S_j} = U_j U_j^\top\),定义代数稀疏化得分: $\(\Psi_{\mathcal{P}}(r_t, S_j) = \frac{\|P_{S_j} r_t\|_2^2}{\|r_t\|_2^2 + \varepsilon}\)$ 该指标衡量了候选算子对当前未决符号残差的能量解释度。若候选步仅是无意义的同义反复或无效扩展,其在残差主导子空间上的投影能量微弱,从而在软概率层面被有效抑制,实现了无需显式搜索剪枝的可行流形支撑集中。

2. 双曲结构引导:提供深度感知的连续前缀势能 为了消除稀疏奖励下的累积偏差,模型需要感知当前步是否在整体层次结构上靠近目标流形。考虑到长程推理状态转移呈现高度分层与树状拓扑,欧氏空间在高维展开时存在严重的失真,SAGE 将中间状态 \(s_t\) 与算子动作 \(a_t\) 映射到负常曲率的庞加莱球(Poincaré Ball)\(\mathbb{D}_c\) 中。利用冻结编码器隐藏层与线性变换后经径向双曲投影得到嵌入 \(\mathcal{E}(s_t \circ a_t)\),并以目标结构 \(g\) 的庞加莱嵌入 \(\mathcal{E}(g)\) 为锚点,计算测地距离下的结构引导势能: $\(\Psi_{\mathcal{H}}(s_t, a_t, g) = \exp\left(-\frac{d_{\mathbb{D}_c}(\mathcal{E}(s_t \circ a_t), \mathcal{E}(g))}{\kappa}\right)\)$ 该势能在推导过程中持续为具有层次收敛倾向的步骤赋予更高的保真度,使得哪怕在最终奖励完全缺失的初始训练阶段,梯度依然能沿着拓扑测地线持续回传,防止轨迹漂移至不可恢复的死胡同。

3. 结构增强采样与优势估计:双重势能的协同优化机制 将代数稀疏化势能与双曲引导势能线性加权构成综合结构势能 \(\Psi_{\mathrm{SAGE}}(s_t, a_t) = \alpha \Psi_{\mathcal{P}}(s_t, a_t) + \gamma \Psi_{\mathcal{H}}(s_t, a_t)\)。在后训练轨迹生成时,SAGE 在旧策略提议的局部候选集 \(\mathcal{C}_t\) 上引入带有长度归一化项的引导重加权采样: $\(P_{\mathrm{sample}}(a_t^{(k)} \mid s_t, \mathcal{C}_t) \propto \exp\left(\bar{\ell}_{\theta_{\mathrm{old}}}(a_t^{(k)} \mid s_t) + \lambda \Psi_{\mathrm{SAGE}}(s_t, a_t^{(k)})\right)\)$ 同时,轨迹 \(i\) 的综合奖励由最终稀疏奖励与沿轨迹平均的结构势能叠加构成:\(\widetilde{R}(\tau_i) = R_{\mathrm{term}}(\tau_i) + \eta \cdot \frac{1}{T_i} \sum_{t=1}^{T_i} \Psi_{\mathrm{SAGE}}(s_t^i, a_t^i)\),并据此构建组内相对优势 \(A_i\)。理论上证明了即使在全组终端奖励全为 0 的极端极度稀疏情境下,组内非零的结构方差仍能提供有效梯度方向。

损失函数 / 训练策略

SAGE 采用步骤级 KL 正则化的组相对策略优化目标。对于包含 \(G\) 个采样轨迹的组别,其更新目标为: $\(\mathcal{L}_{\mathrm{SAGE}}(\theta) = \frac{1}{G} \sum_{i=1}^G \frac{1}{T_i} \sum_{t=1}^{T_i} \left[ \min\left(\rho_{i,t}(\theta) A_i, \text{clip}(\rho_{i,t}(\theta), 1-\epsilon, 1+\epsilon) A_i\right) - \delta \log \frac{\pi_\theta(a_{i,t} \mid s_{i,t})}{\pi_{\mathrm{ref}}(a_{i,t} \mid s_{i,t})} \right]\)$ 其中重要性权重 \(\rho_{i,t}(\theta) = \pi_\theta(a_{i,t} \mid s_{i,t}) / \pi_{\theta_{\mathrm{old}}}(a_{i,t} \mid s_{i,t})\)。在训练策略上,SAGE 首先利用参考模型在固定熵过滤子集上构建探针与子空间矩阵,优化器选用 AdamW;在推理测试阶段,所有辅助探针、庞加莱投影与势能计算完全剥离,直接使用优化后的 \(\pi_\theta\) 自回归解码,实现真正的零推理延迟开销。

实验关键数据

主实验

在 7 类模型家族与 12 项基准上进行了系统测试,覆盖闭式数学推理(MATH、Minerva、OlympiadBench、AIME24、AMC23、GSM8K、Putnam)、自由形式自然语言推理(MMLU-Pro、GPQA、BBH-H、ARC-C)以及真实的极端长程符号推理(Andrews-Curtis, AC 猜想化简问题)。

下表汇报了不同规模开源基座模型在闭式数学推理基准上的准确率(%)对比:

模型与方法 MATH OlympiadBench AIME24 AMC23 GSM8K Putnam 平均准确率
Llama-3.3-70B-Instruct (Flagship) 66.08 32.94 17.31 29.02 80.47 9.91 38.48
Qwen3.5-2B (Base) 50.64 24.58 9.41 43.36 47.38 3.66 27.24
Qwen3.5-2B w/ SFT 60.41 27.96 3.74 37.88 55.06 4.63 30.89
Qwen3.5-2B w/ GRPO 73.39 33.86 16.05 50.94 63.12 6.79 39.63
Qwen3.5-2B w/ EMPO 71.94 37.04 12.88 54.71 66.54 7.48 40.28
Qwen3.5-2B w/ SAGE (本文) 74.61 38.25 15.72 55.81 67.06 9.31 42.11
Qwen3.5-9B (Base) 65.11 27.31 6.38 39.73 45.59 4.61 29.01
Qwen3.5-9B w/ GRPO 75.96 38.82 19.51 56.96 62.77 7.66 43.16
Qwen3.5-9B w/ EMPO 78.24 37.03 20.88 64.88 65.55 8.01 44.84
Qwen3.5-9B w/ SAGE (本文) 79.97 41.59 25.58 63.91 71.72 11.47 47.95
Qwen3.5-35B (Base) 70.28 48.81 35.05 42.33 76.28 11.36 45.21
Qwen3.5-35B w/ GRPO 82.18 65.31 57.94 68.92 91.51 19.48 61.92
Qwen3.5-35B w/ EMPO 81.84 64.41 62.31 67.38 92.29 19.97 62.37
Qwen3.5-35B w/ SAGE (本文) 84.72 68.26 62.04 70.87 94.16 22.62 64.86

在极端长程的 Andrews-Curtis(AC)难题上,SAGE 取得了近 8 倍的编译级形式化证明成功率突破。

消融实验

为验证代数稀疏化 \(\Psi_{\mathcal{P}}\) 与双曲结构引导 \(\Psi_{\mathcal{H}}\) 的各自必要性及几何选择合理性,在 Qwen3.5-9B 上进行了系统消融(OlympiadBench 与 BBH-H):

变体配置 Olympiad 准确率 (%) Olympiad 每千步奖励 BBH-H 准确率 (%) BBH-H 每千步奖励
GRPO 基线 38.82 16.08 41.69 20.06
EMPO 基线 37.03 15.03 44.04 19.02
SAGE 去除双曲引导 \(\Psi_{\mathcal{H}}\) 39.84 18.47 39.06 22.36
SAGE 去除代数稀疏化 \(\Psi_{\mathcal{P}}\) 39.12 17.68 38.85 21.18
SAGE 替换为欧氏距离 38.01 16.92 38.02 20.89
SAGE 目标锚点打乱 \(g\) 37.99 17.01 37.83 19.91
完整 SAGE 模型 41.59 21.38 45.31 25.76

在 Qwen3.5-35B 上的 AC 长程符号任务消融中,去除 \(\Psi_{\mathcal{H}}\) 使 Lean 验证证明率从 23.69% 骤降至 18.82%,去除 \(\Psi_{\mathcal{P}}\) 降至 18.07%,均显著低于完整模型的 23.69%(GRPO 仅 14.64%)。

关键发现

  • 双重引导的强互补性:去除 \(\Psi_{\mathcal{P}}\) 或 \(\Psi_{\mathcal{H}}\) 均带来显著性能跌落,证明控制探索分支发散与抑制前缀深度误差累积缺一不可。
  • 双曲几何的不可替代性:将庞加莱测地距离替换为标准欧氏距离后,准确率下降超过 3.5 个百分点,证实了层次化推理树结构与负曲率黎曼几何在拓扑表征上的高度契合。
  • 超强模型跨级超越:Qwen3.5-35B w/ SAGE 达到了 64.86% 的平均数学准确率,以近一半的参数规模全面大幅超越了 70B 旗舰模型 Llama-3.3-70B-Instruct(38.48%)。

亮点与洞察

  • 训练期注入、推理期零成本:拓扑先验仅在后训练阶段重加权采样分布和调整优势估计,优化后模型直接以纯文本权重推理,完美兼顾了探索质量与线上推理吞吐。
  • 从理论诊断到可计算势能:SCA 理论不仅严密揭示了稀疏奖励下 KL 优化锚定于参考模型局部偏见的本质,还自然导出了代数投影与负曲率双曲距离两项可操作性极强的无监督势能。
  • 开辟长程形式化探索新路径:在公认极具挑战性的 Andrews-Curtis 群论未解问题化简中取得 8 倍提升,为利用 LLM 进行高阶数学定理证明与符号计算探索提供了全新范式。

局限与展望

  • 非符号任务残差依赖伪标签近似:在自然语言开放推理中,算子分类与残差特征依赖聚类与预设粗粒度算子库,理论上未能具备如符号群论中完全严格的代数闭包保证。
  • 目标锚点的静态假设:当前实现中目标锚点在轨迹生成期间保持静态,未能针对多模态或动态自适应目标场景动态更新。
  • 未来方向:探索动态曲率双曲空间自适应适配不同推理难度,并将代数投影机制拓展至代码合成、形式化软件验证与科学实验规划等更广泛的深层次序贯决策领域。

相关工作与启发

  • vs. 过程奖励模型(GRPO-PRM / Lightman et al.):PRM 需要密集且昂贵的步骤级人工或大模型打分标注,且泛化性受限;SAGE 基于内生几何与代数结构生成连续信号,无需任何中间标注即可实现优于 PRM 的探索引导效果。
  • vs. 无监督内在探索(EMPO / Count-based RL):EMPO 等工作主要利用生成熵或出现频次作为通用探索奖励,未考虑解空间的拓扑收敛性;SAGE 将探索聚焦于具有代数兼容性与双曲收敛性的有效流形中,规避了盲目发散。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 巧妙融合代数残差子空间投影与庞加莱双曲空间距离,开创性地解决长程推理中两类深层拓扑偏差。
  • 实验充分度: ⭐⭐⭐⭐⭐ 横跨 7 大模型家族、12 项极具挑战性的数学与综合基准,涵盖消融、超参敏感性与形式化定理检验。
  • 写作质量: ⭐⭐⭐⭐⭐ 理论分析逻辑严谨,数学形式化推导规范,从理论定义到算法落地的过渡极其自然。
  • 价值: ⭐⭐⭐⭐⭐ 为稀疏奖励下的长程大模型推理与定理证明提供了极具启发性的后训练范式,零推理代价实用性极高。