SARL: Label-Free Reinforcement Learning by Rewarding Reasoning Topology¶

会议: NeurIPS 2026
arXiv: 2603.27977
领域: 其他
关键词: 大语言模型推理, 无标签强化学习, 推理拓扑图, 小世界网络, 结构奖励

一句话总结¶

提出结构感知强化学习（SARL），通过将思维链切分为潜在推理功能并构建推理拓扑图，以小世界聚类系数与平均最短路径长度作为内生结构奖励，在无需真实标签或偏好标注的条件下显著提升数学与开放域推理能力。

研究背景与动机¶

近年来，以 Chain-of-Thought（CoT）为核心的大语言模型推理能力在数学与代码等任务上取得了显著进展。推动这一飞跃的核心引擎是可验证奖励强化学习（RLVR），通过自动化验证器对最终答案提供二元或标量反馈。然而，这种强依赖验证器的范式遭遇了严重的“可验证性瓶颈”：在战略规划、开放式问答、哲学思辨与创意写作等广阔的真实场景中，任务往往不存在客观唯一的标准答案，甚至根本无法构建自动判别器。

更为根本的问题在于，无论是传统 RLVR 还是细粒度的过程奖励模型（PRM），本质上均由“终局答案的正确性”反推驱动。模型仅被引导“得出什么结果”，其中间推理轨迹的组织结构却完全处于无约束状态；这不仅容易诱发对局部捷径模式的过早利用，也极易使模型陷入死循环或低效冗长的推导。与此同时，复杂的复杂网络研究与实证分析表明，高性能推理模型在生成思维链时，其潜在语义跃迁展现出了典型的小世界拓扑特性——即高局部聚集度（局部功能特化）与短全局路径（全局高效协同）并存，且该拓扑特征与推理成功率强正相关。

既然高效推理天然遵循这一拓扑先验，能否打破对外部标签的依赖，直接教模型“如何思考”而非“产出什么”？核心 idea：将思维链解构为潜在推理功能转移图，以小世界网络的局部聚类系数与全局最短路径为无监督奖励，通过纯结构拓扑驱动强化学习，打破对真值答案与外部验证器的依赖。

方法详解¶

整体框架¶

SARL 的整体流水线围绕“轨迹生成 → 步骤切分与嵌入 → 潜在推理功能聚类 → 状态转移图构建 → 小世界结构奖励计算 → 策略优化”展开。对于输入问题，模型首先自回归采样出包含 <think> 思考块的完整推理轨迹；系统对思考块内的连续文本按自然换行切分为离散推理步，并利用轻量嵌入模型提取单位归一化向量；随后将向量聚类为若干潜在功能节点，并按生成时序连接转移边；最后基于拓扑结构计算小世界奖励，输入强化学习算法（如 PPO 或 GRPO）更新模型参数。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入问题 x"] --> B["思维链轨迹生成<br/>采样 think 块响应 τ"]
    B --> C["推理步骤切分与潜在功能聚类<br/>文本切分 + 向量嵌入 + KMeans/HDBSCAN 聚类"]
    C --> D["推理状态转移拓扑构建<br/>相邻功能节点去重连边 G=(V,E)"]
    D --> E["小世界结构奖励设计<br/>计算聚类系数 C 与最短路径 L 得到 SR(G)"]
    E --> F["策略参数优化<br/>支持 PPO / GRPO 无标签端到端更新"]

关键设计¶

1. 推理步骤切分与潜在功能聚类：解构思维链的离散功能表征

传统文本级奖励难以直接量化非结构化长思维链的拓扑特性。为了从高维连续文本中提炼出图结构，SARL 首先对 <think> 标签内部的内容进行语义切分。针对 Qwen3-4B 等模型输出的自然换行模式（如连续双换行 \n\n），将轨迹解构为 \(T\) 个有序推理步序列 \((s_1, s_2, \dots, s_T)\)。每个步骤 \(s_t\) 通过冻结的轻量嵌入模型 \(\mathcal{M}\)（实验采用 Qwen/Qwen3-Embedding-0.6B）映射为 \(d\) 维单位向量：

\[\mathbf{e}_t = \frac{\mathcal{M}(s_t)}{\|\mathcal{M}(s_t)\|_2}\]

在长思维链中，同一类认知动作（例如方程变换、数值计算、假设检验、自我反思）往往会在不同推导阶段反复出现。为捕获这些抽象功能，SARL 在单条响应内部独立对步骤嵌入集合 \(\{\mathbf{e}_t\}_{t=1}^T\) 进行聚类，生成 \(K\) 个潜在推理功能节点 \(\mathcal{V} = \{v_1, v_2, \dots, v_K\}\)。在数学等步骤规整的闭域任务中，采用 KMeans 算法，簇数设定为 \(k \approx \sqrt{M}\)（\(M\) 为总步数）；在开放式多样化场景中，采用能够自适应簇数并容忍非球形流形的 HDBSCAN 算法（设置最小簇大小 \(\text{min\_cluster\_size} = \max(2, \min(5, M/4))\)）。这一设计将数千词的自然语言轨迹压缩为由少数认知功能构成的抽象状态集。

2. 推理状态转移拓扑构建：从功能转移抽象出拓扑图

在获得每个推理步所属的功能映射 \(v(s_t) \in \mathcal{V}\) 后，SARL 关注功能之间的动态演化。当相邻的两个推理步跨越了不同的功能簇（即 \(v(s_t) \neq v(s_{t+1})\)）时，便在功能节点集合间建立一条转移边 \((v(s_t), v(s_{t+1})) \in \mathcal{E}\)。若后续推导中再次出现相同功能对之间的跳转，不增加多重边，即保留为简单图。

与常规有向执行流不同，SARL 显式采用无向图 \(\mathcal{G} = (\mathcal{V}, \mathcal{E})\)。这种设计剥离了繁杂的时序先后细节，专注于度量推理功能之间的结构连通性、局部聚集协同与全局模块间交互效率，避免因局部单向死循环过度惩罚合理的来回检验行为。

3. 小世界结构奖励设计：平衡局部功能特化与全局交互效率

结构奖励的数学设计旨在同时抑制两类典型退化：一是整个推理轨迹坍缩在单一功能内空转（如无休止地低效验证），二是轨迹演化为缺乏内在逻辑关联的长程发散游走。借鉴复杂网络理论，SARL 引入两个经典拓扑指标：

局部聚集程度通过非孤立节点集合 \(\mathcal{V}_{\geq 2} = \{v_k \in \mathcal{V} : |\mathcal{N}(v_k)| \ge 2\}\) 上的平均聚类系数 \(C(\mathcal{G})\) 量化：

\[C(\mathcal{G}) = \frac{1}{|\mathcal{V}_{\geq 2}|} \sum_{v_k \in \mathcal{V}_{\geq 2}} \frac{|\{(v_i, v_j) \in \mathcal{E} : v_i, v_j \in \mathcal{N}(v_k)\}|}{|\mathcal{N}(v_k)|(|\mathcal{N}(v_k)| - 1)/2}\]

全局通信效率则通过全图所有可达节点对集合 \(\mathcal{P}\) 上的平均最短跳数 \(L(\mathcal{G})\) 刻画：

\[L(\mathcal{G}) = \frac{1}{|\mathcal{P}|} \sum_{(v_i, v_j) \in \mathcal{P}} \delta(v_i, v_j)\]

经典的 Watts-Strogatz 小世界指数 \(\sigma = (C/C_{\mathrm{rand}}) / (L/L_{\mathrm{rand}})\) 在稀疏图（平均度数 \(\bar{k} \approx 1\)）下极易发散。SARL 提出等权结合且数值稳定的结构奖励函数 \(\mathrm{SR}(\mathcal{G})\)，将两项平滑投影到 \([0, 0.5]\)，使总奖励严格有界于 \([0, 1]\)：

\[\mathrm{SR}(\mathcal{G}) = \frac{1}{2} C(\mathcal{G}) + \frac{1}{1 + L(\mathcal{G})}\]

高 \(C(\mathcal{G})\) 激励互补的推理功能形成紧密协作子图，高 \(\frac{1}{1 + L(\mathcal{G})}\)（即低 \(L(\mathcal{G})\)）促使各功能子图之间保持快捷跳转路径，从拓扑底层引导思维向兼具严密性与紧凑性的方向演进。

损失函数 / 训练策略¶

SARL 与底层 RL 算法完全解耦，可原生兼容 PPO 与 GRPO。优化目标直接最大化轨迹拓扑奖励的期望：

\[\max_{\theta} \mathbb{E}_{x \sim \mathcal{D}, \tau \sim \pi_{\theta}(\cdot \mid x)} \left[ \mathrm{SR}(\mathcal{G}(\tau)) \right]\]

在具体工程实现上，基于 verl 框架与 8 卡 NVIDIA H100 架构搭建，采用 FSDP2 与梯度检查点。为避免推理采样的 vLLM 实例与嵌入计算相互干扰，独立启动一个占用极小显存（约 5% 单卡显存）的 vLLM OpenAI API 服务，专职计算 Qwen3-Embedding-0.6B 的批处理表征并通过 HTTP 协议异步返回奖励。在数学训练中使用 AIME 历史题目（最大序列长度 8192），在开放式问答中使用 OpenRubrics-v2 过滤子集（最大序列长度 4096），策略学习率均设为 \(1 \times 10^{-6}\)，KL 散度系数设为 \(0.001\)。

实验关键数据¶

主实验¶

主实验在数学推理基准（MATH500、AIME25、AMC23、Minerva Math，采用 avg@8 指标）与开放域推理基准 WildBench 上对 Qwen3-4B 进行了系统评测。

可验证数学任务结果对比（表 1）：

方法	AIME25	AMC23	MATH500	Minerva	Avg (相对提升)
Base (Qwen3-4B)	31.67	82.81	90.10	53.45	64.51 (-)
PPO 训练
w/ Ground-Truth 真实标签	41.67	86.56	92.75	59.74	70.18 (+8.8%)
w/ SARL (本文无标签)	42.92	85.00	92.53	61.08	70.38 (+9.1%)
GRPO 训练
w/ Ground-Truth 真实标签	46.67	84.38	93.15	62.45	71.66 (+11.1%)
w/ EMPO (预测熵最小化)	44.58	86.56	93.23	61.44	71.45 (+10.8%)
w/ TTRL (多数投票伪标签)	42.91	86.56	93.15	61.86	71.12 (+10.2%)
w/ SARL (本文无标签)	45.83	87.50	93.30	61.99	72.16 (+11.9%)

非可验证开放域任务 WildBench 结果对比（表 2）：

方法 / 算法	创意写作	规划	数学	建议咨询	代码	WB 综合分 (提升)
Base (Qwen3-4B)	51.01	36.23	16.35	48.71	14.72	29.91 (-)
DPO (带人类偏好标签)	51.16	37.82	17.06	48.37	14.34	30.34 (+1.4%)
EMPO (GRPO, 无标签)	51.01	36.11	17.62	45.69	12.92	29.20 (-2.4%)
SARL (GRPO, 本文无标签)	55.34	43.56	26.83	51.98	29.91	39.01 (+30.4%)
SARL (PPO, 本文无标签)	57.05	45.87	27.70	53.47	30.05	40.26 (+34.6%)

消融实验¶

针对结构奖励中聚类系数 \(C(\mathcal{G})\) 与平均最短路径 \(L(\mathcal{G})\) 两项核心拓扑指标在数学推理任务（GRPO 算法）下的消融实验如下：

配置	AIME25	AMC23	MATH500	Minerva	Avg (相对提升)
Base 基线	31.67	82.81	90.10	53.45	64.51 (-)
仅保留最短路径 \(L\) 奖励	40.42	87.81	92.92	62.68	70.96 (+10.0%)
仅保留聚类系数 \(C\) 奖励	45.83	87.19	93.00	61.86	71.97 (+11.6%)
完整模型 (\(C + L\) 融合奖励)	45.83	87.50	93.30	61.99	72.16 (+11.9%)

关键发现¶

结构信号媲美甚至超越真值监督：在数学任务中，SARL 不仅在无标签基线（EMPO、TTRL）中全面领先，还在 PPO（70.38% vs 70.18%）和 GRPO（72.16% vs 71.66%）下全面超过了使用完整真值监督的 Oracle RL。在高难度数学竞赛 AIME25 上，GRPO 下精度从 31.67% 激增至 45.83%（绝对提升 +14.16 分）。
开放域泛化能力出众：在没有任何正确性判定器的 WildBench 评测中，DPO 依赖昂贵的标注对仅微弱提升 1.4%，而 SARL 在 PPO 下取得了 +34.6% 的飞跃（29.91 提升至 40.26），规划能力提升高达 26.6%，证明小世界拓扑能够跨越可验证域有效引导通用认知逻辑。
训练动力学更平稳、探索性更持久：分析显示 SARL 全程保持极低的 KL 散度与显著更高的策略熵，有效避免了真值强化学习中常见的“策略过早坍缩到狭隘捷径模式”问题。
并非靠堆砌长度取胜：对比响应长度发现，SARL 在性能大幅提升的同时，数学平均 Token 长度缩减了 1148.8（GRPO: 4587.8 vs 5736.6），开放域长度缩减了 392.0（GRPO: 2285.87 vs 2677.91），实现了更紧凑、更高密度的思考轨迹。

亮点与洞察¶

跳出结果导向的全新视角：传统强化学习过度聚焦“答案对不对”，SARL 将拓扑网络科学直接引入大语言模型训练，通过优化思考轨迹内在的小世界组织形态实现“教模型如何组织思维”，思路非常优美。
算法无关与极佳的通用工程落地性：与必须依赖 Group Rollout 对比的 EMPO、TTRL 等方法不同，SARL 奖励仅基于单条生成轨迹独立计算，天然支持 PPO 等主流强化学习算法，且外挂独立嵌入微服务的设计对训练引擎无侵入。
极具迁移价值的表征映射思路：通过轻量嵌入模型与无监督聚类将自然语言离散步映射为潜在功能节点，这一“文本离散化为功能图”的范式可无缝迁移至 Agent 任务规划监控、多轮对话流一致性评估及测试时计算（TTC）引导中。

局限与展望¶

简短任务适用性受限：对于仅需 2-3 步简单常识推理的直接问答，构建出的图极其微小且稀疏，无法有效计算小世界聚集与路径指标，结构先验的效用明显减弱。
小世界先验的领域普适性假定：虽然小世界网络在通用认知任务中表现出色，但某些极其特殊的逻辑领域（如严格线性的形式化证明推导，或极高分叉的树状回溯搜索）可能需要更定制化的特定图拓扑先验（如层次树度量或 DAG 流形）。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将图论中的小世界拓扑先验直接转化为内生强化学习奖励函数，摆脱了真值答案束缚。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖数学与复杂开放域基准，详尽评估了 PPO/GRPO、响应长度、KL 散度与拓扑消融。
写作质量: ⭐⭐⭐⭐⭐ 动机清晰自然，方法数学定义严密，实验论证扎实。
价值: ⭐⭐⭐⭐⭐ 为破除大模型强化学习的可验证性瓶颈开辟了一条极具潜力的全新研究范式。