Sparse Reward Subsystem in Large Language Models¶

会议: NeurIPS 2026
arXiv: 2602.00986
OpenReview: https://openreview.net/forum?id=3dZL4FURuU
领域: LLM 其他
关键词: 奖励子系统, 价值神经元, 多巴胺神经元, 机制可解释性, 过程奖励模型

一句话总结¶

论文揭示了大语言模型隐藏状态中存在一个由不足 1% 神经元构成的稀疏“奖励子系统”，包含表征状态期望价值的“价值神经元”与表征单步时序差分（TD）误差的“多巴胺神经元”，因果干预证实其特异性与级联效应，并可直接用于免生成的模型置信度预估与测试期过程奖励引导搜索。

研究背景与动机¶

近年来，大语言模型（LLM）在数学与复杂推理任务中展现出了非凡的自组织问题求解能力，研究者逐渐发现模型的隐藏状态不仅编码了语义特征，还隐式蕴含着答案正确性、模型置信度、幻觉状态乃至潜在思考轨迹等丰富的奖励相关信号。然而，现有的表征探测工作几乎无一例外地在完整的隐藏状态向量（通常为数千维）上拟合黑盒线性或非线性探针。这类方法虽然证明了“奖励信息在表征中可被解码”，却无法阐明这些信号在具体的神经元维度上是如何组织分布的——它们究竟是弥散在全部维度中的分布式特征，还是局限在极少数专化单元中的模块化回路？

厘清这一问题对于机制可解释性（Mechanistic Interpretability）和实际推理控制至关重要。从最大熵强化学习理论出发，软最优策略与最优价值函数深度耦合，满足 $\log \pi^*(a|s) = (Q^*(s,a) - V^*(s))/\tau$；同时从信息论角度看，基于隐状态预测轨迹最终成败的后验概率本质上可由一维标量对数似然比 $T(h) = \log [p(h|R=1)/p(h|R=0)]$ 充要概括，单步 TD 误差同样是标量。依据叠加假说（Superposition Hypothesis），在自回归预训练与强化学习中频繁使用且高度重要的特征往往会获得专化的稀疏神经元表达。这表明大模型内部极有可能存在专门追踪价值与误差的微小神经元集合。

本文的切入角度是：借鉴神经科学中生物奖励回路的层级组织，在神经元基底上拆解 LLM 的隐状态表示。核心 idea：大语言模型的隐状态内部自发形成了类脑的稀疏“奖励子系统”，仅由不足 1% 的“价值神经元”（编码状态预期价值）和“多巴胺神经元”（编码单步时序差分误差）构成，二者在层间展现出强因果耦合，并能直接赋能免生成的预先置信度评估与过程奖励模型（PRM）引导搜索。

方法详解¶

整体框架¶

整体分析流程围绕“探针训练识别 → 神经元权重剪枝 → 因果介入敲除 → 下游控制应用”四阶段展开。首先，在固定的自回归 LLM 生成轨迹上，分别设计基于时序差分（TD）损失的价值探针和基于蒙特卡洛（MC）估计的多巴胺探针；其次，利用探针首层权重的 $L_1$ 范数对输入神经元维度实施系统性剪枝，定位维持高预测精度的极稀疏神经元核心；随后，通过在 LLM 对应层实施神经元置零敲除，严谨排除权重模长与通用语言建模重要性的混淆，验证其对推理成败的因果特异性以及层间传递效应；最后，将识别出的两类神经元分别转化为回答生成前的置信度预判器和推理过程中的步级过程奖励模型（PRM）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入问题与推理轨迹<br/>提取各层隐状态向量 $h(s_t, l)$"] --> B["价值神经元探测与剪枝定位<br/>TD误差目标优化探针并按L1范数剪除低权神经元"]
    A --> C["多巴胺神经元探测与动态对齐<br/>段落级Z-Score归一化并拟合MC时序差分误差"]
    B --> D["因果干预与跨层子系统协同<br/>零化关键神经元验证功能特异性与层间退化"]
    C --> D
    D --> E["下游轻量化双重应用<br/>生成前置信度预测与自组织过程奖励引导搜索"]
    E --> F["输出评估结果<br/>模型校准与推理准确率提升"]

关键设计¶

1. 价值神经元探测与剪枝定位：基于时序差分学习剥离期望价值 为了提取模型在任意推理状态 $s_t$ 下对最终获胜概率的内部预期，研究并没有仅采用最终结果作为监督信号，而是构建了一个两层 MLP（隐藏层维度 1024，带 ReLU 激活）作为价值探针 $V_l$。探针以第 $l$ 层隐藏状态 $h(s_t, l)$ 为输入，采用强化学习中的时序差分目标进行优化。给定终端二元奖励 $r(s_T) \in \{0, 1\}$ 和折扣因子 $\gamma$，定义各步单步时序差分误差： $$ \delta_t = \begin{cases} r(s_T) - V_l(s_T), & t = T + 1 \ \gamma V_l(s_t) - V_l(s_{t-1}), & \text{其他} \end{cases} $$ 训练目标为最小化整条生成序列上的期望平方 TD 误差 $\mathcal{L}_{\mathrm{TD}}(l) = \mathbb{E}[\sum_{t=1}^{T+1} \delta_t^2]$。在定位关键神经元时，计算探针输入层连接第一隐藏层的权重矩阵的各输入维度 $L_1$ 范数，按从小到大剪除 $pN$ 个维度构建剪枝探针 $V_l^p$。实验表明，在剪除比例 $p$ 高达 99%（仅保留顶尖不足 1% 神经元）时，探针在初始状态 $s_0$ 处的 AUC 几乎无明显衰减，证明极少数神经元就承载了完整的全局价值预期。

2. 多巴胺神经元探测与动态对齐：建模段落级奖励预测误差 生物神经系统中的多巴胺神经元不直接表征静态价值，而是对刺激的预测误差做出尖锐脉冲反应。受此启发，作者建立了用于捕捉单步推理价值突变的多巴胺神经元探测机制。首先将生成回复划分为 $P$ 个段落序列 $(c_1, \dots, c_P)$，在各段落边界通过 $K$ 次独立的蒙特卡洛（MC）续写估计真实状态价值 $\hat{V}(s_t)$，从而计算段落级的真实 TD 误差 $\delta_t = \gamma \hat{V}(s_t) - \hat{V}(s_{t-1})$。为了消除不同输入样本固有的基准激活漂移，作者对各隐藏层神经元实施跨 Token 维度的 $z$-score 归一化： $$ \tilde{h}{j,n,l} = \frac{h} - \bar{h{n,l}}{\sigma $$ 随后在段落 } + \epsilon$c_t$ 所属的所有 Token 位置上进行均值池化得到段落级表征 $\tilde{h}(s_t, l)$。多巴胺探针（两层 MLP，隐藏维度 32）在具有显著价值变化（$|\delta_t| > 0.3$）的段落上进行均方误差训练。通过剪枝定位出的多巴胺神经元在 Spearman 秩相关系数上展现出极高的剪枝鲁棒性；动态激活可视化清晰显示：当推理出现意外突破时（Positive Surprise），该神经元产生大幅脉冲；当出现逻辑致命失误时（Negative Surprise），激活则迅速陷入深谷。

3. 因果干预与跨层子系统协同：严谨证实神经元特异性与级联传递 高相关性往往面临混淆风险：这些神经元是否仅仅是大模长神经元、注意力汇聚点或通用语言建模的支柱？作者在 Qwen-2.5-7B-SimpleRL-Zoo 上开展了因果消融实验，分别在单层中将顶尖 1% 的价值神经元置零，并与四种基线对比：随机神经元置零、MLP 下投影层绝对权重最大的神经元置零（Magnitude）、Wanda 结构剪枝判定的重要神经元置零，以及通过下一个 Token 预测（NTP）无监督探针选出的神经元置零。结果显示，置零 1% 价值神经元导致数学推理准确率断崖式暴跌，而 NTP 神经元置零完全不影响表现且二者重合度仅 0.7%。更重要的是，跨层因果分析表明，若将浅层的前 20% 价值神经元置零，深层（如第 5 层）的多巴胺神经元便会彻底丧失对 TD 误差的追踪能力（波峰与波谷位置严重错乱），而随机置零 20% 神经元则几乎无干扰，确证了价值神经元与多巴胺神经元在层级回路上的功能协同性。

4. 下游轻量化双重应用：无需生成的置信度评估与内生过程奖励引导 识别出的稀疏奖励子系统具有显著的实用价值。其一，在模型正式输出第一个词元之前的初始状态 $s_0$ 处，价值神经元的激活即可直接充当免生成的置信度预测器，有效解决长思维链推理带来的计算资源未知开销；其二，由于多巴胺神经元精准对应单步 TD 误差，其激活输出可直接作为零标注开销的内生过程奖励模型（PRM）。在测试期引导搜索算法中，每个段落分支生成 $K=4$ 个候选步骤，无需额外训练外部打分器，仅依据内部多巴胺探针打分贪婪选择最优步骤，从而在不依赖外部过程监督标签的前提下实现推理能力的稳定放大。

损失函数 / 训练策略¶

价值探针与多巴胺探针均采用 AdamW 优化器训练 100 个 epoch，学习率固定为 $1\times 10^{-4}$，权重衰减为 0.01，批次大小为 4，折扣因子设为 $\gamma = 1 - 10^{-5}$。价值探针优化整条轨迹上的平方 TD 损失，多巴胺探针则在段落级表征上过滤绝对值 $\le 0.3$ 的微弱波动后优化均方误差损失。所有探针均在各模型对应层的隐状态冻结前提下训练，保持主干 LLM 参数完全不变。

实验关键数据¶

主实验¶

在模型置信度预测任务中，评估在输入状态 $s_0$ 处（完全无需生成推理文本）的二分类 AUC。对比方法包括全量隐状态线性探针（LCD）、直接让模型言语化输出置信度（Verbal Conf.）、首个生成词元的对数似然（Token Conf.）以及输入问题长度基线（Question Len.）。实验覆盖 4 种不同规模和家族的开源模型在 MATH500 与 ARC 基准上的表现。

模型	评测基准	本文价值神经元 (AUC)	全量隐状态 LCD (AUC)	言语化置信度 (AUC)	首 Token 置信度 (AUC)	问题长度代理 (AUC)
Llama-3.1-8B	MATH500	0.69	0.64	0.69	0.54	0.63
Phi-3.5-mini	MATH500	0.73	0.63	0.54	0.41	0.62
Gemma-3-4B	MATH500	0.72	0.65	0.62	0.41	0.71
Qwen3.5-0.8B	MATH500	0.71	0.70	0.41	0.56	0.77
Llama-3.1-8B	ARC	0.66	0.56	0.55	0.49	0.55
Phi-3.5-mini	ARC	0.63	0.54	0.29	0.46	0.54
Gemma-3-4B	ARC	0.59	0.50	0.47	0.44	0.49
Qwen3.5-0.8B	ARC	0.63	0.54	0.55	0.50	0.65
平均跨模型/任务	全局均值	0.67	0.60	0.52	0.48	0.62

在过程奖励模型（PRM）引导搜索实验中，使用 Qwen-2.5-7B-SimpleRL-Zoo 在 MATH500 验证集上进行段落级分支搜索（$K=4$ 候选），各方法准确率如下： - Greedy 解码 ($K=1$, temp=0): 72.2% - 随机候选选择 (Random, $K=4$): 72.2% - 隐式过程奖励模型 (Implicit PRM, $\log \pi_{\mathrm{RL}} - \log \pi_{\mathrm{base}}$): 75.0% - 本文多巴胺神经元内生 PRM: 77.8%（相比 Greedy 解码绝对提升 +5.6%）

消融实验¶

为了确证价值神经元的奖励特异性，作者在 Qwen-2.5-7B-SimpleRL-Zoo 上开展了神经元置零因果消融实验（原始 MATH500 准确率为 75.2%）。下表统计了在不同层置零 1% 神经元后的准确率（%）及衰减幅度：

评估层数	价值神经元置零 (本文)	随机神经元置零	NTP 神经元置零	权重模长 (Magnitude)	Wanda 结构剪枝
第 2 层	37.0 (-38.2)	77.0 (+1.8)	76.4 (+1.2)	74.6 (-0.6)	74.8 (-0.4)
第 3 层	13.6 (-61.6)	73.4 (-1.8)	76.8 (+1.6)	61.6 (-13.6)	48.2 (-27.0)
第 4 层	29.4 (-45.8)	73.8 (-1.4)	77.4 (+2.2)	75.4 (+0.2)	67.0 (-8.2)
第 5 层	1.2 (-74.0)	74.4 (-0.8)	75.2 (+0.0)	75.0 (-0.2)	73.4 (-1.8)
平均性能	20.3 (-54.9)	74.6 (-0.6)	76.4 (+1.2)	71.6 (-3.6)	65.8 (-9.4)

此外，针对探针训练目标的消融表明，若仅采用最终奖励（Final Reward）而非 TD 误差训练价值探针，置零 1% 神经元后的平均性能仅掉至 66.4%（下降 8.8%），而 TD 误差目标下掉至 20.3%（下降 54.9%），证明时序差分学习对于发掘深层推理关键神经元具有决定性作用。

关键发现¶

价值神经元在极度剪枝下表现出惊人的鲁棒性：将 99% 的输入维度剪除后，探针预测性能仍基本不变；在响应终点 $s_T$ 处，稀疏价值神经元的预测 AUC 稳定在 0.8 以上。
价值神经元具备跨任务与跨模型迁移性：同一模型在 GSM8K、MATH500 与 ARC 上识别出的价值神经元交并比（IoU）显著高于随机期望，且在极端高剪枝阈值下陡峭上升；从相同基础模型衍生出的不同 RL 微调模型（SimpleRL-Zoo 与 PPO-Zero）同样共享重合度极高的价值神经元。
置零价值神经元会导致模型推理性能出现特异性崩溃（平均暴跌 54.9%），而置零用于预测下一个词元的重要神经元（NTP）不仅未损害准确率（76.4%），且二者位置重叠率仅为 0.7%，排除了“重要神经元全能通用”的简单解释。

亮点与洞察¶

首次在 LLM 隐状态中完整映射出类脑的“双重奖励子系统”：清晰分理出表征长期预期价值的“价值神经元”与表征即时预测误差的“多巴胺神经元”，为大模型内在认知机制提供了强有力的仿生学视角。
引入严谨的因果介入协议证明神经元特异性：不仅停留在“能够探针解码”的相关性表象，而是通过剪枝置零、跨目标探针重合度检验和层间级联破坏实验，完成了从相关到因果的论证闭环。
极为实用的免生成推理控制范式：利用初始位置 $s_0$ 的价值神经元可以在消耗大量 Token 前以仅 1% 的参数开销预判置信度，而多巴胺神经元则直接打破了传统 PRM 依赖高昂步级人工或合成数据标注的瓶颈。

局限与展望¶

实验评估依赖环境能够提供确定性奖励信号（如数学求解、代码执行、逻辑选择题），对于没有客观判定准则的开放式自由文本生成任务，如何定义和提取时序差分误差仍有待探索。
受算力与资源限制，当前实验主要在 0.8B 至 14B 参数规模的模型上验证，未进一步覆盖 32B 或 70B+ 等超大规模前沿推理模型中的演化机制。
潜在安全隐患：神经元级别的奖励操控可能被恶意利用，例如通过定向抑制或放大奖励神经元激活来绕过大模型的安全拒绝与对齐机制，未来亟需研究防御对抗性神经元篡改的防护手段。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性揭示 LLM 隐藏状态中由不足 1% 神经元构成的价值-多巴胺稀疏奖励回路，仿生视角极富启发性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大模型家族、多种推理基准，并设计了跨层级联与多重置零消融实验，论证链条高度闭环。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述自然流畅，理论推导与经验证据结合紧密，实验图表信息密实。
价值: ⭐⭐⭐⭐⭐ 兼具机制可解释性的深刻理论意义与预先置信度判断、自组织 PRM 搜索的直接落地工程价值。