Reinforcement Learning Improves Traversal of Parametric Knowledge in LLMs¶
会议: EMNLP 2026
论文: ACL Anthology
领域: LLM 推理
关键词: 强化学习, 参数化知识检索, 分层遍历, 在策略探索, 内部表征分析
一句话总结¶
本文发现强化学习(RL)并未牺牲大模型的参数化事实记忆,而是通过学习系统性的层级遍历策略激活了潜伏在参数中的未激活知识;结合受控知识注入实验与层级表征分析,证明模型在推理训练中重塑的是提问导航机制而非改写底层事实。
研究背景与动机¶
在大语言模型(LLM)的后训练体系中,强化学习(RL)通常被视为激发长思维链(CoT)、反思检验与多步逻辑推理的利器,但长期以来学术界普遍存在一种认知——即所谓的“对齐税”(Alignment Tax):为了优化复杂推理与人类偏好对齐目标,模型往往会牺牲基础事实记忆,导致在知识密集型基准上的事实检索性能发生退化。许多现有工作将这种退化归咎于参数重写或记忆遗忘,进而认为在逻辑推理与参数化知识储备之间存在根本性的权衡取舍。
然而,现有关于对齐税的研究往往局限于扁平事实问答与粗粒度指令微调评测,忽视了大模型参数化记忆中所蕴含的复杂结构。真实世界的知识并非孤立存在,而是广泛组织在实体关系、分类法(Taxonomy)与形式本体(Ontology)等层级网络中。例如在临床医学编码(ICD-9/10)或国际专利分类(IPC)等任务中,准确识别一个细粒度叶节点往往需要跨越庞大的编码空间。如果模型仅仅依赖单步“直接跳步回忆”(Direct Recall),极易在广阔的候选空间中迷失或产生幻觉;而推理模型是否正是通过自主展开类似人类专家的树状层级导航,才在表面上展现出更优越的知识提取能力?这一核心机制尚未得到系统性探究。
为了解构“知识获取”与“知识访问路径”之间的根本差异,本文提出:模型在预训练阶段已经广泛编码了这些知识,指令模型之所以答错是因为缺乏有效的导航策略,而强化学习的本质在于诱导并内化了对参数化知识库的系统性遍历能力。受提示工程可激发潜在能力这一现象的启发,本文引入显式的层级结构化提示(Structured Prompting),发现仅凭提示词引导指令模型逐步遍历父子层级,就能填补指令模型与推理模型之间绝大部分的事实检索差距。这表明大量所谓“被遗忘”的事实实际上是隐性且可访问的。本文的核心 idea 是:将推理模型与指令模型在知识任务上的差距归因于参数化知识的遍历访问瓶颈而非知识缺失,并通过关系不相交的受控知识注入实验与层级表征探测,证明基于迭代在策略探索(Iterated On-policy Exploration)的强化学习能够激活隐性知识,且该过程只重塑了对问题的导航解析表征,而完整保留了参数中的客观事实表征。
方法详解¶
整体框架¶
本文构建了一套用于系统性解构、受控验证与机理透视的研究管线。整体框架涵盖三个核心支柱:首先,跨越扁平关系型(PopQA)、分类体系型(IPC-Lookup)与临床本体型(MedConceptsQA)三大知识组织形式,对比直接问答、自由思维链与层级结构化提示(Structured Prompting)下的模型表现;其次,通过受控知识注入实验,利用 Infini-gram 严格分离预训练共现频率与提取能力,并构建关系严格不相交(Relation-disjoint)的训练与测试切分,精确剥离训练数据暴露带来的混淆;最后,通过深度分层评估、层间表征余弦相似度探测与蒸馏模型失败轨迹归因,建立从行为到内部表征的完整因果链条。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["参数化知识输入<br/>PopQA / IPC / MedConceptsQA"] --> B["结构化提示导航<br/>显式激发指令模型的潜在层级遍历"]
B --> C["关系不相交的受控知识注入<br/>解耦数据暴露与检索访问机制"]
C --> D["迭代在策略探索分析<br/>解构GRPO与RFT中的迭代样本刷新"]
D --> E["深度分层近邻祖先检索<br/>IPC-CAR / DBO-CAR与路径匹配评估"]
E --> F["层级余弦表征与蒸馏归因<br/>问题重塑与表层自修正失败诊断"]
关键设计¶
1. 结构化提示导航:利用外部显式层级解耦知识存储与知识访问 直接问答(Direct QA)和标准自由思维链(CoT)往往允许模型直接猜测终点或产生发散解释,难以探明模型究竟是“根本不知道”还是“找不到提取路径”。为了诊断指令模型内部是否存在沉睡的参数化事实,本文设计了结构化提示策略(Structured Prompting)。在多项选择题(IPC 与 MedConceptsQA)中,强制要求模型分阶段输出:先回忆目标代码所属的通用主类(Chapter/Class)与结构细分(Subclass/Group),再逐个分析每个选项在分类树中的相对位置并进行排除,最后给出决策;在开放域问答(PopQA)中,要求模型先判别实体关系类型,检索关联背景,再定位答案。这种外部注入的遍历规则使模型从直接匹配跃迁为层次遍历。如果指令模型在获得显式导航引导后准确率大幅反弹并逼近推理模型,即可在行为层面上直接证伪“知识缺失论”,确立知识存留但缺乏内在导航策略的论点。
2. 关系不相交的受控知识注入:彻底排除训练数据暴露与关系重叠混淆 针对“强化学习可能只是通过隐式数据暴露教会了模型新知识”这一质疑,本文利用超大规模文本 n-gram 模型 Infini-gram 对预训练语料(Dolma)中实体-答案的共现频次进行精确标定。团队从 5,000 条 PopQA 样本中筛选出两类极端子集:一类是语料中共现次数为零(\(a=0\))且经过三次独立采样均无法被模型正确提取的生僻事实;另一类是语料中共现次数极高(\(a > 100\))但同样连续三次采样完全无法提取的高频沉睡事实。更关键的是,研究团队严格对二者的关系空间进行正交切分,使训练集(731 条低频事实)与测试集(208 条高频事实)的关系集合完全不相交(如训练集覆盖导演、编剧、流派等,测试集仅覆盖作曲家、父亲、出生地等)。在此严密设置下,模型仅在生僻事实上进行强化学习调优,再测试其在测试集上的准确率。由于测试事实既未在调优中出现,又无重叠关系可供迁移,任何泛化提升都只能源自检索遍历能力的通用增强。
3. 迭代在策略探索分析:识别强化学习收益的核心驱动要素 为了进一步查明究竟是强化学习的哪项机制促进了参数化知识的激活,本文在 Qwen3-8B-Instruct 上保持训练数据、超参数与优化步数严格一致,沿着“样本自生成”、“刷新频率”以及“对比负梯度”三大维度解构训练目标。算法谱系从传统监督微调(SFT)、静态拒绝采样微调(Static RFT)、迭代拒绝采样微调(Iterated RFT),一直延伸到不同刷新周期的组相对策略优化(GRPO,包含单次静态离线采样、每轮 Epoch 刷新以及完全在线即时刷新)。通过成对 Bootstrap 置信区间分析,团队得以精确量化策略自主生成的 Rollout 与在线策略迭代更新对知识提取成功率的边际贡献。
4. 深度分层近邻祖先检索:度量随着树深度扩展的程序性遍历保真度 为验证推理模型的优势确实源自逐层树状遍历而非死记硬背,本文设计了两个基于最近共同祖先(Nearest Common Ancestor, NCA)检索的基准数据集:IPC-CAR(专利分类)与 DBO-CAR(基于 DBpedia 驼峰命名概念的本体层次)。任务给定一对叶节点,要求模型识别其最近共同祖先,检索深度严格受控在 2 至 6 层之间。为了全面评估层级遍历质量,本文提出了路径匹配得分(Path Matching Score, \(\text{PathMatch}\)),其定义为预测祖先集合的 F1 分数与最长公共子序列归一化得分(CSS)的算术平均值: $\(\text{PathMatch} = \frac{\text{F1} + \text{CSS}}{2}\)$ $\(\text{CSS} = \frac{|\text{LCS}(\text{predicted}, \text{ground\_truth})|}{|\text{ground\_truth\_ancestors}|}\)$ 该指标不仅惩罚遗漏与幻觉节点,更严格惩罚层级回溯中的拓扑乱序。
5. 层级余弦表征与蒸馏归因:揭示问题重塑本质与表层自修正缺陷 为探究网络内部机制,本文在 Qwen2.5-32B 与 Mistral-Small-24B 全系列(Base、Instruct、Reasoning、Distilled)的 64 个 Transformer 层中,针对 100 组配对的提问(Q)与事实陈述陈述句(A)提取各层末尾 token 隐状态 \(h_\ell\),计算跨模型(Inter-model)与模型内部(Intra-model)的余弦相似度: $\(\cos_{(a,b)}(\ell) = \frac{1}{N} \sum_{i=1}^N \frac{h_\ell^{(a)}(i)^\top h_\ell^{(b)}(i)}{\|h_\ell^{(a)}(i)\|_2 \|h_\ell^{(b)}(i)\|_2}\)$ 通过比较 \(Q_{\text{base}}\) 与 \(Q_{\text{post-trained}}\) 以及 \(A_{\text{base}}\) 与 \(A_{\text{post-trained}}\) 的偏移程度,直接在表征几何空间验证模型究竟是改变了事实本身的分布,还是学会了如何解读与导航问题。同时,针对 DeepSeek-R1 蒸馏模型在知识检索中严重不及原生推理模型的现象,人工抽样 40 条错误轨迹进行质性 failure-mode 归因。
损失函数 / 训练策略¶
在受控知识注入实验中,RL 阶段采用组相对策略优化(GRPO)算法。模型使用 LoRA(rank=32)微调,批大小为 16,组大小为 16(即每个问题采样 16 个候选 rollouts),训练 3 个 epoch,采样温度设定为 0.7,评估时采用贪心解码(温度 0.0)。优化器采用 Adam(\(\beta_1=0.9, \beta_2=0.95, \epsilon=10^{-8}\)),学习率保持恒定(Qwen3-8B 选定为 \(4\times 10^{-5}\),Qwen3-30B-A3B 选定为 \(5\times 10^{-4}\))。奖励函数采用严格包含检查的阶梯式二值奖励:模型响应中只要包含标准同义词答案即给予 1.0,否则给予 0.0。监督微调(SFT)基线则使用完全相同的配对数据和最大似然目标(NLL Loss)进行训练。
实验关键数据¶
主实验¶
在 PopQA、IPC-Lookup 与 MedConceptsQA 三个跨越不同知识形态的基准上,本文对比了涵盖 8 对 Instruct 与 Reasoning 模型的表现。下表汇报了代表性模型在直接问答(Direct QA)、自由 CoT 与结构化提示(Structured)下的多数投票准确率(Majority Vote Acc.)。
| 数据集 | 模型 | 模型类型 | Direct QA | CoT | Structured | 提示缩小差距 (QA \(\to\) Struct.) |
|---|---|---|---|---|---|---|
| MedConceptsQA | Qwen2.5-32B | Instruct Reasoning \(\Delta\) |
0.379 0.482 +0.103 |
0.475 0.513 +0.038 |
0.469 0.505 +0.036 |
差距缩小 65.0% (0.103 \(\to\) 0.036) |
| MedConceptsQA | DeepSeek-V3 / R1 | Instruct Reasoning \(\Delta\) |
0.541 0.778 +0.237 |
0.632 0.790 +0.158 |
0.717 0.792 +0.075 |
差距缩小 68.4% (0.237 \(\to\) 0.075) |
| MedConceptsQA | DeepSeek-V3.1 | Instruct Reasoning \(\Delta\) |
0.526 0.794 +0.268 |
0.595 0.805 +0.210 |
0.785 0.774 -0.011 |
差距完全抹平甚至反超 |
| MedConceptsQA | Kimi-K2.5 | Instruct Reasoning \(\Delta\) |
0.699 0.905 +0.206 |
0.734 0.915 +0.181 |
0.875 0.911 +0.036 |
差距缩小 82.5% (0.206 \(\to\) 0.036) |
| PopQA | Qwen2.5-32B | Instruct Reasoning \(\Delta\) |
0.252 0.386 +0.134 |
0.288 0.380 +0.092 |
0.310 0.375 +0.065 |
差距缩小 51.5% (0.134 \(\to\) 0.065) |
| PopQA | DeepSeek-V3 / R1 | Instruct Reasoning \(\Delta\) |
0.430 0.513 +0.083 |
0.505 0.557 +0.052 |
0.569 0.569 +0.000 |
差距完全归零 |
| IPC-Lookup | DeepSeek-V3 / R1 | Instruct Reasoning \(\Delta\) |
0.415 0.638 +0.223 |
0.596 0.670 +0.074 |
0.553 0.574 +0.021 |
差距缩小 90.6% (0.223 \(\to\) 0.021) |
| IPC-Lookup | Qwen3-30B-A3B | Instruct Reasoning \(\Delta\) |
0.309 0.426 +0.117 |
0.319 0.372 +0.053 |
0.436 0.457 +0.021 |
差距缩小 82.1% (0.117 \(\to\) 0.021) |
消融实验:训练目标分解与受控知识注入¶
在 PopQA 受控知识注入实验中,使用低频未见事实进行训练,并在 208 条高频未见且关系严格不相交的事实上评估准确率。下表详细对比了 SFT 与 5 种不同训练目标配置下的表现(Qwen3-8B-Instruct,95% 配对 Bootstrap 置信区间):
| 训练目标 / 配置 | 训练集生成与刷新机制 | 留出集准确率 (Held-out Acc.) | 相较基准对比增量 (\(\Delta\) Acc.) | 95% 配对 Bootstrap CI | 说明 |
|---|---|---|---|---|---|
| 零样本基准 (Zero-shot) | 无微调 | 0.00% | - | - | 原始模型在测试集上完全无法提取 |
| 标准有监督微调 (SFT) | 外部目标答案直接训练 | 0.96% | 基线 | - | 难以泛化至不相交关系上的潜在事实 |
| 静态拒绝采样 (Static RFT) | 初始策略生成一次,不刷新 | 2.40% | +1.44 pp vs SFT | [-0.96, +3.85] pp | 模型自生成样本略有收益,但无统计显著差异 |
| 离线 GRPO (No-refresh) | 初始策略生成一次,不刷新 | 3.37% | +0.97 pp vs Static RFT | - | 仅依靠组相对优势对比但缺乏在策略更新 |
| 轮次刷新 GRPO (Epoch-refresh) | 每个 Epoch 刷新一次策略 rollouts | 7.69% | +4.33 pp vs No-refresh | [+0.48, +8.65] pp | 刷新周期缩短带来显著跳升 |
| 迭代拒绝采样 (Iterated RFT) | 每批次从当前策略重新采样正确解 | 9.62% | +7.21 pp vs Static RFT | [+3.37, +11.54] pp | 在策略迭代是收益主力,远超单次 RFT |
| 在线 GRPO (Online GRPO) | 每步更新前即时生成最新在策略 rollouts | 10.10% | +0.48 pp vs Iterated RFT +6.73 pp vs No-refresh |
[-3.85, +4.81] pp [+2.88, +11.06] pp |
与 Iterated RFT 无显著差异,证明对比优势非主因 |
关键发现¶
- 结构化导航大幅抹平差距:在几乎所有模型族系中,采用显式层次遍历的结构化提示都能将 Instruct 与 Reasoning 模型的知识提取差距压缩 65% 至 100%。例如 DeepSeek-V3.1 在 MedConceptsQA 上的差距由 +26.8 pp 骤降至 -1.1 pp(实现逆转);Kimi-K2.5 在 PopQA 上的全错(0/3)比例从 29% 锐减到 6%,全部正确(3/3)比例从 60% 飙升至 78%,而思考模型本身稳定在 82% 左右,证明 Instruct 模型的参数库中已经蕴藏了相应知识。
- 在线迭代而非对比梯度主导收益:受控知识注入实验清晰地表明,从外部数据微调(SFT: 0.96%)转向自生成样本微调(Static RFT: 2.40%)仅有微弱提升;然而一旦引入在策略迭代刷新,准确率直接飙升至 9.62%(Iterated RFT)和 10.10%(Online GRPO)。同时,Online GRPO 相较 Iterated RFT 的优势仅为 +0.48 pp(Bootstrap CI 包含 0),说明 GRPO 中“对低于均值的劣质采样施加负梯度”并不是核心使能因子,由当前最新策略不断自我探索、自适应更新训练样本的在线迭代过程才是唤醒潜在记忆的决定性力量。
- 检索难度越深,推理优势越显著:在 IPC-CAR 和 DBO-CAR 上的深度分层测试中,当检索深度为 2 时,Instruct 模型由于较短的生成链路甚至略有领先(IPC-CAR 上 V3 路径匹配分为 0.865,R1 为 0.725);然而当深度扩展到 6 时,Instruct 模型急剧下滑至 0.327,而 Reasoning 模型保持在 0.434(优势反超并拉大到 +0.107)。在 DBO-CAR 上同样观察到 depth=2 时差距为 -0.083,而在 depth=6 时反超为 +0.054。这充分证实推理模型习得的是一种具有可扩展性的树状回溯与遍历策略。
- 蒸馏模型的“假性自修正”陷阱:直接使用 DeepSeek-R1 轨迹进行 SFT 蒸馏的 Qwen2.5-32B 模型,在知识召回任务上不仅远落后于 Reasoning 模型(MedConceptsQA 上 0.375 vs 0.482),甚至在很多设置下落后于原版 Instruct 模型。轨迹分析显示其存在严重缺陷:80% 的错误表现为表层语义模仿,模型在生成中频繁出现“Wait...”、“Alternatively...”等反思词汇,但根本没有真正脱离初始预设,仅仅在错误路径上套用虚假验证;剩余 20% 则表现为无休止的多选摇摆并最终猜错。这证明未经历 RL 试错探索的静态蒸馏无法内化真正的知识拓扑导航策略。
亮点与洞察¶
- 颠覆“对齐税必然摧毁记忆”的传统教条:以往文献通常将后训练阶段模型事实性能的下滑定性为参数记忆的不可逆遗忘。本文敏锐地指出,在结构化与长尾知识领域,RL 驱动的思考模型反而大幅超越 Instruct 模型,证明对齐税主要影响的是无反思状态下的浅层直觉激活,而非参数库的物理擦除。
- 正交关系切分的受控实验设计:通过结合 Infini-gram 语料统计与关系不相交(Relation-disjoint)切分,在学术界首次严格隔离了“数据再曝光”与“知识访问机制优化”的混淆变量,构建了令人信服的纯净因果证据。
- 层间几何解剖揭示问题导航机制:通过 64 层逐层余弦相似度探测发现,经过 RL 微调后,模型的事实陈述句表征与 Base 模型保持着高达 0.961 的极端相似性,而提问表征却发生系统性漂移(层间下降到 0.810 以下)。这一精巧分析从表征几何学角度实锤了“RL 改变的是提问的检索解构方式,而非改写事实本身”。
局限与展望¶
- 预训练曝光代理的局限:本文依赖 Dolma 预训练语料中的 Infini-gram 实体共现频次作为预训练曝光的度量,然而主流商用模型(如 Qwen、DeepSeek)的实际预训练语料配比与标记化细节并不对外公开,词频共现只是实际训练暴露的一种近似估计。
- 闭源配方差异未能完全穷尽:尽管受控知识注入实验在固定架构(Qwen3-8B/30B)上进行了严谨隔离,但商业级 Instruct 与 Reasoning 变体(如 DeepSeek-V3 vs R1)之间包含复杂的阶段配比与混合数据工程,无法彻底消除架构外的超参协同影响。
- 未来方向:这一发现为未来的后训练技术提供了明确指引——不应单纯为了知识记忆而一味做海量事实知识的无脑注入微调,而应针对复杂知识图谱与本体库开发专门优化多跳与层级遍历轨迹的强化学习策略(如 Traversal-Optimized RL)。
相关工作与启发¶
- vs Gekhman et al. (2026) "Thinking to Recall": 他们关注单跳开放式事实问答,并将推理对记忆的促进归结为计算缓冲(Computational Buffering)与事实启动效应;本文则进一步深入到显式分类法(IPC)与本体(MedConceptsQA),揭示了推理模型具备的自适应层级拓扑遍历本质,并严格通过受控消融证明了在线迭代探索的关键地位。
- vs Lin et al. (2024) "Mitigating Alignment Tax": 传统对齐税研究认为高强度 RLHF 导致事实召回单调下降;本文则表明在需要系统性分层排查的结构化任务中,具备探索机制的 RL 反而显著改善了参数化事实的激活效率,对齐税的适用范畴取决于任务所需检索的结构复杂度。
- vs 纯知识蒸馏范式 (Knowledge Distillation): 许多团队倾向于直接通过蒸馏 R1 的推理轨迹来低成本获得小模型。本文严谨地证明了单纯 SFT 蒸馏只能学到表层语言反思词的“空转”,在缺乏真实在策略环境反馈的探索试错下,蒸馏模型在知识遍历上甚至不如原始基线,警示了盲目蒸馏长思维链的潜在陷阱。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [首次系统性解构 RL 对大模型参数化知识层级遍历的促进机理,彻底重构了对齐税与记忆存取的认知边界]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 5 大模型家族 8 对模型、三类结构化基准、受控正交注入、6 种目标消融与全层表征相似度探测,因果闭环极其严密]
- 写作质量: ⭐⭐⭐⭐⭐ [叙事逻辑极为清晰,从直觉观察、外部引导、因果隔离到内部机理层层递进,论证扎实有力]
- 价值: ⭐⭐⭐⭐⭐ [对大模型后训练、知识库对齐、长思维链蒸馏避坑以及参数化记忆的高效检索具有重大的理论与工程指导价值]