Reinforcement Learning Improves Traversal of Parametric Knowledge in LLMs¶
会议: EMNLP 2026
论文: ACL Anthology
领域: 安全
关键词: 强化学习, 参数化知识检索, 层次遍历, 对齐税, 提示工程
一句话总结¶
本文通过系统实验打破了"强化学习牺牲参数化记忆换取推理能力(对齐税)"的传统认知,揭示出 Instruct 模型的知识缺陷实质上是缺乏访问与层次遍历策略,而 RL 是通过迭代的策略内探索(on-policy exploration)内化了分层寻路策略,从而显著激活了模型内部潜藏的深层参数化知识。
研究背景与动机¶
在大语言模型经过预训练积累海量参数化知识后,后续的后训练(Post-training,如 SFT、RLHF 和纯强化学习 RL)被广泛用于赋予其遵循指令与解决复杂推理的能力。然而,主流学术界普遍观察到一种所谓的"对齐税"(Alignment Tax):即模型在优化下游偏好或多步链式推理(Chain-of-Thought)的同时,往往在密集知识召回任务上表现出显著的性能退化与事实遗忘。传统的经验假设通常认为,强化学习倾向于促使模型过度拟合推理形式,是以牺牲底层的参数化记忆容量为代价来换取逻辑泛化能力的。
然而,现有关于对齐税与事实退化的研究大多局限于相对单一的单跳浅层检索基准或封闭的后训练配方,并未解耦"知识在参数中彻底遗失"与"知识被有效编码但无法被直接抽取"这两个根本不同的机制。特别是现实中的知识分布具有丰富的结构——从扁平的实体关系事实,到具有清晰父子继承关系的分类体系(如国际专利分类 IPC),再到包含复杂多级从属关系的临床医学本体库(如 ICD-9/10 与 ATC)。面对这些高度层级化的知识体系,直接单步召回往往因庞大的候选编码空间而极易崩溃,但若是要求模型顺着层级节点逐步寻路,模型究竟是缺失了知识节点本身,还是缺少了一条有效的探索与检索策略?
本文的切入视角正是打破这一认知盲区:作者系统对比了五大模型家族在不同知识结构上的表现,发现 Reasoning 模型在事实检索上不仅没有退化,反而大幅超越 Instruct 变体达 13 到 24 个百分点。更为关键的是,仅需向 Instruct 模型引入显式指导层级寻路的结构化提示(Structured Prompting),便能填补绝大部分精度鸿沟。核心 idea:强化学习对事实召回的改善并非向模型注入了新的事实内容,而是通过迭代的策略内探索让模型学会了在预训练潜藏的参数化知识空间中执行系统性的分层遍历(Hierarchical Traversal)。
方法详解¶
整体框架¶
本文构建了一套用于系统解耦"知识存储(Knowledge Storage)"与"知识访问策略(Knowledge Access / Traversal)"的诊断与训练框架。整体流程涵盖三个层层递进的验证模块:首先在多类别知识基准(实体关系 PopQA、分类体系 IPC-Lookup、医学本体 MedConceptsQA)上对比 Direct QA、CoT 与显式结构化提示(Structured Prompting),检验 Instruct 模型知识的潜在可激活度;其次在 PopQA 上通过预训练语料 n-gram 词频统计严格隔离"未见罕见事实"与"高频不可抽取事实",实施受控知识注入(Controlled Knowledge Injection),彻底排除数据曝光(Data Exposure)的干扰;最后通过树结构最近公共祖先(NCA)检索任务与逐层表示相似度探针,从行为表现、检索深度以及内部隐状态三个维度全面刻画遍历策略的机制机理。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入查询<br/>(事实/专利/医学代码)"] --> B["结构化提示遍历<br/>外显层次展开与选项剪枝"]
B --> C["受控知识注入<br/>无数据曝光的跨关系泛化"]
C --> D["迭代策略内探索<br/>在线自生成轨迹更新策略"]
D --> E["深度分层寻路<br/>NCA 公共祖先回溯与路径匹配"]
E --> F["输出精准事实并保留底层知识表征"]
关键设计¶
1. 结构化提示遍历:用外显树形导航唤醒 Instruct 模型的潜在知识
为了验证 Instruct 模型是否实际保存着所需事实,本文设计了结构化提示机制(Structured Prompting),将其与 Direct QA(仅输出最终答案)和 CoT(自由形式解释)进行对照。在结构化模式下,提示词强制要求模型首先召回相关代码或事实的大类体系与结构分解(例如定位 ICD-9-CM 的特定章、节与类目),随后依次对各候选项进行排查和剪枝,最终推导答案。实验发现,该机制大幅收缩了 Instruct 模型与 Reasoning 模型的准确率差距(例如在 MedConceptsQA 上 DeepSeek-V3 与 DeepSeek-R1 的差距从 23.7 pp 缩窄至 7.5 pp)。错误分布分析进一步表明,Instruct 模型的"全错(0/3)"比例从 29% 剧降到 6%,而"全对(3/3)"比例从 60% 飙升至 78%,证明了参数内事实的完整存在性与外部结构导航的直接赋能作用。
2. 受控知识注入:无数据曝光前提下的跨关系能力泛化
为了从根本上排除"强化学习提升事实准确率仅仅是因为微调阶段记住了训练样本或同类关系"这一混淆假设,作者利用 Infini-gram 引擎在 Dolma 预训练语料库中统计实体-答案对的共现频次 \(a\)。将 \(a=0\) 且三个独立随机采样均无法回答正确的样本作为"未见罕见事实(Rare & Unseen)"训练集(731 题);将 \(a > 100\) 但基座同样完全无法直接召回的样本作为"高频不可抽取(Frequent & Inaccessible)"测试集(208 题),并对两者的关系集合执行严格互斥过滤(如训练集为导演、编剧、流派,测试集为作曲家、父亲、首都)。在此严苛设置下,仅在未见罕见事实上施加 GRPO 训练,Qwen3-8B-Instruct 在保留测试集上的检索准确率从 0% 跃升至 10.1%(而 SFT 仅达 0.96%)。由于测试集事实不仅在后训练中从未出现,且对应关系完全正交,决定性地证实了 RL 优化的是通用的参数访问与知识抽取能力,而非单纯的数据拟合。
3. 迭代策略内探索:定位驱动知识激活的算法核心要素
为了剖析强化学习中到底是哪个组件主导了知识检索策略的学习,作者将训练目标拆解为三大维度:数据是否自生成、数据刷新频率(静态 vs 迭代)以及是否引入反向梯度的对比优势。对比涵盖了 SFT、静态拒绝采样微调(Static RFT)、按批次迭代更新的拒绝采样微调(Iterated RFT)、离线 GRPO(一次性生成)、Epoch 刷新 GRPO 以及完全在线的 Online GRPO。实证表明,单纯使用模型自生成正确样本(Static RFT)仅产生微弱提升(2.40%),但只要引入根据当前策略动态重采样的策略内迭代(Iterated RFT),准确率即飙升至 9.62%;而在维持迭代探索的前提下,GRPO 额外的组相对优势对不可行轨迹的惩罚对最终性能贡献极小(Online GRPO 为 10.1%,与 Iterated RFT 差异不具统计显著性)。这揭示出:驱动知识遍历策略形成的核心动力在于"持续紧跟当前策略演进的在线自主试错探索(Iterated On-policy Exploration)"。
4. 深度分层寻路:构建 NCA 基准量化多级树形拓扑的遍历忠实度
针对传统单跳问答无法量化复杂分层推演能力的问题,本文基于最新 WIPO 2026.01 国际专利分类体系和 DBpedia 知识本体,提出了深度分层的最近公共祖先检索基准 IPC-CAR 与 DBO-CAR(覆盖深度 \(D \in [2, 6]\))。为了综合评测回溯轨迹的完整性与顺序严格性,定义了路径匹配得分(Path Matching Score):
其中 \(\text{F1}\) 考量预测祖先节点集合的精确率与召回率,\(\text{CSS}\) 为归一化的最长公共子序列长度。实验揭示了极富启发性的"交叉现象":在浅层阶段(\(D=2\)),Instruct 模型依靠较少干扰项的直接记忆占优;但随着检索深度拓展至 4 到 6 级,Reasoning 模型的 PathMatch 优势持续放大至 +0.107。这直接证明了 Reasoning 模型习得的是一种具有深度伸缩性的程序化层次遍历机制,而非平铺直叙的浅层联想。
损失函数 / 训练策略¶
受控知识注入实验采用基于 LoRA(Rank=32)的 GRPO 强化学习框架。优化器选用 Adam(\(\beta_1=0.9, \beta_2=0.95\)),学习率恒定(Qwen3-8B 设为 \(4\times 10^{-5}\),Qwen3-30B-A3B 设为 \(5\times 10^{-4}\)),训练周期为 3 个 Epoch,Batch Size 为 16,每道问题采样 Group Size = 16 条轨迹。优势计算采用组内相对得分,奖励函数为严格且平滑的包含性判定(若回答中包含任一合法同义实体则赋予 \(R=1.0\),否则 \(R=0.0\))。
实验关键数据¶
主实验¶
主实验在 PopQA(开放实体问答)、IPC-Lookup(专利分类代码四选一)和 MedConceptsQA(临床医学本体四选一)上系统对比了 8 对 Instruct 与 Reasoning 模型在 Direct QA、CoT 以及 Structured Prompting 下的多数投票准确率(Majority Vote Accuracy):
| 模型家族 | 模型规格 | 类型 | PopQA (QA / CoT / Struct.) | IPC-Lookup (QA / CoT / Struct.) | MedConceptsQA (QA / CoT / Struct.) |
|---|---|---|---|---|---|
| Qwen2.5 | 32B | Instruct Reasoning \(\Delta\) (Reasoning Gap) |
0.252 / 0.288 / 0.310 0.386 / 0.380 / 0.375 +0.134 / +0.092 / +0.065 |
0.300 / 0.370 / 0.400 0.350 / 0.360 / 0.360 +0.050 / -0.010 / -0.040 |
0.379 / 0.475 / 0.469 0.482 / 0.513 / 0.505 +0.103 / +0.038 / +0.036 |
| Qwen3 | 8B | Instruct Reasoning \(\Delta\) (Reasoning Gap) |
0.205 / 0.252 / 0.262 0.237 / 0.267 / 0.262 +0.032 / +0.015 / +0.000 |
0.266 / 0.277 / 0.372 0.298 / 0.394 / 0.394 +0.032 / +0.117 / +0.022 |
0.338 / 0.337 / 0.406 0.400 / 0.424 / 0.421 +0.062 / +0.087 / +0.015 |
| Qwen3 | 30B-A3B | Instruct Reasoning \(\Delta\) (Reasoning Gap) |
0.231 / 0.279 / 0.302 0.288 / 0.317 / 0.312 +0.058 / +0.037 / +0.010 |
0.309 / 0.319 / 0.436 0.426 / 0.372 / 0.457 +0.117 / +0.053 / +0.021 |
0.398 / 0.404 / 0.489 0.498 / 0.506 / 0.476 +0.100 / +0.102 / -0.013 |
| Qwen3 | 235B-A22B | Instruct Reasoning \(\Delta\) (Reasoning Gap) |
0.429 / 0.491 / 0.541 0.494 / 0.562 / 0.567 +0.065 / +0.071 / +0.026 |
0.372 / 0.383 / 0.596 0.457 / 0.404 / 0.574 +0.085 / +0.021 / -0.022 |
0.542 / 0.548 / 0.631 0.641 / 0.656 / 0.580 +0.099 / +0.108 / -0.051 |
| DeepSeek | V3 / R1 | Instruct Reasoning \(\Delta\) (Reasoning Gap) |
0.430 / 0.505 / 0.569 0.513 / 0.557 / 0.569 +0.083 / +0.052 / +0.000 |
0.415 / 0.596 / 0.553 0.638 / 0.670 / 0.574 +0.223 / +0.074 / +0.021 |
0.541 / 0.632 / 0.717 0.778 / 0.790 / 0.792 +0.237 / +0.158 / +0.075 |
| DeepSeek | V3.1 / R1 | Instruct Reasoning \(\Delta\) (Reasoning Gap) |
0.429 / 0.506 / 0.565 0.429 / 0.508 / 0.567 +0.003 / +0.002 / +0.002 |
0.468 / 0.500 / 0.606 0.479 / 0.511 / 0.585 +0.011 / +0.011 / -0.021 |
0.526 / 0.595 / 0.785 0.794 / 0.805 / 0.774 +0.268 / +0.210 / -0.011 |
| Kimi | K2 | Instruct Reasoning \(\Delta\) (Reasoning Gap) |
0.507 / 0.533 / 0.566 0.580 / 0.662 / 0.652 +0.073 / +0.129 / +0.086 |
0.511 / 0.521 / 0.543 0.575 / 0.585 / 0.564 +0.064 / +0.064 / +0.021 |
0.595 / 0.634 / 0.750 0.834 / 0.829 / 0.830 +0.239 / +0.195 / +0.080 |
| Kimi | K2.5 | Instruct Reasoning \(\Delta\) (Reasoning Gap) |
0.507 / 0.573 / 0.649 0.597 / 0.700 / 0.682 +0.100 / +0.127 / +0.033 |
0.521 / 0.500 / 0.553 0.574 / 0.574 / 0.585 +0.053 / +0.074 / +0.032 |
0.699 / 0.734 / 0.875 0.905 / 0.915 / 0.911 +0.206 / +0.181 / +0.036 |
消融与机制分析实验¶
1. 受控知识注入实验中不同后训练目标的消融对比(Qwen3-8B-Instruct,高频不可抽取保留测试集 \(n=208\))
| 训练目标 / 算法变体 | 保留测试集准确率 (%) | 95% Wilson 置信区间 | 相对于前序配置差异 (\(\Delta\) Acc / 95% Bootstrap CI) |
|---|---|---|---|
| 初始基线 (Zero-shot) | 0.00% | — | — |
| 监督微调 (SFT) | 0.96% | [0.26, 3.42] | 基准对比 |
| 静态拒绝采样微调 (Static RFT) | 2.40% | [1.03, 5.48] | Static RFT − SFT: +1.44 pp ([-0.96, 3.85]) |
| 离线 GRPO (No-refresh GRPO) | 3.37% | [1.64, 6.78] | 静态自生成基线 |
| Epoch 刷新 GRPO | 7.69% | [4.84, 11.99] | Epoch − No-refresh: +4.33 pp ([0.48, 8.65]) |
| 迭代拒绝采样微调 (Iterated RFT) | 9.62% | [6.37, 14.28] | Iterated RFT − Static RFT: +7.21 pp ([3.37, 11.54]) |
| 在线 GRPO (Online GRPO) | 10.10% | [6.76, 14.83] | Online GRPO − Iterated RFT: +0.48 pp ([-3.85, 4.81]) |
2. 层次遍历深度评测:DeepSeek-V3 vs DeepSeek-R1 在 IPC-CAR 上的表现(每层 \(n=20\))
| 检索深度 (\(D\)) | V3 准确率 (Acc) | R1 准确率 (Acc) | \(\Delta\) Acc (R1 - V3) | V3 路径匹配 (PathMatch) | R1 路径匹配 (PathMatch) | \(\Delta\) PathMatch (R1 - V3) |
|---|---|---|---|---|---|---|
| Depth 2 | 0.900 | 0.800 | -0.100 | 0.865 | 0.725 | -0.140 |
| Depth 3 | 0.850 | 0.700 | -0.150 | 0.576 | 0.549 | -0.027 |
| Depth 4 | 0.800 | 0.700 | -0.100 | 0.454 | 0.473 | +0.019 |
| Depth 5 | 0.750 | 0.800 | +0.050 | 0.416 | 0.465 | +0.049 |
| Depth 6 | 0.750 | 0.800 | +0.050 | 0.327 | 0.434 | +0.107 |
3. Qwen2.5-32B 逐层隐藏表征余弦相似度分析(ICD9PROC,100 对问题-答案探针)
| 比较维度 | 模型变体 | 早期层 (1–21) | 中期层 (22–43) | 晚期层 (44–64) | 全局平均 | 最小相似度 | 最小所在层 |
|---|---|---|---|---|---|---|---|
| 模型与 Base 问句相似度 (\(Q_{\text{base}} \leftrightarrow Q_{\text{post}}\)) | Instruct Reasoning Distilled |
0.990 0.982 0.911 |
0.970 0.942 0.718 |
0.938 0.923 0.789 |
0.966 0.950 0.808 |
0.729 0.810 0.634 |
Layer 64 Layer 64 Layer 36 |
| 模型与 Base 事实声明相似度 (\(A_{\text{base}} \leftrightarrow A_{\text{post}}\)) | Instruct Reasoning Distilled |
0.994 0.987 0.955 |
0.976 0.951 0.864 |
0.958 0.944 0.854 |
0.976 0.961 0.892 |
0.871 0.876 0.778 |
Layer 64 Layer 64 Layer 64 |
关键发现¶
- 结构化导航消除对齐差距:在所有 8 组模型评测中,随着提示词从直接问答推进到结构化层次遍历,Reasoning 与 Instruct 之间的精度鸿沟系统性收敛;在多个设置下(如 DeepSeek-V3.1、Qwen3-235B 等),Instruct 模型的准确率甚至追平或超越了推理模型。
- 策略内探索是决定性动力:目标分解实验证明,对比优势梯度的贡献可忽略不计(Online GRPO vs Iterated RFT 差异仅 +0.48 pp 且置信区间跨越 0),而数据生成策略的时效性(Staleness vs Freshness)才是关键,证明持续基于当前策略生成探索路径是内化寻路能力的本质。
- 深度拓展下的机制优势:在 IPC-CAR 和 DBO-CAR 上的路径评测展现出鲜明交叉点,证明 Reasoning 模型并非在所有场景下均碾压 Instruct,其真正不可替代的优势在于长距离、高深度的层次结构回溯。
- 问句理解重塑而非知识遗忘:隐层表征分析证实,后训练并没有抹除底层的陈述性事实表征(\(A \leftrightarrow A\) 保持高达 0.96+ 的余弦相似度),而是高度重塑了对 Query 的加工与解析机制(\(Q\) 的表征漂移显著大于 \(A\))。
- 蒸馏模型的伪自省缺陷:DeepSeek-R1-Distill-Qwen2.5-32B 的失败归因发现,高达 80% 的错误源于语言表面模仿(出现 "Wait..." 等标志词但未真正放弃最初错误假设),证明仅凭监督模仿无法获得 RL 试错带来的真实寻路决策力。
亮点与洞察¶
- 颠覆性的反直觉结论:推翻了"RL 必然伴随对齐税与记忆衰退"的定势思维,指明知识退化本质是访问通道的阻塞,而非存储容量的折损。
- 严谨绝妙的受控实验隔离:通过 Infini-gram 在兆级语料上精准过滤未见事实与高频事实,并施加正交关系约束,干净利落地剔除了数据重叠与曝光偏差的可能。
- 深刻揭示了蒸馏与纯 RL 的本质差异:指明单纯基于高质量 Reasoning 轨迹做 SFT 蒸馏只能学会自反思的语言外壳,而无法习得参数化深空中的自主寻路与动态纠偏策略。
局限与展望¶
- 预训练语料曝光代理的局限:使用 n-gram 共现频次虽然具备极高可控性,但并不能完全等同于模型内部复杂语义关联的真实曝光度。
- 闭源后训练配方的混淆变量:商用 Instruct 与 Reasoning 模型的真实配方(如数据混合比、多阶段 SFT 细节)不透明,使宏观对比仍包含观察性研究成分。
- 未来研究应更加侧重于针对参数化知识索引与遍历效率的专用后训练策略开发,而非盲目扩充微调语料。
相关工作与启发¶
- 与传统 RAG 及 Agentic RAG(通过外挂向量库与网络检索)不同,本工作完全立足于纯参数化内存内部的检索机理,为无外设本地知识唤醒提供了全新视角。
- 呼应了逆转诅咒(Reversal Curse)等研究中"知识存储与访问不对称"的发现,进一步拓展至树形层级检索的纵深维度。
- 提示我们在设计知识密集型智能体时,针对指令微调模型设计引导其逐步缩小候选域的层级 prompt,能够以零训练成本激发出接近重度 RL 模型的精准度。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 颠覆了强化学习对齐税的传统归因,解耦了参数知识存储与遍历策略。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 大模型家族 8 对模型、两项新提出分层基准、兆级语料 n-gram 过滤与隐层表征探针。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑推导层层深入,从现象观察、受控隔离到机理剖析一气呵成。
- 价值: ⭐⭐⭐⭐⭐ 为大语言模型后训练算法设计、知识召回优化及模型可信性研究提供了里程碑式的指导。