跳转至

Bottom-up Policy Optimization: Your Language Model Policy Secretly Contains Internal Policies

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/Trae1ounG
领域: LLM推理
关键词: 强化学习, 内部策略, 残差流分解, 策略优化, 机制可解释性

一句话总结

本文通过 Transformer 残差流与反嵌入矩阵将大语言模型分解为内部层策略与模块策略,揭示了从早期高熵探索到顶层确定性收敛的认知机制差异,并提出自底向上策略优化(BuPO),在强化微调早期优先对齐关键边界层策略,以不到 0.5% 的诊断算力显著提升复杂数学推理性能。

研究背景与动机

在大语言模型(LLM)的后训练阶段,基于可验证奖励的强化学习(RLVR,如 DeepSeek-R1、GRPO 等)已成为激发复杂多步推理与认知反思能力的绝对主流范式。然而,现有的策略梯度方法无一例外地将整个大模型视为一个黑盒的“整体策略”(Unified Policy),即仅仅通过最终输出层的 token 概率分布采样候选回答并计算优势函数,随后通过反向传播将标量奖励信号一次性跨越几十层网络向底层回传。这种宏观黑盒优化完全忽视了模型内部层级之间渐进演化的信息流和功能分工。

模型内部的信息流动与模块协同其实蕴含着极其丰富的计算动力学。借助 Logit-Lens 等机制可解释性工具,研究人员已经观察到 Transformer 的深浅层表征在语义抽象度和任务特定决策上扮演着不同角色。但传统可解释性研究大多局限于离散词汇投影与被动特征探测,未能建立“内部表征分布”与“强化学习策略决策”之间的数学等价关系;与此同时,直接优化最终策略往往导致底层表示在训练早期缺乏针对性的几何重塑,难以为后续高阶逻辑推理构建稳固的语义与知识表征地基。

针对“黑盒最终策略优化”与“内部层级渐进演化”之间的脱节,本文的核心切入点是将 Transformer 内部残差流状态与反嵌入矩阵自然结合,形式化定义出等价于动作概率分布的“内部层策略”与“内部模块策略”,进而从策略熵变化的视角系统探究推理是如何自底向上涌现的。核心 idea:通过残差流解耦大模型内部各层策略的熵动力学,定位由探索转向集成的关键边界层,并在 RL 训练初期自底向上实施内部策略对齐(BuPO),使底层表征提前捕获高阶推理特征并奠定坚实基石。

方法详解

整体框架

BuPO(Bottom-up Policy Optimization)打破了传统 RL 将 LLM 当作单一大策略的优化定式,构建了“内部策略分解探测 → 关键边界层识别 → 自底向上两阶段对齐”的完整工作流。在模型前向推理时,Transformer 残差流中任意第 \(l\) 层的隐藏状态 \(H_l\) 与共享反嵌入矩阵 \(E_u\) 结合,均可构建一个词表空间上的概率分布(即内部策略)。通过在基础模型上运行轻量的前向探测,计算各层及自注意力、FFN 模块的策略熵变化率 \(\Delta H_l\),精准锁定 FFN 探索熵增转为集成的“边界层”(Boundary Layer)。随后,整个强化学习训练划分为两个阶段:在最初的 \(s_{\text{inter}}\) 步内,仅以边界层内部策略为目标执行优势加权的截断策略对齐(IPA),仅更新底层参数并强制其提前汲取顶层高阶表征能力;步数超过 \(s_{\text{inter}}\) 后,自然无缝切换为针对顶层最终策略的全局 GRPO 优化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入题目与推理上下文 q, o_{<t}"] --> B["残差流解耦与内部策略构建<br/>H_l 与反嵌入矩阵 E_u 映射至词表分布"]
    B --> C["内部策略熵动力学与边界层探测<br/>探测 ΔH_l^FFN 符号反转点锁定边界层"]
    C --> D{"训练阶段判定<br/>当前步数 s_{cur} ≤ s_{inter} ?"}
    D -->|是:早期训练阶段| E["内部策略对齐 (IPA)<br/>单向梯度截断回传至第 0~l 层并诱导特征精炼"]
    D -->|否:后期全局微调| F["全局策略优化 (GRPO)<br/>更新全模型参数完成宏观推理收敛"]
    E --> G["收敛的高阶推理策略 π_θ"]
    F --> G

关键设计

1. 残差流解耦与内部策略构建:消除层归一化干扰的连续策略重构

传统 logit-lens 工具主要用于将深层隐藏状态投影至离散词元空间以观察预测内容,往往保留了顶层的 Layer Normalization(LN)。本文针对强化学习策略梯度的数学特性,指出 Transformer 残差流天然具备可加性分解结构,第 \(l\) 层的输出状态满足 \(H_l = H^{(0)} + \sum_{i=1}^l A_i + \sum_{j=1}^l F_j\)。为了使内部状态真正具备强化学习策略的概率解释,作者将隐藏状态直接与反嵌入矩阵 \(E_u \in \mathbb{R}^{N \times d_{\text{model}}}\) 进行乘积映射,并经过 Softmax 得到全词表动作分布:

\[\pi_l^{\text{Layer}} \equiv P_l^{\text{Layer}} = \text{softmax}(H_l E_u^\top)\]

同时,各层多头自注意力(MHSA)与前馈神经网络(FFN)模块的增量更新亦可独立映射为内部模块策略 \(\pi_l^{\text{ATTN}} = \text{softmax}(A_l E_u^\top)\) 与 \(\pi_l^{\text{FFN}} = \text{softmax}(F_l E_u^\top)\)。值得注意的是,作者经过严谨消融发现,在此投影过程中显式省略 Layer Normalization(BuPO-wo-LN)能够消除层归一化对表征尺度的扭曲,使得各层间的策略熵演化曲线展现出更清晰的单调性与机制可解释性,同时在下游任务上表现更优。

2. 内部策略熵动力学与边界层探测:定位从发散探索到收敛集成的认知拐点

针对不同模型家族内部推理机制的黑盒差异,本文提出以“内部策略熵”(Internal Policy Entropy)及其单步熵变化率 \(\Delta H_l = H_l^{\text{Output}} - H_l^{\text{Input}}\) 作为诊断探针。对 Qwen 与 Llama 系列模型的细粒度探测揭示了根本性的架构行为分歧:所有模型在宏观上均遵循从浅层高熵探索到顶层低熵确定的趋势,但在收敛节奏上,Llama 呈现出在前 90% 层数保持平缓高熵、仅在最后 3 层突发骤降收敛的激进模式;而 Qwen 则呈现平滑的渐进式逻辑收缩。

尤为关键的是 FFN 模块的熵变动力学 \(\Delta H_l^{\text{FFN}}\):在 Qwen3 系列中,底层 FFN 展现出明确的正熵变(\(\Delta H_l^{\text{FFN}} > 0\)),承担发散式假设探索功能;中间层进入平稳的零熵变区域(\(\Delta H_l^{\text{FFN}} \approx 0\)),执行参数化知识检索与整合;高层则转为负熵变(\(\Delta H_l^{\text{FFN}} < 0\))推动最终决策收敛。本文将 FFN 正熵增探索的最后一层定义为“边界层”(Boundary Layer,例如 Qwen3-4B/8B 为第 6 层,Llama-OctoThinker-3B 为第 26 层,OctoThinker-8B 为第 30 层)。该边界层构成了整个模型由知识发散迈向逻辑集成的分水岭,为后续强化学习的针对性干预提供了极其精准且极低开销的理论信标。

3. 内部策略对齐(IPA):诱导底层表征发生前置特征精炼

在确立边界层位置后,本文提出内部策略对齐机制(Internal Policy Alignment, IPA),将环境的奖励信号直接注入到选定的内部层策略中。IPA 构建了一个受限的重要度更新比率 \(\rho_{i,t}^l = \frac{\pi_l^{\text{Layer}}(o_{i,t} \mid q, o_{i,<t})}{\pi_{l,\text{old}}^{\text{Layer}}(o_{i,t} \mid q, o_{i,<t})}\),并在优势加权下采用 PPO/GRPO 式的截断代理目标进行参数更新:

\[\mathcal{J}_{\text{IPA}}(\pi_\theta, \pi_l^{\text{Layer}}) = \mathbb{E}_{q \sim \mathcal{Q}, \{o_i\}_{i=1}^G \sim \pi_{\theta_{\text{old}}}(\cdot \mid q)} \left[ \frac{1}{G} \sum_{i=1}^G \frac{1}{|o_i|} \sum_{t=1}^{|o_i|} \min \left( \rho_{i,t}^l \hat{A}_{i,t}, \, \text{clip}(\rho_{i,t}^l, 1-\epsilon, 1+\epsilon)\hat{A}_{i,t} \right) \right]\]

由 Transformer 残差梯度回传链式法则 \(\frac{\partial \mathcal{J}_{\text{IPA}}}{\partial \theta_k} = \frac{\partial \mathcal{J}_{\text{IPA}}}{\partial \pi_l^{\text{Layer}}} \cdot \frac{\partial \pi_l^{\text{Layer}}}{\partial H_l} \cdot \frac{\partial H_l}{\partial \theta_k}\) 可知,当层索引 \(k > l\) 时其梯度严格为 0。这意味着 IPA 优化只对第 0 至 \(l\) 层的参数施加直接监督,完全隔绝了高层未成熟梯度的反向噪声。表征分析实验证实,经过适度 IPA 优化的底层隐藏状态 \(H_l\) 与顶层最终状态的余弦相似度显著攀升,即诱发了强烈的“特征精炼”(Feature Refinement)现象——底层过早捕获了高阶逻辑推理特征,为后续高层推理提供了坚实的基础表征地基。

损失函数 / 训练策略

BuPO 的整体目标函数通过训练步数 \(s_{\text{cur}}\) 实现两阶段自底向上调度:

\[\mathcal{J}_{\text{BuPO}} = \begin{cases} \mathcal{J}_{\text{IPA}}(\pi_\theta, \pi_l^{\text{Layer}}), & s_{\text{cur}} \le s_{\text{inter}} \\ \mathcal{J}_{\text{GRPO}}(\pi_\theta), & s_{\text{cur}} > s_{\text{inter}} \end{cases}\]

其中优势值 \(\hat{A}_{i,t} = \frac{R_i - \text{mean}(R)}{\text{std}(R)}\) 采用组内归一化,单步奖励 \(R_i \in \{0, 1\}\) 基于数学题最终答案的精确等价性进行规则校验。针对底层对齐步数 \(s_{\text{inter}}\),论文发现适度对齐(Qwen3-4B 设置 \(s_{\text{inter}}=30\) 步,其他模型设置 20 步)可带来最佳收益;若持续过度对齐(如 70 步以上),会导致内部策略与高层未微调参数产生严重的表征失配并引发困惑度(PPL)恶化。超参数配置方面,采用 AdamW 优化器,策略学习率设为 \(1\times 10^{-6}\),梯度截断比率 \(\epsilon = 0.2\),每个 prompt 采样 8 条候选轨迹,最大上下文长度 9,216 tokens。在 8 卡 A100 单节点上,内部熵诊断仅耗时 209 秒(约占全程训练时间的 0.44%),以极小的诊断开销换取了可观的策略提升。

实验关键数据

主实验

在 MATH500、AMC23、AIME24 及 AIME25 四大高难度数学推理基准上,将 BuPO 与主流强化学习算法(PPO、Reinforce++、RLOO、GRPO)进行系统对比。各基准报告 Avg@K 准确率(AMC/MATH 采 \(K=16\),AIME 采 \(K=32\)):

骨干模型 算法方法 AMC (Avg@16) MATH500 (Avg@16) AIME24 (Avg@32) AIME25 (Avg@32) 综合平均 (Avg)
Qwen3-4B Vanilla (Base) 67.66 80.29 23.20 18.60 47.44
Qwen3-4B PPO 77.03 83.64 32.60 27.60 55.22
Qwen3-4B Reinforce++ 63.44 80.63 17.40 18.65 45.03
Qwen3-4B RLOO 77.66 82.73 30.83 24.79 54.00
Qwen3-4B GRPO 76.88 82.41 32.19 28.85 55.08
Qwen3-4B BuPO (Ours) 81.09 (+4.21) 84.90 (+2.49) 36.88 (+4.69) 31.15 (+2.30) 58.51 (+3.43)
Qwen3-8B Vanilla (Base) 67.34 80.46 26.98 19.17 48.49
Qwen3-8B PPO 87.03 86.20 37.81 22.60 58.41
Qwen3-8B Reinforce++ 82.66 86.05 41.77 31.15 60.41
Qwen3-8B RLOO 86.41 87.32 46.67 33.02 63.36
Qwen3-8B GRPO 85.94 88.05 49.48 33.54 64.23
Qwen3-8B BuPO (Ours) 89.22 (+3.28) 87.76 54.06 (+4.58) 34.38 (+0.76) 66.36 (+2.13)
OctoThinker-3B Vanilla (Base) 1.24 5.26 0.21 0.00 1.68
OctoThinker-3B GRPO 27.50 46.07 0.63 0.10 18.58
OctoThinker-3B BuPO (Ours) 27.50 (+0.00) 49.79 (+3.72) 0.63 (+0.00) 0.42 (+0.32) 19.59 (+1.01)
OctoThinker-8B Vanilla (Base) 4.53 9.84 0.52 0.10 3.75
OctoThinker-8B GRPO 34.84 56.89 2.50 2.19 24.11
OctoThinker-8B BuPO (Ours) 37.66 (+2.82) 62.05 (+5.16) 4.69 (+2.19) 6.77 (+4.58) 27.79 (+3.68)

消融实验

消融实验围绕目标优化层选择(边界层 vs 其他层)以及早期对齐步数 \(s_{\text{inter}}\) 的敏感性展开:

模型基座 实验变体 / 内部策略选择 AMC MATH500 AIME24 AIME25 综合平均 (Avg) 说明
Qwen3-4B Boundary Layer (\(\pi_6^{\text{Layer}}\)) 81.09 84.90 36.88 31.15 58.51 FFN 探索转集成临界点(最优)
Qwen3-4B 中间集成层 (\(\pi_{26}^{\text{Layer}}\)) 81.56 84.40 35.42 30.52 57.98 处于平稳知识整合区,探索不足
Qwen3-4B 倒数第二层 (\(\pi_{35}^{\text{Layer}}\)) 82.66 85.14 35.42 30.12 58.34 诱发高频重复,生成长度膨胀
Qwen3-4B 浅层对齐步数 \(s_{\text{inter}} = 0\) (GRPO) 76.88 82.41 32.19 28.85 55.08 基线无底层对齐
Qwen3-4B 浅层对齐步数 \(s_{\text{inter}} = 50\) 62.66 79.00 14.17 12.60 42.11 过度对齐破坏顶层协作
Qwen3-4B 浅层对齐步数 \(s_{\text{inter}} = 70\) 14.14 25.20 0.21 0.00 9.89 底层与未更新高层严重失配,PPL 爆炸
OctoThinker-8B Boundary Layer (\(\pi_{30}^{\text{Layer}}\)) 37.66 62.05 4.69 6.77 27.79 Llama 系列边界层位于深层
OctoThinker-8B 中间层 (\(\pi_{16}^{\text{Layer}}\)) 3.91 12.20 0.00 0.00 4.03 偏离探索边界,优化严重受阻
OctoThinker-8B 极浅层 (\(\pi_6^{\text{Layer}}\)) 7.58 9.40 0.00 0.10 4.27 Llama 浅层无足够表征容量

关键发现

  • 边界层优化的普适决定性:跨 Qwen3 与 Llama-OctoThinker 两大异构模型家族的实验一致表明,将内部对齐目标锚定在 FFN 熵变由正转负的“边界层”时表现最佳。选择过浅的层(如 Llama 上的第 6 层)会因早期信息未充分编码而导致策略崩溃(仅得 4.27 分);选择倒数第二层虽然在短文本上接近,但会导致模型陷入生成重复与响应长度爆炸(达 8000 tokens)。
  • 早期对齐的步数窗口至关重要:\(s_{\text{inter}}\) 的消融显示出明显的倒 U 型曲线。在 Qwen3-4B 上,30 步对齐相比 GRPO 净胜 3.43 个百分点,而一旦拉长至 50 步或 70 步,内部隐藏层与未经训练的高层 Transformer 块之间产生巨大的表示断层(KL 散度急剧上升),导致困惑度失控并破坏下游生成能力。
  • 超越传统分层优化基线:在与“冻结底层仅训高层”或“底层采用 0.1 倍较小学习率”等传统层感知微调变体的对比中,BuPO 在 4B 上分别高出 2.86 和 0.39 分,在 OctoThinker-3B 上更分别高出 1.89 和 1.64 分,证明 BuPO 的增益绝非单纯调整了层学习率权重,而是源于 IPA 目标在特征空间促成的真实表征重塑。

亮点与洞察

  • 将残差流解码升格为真正的强化学习策略:论文打破了 logit-lens 仅用于被动特征词元检查的局限,首次利用反嵌入矩阵将隐状态形式化为满足 MDP 动作空间约束的“内部策略”,使成熟的策略梯度理论能够无缝降维作用于网络内部表征。
  • 熵动力学精准刻画模型认知机制:揭示了 Qwen 渐进平滑收敛与 Llama 尾部突变骤缩的认知风格差异,并以 FFN 模块的熵增临界点作为边界层信标,用极具物理意义的量化指标指导了超参数与架构选择。
  • 特征精炼与极其轻量的诊断开销:通过让底层先于全局 RL 进行短步数对齐,强迫底层表征提前获得顶层的高阶推理特征;同时该边界诊断只需在 step 0 运行单次前向,耗时仅 209 秒(占训练总时间的 0.44%),具有极高的大规模工业复用价值。

局限与展望

  • 算力与长长链采样的资源开销:虽然 BuPO 本身的诊断耗时可忽略,但实验仍依赖单节点 8 张 A100 GPU;且由于长思维链(CoT)推理采样的高方差,评估收敛性需要依赖如 Pass@256 等大样本采样,训练与评测的长上下文生成显存开销依然较大。
  • 多层联合与动态退火机制尚待探索:当前 BuPO 仅在预定边界层单点执行硬切换(硬性从第 \(s_{\text{inter}}\) 步切换为全局 GRPO),未来可探索自浅入深的连续分层渐进对齐(Curriculum Alignment),或引入动态加权的渐进式退火损失。
  • 复杂代码与 Agent 场景的泛化验证:论文目前主要针对具有确切奖励校验的数学与代码推理任务,未来可进一步拓展至交互式工具调用与具身智能决策等长程规划场景。

相关工作与启发

  • vs 传统 RLVR / GRPO / DeepSeek-R1:传统方法仅在模型末端计算标量奖励并全局回传,容易让底层在训练初期在巨大的参数空间中盲目震荡;BuPO 先从边界层构建高质量的底层表征基础,再释放至全局优化,显著加速了高难度难题的求解收敛。
  • vs Logit-Lens 与 Tuned-Lens:传统 Lens 专注于表征探测与词元置信度可解释性分析;BuPO 则将中间分布视为可导策略,不仅构建了无需额外探针网络的连续策略公式,还将其直接作为强化学习优化的监督代理。
  • vs 分层学习率与模块冻结:传统分层微调仅在优化器层面机械缩放梯度大小;BuPO 的 IPA 目标则在语义与策略空间中施加截断策略优化,从数学上保证了参数梯度的定向反向阻断与表征精炼。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次将残差流隐状态形式化为可优化的内部策略,立意深刻且理论视角极具启发性。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 Qwen 与 Llama 跨世代多尺寸模型,包含细粒度熵流分析、主干对比、长链 Pass@K、表征余弦相似度及四维度消融。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑层层推进,从残差流公式推导、动力学可视化到算法设计自洽流畅,图表信息量极其丰富。
  • 价值: ⭐⭐⭐⭐⭐ 为大模型强化微调(RLVR)与机制可解释性的交叉融合开辟了全新方向,代码开源且易于集成落地。