Reward Inflation: A Healthy Stimulus for Reinforcement Learning¶

会议: NeurIPS 2026
arXiv: 2610.02545
OpenReview: https://openreview.net/forum?id=nGl0OxizaX
领域: 强化学习
关键词: 强化学习, 奖励通胀, 经验回放, 神经可塑性, 自适应控制

一句话总结¶

提出在强化学习训练过程中对奖励进行缓慢指数级放大的“奖励通胀”（Reward Inflation）机制与自适应调节器 Fed，理论证明其诱导隐式近因加权并抑制休眠神经元以保持网络可塑性，在 ALE 与 MuJoCo 基准上一致显著提效。

研究背景与动机¶

奖励函数是强化学习智能体优化策略最核心的环境反馈信号。长期以来，学术界针对奖励工程进行了大量探索，包括基于势函数的奖励塑造（Potential-based Reward Shaping）、内在动机奖励、课程奖励以及基于全轨迹或即时尺度的奖励归一化。然而在这些方法中，奖励的整体数值尺度在训练全程基本被预设为固定常量，奖励尺度随训练时间维度的动态调制（Temporal Dynamics）却极少被系统探讨。

与此同时，深度强化学习面临着严峻的可塑性丧失（Plasticity Loss）问题，随着策略逐渐饱和，梯度范数不断衰减，网络深层往往涌现出大量永久失活、输出恒为零的休眠神经元（Dormant/Dead Neurons）。为了维持网络容量，现有手段通常依赖激进的参数周期性重置（Network Resets）或结构正则化，但容易引发灾难性遗忘与训练震荡。另一方面，异策略算法在回放旧经验时，尽管已有优先经验回放（PER）或近因经验回放（ERE）等加权采样方案，但它们往往大幅改变经验采样的边际分布，带来额外的超参数调节成本与潜在训练不稳定性。

由此引出的核心思考是：能否在完全不破坏原始奖励语义、不改变马尔可夫决策过程（MDP）最优解且不干扰采样机制的前提下，仅凭时间维度上的轻量尺度缩放，同时赋能经验的时序近因偏置与深层网络的持续可塑性？核心 idea：在经验存入回放池前按训练步数对奖励实施缓慢的指数级放大（奖励通胀），通过不可逆的时间戳缩放诱导隐式的 TD 近因加权，并维持梯度更新幅度以抑制休眠神经元、延缓网络饱和，配合梯度动量自适应调节器 Fed 达成对强化学习全流程的健康刺激。

方法详解¶

整体框架¶

奖励通胀（Reward Inflation）是一个极简且几乎零计算开销的通用强化学习训练增强模块。在标准 MDP 交互框架下，算法维护一个随全局环境交互步数 $g$ 单调指数增长的通胀水平标量 $I(g)$。环境产出的真实物理奖励 $r_t$ 在写入经验回放池 $\mathcal{D}$ 之前，被显式缩放为名义奖励 $r'_t(g) = r_t \cdot I(g)$；而回放池中已存入的旧转移数据及其名义奖励保持静态固定，不做回溯修改。在值函数或策略网络更新时，算法直接基于含有历史名义奖励的批次数据计算时序差分（TD）目标。

为了防止不同任务在训练初期因过强信号引发梯度过热、或在稀疏奖励初期由于梯度微弱而丧失学习动力，本文进一步引入了自适应通胀控制器 Fed（借用“美联储”调节基准利率以平抑经济波动的经济学隐喻）。Fed 实时监控策略网络或价值网络的梯度范数变化趋势，通过短周期与长周期指数移动平均（EMA）的比值判定当前训练处于“过热”还是“萧条”，并利用带有比例-微分（PD）修正项的规则动态升降通胀率，使学习信号始终保持在最适宜神经网络更新的健康区间。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Env["环境交互与步数计数<br/>产生真实奖励 r_t 及全局步 g"] --> StepInflation["步长通胀缩放<br/>I(g) 乘法调制"]
    FedControl["自适应通胀控制器 Fed<br/>长短期梯度比值与 PD 阻尼调节"] -.->|动态更新通胀率 ρ_Y| StepInflation
    StepInflation --> NominalWrite["名义奖励写入回放池<br/>存储 (s, a, r'_t, s')，旧数据固定"]
    NominalWrite --> ReplayBuf["经验回放缓冲区 D"]
    ReplayBuf --> UniformSample["均匀随机小批次采样"]
    UniformSample --> RecencyTD["时序差分更新<br/>诱导隐式近因加权 (1+ρ̃)^(g2-g1)"]
    RecencyTD --> PlasticityGrad["梯度反向传播<br/>幅度随 Ī 放大，抑制休眠神经元"]
    PlasticityGrad -->|监控梯度范数 G(ϕ)| FedControl

关键设计¶

1. 步长通胀缩放与名义奖励写入：不破坏点最优性的时序单调放大 标准 RL 将奖励尺度固定，而奖励通胀引入周期通胀率 $\rho_Y(g; Y)$，定义每经历 $Y$ 步环境交互后奖励的期望增幅。由等比关系推导出单步实际通胀率 $\tilde{\rho}(g) = (1 + \rho_Y(g; Y))^{1/Y} - 1$。从初始步 $I(0)=1$ 开始，累计通胀水平定义为连乘积： $$I(g) = \prod_{k=1}^{g}(1 + \tilde{\rho}(k)), \qquad r'_t(g) = r_t \cdot I(g)$$ 由于在任意固定步 $g$ 处，$I(g) > 0$ 仅相当于对当前 MDP 的即时奖励整体乘以正标量，策略的价值最大化点集 $\arg\max_\pi \mathbb{E}[G_0]$ 与原 MDP 严格等价，保证了点最优性（Pointwise Optimality）。通过将名义奖励 $r'_t$ 固化存入经验回放池，回放池内越晚收集的样本所携带的名义奖励绝对值越大，形成天然的时间戳标记，而不需要改写采样概率分布或维护复杂树形索引。

2. 诱导隐式近因加权：几何不变量式的 TD 目标时间偏移 在 Q-learning 更新中，损失函数梯度可精确拆解为仅与转移收集时刻 $g$ 相关的奖励驱动分量（Reward-driven Component）以及在期望上与收集时刻无关的自举分量（Bootstrapping Component）： $$\Delta\theta(g) = \eta I(g) \mathbb{E}_{\mathcal{D}}[r \nabla_\theta Q_\theta(s, a)] + \eta \mathbb{E}_{\mathcal{D}}[(\gamma \max_{a'} Q(s', a') - Q_\theta(s, a))\nabla_\theta Q_\theta(s, a)]$$ 当对比回放池中收集于 $g_2$ 与 $g_1$（$g_2 > g_1$）的两个样本时，自举分量相互抵消，更新步长的差异完全由名义奖励之差决定。其奖励驱动分量的比值严格满足时间平移不变性： $$\frac{\Delta\theta_{\text{rew}}(g_2)}{\Delta\theta_{\text{rew}}(g_1)} = \frac{I(g_2)}{I(g_1)} = (1 + \tilde{\rho})^{g_2 - g_1}$$ 这意味着指数通胀在均匀采样的回放池中内生了一种稳态的“近因加权”更新效应——任意相隔 $\Delta$ 步的两个样本，更新权重的相对比例恒为 $(1 + \tilde{\rho})^\Delta$。较新的高质探索样本自然拥有更大的梯度话语权，加速了策略面对近期环境反馈的自适应，同时完全保留了均匀回放池对历史支撑集的覆盖度。

3. 梯度范数缩放与神经可塑性保持：抑制休眠神经元的良性刺激 随着强化学习训练走向收敛，策略网络逐渐饱和，网络预测误差下降导致常规反向传播梯度范数显著衰减，大量隐藏层神经元陷入均值输出为零、梯度为零的“休眠状态”（Dormant/Dead Neurons）。在持续通胀下，经验回放池的平均通胀水平 $\bar{I} = \mathbb{E}_{\mathcal{D}}[I(g)]$ 缓慢抬升。理论推导表明，Q 网络损失梯度范数按二次方扩展 $\|\nabla_\theta \mathcal{L}(\theta)\| \propto \bar{I}^2$，而策略网络梯度范数按一次方扩展 $\|\nabla_\phi J(\phi)\| \propto \bar{I}$。这种缓慢而持续的梯度放大有效维系了深层网络的有效学习率，使神经元在饱和阶段仍能接收到足额激活刺激，直接遏制了休眠神经元的蔓延，延缓网络容量萎缩。

4. 自适应通胀控制器 Fed：基于长短期梯度比值的 PD 动量阻尼控制 为避免固定通胀率可能面临的初期激进或后期过热失稳风险，控制器 Fed 借鉴泰勒规则（Taylor Rule），监控网络损失梯度范数 $\mathcal{G}(\phi) = \|\nabla_\phi J(\phi)\|_2$。Fed 维护瞬时/短期与长期两个 EMA 统计量 $m_k^s$ 与 $m_k^l$（其中平滑系数 $\beta_s < \beta_l$），以其比值 $m_k^{s/l} = m_k^s / m_k^l$ 作为经济过热/衰退指示标：当 $m_k^{s/l} > 1$ 标识梯度急剧膨胀，反之则意味着学习疲软。控制器据此以 PD 规则实时调整目标通胀率： $$\rho_Y^{\text{new}} = \rho_Y^* - \lambda_1 (m_k^{s/l} - 1) - \lambda_2 (m_k^{s/l} - m_{k-1}^{s/l})$$ 并通过软更新 $\rho_Y = \tau_\rho \rho_Y^{\text{old}} + (1 - \tau_\rho) \rho_Y^{\text{new}}$ 进行滤波平滑。在 HalfCheetah 等早期收益极快的环境中，Fed 迅速主动下调通胀率甚至进行暂时性“通缩”以抑制定向暴冲；而在 Swimmer 等探索极度困难的稀疏奖励场景中，Fed 则大幅上调通胀率以刺激冷启动，展现出强大的自适应韧性。

损失函数 / 训练策略¶

在算法集成上，奖励通胀完全兼容现有主流 Model-free 架构。在离散动作任务（ALE Atari）中搭配标准 DQN 架构；在连续控制任务（MuJoCo）中搭配 Soft Actor-Critic (SAC) 架构。SAC 训练中价值网络以学习率 0.001 优化，策略网络以学习率 0.0003 优化，批量大小为 256。基准通胀周期固定为 $Y = 10^5$ 交互步，默认适度通胀率为 $\rho_Y = 2\%$。自适应控制器 Fed 的超参数设置为 $\beta_s = 0$（采用即时采样）、$\beta_l = 0.83$、更新频次 $K = 12$、基准目标通胀率 $\rho_Y^* = 0.02$、比例修正系数 $\lambda_1 = 0.2$、微分阻尼系数 $\lambda_2 = 0.2$ 以及平滑惯性系数 $\tau_\rho = 0.83$。

实验关键数据¶

主实验¶

评估在 Atari 2600（30 款游戏，DQN 算法，8 随机种子，10M 步）与 MuJoCo 连续控制（8 项任务，SAC 算法，10 随机种子，3M 步）上全面展开。下表展示了 MuJoCo 连续控制任务上不同通胀率、Fed 变体及主流对比基线的最终 300K 步平均情节回报及全任务归一化得分（Normalized Score, NS）。

方法 / 配置	HalfCheetah	Walker2d	Humanoid	Swimmer	Hopper	Ant	Pusher	Reacher	NS (平均)
基线 (0% 正常 RL)	15241±734	4399±527	5826±313	116±36	2869±299	4763±1642	-23.28±2.89	-3.41±0.23	81.9
通货紧缩 (-2%)	14020±1082	4342±461	5300±176	92±43	2421±460	3929±1090	-24.25±4.10	-3.46±0.23	61.7
适度通胀 (1%)	15707±715	5007±560	5859±363	121±25	2821±406	5245±1312	-22.71±2.87	-3.42±0.23	88.2
适度通胀 (2%)	15607±372	5102±520	5861±199	136±11	3040±499	4346±1267	-22.07±1.58	-3.42±0.24	91.3
过度通胀 (10%)	14186±1200	4167±650	5209±1241	129±19	3166±288	4248±1219	-24.60±1.47	-3.54±0.33	63.0
Fed (目标 2%)	15621±991	5395±452	6048±436	143±13	3105±293	5180±1352	-21.99±1.23	-3.43±0.24	95.4
学习率通胀 (2% lr)	14566±1006	4922±515	5417±298	77±41	2899±359	4458±1888	-23.95±2.88	-3.42±0.24	61.2
优先回放 (PER)	14734±1934	4797±592	4542±2290	57±23	2683±529	5762±979	-26.41±2.98	-3.43±0.24	86.7
奖励归一化 (RN)	15022±436	2272±1009	520±107	111±18	648±70	187±112	-26.49±5.52	-3.40±0.10	30.6
回报归一化 (RTN)	11877±369	4454±571	4451±633	87±21	2742±463	4046±1603	-23.41±2.05	-3.45±0.13	57.6
近因加权采样 (RWS)	15482±687	5000±546	5730±362	104±40	2923±469	5466±1318	-23.32±3.55	-3.43±0.20	83.1

消融实验与机制分析¶

下表归纳了 ALE-30 游戏宏观表现以及通胀率从通缩到过度通胀跨度下的休眠神经元抑制与核心性能对比。

实验配置 / 机制变体	ALE 优胜任务数 (共30款)	ALE 人类归一化得分 (HNS)	MuJoCo 休眠神经元比例 (HalfCheetah)	机制特性与消融说明
基线 (0% 正常 RL)	2	219.5	较高 (随训练衰减上升)	标准设定，梯度随网络拟合衰减，神经元活性下降
通缩设定 (-2% 至 -5%)	0	显著落后于基线	最高 (~35% 甚至更高)	逆向近因加权，梯度加速衰减，休眠神经元激增
适度通胀 (1% - 3%)	16	244.8 (+11.53%)	适度下降 (~15% - 20%)	兼顾网络利用率与特征稀疏性，性能达到顶峰
激进通胀 (10%)	-	-	最低 (<10%)	类似“恶性通胀”，过度刺激损害稀疏特征表征，性能暴跌
自适应动态调节 Fed (2%)	12 (综合均衡)	247.2 (+12.62%)	动态最优平衡	短期长远梯度动态调控，在 ALE 与 MuJoCo 上均获最高分

关键发现¶

菲利普斯曲线式的可塑性权衡：休眠神经元比例与通胀率呈现单调负相关关系（通胀越高休眠神经元越少），这非常类似于宏观经济学中通胀率与失业率之间的“菲利普斯曲线”。然而休眠神经元最少并不等于性能最佳：10% 恶性通胀下休眠神经元极少，但全任务得分跌破基线（NS 仅 63.0）。最佳效果出现在 2% 的温和通胀区间，在维持有效学习信号的同时保护了深度表征必要的稀疏性。
与相关技术路径的本质差异：学习率通胀（LR inflation）对所有样本更新步长一视同仁放大，反而导致 NS 暴跌至 61.2；奖励归一化（RN）与回报归一化（RTN）破坏了即时奖励原本的物理语义，导致复杂任务（如 Humanoid、Walker2d）发生灾难性崩塌；显式近因加权采样（RWS）仅微弱提升，而奖励通胀通过平滑放大梯度范数带来了更强的持续探索与适应优势。
环境鲁棒性：在人为注入观测噪声（0.01σ）、动作噪声（0.1σ）与极端奖励噪声（1.0σ）的恶劣 MuJoCo 环境中，2% 奖励通胀智能体的抗干扰表现与恢复速度依然全面优于标准未通胀基线。

亮点与洞察¶

将宏观经济学调控思想映射至深度 RL：将训练后期的网络饱和、梯度休克与休眠神经元涌现比作经济大萧条中的资源闲置与失业，创新性地提出通过指数奖励通胀作为温和刺激方案，并用模拟美联储泰勒规则的 Fed 动态稳定梯度波动，立意极具启发性与跨学科美感。
近因加权与可塑性维持的二象性：仅凭简单的写入时标量放大，同时在时间轴上实现了对近期新轨迹的“非均匀隐式加权”与对底层参数更新的“持续有效学习率激励”，零算法复杂度且无需维护复杂的树状优先级缓存。
极高的工程即插即用价值：无需重构神经网络架构，不引入额外的可学习参数或重置重初始化代码，对任何主流离线/异策略强化学习流水线仅需两行代码即可无缝接入。

局限与展望¶

超长训练周期的数值爆炸隐患：指数级放大的奖励值在极其漫长的超长训练周期（如数十亿步大模型强化学习或长程复杂控制）中，名义奖励与 Q 目标值可能会趋于浮点数上溢或触发数值溢出，未来需要研究软饱和上限或自适应重标定机制。
自适应控制器参数较为经验化：Fed 目前依赖于比例-微分（PD）控制器结构，并引入了 $\lambda_1, \lambda_2, \tau_\rho$ 等超参数，虽然消融实验证明其在 MuJoCo 上较为稳健，但对于更加多变复杂的大规模稀疏奖励环境，仍需推导具备坚实理论保证的自适应调节律。
探索机制的交互影响未被量化：当前实验主要基于传统 $\epsilon$-greedy 与 SAC 的最大熵探索，奖励通胀是否会对固有好奇心驱动（如 RND、ICM）等内在探索奖励带来非线性放大副作用，仍待进一步验证。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙跳脱出常规的静态奖励与显式采样框架，开创性地从时间演化维度引入奖励通胀机制。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖离散控制 ALE 与连续控制 MuJoCo，提供严谨的多随机种子统计检验、广泛的消融对比与休眠神经元深度微观分析。
写作质量: ⭐⭐⭐⭐⭐ 概念阐释深入浅出，理论推导严丝合缝，经济学隐喻生动自洽且数学形式干净规整。
价值: ⭐⭐⭐⭐⭐ 通用且零额外开销的即插即用技巧，对解决深度强化学习中的可塑性丧失与回放更新滞后具有重要实践价值。