Reward-Conditioned Reinforcement Learning¶

会议: NeurIPS 2026
arXiv: 2603.05066
OpenReview: https://openreview.net/forum?id=WpXOM0WTKa
领域: 强化学习
关键词: 强化学习, 奖励条件化, 离策略学习, 多目标强化学习, 策略调控

一句话总结¶

提出奖励条件化强化学习（RCRL），仅在单一标称奖励下与环境交互收集经验，利用经验回放池存储的奖励分量离策略重计算反事实奖励，并以参数化奖励为条件联合优化 Actor-Critic，在无额外交互开销下大幅提升标称任务样本效率、微调迁移能力与零样本部署调控自由度。

研究背景与动机¶

在现代强化学习的实际应用中，奖励函数的精确设计始终是制约策略落地的关键瓶颈。无论是机器人连续运动控制还是大语言模型对齐，期望的行为往往由多个相互竞争的物理项或偏好项复合而成（如速度跟踪、能耗惩罚、平稳性约束与姿态平衡）。传统单任务强化学习通常预先固定一组人为调节的权重标量，将复杂的向量化需求压缩为单一标量奖励进行端到端优化。然而，这种硬编码范式对奖励形式的微小设定误差极其敏感：微调权重极易引发截然不同的非预期次优行为，且训练出的策略被刚性绑定在特定偏好上，一旦部署场景发生偏好变动或任务迁移，智能体完全丧失动态自适应能力，必须推翻既有模型从头采样重训。

多任务强化学习与多目标强化学习试图缓解该问题，但传统框架通常依赖昂贵得多且高度复杂的交互协议。多任务方法需要针对每个目标独立运行探索策略收集轨迹，不仅交互预算随任务数量线性剧增，且面临跨任务动作分布冲突与梯度干扰；多目标方法（如后继特征 SF 或 Pareto 前沿逼近）则受限于线性加和假设或复杂的专用算子，难以直接嵌入主流高吞吐的无模型离线/离策略 Actor-Critic 算法管线中。强化学习领域长期存在一个核心断层：单任务系统拥有最纯粹高效的数据采集循环，却浪费了交互数据在多维目标下的潜在监督价值；多任务系统具有泛化表征，却付出了成倍的环境交互与探索开销。

本文的切入视角是：复合奖励并非黑盒不可见，环境单步转换原生暴露了底层的结构化奖励分量；只要将这些基础分量存入回放池，同一批状态转移便可在任意反事实权重下瞬时重估。核心 idea：保持单任务强化学习的极简数据采集协议不变（仅沿标称任务探索），在经验回放更新时对各转移样本独立注入反事实奖励重标记，并将奖励参数化向量作为条件输入联合训练 Actor 与 Critic，使单一智能体在零额外环境交互下同时捕获多目标动态并反哺标称任务表征。

方法详解¶

整体框架¶

RCRL 的设计理念是将单任务数据收集的高效性与多目标离策略学习的监督丰富度深度缝合。整个算法分为在线数据采集、离策略反事实奖励重计算与条件化策略更新三大阶段。

在环境交互阶段，智能体严格固定以标称奖励参数化向量 $\psi^\star$ 为条件，由行为策略 $a \sim \pi(a|s, \psi^\star)$ 与环境交互。环境在每一步不仅返回下一状态 $s'$，还显式解耦并返回 $k$ 个基础奖励分量 $(c_1(s,a), \dots, c_k(s,a))$。经验回放池 $\mathcal{D}$ 将元组 $(s, a, c_1, \dots, c_k, s')$ 统一归档。在网络更新阶段，算法从回放池抽取批次数据，并通过混合分布 $\mathcal{P}_\Psi$ 为每个样本独立采样一个目标参数化向量 $\psi$；随后代入标量化合成函数 $r_\psi = f(\psi, c_1, \dots, c_k)$ 计算反事实即时奖励。最后，将 $\psi$ 的特征表示（或可学习嵌入）与状态 $s$ 拼接送入条件化 Critic $Q(s, a, \psi)$ 与 Actor $\pi(a|s, \psi)$，沿用骨干算法的离策略更新准则进行端到端优化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["环境交互与经验收集<br/>标称策略 π(a|s, ψ*) 驱动"] --> B["经验回放池 𝒟<br/>存储状态转移与基底奖励分量 c1..ck"]
    B --> C["参数化混合采样 𝒫_Ψ<br/>比例 α 抽取标称与反事实奖励目标"]
    C --> D["扰动奖励条件化 (PRC)<br/>连续系数对数均匀扰动 ψ=ψ*⊙Δ"]
    C --> E["辅助奖励条件化 (ARC)<br/>共享具身异构任务反事实重计算"]
    D --> F["条件网络与独立运行归一化<br/>Actor-Critic 条件化更新与分量尺度稳定"]
    E --> F
    F --> G["多功能部署策略<br/>标称高效收敛 / 零样本行为调控 / 快速微调"]

关键设计¶

1. 扰动奖励条件化（PRC）：在单一任务中生成连续反事实奖励谱系

PRC 针对单任务内部各奖励分量相对重要性敏感、容易超参过拟合的痛点，通过对标称参数化向量 $\psi^\star$ 施加连续乘性扰动构建稠密奖励空间。针对线性奖励 $r_\psi(s,a) = \sum_{i=1}^k \psi_i c_i(s,a)$，扰动作用于线性加权系数；针对乘性连续控制奖励 $r_\psi(s,a) = \prod_{i=1}^k c_i(s,a)^{\psi_i}$，扰动则作用于各分量的幂指数。具体扰动机制定义为： $$ \psi = \psi^\star \odot \Delta, \quad \Delta_i \sim p_\Psi(\Delta) $$ 其中扰动向量 $\Delta \in \mathbb{R}^k$ 的每个维度从支撑集位于正实数区间的对数均匀分布（Log-Uniform Distribution）$\log \Delta_i \sim U(\log 0.25, \log 4.0)$ 中独立分层采样。保持正向扰动能够严格保留各物理分量的正负符号语义（如奖励前进、惩罚控制力），而跨越 16 倍动态范围的连续扰动迫使 Critic 网络必须建立对状态与奖励权重的联合流形建模。这不仅赋予了策略在推理时按需调节行为激进度（如改变奔跑速度或动作惩罚）的能力，更在反向传播时充当了强效的隐式正则化器，显著平滑了单任务下价值过估计与窄数据分布拟合的病态梯度。

2. 辅助奖励条件化（ARC）：跨任务复用轨迹实现无额外交互的多目标监督

ARC 针对具有相同机器人具身与观测-动作空间的多任务场景，通过在现有轨迹上并行评估其他具身任务的奖励函数，将单流数据转化为多任务监督信号。对于共享同一动力学环境的 $N$ 个任务（例如机器狗的站立、行走、快跑或人形机器人的平地漫游与障碍跨越），任意单任务采集的一条轨迹都可以作为其他 $N-1$ 个任务的离策略经验。在采样批次中，ARC 动态指定一个辅助任务标识 $\psi \in \{1, \dots, N\}$，并调用对应任务的奖励公式直接计算标量标签。针对部分任务环境布局不同但本体状态相同的场景（例如楼梯与滑梯在纯本体感知下具有相同奖励定义），ARC 自动去重合并功能等价的奖励函数以剔除冗余。该机制在不消耗任何额外仿真交互步数的前提下，在理论上将有效监督信号规模放大了 $N \times (N-1)$ 倍，使探索相对平缓的基础任务能够无缝吸收复杂任务的高动态转移，而高难度任务亦能从低难度任务中获得类似于课程学习（Curriculum）的引导信号。

3. 条件网络与独立运行归一化：兼顾高维容量与尺度稳定性

将多奖励目标同时注入同一价值网络极易引发数值尺度冲突与梯度失衡：若某一扰动权重或辅助任务的绝对数值远超标称任务，其 TD 误差将在 MSE 目标下产生主导梯度，导致其他目标的表征瓦解。RCRL 针对该稳定性挑战采用了双重软硬件解耦机制。在网络输入侧，当 $\Psi$ 为有限离散集合（如 ARC 或预先固定采样的 1024 组 PRC 向量）时，每个参数化标识绑定一个低维可学习嵌入向量（Embedding Size 为 32），并由 Critic 损失端到端回传更新；对于连续空间，则直接将扰动向量 $\Delta$ 与状态向量拼接。在数值归一化侧，RCRL 结合现代分布式强化学习（如 SimbaV2 与 BRC 的 Categorical Critic 离散支承分布 $[V_{\min}, V_{\max}]$），为参与训练的每一个参数化配置独立维护动态的均值与方差统计量（Running Normalization Statistics）。通过对反事实奖励进行逐参数化归一化，彻底抹平了不同奖励函数的量纲鸿沟，使大容量深层网络（如 512 宽度的 SimbaV2 或 4096 宽度的 BroNet）能够专注提取跨目标的共享表征，而无需修改底层优化器参数。

损失函数 / 训练策略¶

在训练循环中，RCRL 采用统一的混合分布采样策略。对于每个批次内的转移样本，其奖励参数化条件 $\psi$ 独立采样自： $$ \mathcal{P}\Psi = \alpha \, \delta + (1 - \alpha) \, p_\Psi $$ 其中 $\delta_{\psi^\star}$ 为标称参数的狄拉克分布，$p_\Psi$ 为替代参数化分布（PRC 的对数均匀分布或 ARC 的离散任务集合），标称权重默认严格设定为 $\alpha = 0.5$（即一半样本保留标称目标，一半注入反事实目标）。

对于 Categorical Critic 架构，价值网络输出支撑集上的对数概率分布 $P(s, a, \psi)$。目标分布通过分布 Bellman 算子投影生成： $$ \mathcal{T} Z(s, a, \psi) = r_\psi(s,a) + \gamma Z(s', a', \psi), \quad a' \sim \pi(a'|s', \psi) $$ Critic 损失为投影目标与当前分布之间的交叉熵损失，Actor 损失则最大化以 $\psi$ 为条件的动作价值预期： $$ \mathcal{L}{\text{actor}}(\theta) = - \mathbb{E}}, \, \psi \sim \mathcal{P\Psi, \, a \sim \pi\theta(\cdot|s, \psi)} \left[ Q_\phi(s, a, \psi) \right] $$ 整个更新过程保持完全离策略，每步环境交互对应 2 次网络更新（UTD = 2），且仅引入约 10% 的 GPU 额外计算时延与每转移 $O(k)$ 维浮点数的极轻量显存开销。

实验关键数据¶

主实验¶

实验全面评估了 RCRL 在单任务基准（SimbaV2 + PRC）、多任务基准（BRC + ARC）以及视觉连续控制（DrQV2 + PRC）上的表现，涵盖 DM Control Suite、OpenAI Gym、HumanoidBench（包含 14 项单任务与 20 项困难多任务）共计数十个任务，所有曲线均基于 5–10 个独立随机种子与 95% 置信区间评估。

基准 / 评估设定	评估指标	本文 (RCRL)	基线方法	性能增益 / 特性对比
DMC Dogs 多任务 (4 tasks)	150k步归一化分数	~75%	~40% (BRC)	达到相同性能提速超 2.5×，样本效率飞跃
HumanoidBench MT (9 tasks)	500k步归一化分数	~80%	~55% (BRC)	收敛速度与最终渐近性能显著占优
HumanoidBench 迁移微调 (56对)	250k微调归一化得分	~90%	~60% (Scratch) / ~70% (SimbaV2-FT)	源-目标任务迁移效率大幅领先从头训练
HumanoidBench 零样本迁移 (56对)	0步直接评估得分	最高达 40%	0% (标准单任务策略)	无需任何目标域环境交互即具基础解题能力
DMC Cheetah / Hopper / Humanoid	零样本行为调控度	连续可调	完全不可调 (单任务基线)	速度、跳高与动作惩罚调控逼近全交互多任务 MTRL
DMC 视觉控制 (9 tasks Medium)	500k步平均回报	领先基线	原始 DrQV2 (MSE Loss)	证实无需类别分布与归一化仍具泛化提升

消融实验¶

消融实验在 HumanoidBench 14 项单任务与 Gym/DMC 复合任务上执行，系统验证了奖励条件化机制、参数化构造策略、混合比率 $\alpha$ 以及模型容量的边际贡献。

消融配置	关键指标 (归一化性能)	说明与核心结论
完整模型 (SimbaV2 + RCRL)	1.00 (基准 100%)	默认 $\alpha=0.5$、512 隐层宽度、Embedding 条件化
移除参数化条件输入 ($s$ 代替 $[s, \psi]$)	0.60 ~ 0.75	性能急剧暴跌 25%~40%；无法区分多目标导致策略严重次优
扰动采样策略 PRC vs 辅助任务 ARC	单任务 PRC 微优 / 多任务 ARC 微优	两类生成策略均带来稳健增益，ARC 因奖励方差大更依赖条件化
标称比例 $\alpha = 0.1$	0.91	替代任务占比过高略微稀释标称目标聚焦度
标称比例 $\alpha = 0.5$ (默认)	1.00	标称与反事实梯度达到最佳帕累托平衡点
标称比例 $\alpha = 0.9$	0.88	反事实样本过少导致多目标正则化收益减弱
探索策略注入扰动条件 (Exploratory RCRL)	0.82 (标称) / 强泛化	虽略逊于纯标称探索，但仍显著优于单任务原始基线
Critic 宽度缩减为 128 (0.3M 参数)	0.68 (无增益)	模型容量瓶颈；浅层网络无法容纳多奖励流形映射
Critic 宽度放大为 512 (2.5M 参数)	1.00 (+47% vs Baseline)	证实反事实多目标监督与模型规模存在强正向缩放效应

关键发现¶

显式条件化的不可替代性：若仅在重标记时使用多样化奖励计算损失，却不向 Actor-Critic 显式输入 $\psi$（即试图用单一固定策略拟合多奖励均值），性能会出现高达 40% 的灾难性下跌。这表明多目标经验的重用必须伴随策略输出空间的条件解耦，否则多目标梯度将沦为高方差破坏性噪声。
反事实监督与网络容量的正向缩放（Scaling Law）：当 Critic 宽度仅为 128 时，RCRL 与标准单任务基线性能持平；而当宽度扩展至 512 时，RCRL 相比基线的相对优势急剧放大。这证明多重反事实监督提供了远超单任务常数标量的密集梯度信息，唯有足够容量的网络才能充分消化并将其转化为鲁棒特征。
纯离策略下的行为可操控性（Policy Steerability）：在 DMC 猎豹跑步速度与双足机器人动作惩罚实验中，RCRL 仅在单一恒定奖励下收集轨迹，却在测试期仅凭切换输入的 $\psi$ 便实现了平滑、线性的速度与步态刚度渐进调控，其调控响应精度几乎完全重合于代价高昂的全任务交互式 MTRL 算法。

亮点与洞察¶

将单任务数据采集与多目标知识蒸馏解耦：RL 算法长期饱受探索低效之苦，RCRL 巧妙指出单任务的探索瓶颈并不阻碍状态转移在多重语义下的“免费复用”。在单数据流中执行反事实重打分，以极简形式同时斩获了单任务的探索专注度与多任务的表征通用性。
即插即用的轻量算法架构：RCRL 既不需要构建基于隐式尺度的复杂世界模型，也无需维护昂贵的策略池（Policy Pool）或执行 Pareto 边界网格搜索，仅通过修改批次采样字典与增加一层拼接/嵌入即可无缝赋能主流连续控制算法，工程开销极低。
可复用的奖励数据增强哲学：传统视觉 RL 依赖观测图像的空间仿射变换做不变性数据增强，而 RCRL 开创性地将“数据增强”推向了目标奖励空间——通过对奖励权重施加可控扰动，促使价值网络在非不变性的条件流形上学习因果映射，为通用物理策略提供了高度可移植的设计范式。

局限与展望¶

依赖预定义或可计算的奖励分量结构：RCRL 的核心前提是回放池能够提取出明确的基底状态-动作反馈分量 $(c_1, \dots, c_k)$。在真实物理机器人或端到端无结构像素奖励场景中，直接重构任意反事实标量可能需要依赖训练好的辅助判别器或偏好模型。
离策略分布偏移的覆盖度上限：所有反事实学习均锚定在标称策略 $\pi(a|s, \psi^\star)$ 所诱导的状态-动作边缘分布 $\rho_{\pi_{\psi^\star}}$ 之上。若某些辅助目标所要求的关键行为与标称行为完全正交（如标称任务在地上爬行，而辅助目标要求跳高），回放池将缺乏必要的支撑集，导致零样本外推失效。
未来改进方向：可进一步探索自适应反事实采样分布，依据当前 Critic 的不确定性主动选择最能促进标称表征的对抗性或正交性奖励扰动，亦或将该机制拓展至 LLM 多偏好对齐（RLHF）中，在单条拒绝采样轨迹上反事实评估多样化系统提示词。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙破除单任务与多目标学习的对立，以极简离策略重打分实现多重收益。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 30+ 任务、多算法骨干、零样本微调双验证及详尽细致的消融曲线。
写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密严谨，动机阐述通透自然，数学公式与算法伪代码规范自洽。
价值: ⭐⭐⭐⭐⭐ 对机器人控制策略调优、奖励鲁棒性提升及后训练部署调控具有极高的实用指导价值。

消融配置	关键指标 (归一化性能)	说明与核心结论
完整模型 (SimbaV2 + RCRL)	1.00 (基准 100%)	默认 \(\alpha=0.5\)、512 隐层宽度、Embedding 条件化
移除参数化条件输入 (\(s\) 代替 \([s, \psi]\))	0.60 ~ 0.75	性能急剧暴跌 25%~40%；无法区分多目标导致策略严重次优
扰动采样策略 PRC vs 辅助任务 ARC	单任务 PRC 微优 / 多任务 ARC 微优	两类生成策略均带来稳健增益，ARC 因奖励方差大更依赖条件化
标称比例 \(\alpha = 0.1\)	0.91	替代任务占比过高略微稀释标称目标聚焦度
标称比例 \(\alpha = 0.5\) (默认)	1.00	标称与反事实梯度达到最佳帕累托平衡点
标称比例 \(\alpha = 0.9\)	0.88	反事实样本过少导致多目标正则化收益减弱
探索策略注入扰动条件 (Exploratory RCRL)	0.82 (标称) / 强泛化	虽略逊于纯标称探索，但仍显著优于单任务原始基线
Critic 宽度缩减为 128 (0.3M 参数)	0.68 (无增益)	模型容量瓶颈；浅层网络无法容纳多奖励流形映射
Critic 宽度放大为 512 (2.5M 参数)	1.00 (+47% vs Baseline)	证实反事实多目标监督与模型规模存在强正向缩放效应