Representation Learning Enables Scalable Multitask Deep Reinforcement Learning¶

会议: NeurIPS 2026
arXiv: 2606.05555
OpenReview: https://openreview.net/forum?id=WzURRKJgUx
代码: https://github.com/ScaleMRL
领域: 强化学习
关键词: 多任务强化学习, 表示学习, 辅助预测目标, 无模型强化学习, 样本效率

一句话总结¶

本文通过在大规模多任务连续控制基准（MMBench 200任务）上系统评估，证明无需显式世界模型规划或潜在轨迹展开，仅凭纯无模型强化学习（MR.Q）结合辅助前向动态与奖励预测目标，即可全面超越基于世界模型的 SOTA 方法（Newt），并实现显著更优的挂钟时间效率与少样本迁移能力。

研究背景与动机¶

深度强化学习在游戏、机器人及控制等单任务领域取得了瞩目成就，但通常依赖窄域交互并耗费数以亿计的环境步数方能收敛。相比之下，自然语言与计算机视觉领域的突破表明，在大规模多样化数据分布上扩展模型能够通过共享表示实现卓越的泛化、迁移与鲁棒性。将这一范式推广到在线深度强化学习面临根本挑战：强化学习天然存在非平稳数据分布、自举目标（bootstrapped targets）以及长程信用分配问题，在多任务环境下会引发严重的表示崩溃、神经元塑性丧失（loss of plasticity）以及价值估计发散，导致多任务相互干扰与模型容量严重欠利用。

为了克服多任务联合优化的瓶颈，近期研究主要依赖基于世界模型的强化学习（如 DreamerV3、TD-MPC2、Newt）。这类方法通过在大规模共享网络中联合学习潜在动态模型与轨迹规划（MPC），取得了强大的多任务控制性能。然而，世界模型方法将表征学习、前向模拟与显式规划紧密绑定，不仅带来了极高的显存占用与挂钟时间开销，更因潜在展开中的复合模型误差引发了严重超参数敏感性与优化不稳定性。更关键的是，领域内始终存在一个核心未解之谜：世界模型多任务扩展的真正增益，究竟来自于测试期的显式规划，还是来自于辅助预测目标赋予潜在空间的几何结构与归纳偏置？

本文针对这一根本矛盾展开深入剖析。我们在受控的单任务与大规模多任务基准上发现，模型容量扩展若仅依赖稀疏/纯时序差分（TD）奖励监督，网络往往陷入严重休眠状态甚至退化；而只要为潜在空间注入动态与奖励预测监督，就能有效激活网络容量并抑制表示退化。核心 idea：多任务强化学习可扩展性的主要驱动力在于表示学习而非模型规划，通过在纯无模型 Actor-Critic 架构（MR.Q）中引入预测性辅助目标塑造潜在表征，在无需任何潜在展开与轨迹优化的前提下即可全面匹敌乃至超越复杂的世界模型系统。

方法详解¶

整体框架¶

本文针对多任务强化学习设定：智能体面对多任务分布 $\tau \sim p(\tau)$，各任务共享动作空间 $\mathcal{A}$ 与状态空间 $\mathcal{S}$，但转移转移概率 $\mathcal{T}_\tau$ 与奖励函数 $\mathcal{R}_\tau$ 各异。当提供任务标识（或语言指令）时，系统利用冻结或预训练的语言模型抽取任务嵌入 $e(\tau)$ 进行任务条件化输入。

整体系统采用端到端的无模型 Off-Policy Actor-Critic 架构，核心骨架由四部分构成：潜在编码器（Latent State Encoder）、策略网络（Actor）、双 Critic 网络（Twin Critics）以及辅助预测模型（Auxiliary Predictive World Model）。输入状态与任务向量首先由编码器映射到紧凑的 512 维潜在空间 $z_t$；Actor 与双 Critic 完全在潜在空间内评估与更新；同时，辅助预测模型接收 $(z_t, a_t)$ 预测下一时刻潜在表征 $\hat{z}_{t+1}$、瞬时奖励 $\hat{r}_t$ 与终止信号 $\hat{d}_t$。所有预测损失直接反向传播更新共享编码器以塑造高质量表征。整个推理与决策流程保持完全的无模型属性，不执行任何蒙特卡洛树搜索（MCTS）或模型预测控制（MPC）前向展开。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: 状态 s_t + 任务指令嵌入 e(τ)"] --> B["潜在状态编码器<br/>z_t = ϕ(s_t, e(τ))"]
    B --> C["双Q值评估与策略改进<br/>Actor π(a|z_t) + Twin Critic Q(z_t, a)"]
    B --> D["辅助自监督预测目标<br/>动态预测 z_t+1 + 奖励 r_t + 终止 d_t"]
    D -->|梯度反传只塑形表征| B
    C -->|纯无模型时序差分更新| E["环境动作交互<br/>执行 a_t，完全无显式规划"]

关键设计¶

1. 潜在状态编码器：解耦控制与表征塑形的统一潜空间 在多任务交互中，原始状态维度各异且任务指令分布宽泛，直接拼接输入会导致时序差分梯度相互干扰。系统设计了非线性编码器 $\phi_\xi(s_t, \tau)$，将多任务观测投射至共享的 512 维隐空间 $z_t$。该隐空间作为信息枢纽，向上支撑 Actor-Critic 策略学习，向下承载环境动态预测。更重要的是，编码器接收来自无模型 TD 误差与预测模型的双向梯度，既保证了价值估计的相关性，又避免了单一奖励信号导致的隐表征秩坍缩（Rank Collapse）。

2. 辅助自监督预测目标：以纯辅助监督替代显式轨迹规划 与传统世界模型（如 Newt、TD-MPC2）将模型用于生成虚拟 Rollout 或 MPC 轨迹打分不同，本文将潜在转移模型严格限制为辅助自监督任务。给定当前隐变量与动作对 $(z_t, a_t)$，辅助网络分别对转移、奖励与终止信号进行一步前向拟合： $$ \hat{z}{t+1} = f\theta(z_t, a_t), \quad \hat{r}t = r\theta(z_t, a_t), \quad \hat{d}t = d\theta(z_t, a_t) $$ 通过在隐空间强制预测下一状态 $\hat{z}_{t+1}$ 并最小化与目标编码 $z_{t+1}$ 的预测误差，使表征能够刻画环境底层的真实物理转移流形。这一机制使智能体无需承担复合模型误差与昂贵的在线规划计算，以纯无模型架构获取世界模型的丰沛梯度流。

3. 双Q值评估与策略改进：高塑性、抗休眠的多任务价值学习 策略评估与提升模块基于双 Critic 框架 $Q_{\theta_1}, Q_{\theta_2}$ 和延迟更新的确定性/高斯策略 $\pi_\psi$。多任务环境下各任务梯度冲突极易引发神经元休眠（dormant neurons）与参数塑性丧失。MR.Q 结合结构化潜空间输入与双 Critic 目标裁剪，显著降低了多任务 TD 目标方差，保证了高容量价值函数在 200 个异构任务并行学习时的持续活跃度与梯度流动。

损失函数 / 训练策略¶

MR.Q 采用统一的多任务 Off-Policy 经验回放池 $\mathcal{D}$，存储各任务的转移元组 $(s_t, a_t, r_t, d_t, s_{t+1}, \tau)$。训练总目标由无模型时序差分损失与辅助预测损失线性加权组合而成： $$ \mathcal{L}{\text{MR.Q}} = \mathcal{L}}} + \lambda \mathcal{L{\text{predictive}} $$ 其中无模型 TD 损失为双 Critic 的均方误差： $$ \mathcal{L}}} = \mathbb{E}\left[ \left(Q_{\theta_i}(z_t, a_t) - y_t\right)^2 \right], \quad y_t = r_t + \gamma (1 - d_t) \min_{i=1,2} Q_{\bar{\thetai}(z}, \tilde{a{t+1}) $$ 辅助预测损失涵盖潜在动态预测、奖励均方误差以及终止分类交叉熵： $$ \mathcal{L}_t) \right] $$ 在策略优化阶段，Actor 采用确定性策略梯度最大化 Critic 评分 }} = \mathbb{E}\left[ |z_{t+1} - \hat{z}_{t+1}|_2^2 + (r_t - \hat{r}_t)^2 + \text{BCE}(d_t, \hat{d$\mathbb{E}[Q_{\theta_1}(z_t, \pi_\psi(z_t))]$。主评测均在严苛的 10M 交互步数低数据预算下开展，充分凸显早期样本效率；此外在扩展实验中支持高达 50M 步训练及 1 到 8 的数据更新重用比（UTD）。对于高维视觉任务，直接接入冻结的预训练 DINOv2 提取视觉特征，随后仅微调轻量适配层与预测头。

实验关键数据¶

主实验¶

在涵盖连续控制、四足移动、机械臂操作与桌面游戏的 10 个 MMBench 领域及包含 200 个异构任务的统一综合基准上，对比先进世界模型 Newt 及无编码器基线 TD3（统一在 10M 环境交互步数低数据预算下，5 随机种子平均归一化得分）：

评估基准 / 领域	评测指标	本文 (MR.Q)	之前SOTA (Newt)	相对增益 / 优势
MMBench 综合 (200任务 @2M步)	归一化平均得分	0.11	0.08	+37.5% (早期效率跃升)
MMBench 综合 (200任务 @10M步)	归一化平均得分	0.42	0.41	持平并微幅领先 (+2.4%)
DMControl 扩展域 (DMControl-Ext)	归一化平均得分	0.72	0.58	+24.1%
MuJoCo 连续控制域	归一化平均得分	0.81	0.69	+17.4%
MetaWorld 机械臂多任务	归一化平均得分	0.49	0.43	+14.0%
视觉输入多任务 (DINOv2 特征)	5 领域平均归一化得分	0.51	0.42	+21.4%
训练挂钟耗时 (Wall-clock Time)	达到基线峰值用时 (h)	16.5 h	42.8 h	提速 ~2.6× (算力开销大幅骤降)

消融实验¶

在表征几何特性、优化动态及核心组件消融上的定量分析（以 DMControl-Ext 与 MuJoCo 为代表）：

配置 / 变体	95% 方差有效维度 (95%-d)	状态表征 Stable Rank (SRank)	Critic 休眠神经元比例 (%)	价值函数 TD 损失	最终归一化回报	说明
MR.Q 完整模型 (Full)	89 (DMC) / 66 (MuJoCo)	48.2	12.4%	0.045	0.76	完整模型：高秩几何与高神经元活性
无编码器/预测目标 (纯 TD3)	21 (DMC) / 15 (MuJoCo)	16.5	43.8%	0.182	0.59	剔除预测目标后严重表征坍缩与失活
移除辅助动态预测 $\hat{z}_{t+1}$	34 (DMC) / 26 (MuJoCo)	24.1	31.6%	0.114	0.64	隐表征丧失时序物理结构约束
移除奖励/终止预测	72 (DMC) / 54 (MuJoCo)	41.0	18.9%	0.071	0.70	任务相关价值对齐信号削弱

关键发现¶

预测性表征是避免表征坍缩的关键抓手：移除辅助预测模型直接导致潜在特征的 95% 方差有效维度从 89 骤降至 21，SRank 出现严重萎缩，证明纯 TD 信号在多任务异构流形中无法自发维持高维空间张力。
缓解神经元休眠与塑性耗散：在 Critic 网络中，MR.Q 的休眠神经元比例稳定保持在 12% 左右，而无编码器基线（TD3）的休眠神经元比例超过 43%，且伴随剧烈的价值拟合方差，证明自监督预测目标保护了深层网络的持续学习塑性。
少样本迁移（Few-Shot Finetuning）优势显著：在 28 个未见任务的零样本迁移与微调中，MR.Q 初始 Zero-Shot 得分达到 0.13（Newt 仅 0.09，相对领先 +50%）；在 200k 微调步数后仍以 0.62 比 0.55 领先，并在 61% 的未见任务上优于 Newt。

亮点与洞察¶

对世界模型规划必要性的颠覆性审视：长期以来，学术界普遍认为大规模多任务控制必须仰赖基于世界模型的显式前向搜索；本文有力证明，世界模型的核心红利绝大多数来源于预测目标带来的表征质量，规划本身在很大程度上甚至沦为计算累赘。
挂钟效率与工程轻量化兼备：由于完全规避了显式潜在轨迹展开与在线 MPC 迭代，MR.Q 在相同硬件与交互步数下获得了 2.5 倍以上的挂钟时间加速，大幅降低了大规模强化学习研究的算力门槛。
对数据重用比（UTD）的超强容忍度：得益于结构化潜空间的正则化效应，MR.Q 随着更新重用比提升表现出单调正向扩展，而世界模型方法则因复合误差累积过早陷入收益递减。

局限与展望¶

基准环境的视界范围局限：实验评测主要集中于 MMBench 的连续控制、移动与操纵任务，尚未在极度稀疏奖励、超长视界（long-horizon hierarchy）或需要复杂因果推理的环境中展开充分压力测试。
理论机理有待深化：尽管实验从有效秩、休眠神经元及损失方差给出了系统经验验证，但预测目标如何从数学上量化抑制多任务梯度正交冲突的机制仍有待严谨理论建模。
混合控制的融合空间：未来可探索轻量无模型表征学习与选择性关键步长想象规划（Selective Imagination）相结合的混合架构，在维持高吞吐的同时兼顾极端局面的推演能力。

评分¶

新颖性: ⭐⭐⭐⭐☆ 重新审视了世界模型与无模型 RL 的性能边界，有力论证了多任务可扩展性的本质是表征学习而非规划。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 MMBench 10 大域 200 个任务、长达 50M 扩展步数、视觉 DINOv2 验证、表征几何（PCA/SRank）与休眠神经元全维度消融。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻，实验对比扎实，逻辑论证层层递进且洞见发人深省。
价值: ⭐⭐⭐⭐⭐ 为大规模多任务强化学习确立了兼具高样本效率与极高计算效率的轻量化研究范式。