Position: Lifetime Tuning is Incompatible with Continual Reinforcement Learning

---

会议: ICML 2025
arXiv: 2404.02113
代码: 无
领域: 强化学习
关键词: continual RL, hyperparameter tuning, lifetime tuning, evaluation methodology, loss of plasticity

一句话总结

这篇 position paper 指出持续强化学习研究中的关键方法论缺陷——lifetime tuning（在整个生命周期上调参）会掩盖算法的真实持续学习能力，并提出 k%-percent tuning 作为更合理的评估替代方案。

---

研究背景与动机

领域现状：持续强化学习（Continual RL）致力于构建能够永不间断学习的智能体——在非平稳环境中持续适应。近年来涌现了一批旨在改进基础 RL 算法持续学习能力的方法，主要分为三类：重置类（周期性重置网络参数）如 Nikishin et al. (2022)、正则化类（参数接近初始化）如 Kumar et al. (2024)、以及归一化类（层归一化维持可塑性）如 Lyle et al. (2023)。

现有痛点：持续 RL 研究遵循一个固定模板——（1）引入非平稳的持续学习基准，（2）展示现有算法在新基准上失败，（3）提出新的缓解算法并证明有效。但这个看似合理的流程隐含着严重的方法论缺陷：所有算法（包括基准算法和新方法）的超参数都是在智能体的整个生命周期上调优的。这意味着研究者通过反复测试实际上"偷看"了测试集。

核心矛盾：Lifetime tuning 与持续学习的根本定义相矛盾。持续 RL 的核心假设是智能体不知道部署会持续多久，需要能够应对未知长度的生命周期。但 lifetime tuning 允许研究者针对特定生命周期长度（如 200M 帧）精心优化超参数（如 epsilon 衰减调度、缓冲区大小），使算法表现最优——但如果实际部署更长或更短，性能就会退化。更糟糕的是，在非平稳环境中，反复运行实验实际上向研究者泄露了隐藏动态的信息，使基准不再具有真正的部分可观测性。

本文目标（1）论证并实证 lifetime tuning 为何对持续 RL 研究有害；（2）展示 lifetime tuning 如何掩盖持续学习算法的真实优势；（3）提出更合理的评估方法论。

切入角度：从"不要偷看测试集"这一机器学习最基本的原则出发，类比监督学习中的训练/测试划分，指出持续 RL 的 lifetime tuning 本质上就是在测试集上过拟合。

核心 idea：限制超参数调优只能使用生命周期前 k% 的交互数据，从而迫使算法具备真正的持续学习能力而非针对特定生命周期长度的过拟合能力。

方法详解

整体框架

论文的核心论点通过一系列层层递进的实验展开。首先在 Non-stationary Catch 环境上用 DQN 演示 lifetime tuning 的问题：（1）DQN 在非平稳环境下用默认超参数确实失败；（2）W0-DQN（权重正则化）在 lifetime tuning 下看起来有效；（3）但如果也对 DQN 做 lifetime tuning，DQN 同样有效——lifetime tuning 使得所有算法看起来都一样好；（4）关键实验：保持之前找到的最优超参数不变，将实验时长延长 20 倍——DQN 性能崩溃而 W0-DQN 保持稳定，证明后者确实有更好的持续学习能力，只是被 lifetime tuning 掩盖了。

关键设计

1. k%-percent Tuning 评估方法:

   • 功能：约束超参数搜索只能使用生命周期前 k% 的交互数据
   • 核心思路：如果智能体将运行 \(n\) 步，则只允许在前 \(j = \lfloor kn \rfloor\) 步上搜索超参数（通过网格搜索或贝叶斯优化）。选出最佳超参数后，以该配置在完整 \(n\) 步上部署运行多次以获得性能报告。典型设置 \(k\) 为 1%、5%、10%
   • 设计动机：这模拟了真实世界部署场景——你只有有限的前期试运行数据来调参，之后必须固定超参数长期运行。k 值越小，对算法自适应能力的要求越高，更符合"永不间断学习"的理念

2. Lifetime Tuning 的两大陷阱论证:

   • 功能：系统展示 lifetime tuning 对研究结论的误导
   • 核心思路：陷阱一——如果不对基准算法同等地调参，会错误地认为基准算法不适合持续学习（实际上只是超参数不匹配新环境）。陷阱二——如果对所有算法都做 lifetime tuning，会发现所有算法表现相近，无法识别出真正有优势的持续学习算法。这两个陷阱使得近年来持续 RL 研究"进展混乱"（mixed progress）
   • 设计动机：解释了为什么持续 RL 领域发表了大量论文但整体进展有限——评估方法论本身就有系统性偏差

3. 多环境多算法验证:

   • 功能：在多种设置下验证 k% tuning 的有效性
   • 核心思路：测试 DQN（离散动作）和 SAC（连续动作）在多个持续/非平稳环境上的表现，包括 Non-stationary Mountain Car、Continuing Mountain Car、Non-stationary CartPole、Non-stationary Acrobot 以及修改版 Catch。对比 lifetime tuning 和不同 k 值的 k%-percent tuning 下的性能差异，同时测试多种缓解策略（W0-正则化、层归一化、周期性重置）
   • 设计动机：需要排除结论仅适用于特定环境或算法的可能性

评估指标考量

论文还讨论了在 k% 调参阶段用什么指标选择超参数的问题。考虑了三种指标：（1）调参阶段总回报，（2）调参阶段最后 10% 的平均回报，（3）调参阶段平均 TD 误差。发现没有单一指标在所有环境-算法组合上都最优，指标选择本身也应被视为超参数。

实验关键数据

Lifetime Tuning vs k%-percent Tuning (DQN)

环境	Lifetime tuning 总回报	k=5% tuning 总回报	k=1% tuning 总回报
NS Mountain Car	最高 (≈最优)	~90% of lifetime	~70% of lifetime
NS CartPole	最高 (≈最优)	~85% of lifetime	~60% of lifetime
Continuing MC	最高 (≈最优)	~80% of lifetime	~55% of lifetime

具体数值因环境而异，但趋势一致：k 值越小性能越低，但更能反映真实持续学习能力

缓解策略在不同调参设置下的效果

方法	Lifetime tuning 下优于 DQN?	k%-percent tuning 下优于 DQN?
W0-DQN (正则化)	否 (与 DQN 相当)	是 (显著优于)
LayerNorm-DQN	否 (与 DQN 相当)	是 (显著优于)
Reset-DQN	否 (与 DQN 相当)	部分环境优于

关键发现

• 核心发现：lifetime tuning 下所有算法（包括 vanilla DQN 和各种持续学习改进）表现相近——调参搜索完全掩盖了算法设计的差异
• 在 k%-percent tuning 下，持续学习缓解策略（W0 正则化、层归一化）显示出明显优势，验证了这些方法确实对持续学习有帮助
• 最优 k 值是智能体-环境相关的：某些组合在 k=1% 时就能找到好的超参数，另一些需要 k=10%
• 用来选择超参数的指标也很重要：总回报、尾部平均回报、TD 误差在不同场景下表现不一
• 将超参数保持不变但延长实验可有效区分算法——真正的持续学习算法在更长的部署中保持性能，而过拟合到特定生命周期的算法会崩溃

亮点与洞察

• 论文提出了一个极其重要但被整个研究社区忽视的方法论问题——这可能解释了持续 RL 领域"大量论文但进展缓慢"的现状
• "不要偷看测试集"的类比既直观又有力，将复杂的方法论争论简化为机器学习最基本的原则
• Non-stationary Catch 上的渐进式实验演示（图 1-3）极具教育意义，清晰展示了问题的本质
• k%-percent tuning 虽然简单，但它改变了我们评估持续学习算法的方式——鼓励开发真正自适应的算法而不是靠精细调参
• 一个深刻的洞察：在非平稳环境中反复运行实验本身就会泄露隐藏动态的信息给研究者，无形中降低了基准的部分可观测性
• 论文暗示了持续 RL 社区需要一套新的"实验规范"，类似于监督学习中早已建立的 train/test split 规范
• 对两大陷阱的精确刻画——"false negative"（误认为算法不行）和"false positive"（误认为所有算法都行）——具有很强的指导性

局限与展望

• k%-percent tuning 本身仍需要选择 k 值，而最优 k 是问题相关的——这引入了元超参数问题，虽然比 lifetime tuning 好但并非完美
• 论文仅在相对简单的环境（Catch、Mountain Car、CartPole、Acrobot）上验证，未涉及 Atari 或 MuJoCo 等更复杂基准，说服力有限
• 没有提供自动调参（meta-learning hyperparameters）的具体算法方案，仅指出了问题方向
• k%-percent tuning 假设前期经验具有代表性——如果非平稳性在生命周期后期才出现或模式发生质变，前 k% 数据可能不够
• 作为 position paper，提出问题多于解决问题，缺少系统性的解决方案
• 未深入分析超参数之间的交互作用——某些超参数组合可能在短期内表现好但长期不可持续
• 对于调参阶段选择什么性能指标的讨论不够深入，仅尝试了三种简单指标

相关工作与启发

• Nikishin et al. (2022) 的网络重置、Kumar et al. (2024) 的 W0 正则化、Lyle et al. (2023) 的层归一化等持续学习改进在本文框架下得到了更公平的评估——它们在 k% tuning 下明确优于 vanilla DQN
• Patterson et al. (2024) 关于 RL 中超参数统计处理的工作与本文互补，共同指出了当前 RL 实验方法论的系统性问题
• Abel et al. (2023) 和 Khetarpal et al. (2022) 对持续 RL 的形式化定义为本文的问题阐述提供了理论基础
• 对持续学习社区的启示：未来论文应明确说明超参数搜索使用了多少比例的生命周期数据，并在更长的部署时间上验证算法稳定性
• 对实际部署的启示：优先选择超参数少、有自适应机制的算法——如 meta-learning 自动调参、population-based training
• 与监督学习中"交叉验证"的类比值得深思：持续 RL 需要时间维度上的"训练/测试分割"

评分

⭐⭐⭐⭐ 作为 position paper 提出了非常重要且被广泛忽视的方法论问题，论证逻辑清晰有力——两大陷阱的刻画精准到位。Non-stationary Catch 上的渐进式实验（图 1→2→3）虽然简单但极具说服力和教育意义。在 k% tuning 下缓解策略确实展现出优势的实验是最有力的证据。但解决方案（k% tuning）过于简单且引入了 k 这个新的元超参数，缺少在 Atari/MuJoCo 等标准大规模基准上的验证，也未提供自动化调参方案。对持续 RL 社区的评估规范具有潜在的深远影响。

相关论文

• [NeurIPS 2025] Continual Knowledge Adaptation for Reinforcement Learning
• [ICML 2025] Continual Reinforcement Learning by Planning with Online World Models
• [ICML 2025] Mitigating Plasticity Loss in Continual Reinforcement Learning by Reducing Churn
• [ICLR 2026] Principled Fast and Meta Knowledge Learners for Continual Reinforcement Learning
• [NeurIPS 2025] Temporal-Difference Variational Continual Learning