Unifying Goal-Conditioned RL and Unsupervised Skill Learning via Control-Maximization¶

会议: NeurIPS 2026
arXiv: 2605.06145
论文: https://arxiv.org/abs/2605.06145
领域: 强化学习
关键词: 目标条件强化学习, 无监督技能发现, 互信息技能学习, 控制最大化, 目标敏感度

一句话总结¶

将目标条件强化学习（GCRL）与互信息技能学习（MISL）统一在控制最大化理论视角下，证明三类经典 GCRL 目标在策略空间上本质不等价，并通过目标敏感度建立下游目标与预训练行为表征的信息论紧界对应。

研究背景与动机¶

目标条件强化学习（Goal-Conditioned RL, GCRL）致力于训练能够根据外部指令或内部动机达成任意目标状态的通用智能体，是实现多任务自主决策的关键支柱。为了缓解稀疏奖励下的样本效率瓶颈，无监督预训练尤其是互信息技能学习（Mutual Information Skill Learning, MISL）被广泛应用：智能体在无任务奖励的情况下，通过最大化潜在技能与未来行为表征之间的互信息，自发涌现出多样化的技能空间，并在测试阶段通过简单的目标到技能映射完成下游目标寻路。然而，这一长期在经验上行之有效的范式在理论层面上始终存在一个核心未解之谜——为什么在通信理论意义上“最大化可被观测者辨识度”的行为技能，必然能够支撑下游的“物理目标达成”？

这种理论脱节的根源在于 GCRL 和 MISL 两个概念本身都是高度宽泛的笼统术语，学界在具体建模时充斥着互不兼容的设计选择。在 GCRL 侧，不同文献对“达成目标”的定义截然不同：有的设定目标持续存在并对重复访问给予折扣奖励（如 C-Learning、Contrastive RL），有的要求在精准固定的第 \(K\) 步抵达目标（如 Skew-Fit、DISCERN），有的则设立跨步机会窗口只需在 \(K\) 步内任意时刻首次触达即可（如 Goal GAN、UVFA）。在 MISL 侧，度量行为多样性的表征选择也五花八门：从几何折现稳态占有率、固定终态、完整轨迹到折现首访时序。过去这些差异通常被视为细枝末节的工程细节，但在随机或风险决策环境中，它们所诱导的凸目标函数甚至会产生互斥的最优策略。

既然预训练与下游任务的优化目标各自异构，便无法通过单一的经验法则将两者强行对齐。本文的核心 idea 是：将 GCRL 与 MISL 均统一为“控制最大化”（Control-Maximization）的具象实例，提出表征智能体主动施加意图能力的全新物理量“目标敏感度”（Goal Sensitivity），严格证明不同 GCRL 任务的目标函数等价于对应形式的目标敏感度，并以此作为信息论桥梁，建立下游目标设定与预训练行为变量之间可达的双向紧界对应关系。

方法详解¶

整体框架¶

本文构建了一套严格的理论分析框架，将多任务目标寻路与无监督技能发现从优化公式、状态可控度到互信息界限串联起来。首先，作者梳理了三类规范的 GCRL 目标形式，通过构造反例证明它们在一般随机环境中诱导互不兼容的最优动作选择，并给出了退化等价的充分条件；其次，定义了量化策略主观控制水平的“目标敏感度” \(\mathcal{C}(s, \pi)\)，并建立其与真实目标达成价值的严格单调等价与回归上界；最后，利用信息论中的 Fano 不等式、反向 Fano 不等式以及 Pinsker 不等式，证明下游目标敏感度紧致夹逼了不同行为变量下的技能-行为互信息。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["GCRL 目标设定差异<br/>Pe(γ) / ET(K) / OW(K,γ)"] --> B["三类规范目标的不等价性证明<br/>诱导互斥最优动作，明确算法迁移边界"]
    B --> C["控制最大化视角与目标敏感度<br/>度量目标意图对未来轨迹的主观因果控制度"]
    C --> D["目标敏感度与 GCRL 性能等价性<br/>单调完全等价 (Pe/ET) 与紧界后悔界 (OW)"]
    D --> E["跨层信息论紧界与目标匹配原则<br/>Sγ,+ 对应 Pe(γ) | SK 对应 ET(K) | F^K,γ 对应 OW"]
    E --> F["下游技能映射分布诊断<br/>量化目标到技能映射偏离度对迁移性能的影响"]

关键设计¶

1. 三类规范 GCRL 形式的不等价性与等价边界分析：澄清任务定义的底层歧义 为了对齐各种 GCRL 算法的数学本质，作者将时序奖励 \(R_t(s; g)\) 与折扣因子 \(\gamma_t(s; g)\) 参数化，统一归纳为三类经典形式： 1. 持续目标（Persistent Goal, \(\mathrm{Pe}(\gamma)\)）：\(R_t(s;g)=(1-\gamma)\mathbf{1}_{s=g}\) 且 \(\gamma_t(s;g)=\gamma\)，智能体每次访问 \(g\) 都会获得折扣奖励，无限步极限下对应几何折现状态占有率 \(p^\pi(S_{\gamma,+}=g|S_0=s)\)； 2. 精准时刻（Exact Timing, \(\mathrm{ET}(K)\)）：\(R_t(s;g)=\mathbf{1}_{s=g}\mathbf{1}_{t=K}\) 且 \(\gamma_t(s;g)=1\)，仅在恰好第 \(K\) 步停在 \(g\) 时给予奖励 \(1\)，对应终态概率 \(p^\pi(S_K=g|S_0=s)\)； 3. 机会窗口（Opportunity Window, \(\mathrm{OW}(K, \gamma)\)）：\(R_t(s;g)=\mathbf{1}_{s=g}\mathbf{1}_{t\leq K}\) 且 \(\gamma_t(s;g)=\gamma \mathbf{1}_{s\neq g}\)，智能体在 \(K\) 步内首次抵达 \(g\) 即获奖励并终止，对应期望首访衰减 \(\mathbb{E}^\pi[\gamma^{T_g-1}\mathbf{1}_{T_g\leq K}|S_0=s]\)。

论文通过构造一个“过河”马尔可夫决策过程反例（命题 4.1），证明在随机转移环境下，这三种形式的最优策略可能完全互斥：当跳过河具有低成功率（快速但不稳定）而绕行走桥绝对可靠（稳定但耗时）时，\(\mathrm{Pe}\)、\(\mathrm{ET}\) 与 \(\mathrm{OW}\) 在相同参数下会选出三个截然不同的动作分支。只有在特定退化条件（如一阶决策步长、确定性环境、或具备等待动作且 \(\gamma=1\)）下，三者的最优策略才会发生重合。

2. 目标敏感度体系构建：架起强化学习性能与主观控制度的桥梁 为了探究为什么不同 GCRL 都能促进可控性，论文定义了“一致性策略”（Consistent Policy）：智能体在以目标 \(g\) 为意图时达成 \(g\) 的价值，应当不低于以其他虚假目标 \(g'\) 为意图时达成 \(g\) 的价值，即 \(J(s, g, \pi_{\{g, .\}}) \geq J(s, g, \pi_{\{g', .\}})\)。在此基础上，论文形式化定义了目标敏感度（Goal Sensitivity）：

\[\mathcal{C}(s, \pi_{\{., .\}}) := \frac{1}{N_s^2} \sum_{g, g' \in \mathcal{S}} \Big( J(s, g, \pi_{\{g, .\}}) - J(s, g, \pi_{\{g', .\}}) \Big)\]

该指标量化了智能体主观意图对物理轨迹的平均支配增益。定理 5.1 证明，对于 \(\mathrm{Pe}(\gamma)\) 和 \(\mathrm{ET}(K)\)，下游平均目标寻路性能与目标敏感度呈现绝对严格的仿射单调等价：\(J(s, \pi_{\{., .\}}) = \mathcal{C}(s, \pi_{\{., .\}}) + \frac{1}{N_s}\)；而对于具有非负奖励的 \(\mathrm{OW}(K, \gamma)\)，则满足紧致下界 \(J(s, \pi_{\{., .\}}) \geq \frac{N_s}{N_s-1}\mathcal{C}(s, \pi_{\{., .\}})\)。这表明，最大化目标敏感度与求解 GCRL 任务在数学本质上是完全等价的。

3. 互信息技能发现与目标寻路的紧致对偶映射：为下游任务指定预训练目标 论文建立了技能-行为互信息与目标敏感度之间的双向可达界限（定理 6.1）。将测试目标 \(G\) 视为待传输的信息信标，将智能体在不同任务下产生的行为变量 \(S'\) 视为接收信号。在一致性条件下，使用朴素解码器（观测到终态 \(S'=s'\) 即猜测目标为 \(s'\)）与贝叶斯最优解码器具有相同的错误率 \(p_e^* = p_e = 1 - J(s, \pi)\)。通过构造 Fano 不等式及其反向版本（Reverse-Fano Inequality），推导出： - 对于持续目标 \(\mathrm{Pe}(\gamma)\)，其目标敏感度双向严格约束状态占有率互信息 \(I(G; S_{\gamma,+} \mid S_0=s)\)； - 对于精准时刻 \(\mathrm{ET}(K)\)，其目标敏感度双向严格约束终态互信息 \(I(G; S_K \mid S_0=s)\)； - 对于机会窗口 \(\mathrm{OW}(K, \gamma)\)，常规的终端状态或折现状态无法紧致刻画其首访特性，其目标敏感度对应于折现首访向量（Discounted First-Visit Vector） \(\mathbf{F}^{K, \gamma} = (\gamma^{T_g-1}\mathbf{1}_{T_g\leq K})_{g\in\mathcal{S}}\)，并满足 \(I(G; \mathbf{F}^{K,\gamma} \mid S_0=s) \geq 2\,\mathcal{C}_{\mathrm{OW}}(s, \pi, K, \gamma)^2\)。

这一结论从理论上终结了“单一 MISL 目标能解决一切 GCRL 任务”的幻想，揭示出如果下游任务考核精准步长抵达，必须预训练终态技能；若考核稳态占有，则必须预训练折现占有率技能。

4. 技能先验漂移诊断：量化确定性目标映射引发的分布失配 在实际两阶段迁移中，智能体通过确定性映射 \(z = f(g)\) 选用预训练技能，这使得测试阶段被激发的技能边际分布 \(p_f(z) = \frac{1}{N_s}\sum_{g\in\mathcal{S}}\mathbf{1}_{z=f(g)}\) 不再是预训练阶段所假设的均匀分布 \(\mathrm{Unif}(\mathcal{Z})\)。命题 6.1 通过全变差距离 \(\delta := \|p_f - \mathrm{Unif}(\mathcal{Z})\|_{\mathrm{TV}}\)，给出了 MISL 优化目标与下游真实目标行为互信息之间的严格泛化误差界：

\[\left| J_{\mathrm{MISL}}(s, \pi^{\mathrm{skill}}; S') - I^\pi(G; S' \mid S_0=s) \right| \leq h(\delta) + \delta \log \big( N_{s'}^2(N_{s'}-1) \big)\]

该界限定量指出：盲目增加技能字典容量并不能保证下游性能；若映射函数 \(f\) 仅将目标索引聚集在少数技能上，测试期非均匀性 \(\delta\) 的膨胀将直接破坏技能多样性向目标达成能力的转化。

实验关键数据¶

主实验：GCRL 规范形式对应关系与最优性特征对比¶

作为纯理论奠基型论文，本文通过严格的数学推导与构造性环境定理完成形式化验证。下表系统总结了三类 GCRL 规范形式的核心物理量定义、理论匹配的 MISL 行为变量以及控制最大化性质：

GCRL 规范形式	奖励定义 \(R_t(s;g)\) 与折扣 \(\gamma_t\)	对应目标性能 \(J(s, g, \pi)\)	匹配 MISL 行为变量 \(S'\)	目标敏感度等价性 / 关系界	经验对应典型算法
持续目标 \(\mathrm{Pe}(\gamma)\)	\((1-\gamma)\mathbf{1}_{s=g}, \; \gamma_t=\gamma\)	折现状态占有率 \(p^\pi(S_{\gamma,+}=g)\)	几何折现状态 \(S_{\gamma,+}\)	严格仿射等价：\(J = \mathcal{C} + \frac{1}{N_s}\)	C-Learning, Contrastive RL, GoFAR
精准时刻 \(\mathrm{ET}(K)\)	\(\mathbf{1}_{s=g}\mathbf{1}_{t=K}, \; \gamma_t=1\)	固定时刻终态 \(p^\pi(S_K=g)\)	第 \(K\) 步终态 \(S_K\)	严格仿射等价：\(J = \mathcal{C} + \frac{1}{N_s}\)	Skew-Fit, DISCERN, HER (Final)
机会窗口 \(\mathrm{OW}(K, \gamma)\)	\(\mathbf{1}_{s=g}\mathbf{1}_{t\leq K}, \; \gamma \mathbf{1}_{s\neq g}\)	折现首访期望 \(\mathbb{E}^\pi[\gamma^{T_g-1}\mathbf{1}_{T_g\leq K}]\)	折现首访向量 \(\mathbf{F}^{K,\gamma}\)	紧致下界：\(J \geq \frac{N_s}{N_s-1}\mathcal{C}\)	Goal GAN, UVFA, HER (Future)

消融实验：不同任务与预训练目标失配（Mismatch）时的理论性质演化¶

论文在第 6.3 节与附录 C/D 中对目标匹配和目标失配情形进行了严格的消融对比分析。以在确定性离散环境下使用全轨迹多样性预训练（\(S_{1:K}\)）迁移至不同下游任务为例：

预训练目标 / 假设配置	下游评估任务	互信息界限方向	目标敏感度 \(\mathcal{C}\) 保障	理论失配病态案例说明
匹配配置 (\(S_K \to \mathrm{ET}\))	\(\mathrm{ET}(K)\)	双向紧界 (\(\Phi^{\mathrm{down}} \leq I \leq \Phi^{\mathrm{up}}\))	充分且必要	技能可区分性完全转化为终态触达准确率
失配配置 (\(S_{1:K} \to \mathrm{ET}\))	\(\mathrm{ET}(K)\)	仅单向松散上界 (\(I \geq I_{\mathrm{ET}}\))	无保证（可能为 0）	技能轨迹在 \(t < K\) 均不同，但在 \(t=K\) 汇聚到相同死胡同状态
匹配配置 (\(S_{\gamma,+} \to \mathrm{Pe}\))	\(\mathrm{Pe}(\gamma)\)	双向紧界 (\(\Phi^{\mathrm{down}} \leq I \leq \Phi^{\mathrm{up}}\))	充分且必要	技能覆盖度完全对齐折现状态遍历价值
均匀映射 (\(\delta = 0\))	任意规范任务	无界隙 (\(\Delta I = 0\))	零误差迁移	目标平分技能原像，测试期技能调用完全均匀
偏斜映射 (\(\delta \to 1\))	任意规范任务	误差上界发散至 \(\mathcal{O}(\log N_s^3)\)	严重退化	多数技能在测试时从未被触发，预训练多样性浪费

关键发现¶

形式决定最优解：微小的 GCRL 奖励设定差异在数学上直接改变了 Bellman 递归结构。算法如果将针对 \(\mathrm{Pe}\) 设计的递归分类目标直接应用于有限时域的 \(\mathrm{ET}\) 或 \(\mathrm{OW}\) 任务，会发生根本性的策略错位。
轨迹多样性无法保障终端控制：在无监督技能学习中过度追求整条轨迹 \(S_{1:K}\) 的互信息并不能保证下游单点抵达成功率。数据处理不等式证明了轨迹互信息仅是终态互信息的上界，最大化上界无法杜绝“过程纷繁多样但终点完全重合”的退化技能集合。
机会窗口的表征空白：现存绝大多数 MISL 算法均使用状态标量作为行为变量，而理论证明精确刻画首访控制所需的行为变量必须是 \(N_s\) 维的折现首访时序向量 \(\mathbf{F}^{K, \gamma}\)，指明了未来面向时间敏感型 GCRL 的新预训练表征设计方向。

亮点与洞察¶

将控制度从抽象概念形式化为可度量算子：巧妙地将智能体意图与物理后果的因果绑定转化为对抗随机意图的增益差值 \(\mathcal{C}(s, \pi)\)，并严格证明其在确定性环境下与 Klyubin 赋权（Empowerment）呈对数单调等价（\(\mathrm{Emp}_{\mathrm{Kly}} = \log(1+N_s \mathcal{C}^*)\)）。
破除单一技能学习万能论：从信息论第一性原理指出了预训练行为变量必须与下游考核方式同构，彻底解释了以往基准测试中不同技能学习方法在各类下游任务上互有胜负的底层原因。
测试期技能偏度诊断指标：提出的全变差距离 \(\delta = \|p_f - \mathrm{Unif}(\mathcal{Z})\|_{\mathrm{TV}}\) 可以作为低成本的离线评估工具，在无需真实跑完海量下游任务的情况下，预先筛查目标到技能映射是否陷入了模式坍塌。

局限与展望¶

离散状态空间与全状态目标的简化假设：论文核心推导依赖于离散有限状态集和状态即目标的设定（\(\mathcal{G}=\mathcal{S}\)），对于连续状态空间以及局部子集目标（如只控制位置不约束速度的投影映射），需要引入拓扑连续性假设和更复杂的瓶颈互信息界。
机会窗口的反向界较为苛刻：对于 \(\mathrm{OW}(K, \gamma)\)，论文在主定理中仅给出了单向的 Pinsker 下界，反向界的成立需要强加随机一致性与有界干扰等附加假设，尚未形成如同 \(\mathrm{Pe}\) 和 \(\mathrm{ET}\) 那样完全自洽的封闭解。
确定性技能映射的理想化：实际应用中复杂连续控制往往采用连续高斯先验或随机分层策略网络，未来需要进一步将理论推广至随机技能检索与连续技能空间流形。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从控制最大化角度在理论上严密统一了 GCRL 与 MISL，彻底澄清了领域内长期存在的经验混淆。
实验充分度: ⭐⭐⭐⭐☆ 作为纯理论工作，构造反例详实，数学证明完备，且附带了向非均匀目标分布的泛化附录，但缺乏大尺度连续控制基准的实证量化。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，图表构思极为清晰，将晦涩的信息论不等式拆解得直观易懂。
价值: ⭐⭐⭐⭐⭐ 为强化学习无监督预训练提供了奠基性的理论路标，对于指导多任务预训练算法设计具有重大现实意义。