CIG: Exploration via Conditional Information Gain¶
会议: NeurIPS 2026
arXiv: 2605.20878
OpenReview: https://openreview.net/forum?id=sDCGZbVL6d
代码: https://github.com/seohongpark/ogbench
领域: 强化学习
关键词: 强化学习, 内在奖励, 条件信息增益, 基于模型的强化学习, 随机干扰
一句话总结¶
针对强化学习探索中终身奖励忽略展开轨迹冗余而回合奖励忽略全局经验的割裂问题，本文推导了条件信息增益（CIG）代理目标，通过集成歧义核的迹压缩与 Cholesky 因果分解实现高效步级内在奖励，在离散与连续控制及噪声干扰环境下实现显著领先的探索覆盖率。
研究背景与动机¶
在稀疏奖励或无奖励的强化学习环境中，智能体必须依赖内在奖励（Intrinsic Rewards）探索环境未知动态。在基于模型的强化学习（Model-Based RL，如 Dreamer 架构）中，策略通常在世界模型生成的简短想象展开轨迹（Imagined Rollouts，长约 15 步）上进行优化。然而，现有内在奖励机制存在严重的上下文割裂：终身奖励（Lifelong Rewards，如 Plan2Explore、RND、ICM）仅以全局经验回放池为条件，将每一状态转移与历史经验对比打分，却完全忽略了单次展开轨迹内部的冗余性，导致智能体在迷宫中反复对同一未探索路口给予全额信用，忽视了其它前沿区域；而回合内奖励（Episodic Rewards，如 E3B）虽能惩罚单条轨迹内的重复访问，却完全丧失了对全局动态不确定性的感知，且高度依赖无模型场景下的长回合前缀，在简短的想象展开中信号极度匮乏。
为了综合两种上下文，现有混合方法要么采用启发式的加权乘积（如 E3B × P2E），缺乏统一原则且极易在复杂任务中失效；要么借助高斯过程动态建模（如 TIP），其高额的计算复杂度被牢牢限制在极低维的状态空间中。从贝叶斯实验设计与信息论视角来看，探索的理想目标应当是最大化整条轨迹关于世界模型参数的联合互信息。该目标可通过互信息的链式法则精确分解为单步条件互信息项，同时以历史回放池和轨迹前缀为条件。然而，深度神经网络上的模型后验边缘化在计算上是完全不可行的。
本文旨在为深度模型世界模型构建一个计算可行的条件信息增益代理目标。核心 idea：将轨迹级信息增益松弛为有限单步预测器集成的高斯混合边缘熵，利用迹压缩（Trace Reduction）消除有限集成的秩饱和容量瓶颈，并通过集成歧义核的 Cholesky 分解推导出因果单步奖励，严格从终身歧义中剔除被前缀解释的冗余成分。
方法详解¶
整体框架¶
CIG 建立在以 DreamerV2 为骨干的世界模型体系之上，旨在高维隐空间中计算因果、无偏且抗随机噪声干扰的步级内在奖励。
系统以世界模型在隐空间中想象的短序列轨迹为输入，通过有限预测器集成前向传播得到成员均值偏差向量；随后构建集成歧义的块协方差矩阵，并通过迹压缩将其降维为时序核矩阵；加上反映偶然不确定性的对角正则项后，对正则化核矩阵进行 Cholesky 因果分解，直接提取对角元素作为因果单步内在奖励，用于驱动 Actor-Critic 策略学习。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["隐空间想象展开轨迹<br/>(s0, a0, ..., sT-1, aT-1)"] --> B["集成后验与单步预测偏差<br/>M 个预测器输出偏差向量 δk(t)"]
B --> C["迹压缩容量扩展核构建<br/>K_jt = tr(C_jt) 恢复有效秩 min(T, (M-1)d)"]
C --> D["偶然尺度自适应正则化<br/>K~ = K + σ^2 d · I_T 建立噪声下界"]
D --> E["Cholesky 因果逐步因式分解<br/>L = Cholesky(K~), r_t = 2 log L_tt"]
E --> F["Actor-Critic 策略探索更新<br/>最大化累积折扣因果信息增益"]关键设计¶
1. 集成后验与单步预测偏差：将模型后验边缘化转化为有限集成边缘熵
针对深度网络参数后验分布 \(p(w \mid \mathcal{D})\) 无法显式计算的困境，该设计引入两大标准近似：首先，用 \(M\) 个在经验回放池 \(\mathcal{D}\) 上独立初始化的单步预测器构成的均匀经验分布近似后验（A1），将回放池条件吸收进网络权重；其次，假设各集成成员的单步转移服从各向同性高斯分布 \(\mathcal{N}(\mu_k(s_t, a_t), \sigma^2 I_d)\)（A2）。由于条件熵 \(H(s_{1:T} \mid k)\) 仅取决于偶然方差 \(\sigma^2\) 而与策略无关，最大化轨迹级信息增益 \(I(k; s_{1:T}) = H(s_{1:T}) - H(s_{1:T} \mid k)\) 等价于最大化高斯混合分布的边缘熵 \(H(s_{1:T})\)。在时序展开的每一步 \(t\)，计算各成员相对于集成均值 \(\bar{\mu}(s_{t-1}, a_{t-1}) = \frac{1}{M}\sum_{k=1}^M \mu_k(s_{t-1}, a_{t-1})\) 的中心化偏差向量： $\(\boldsymbol{\delta}_k^{(t)} = \mu_k(s_{t-1}, a_{t-1}) - \bar{\mu}(s_{t-1}, a_{t-1}) \in \mathbb{R}^d\)$ 这构成了整条轨迹认知不确定性（Epistemic Uncertainty）的基础度量。
2. 迹压缩容量扩展核构建：破解有限集成的秩饱和瓶颈
对高斯混合边缘熵进行矩匹配高斯上界近似后（A3），目标转化为最大化 \(\frac{1}{2} \log \det (2\pi e \Sigma)\)，其中协方差矩阵由认识不确定性块矩阵 \(C \in \mathbb{R}^{Td \times Td}\) 与偶然噪声 \(\sigma^2 I_{Td}\) 组成。然而，直接计算全协方差存在严峻的秩饱和缺陷：由于 \(C\) 仅由 \(M\) 个中心化偏差外积叠加而成，其秩严格满足 \(\operatorname{rank}(C) \leq M - 1\)。在高维隐空间（如 \(d=200\) 或 \(1536\)）下，识别哪一个成员生成轨迹最多仅含 \(\log M\) 比特容量，展开轨迹的最初一步即可令该代理目标完全饱和，导致后续步骤丧失探索奖励。 为此，设计了迹压缩映射（D1）：将每个 \(d \times d\) 的子块 \(C_{jt} = \frac{1}{M} \sum_{k=1}^M \boldsymbol{\delta}_k^{(j)} (\boldsymbol{\delta}_k^{(t)})^\top\) 压缩为其标量迹： $\(K_{jt} = \operatorname{tr}(C_{jt}) = \frac{1}{M} \sum_{k=1}^M (\boldsymbol{\delta}_k^{(j)})^\top \boldsymbol{\delta}_k^{(t)}\)$ 构建出 \(T \times T\) 维的时序核矩阵 \(K\)。该变换将信号有效容量从 \(M - 1\) 跃升至 \(\min(T, (M - 1)d)\)。对于实际配置 \(M=5, d \ge 200\)，容量上限提升至 800 以上，彻底解除了步长 \(T=15\) 下的秩受限约束，保证展开轨迹中的每一步均能提供独立的探索梯度。
3. 偶然尺度自适应正则化：滤除不可约环境噪声
为防止探索策略被环境固有的不可约随机性（如随机背景、Noisy-TV）误导，需要将认知不确定性与偶然不确定性（Aleatoric Uncertainty）分离。该设计将各隐变量维度的偶然方差聚合为正则化脊（Ridge）： $\(\tilde{K} = K + \sigma^2 d \cdot I_T\)$ 其中 \(\sigma^2\) 无需人工调优，而是在训练过程中以后验方式动态估计：利用经验回放批次上集成均值预测与真实目标隐状态之间的均方误差残差滑动平均维护： $\(\hat{\sigma}^2 = \frac{1}{Nd} \sum_{n=1}^N \|s_{n+1} - \bar{\mu}(s_n, a_n)\|^2\)$ 由于集成均值抵消了对称认知歧义，其残差平方范数主要反映环境底层的固有噪声。这一设计不仅在数学上保证了核矩阵 \(\tilde{K}\) 严格对称正定，而且为低歧义转移建立了 \(\log(\sigma^2 d)\) 的保底基线，使内在奖励高度聚焦于歧义显著超越偶然噪声的高价值探索前沿。
4. Cholesky 因果逐步因式分解：严格剔除前缀解释冗余
为使轨迹级对数行列式目标 \(\tilde{J}(s_{1:T}) = \log \det \tilde{K}\) 能够适配单步时序差分的 Actor-Critic 框架，CIG 利用 Cholesky 分解 \(\tilde{K} = L L^\top\)。依据对数行列式性质，\(\log \det \tilde{K} = 2 \sum_{t=1}^T \log L_{tt}\)，令每一步的内在奖励为 \(r_t = 2 \log L_{tt}\)。利用 Schur 补等价性，该单步奖励精确展开为： $\(r_t = \log \Bigl( \underbrace{K_{tt}}_{\text{终身认知歧义}} + \sigma^2 d - \underbrace{\mathbf{k}_{<t}^\top \tilde{K}_{<t}^{-1} \mathbf{k}_{<t}}_{\text{轨迹前缀冗余惩罚}} \Bigr)\)$ 其中 \(\mathbf{k}_{<t}\) 记录当前步与前缀各步的内积关联，\(\tilde{K}_{<t}\) 为前缀子矩阵。当当前步与前缀正交时（\(\mathbf{k}_{<t} = \mathbf{0}\)），智能体获得全部终身探索奖励；当当前步完全落在前缀张成的子空间内时，二次型扣除项抵消了认知歧义 \(K_{tt}\)，使奖励跌落至偶然噪声基线 \(\sigma^2 d\)。这种因果结构天然实现了前沿选择性，彻底避免了沿相同前沿重复探索的过度计分。
实验关键数据¶
主实验¶
实验基于 DreamerV2 骨干，在纯无奖励预训练（Reward-Free Pre-training）协议下评估，涵盖 6 项 MiniGrid 离散网格任务（3 项标准干净环境、3 项动作触发的 Noisy-TV 随机干扰环境）以及 6 项 OGBench 连续控制任务（AntMaze、Cube-Triple、Puzzle 3×3、Scene 及对应干扰变体）。实验对比了 P2E、RND、ICM、APT、E3B 以及启发式混合基线 E3B × P2E，采用 5 个随机种子计算跨四分位均值（IQM）与 95% 分层 Bootstrap 置信区间。
| 任务环境 | 评测指标 | CIG (本文) | P2E (次优集成) | E3B × P2E (启发式混合) | APT (状态熵基线) |
|---|---|---|---|---|---|
| MiniGrid MultiRoom-N7-S8 (Clean) | 累积成功数 | 812.4 | 84.6 | 32.1 | 154.2 |
| MiniGrid KeyCorridor-S4R3 (Clean) | 累积成功数 | 345.0 | 210.5 | 118.4 | 332.1 |
| MiniGrid ObstructedMaze-2Dlhb (Clean) | 累积成功数 | 182.6 | 98.4 | 45.2 | 374.8 |
| MiniGrid MultiRoom-N7-S8 (Noisy-TV) | 累积成功数 | 765.2 | 68.3 | 0.0 | 0.0 |
| MiniGrid KeyCorridor-S4R3 (Noisy-TV) | 累积成功数 | 318.5 | 184.2 | 0.0 | 0.0 |
| MiniGrid ObstructedMaze-2Dlhb (Noisy-TV) | 累积成功数 | 164.7 | 82.1 | 0.0 | 0.0 |
| OGBench AntMaze (Clean) | 迷宫网格覆盖率 (%) | 88.4% | 64.2% | 81.5% | 22.1% |
| OGBench Cube-Triple (Clean) | 三物体多构型覆盖率 (%) | 46.8% | 31.5% | 24.6% | 18.2% |
| OGBench Puzzle-3×3 (Clean) | 512 种开关构型覆盖率 (%) | 74.2% | 58.6% | 71.8% | 76.4% |
| OGBench Scene Explore (Clean) | 复合操作子任务覆盖率 (%) | 89.2% | 96.5% | 82.1% | 84.6% |
| OGBench AntMaze (Noisy-TV) | 迷宫网格覆盖率 (%) | 84.6% | 56.8% | 68.2% | 18.4% |
| OGBench Puzzle-3×3 (Noisy-TV) | 512 种开关构型覆盖率 (%) | 70.8% | 55.4% | 75.2% | 48.6% |
消融实验¶
在连续控制高难度探索任务 AntMaze 上，对 CIG 核心奖励公式中的关键组成模块进行系统消融，考察各机制对最终状态空间覆盖率（%）的影响：
| 实验配置 | 迷宫单元最终覆盖率 (%) | 相对变化 | 关键机制说明 |
|---|---|---|---|
| CIG 完整方法 (Full CIG) | 88.4% | 基准 | 具备迹压缩核、前缀冗余扣除及自适应偶然正则脊 |
| 无迹压缩 (No Trace Reduction) | 12.5% | -75.9% | 受限于 \(\operatorname{rank}(C) \le M-1=4\)，奖励迅速饱和失效 |
| 无前缀冗余扣除 (No Prefix Redundancy) | 68.2% | -20.2% | 退化为对角奖励，重复探索前沿，收敛明显变慢 |
| 纯终身奖励 (Lifelong Only / P2E 变体) | 65.4% | -23.0% | 同时移除前缀扣除与偶然尺度下界，样本效率显著降低 |
关键发现¶
- 迹压缩是算法成立的绝对基石：消融表明，移除迹压缩后探索覆盖率彻底断崖式崩塌（从 88.4% 跌落至 12.5%），直接验证了定理 1 的理论预测——未压缩的全协方差由于只有 4 个有效自由度，单步观测即可耗尽信息增益容量，导致后续时间步完全失去奖励梯度。
- 前缀冗余消除主导样本效率：在 AntMaze 与 Cube-Triple 等具有高时序相关性的任务中，机器人连续多步容易探索相同的步态缺陷或原地晃动；CIG 的前缀二次型项精准抑制了这一冗余，使有效探索速度比 P2E 提高数倍。
- 对随机电视干扰（Noisy-TV）的绝对鲁棒性：在所有 Noisy-TV 变体中，基于预测误差（ICM、RND）或特征熵（APT、E3B）的非集成基线全部瘫痪崩溃（成功率归零或停滞于起点）；而 CIG 与 P2E 凭借集成在不可约噪声上的一致收敛性保持免疫，且 CIG 因前缀去冗余性在受干扰环境下仍全面超越 P2E。
- 全套任务综合指标领先：在跨 12 项任务的标准化综合评测中，CIG 的综合 IQM 显著超越所有基线且 95% 置信区间完全不重叠；在随机抽取任务上优于各基线的改善概率（Probability of Improvement）均超过 0.79。
亮点与洞察¶
- 信息论链式法则的严谨落地：不同于以往将终身与回合奖励进行启发式乘积拼凑的经验主义方案，CIG 直接从轨迹级互信息出发，借助 Cholesky 分解推导出首个兼顾历史回放池与单轨迹前缀的解析解单步内在奖励。
- 巧妙的迹压缩解耦维度与集成规模：将协方差子块压缩为标量迹，把信息容量的限制从原本受限的集成模型数量 \(M-1\) 拓展到 \(\min(T, (M-1)d)\)，巧妙规避了深度集成难以扩大模型数量的算力瓶颈。
- 零额外超参数的实用性：核矩阵所需的偶然噪声尺度直接从世界模型训练的重构残差中自适应在线滑动估计，完全无需人工调参，即可直接作为现有 Model-based RL 的即插即用探索插件。
局限与展望¶
- 计算复杂度随展开长度三次幂增长：Cholesky 分解的时间复杂度为 \(\mathcal{O}(T^3)\)。在 Dreamer 类模型内部的短轨迹规划中（\(T=15\)）开销可忽略（耗时仅增加约 10%），但在无模型长时序探索（\(T \ge 1000\)）中矩阵规模将成为显式计算瓶颈，未来需探索滑动窗口或低秩近似核分解。
- 迹压缩丢弃了跨维度的方向性协方差：将 \(d \times d\) 矩阵压缩为标量迹虽然恢复了秩，但也抹除了隐空间不同状态维度之间的方向相关性信息，如何在不引入秩饱和的前提下保留部分主成分方向信息仍是待解问题。
- 极简状态分布任务上增益有限：在探索空间狭窄、几乎无轨迹内冗余的简单场景（如 Scene Explore），CIG 相比简单基线并无额外收益，其结构化优势主要在长程且具有强时序冗余的环境中展现。
相关工作与启发¶
- vs Plan2Explore (P2E): 两者均利用预测器集成量化认知不确定性，但 P2E 仅计算各时间步独立的方差均值，缺乏对轨迹前缀的感知，易在局部前沿陷入原地重复；CIG 通过非对角相关项引入了前缀冗余扣除，大幅消除了展开轨迹内部的探索浪费。
- vs E3B / E3B × P2E: E3B 仅在单个回合内部维护逆协方差矩阵以惩罚单步重复，无法感知跨回合的终身学习进展；启发式相乘方案（E3B × P2E）在状态表征距离与集成歧义尺度不一致时极易导致信号互相抵消，而 CIG 的两种机制内生于统一的核矩阵分解。
- vs TIP: TIP 同样致力于从轨迹级信息增益推导内在奖励，但其完全基于高斯过程（GP）先验，被局限在低维状态；CIG 成功将贝叶斯 D-最优实验设计拓展至基于深度神经网络的世界模型隐空间。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从高维深度集成的轨迹级信息增益中严格推导并实现了兼顾全局经验与单步前缀的闭式因果单步奖励。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖离散网格与连续控制共 12 项基准环境，详尽覆盖干净与 Noisy-TV 干扰变体，具备严格的统计显著性与机制消融。
- 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完备，从信息增益、秩饱和定理到 Cholesky 分解的因果映射层层递进，动机与实验高度自洽。
- 价值: ⭐⭐⭐⭐⭐ 为基于模型的无监督强化学习探索提供了通用且极具表现力的新型内在奖励设计范式。