Can In-Context Learning Support Intrinsic Curiosity?¶
会议: NeurIPS 2026
arXiv: 2606.19476
领域: 强化学习
关键词: 上下文学习, 内在好奇心, 贝叶斯信息增益, 贝叶斯实验设计, 世界模型
一句话总结¶
本文从理论与实证两方面探讨了能否利用序列模型的上下文学习（ICL）免梯度更新特性构建世界模型来驱动内在好奇心探索，证明了在通用 MDP 中无法实现无偏估计贝叶斯信息增益（BIG），但在贝叶斯实验设计（BED）框架下基于时序掩码累加预测增益的 \(r^{\mathrm{sum}}\) 能渐近无偏逼近 BIG 并抵御噪声电视问题。
研究背景与动机¶
自主智能体在未知环境中探索的核心驱动力之一是无监督的“内在好奇心”，即主动收集能够最大化改善自身对环境动态认知的数据。从信息论角度来看，理论上最优的内在奖励是贝叶斯信息增益（Bayesian Information Gain, BIG），它衡量每一步行动所获取的状态观测对未知环境潜在参数的不确定性减少量。然而，精确计算 BIG 需要在庞大的环境动力学假设空间中进行复杂的贝叶斯推断，这在实际复杂环境中通常是不可行的。传统基于预测的方法（如学习进展 Learning Progress）退而求其次，试图奖励那些能最大程度降低预测误差的样本，但这需要在轨迹推演过程中频繁进行昂贵的内循环梯度反向传播以更新世界模型，导致信用分配缓慢且在大规模场景下计算代价极高。
近来序列模型展现出强大的上下文学习（In-Context Learning, ICL）能力，如先验拟合网络（Prior-Fitted Networks, PFNs）可以在单次前向传播中隐式逼近后验预测分布，这为充当免梯度更新的世界模型提供了全新可能。然而，一个根本性的理论与方法问题随之浮现：能否仅凭预训练冻结的上下文学习者的单步预测误差和上下文反事实操作（如观测掩码），构造出有效逼近理论最优 BIG 的内在奖励？如果可以，这种构造在何种环境下有效、何时会遭遇结构性失效？
本文从贝叶斯统计与信息论视角系统形式化了这一范式。核心 idea：证明在通用 BAMDP 中基于有限时序似然的 ICL 内在奖励必然存在外生偏差（如不可消除的外推诱导偏差），但在贝叶斯实验设计（BED）子类中，提出的未来预测误差消减奖励 \(r^{\mathrm{sum}}\) 能够消除外推耦合，实现对贝叶斯信息增益的下界约束与长序列渐近无偏收敛。
方法详解¶
整体框架¶
本文针对贝叶斯自适应马尔可夫决策过程（BAMDP）建立形式化框架。环境由固定但未知的潜在参数 \(\theta \sim p(\theta)\) 控制，动力学转移满足 \(s_{t+1} \sim p(\cdot \mid s_{t}, a_{t}, \theta)\)。离线预训练一个自回归序列模型 \(\rho\) 作为先验拟合网络（PFN），使其在单次前向传播中输出给定历史轨迹 \(h_{t} = (s_{1}, a_{1}, \dots, s_{t-1}, a_{t-1})\) 时的贝叶斯后验预测分布 \(\rho(s_{t} \mid h_{t}) = \int p(s_{t} \mid s_{t-1}, a_{t-1}, \theta) p(\theta \mid h_{t}) d\theta\)。在探索策略 \(\pi_{\phi}\) 的训练阶段，\(\rho\) 保持完全冻结且不执行任何参数微调。当策略与环境交互产生轨迹后，轨迹输入 \(\rho\)，通过标准前向推断计算原始预测对数似然，再通过反事实上下文干预（如对当前状态 \(s_{t}\) 打掩码或复用前序动作）获得对比似然，进而计算内在奖励驱动策略迭代。
整个系统涵盖三种内在奖励形式的构造机制：传统的预测惊奇度奖励 \(r^{\mathrm{sur}}\)、基于描述长度缩减的学习进展奖励 \(r^{\mathrm{dl}}\)，以及本文提出的未来多步累积预测提升奖励 \(r^{\mathrm{sum}}\)。针对通用 BAMDP 与非时序依赖的贝叶斯实验设计（BED）两种设定，系统分别给出了可实现性与偏差消除边界。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["探索策略生成轨迹<br/>交互收集状态动作序列 (s, a)"] --> B["冻结序列模型 ICL 后验预测<br/>单次前向隐式贝叶斯推断 ρ(s|h)"]
B --> C["上下文反事实干预与奖励构建<br/>掩码剔除/动作复制计算预测对数比"]
C --> D["奖励评估与理论偏差解耦<br/>分解为 BIG、外推项与残差项"]
D --> E["策略梯度更新优化<br/>PPO/REINFORCE 优化信息获取轨迹"]关键设计¶
1. 上下文学习预测奖励类 \(\mathcal{F}\) 与不可行性定理：通用 MDP 下的无偏估计壁垒
为了明确利用 ICL 构建内在奖励的理论边界，论文将可由 \(\rho\) 前向推断快速计算的奖励形式形式化为类别 \(\mathcal{F}\)，即由有限个在轨迹子集条件下的预测似然构成的任意函数：\(r_{t} = f((\rho(X_{i} \mid Y_{i}))_{i \in I})\)。基于此，论文证明了在通用 BAMDP 中的不可行性定理（Theorem 1）：对于任意属于 \(\mathcal{F}\) 的有限步长内在奖励，必然存在非退化的 BAMDP 使得奖励的条件期望不等于真正的贝叶斯信息增益，即 \(\mathbb{E}[r_{t} \mid h_{t}] \neq I(s_{t}; \theta \mid h_{t})\)。这一结论揭示了仅靠离线冻结 ICL 的单步预测对数无法在通用动力学下完美复现主动贝叶斯探索。其根本原因在于动力学转移中状态间的时序马尔可夫耦合无法通过有限上下文的边际化完全消除。
2. 惊奇度与时序累积奖励 \(r^{\mathrm{sum}}\) 的偏差项正交分解
论文进一步对两类具代表性的预测奖励进行了数学解构。首先是单步预测惊奇度 \(r_{t}^{\mathrm{sur}} = -\log \rho(s_{t} \mid h_{t})\)，其期望分解为（Theorem 2）： $\(\mathbb{E}[r_{t}^{\mathrm{sur}} \mid h_{t}] = I(s_{t}; \theta \mid h_{t}) + H(s_{t} \mid h_{t}, \theta)\)$ 其中 \(H(s_{t} \mid h_{t}, \theta)\) 为不可约简的环境偶然噪声熵（Aleatoric Entropy），即使智能体已完全掌握环境参数 \(\theta\)，该项依然存在，从而导致策略沉迷于“噪声电视（Noisy TV）”。
为克服该缺陷，论文提出了时序累加未来预测改进奖励 \(r_{t}^{\mathrm{sum}}\)： $\(r_{t}^{\mathrm{sum}} = \sum_{t^{\prime}=t+1}^{T} \left[ \log \rho(s_{t^{\prime}} \mid h_{t^{\prime}}) - \log \rho(s_{t^{\prime}} \mid h_{t^{\prime} \setminus t}) \right]\)$ 其中 \(h_{t^{\prime} \setminus t}\) 表示将历史中的状态 \(s_{t}\) 替换为掩码标记的反事实序列。论文严格导出了 \(r_{t}^{\mathrm{sum}}\) 的链式法则分解（Theorem 3）： $\(\mathbb{E}[r_{t}^{\mathrm{sum}} \mid h_{t}, a_{t:T-1}] = I(s_{t}; \theta \mid h_{t}) + I(s_{t}; s_{t+1} \mid \theta, h_{t}, a_{t}) - I(s_{t}; \theta \mid h_{t}, a_{t:T-1}, s_{t+1:T})\)$ 式中第二项为单步“外推项（Abductive term）”，表征由动力学核直接传递的状态转移物理耦合，第三项为“认知残差项（Residual term）”。在后验一致性假设下，当轨迹总长度 \(T \to \infty\) 时，残差项趋于 0，但外推项由于内核转移关系在通用 MDP 中无法消失。
3. 贝叶斯实验设计（BED）下的偏差消除与双侧渐近收敛对偶性
在贝叶斯实验设计（BED，如主动学习、函数黑盒探针）场景中，状态转移核满足 \(p(s_{t} \mid s_{t-1}, a_{t-1}, \theta) = p(s_{t} \mid a_{t-1}, \theta)\)，即给定动作和环境参数后观测相互条件独立。在此结构下，外推项恒等于 0，使得 \(r_{t}^{\mathrm{sum}}\) 的期望严格等于： $\(\mathbb{E}[r_{t}^{\mathrm{sum}} \mid h_{t}, a_{t:T-1}] = I(s_{t}; \theta \mid h_{t}) - I(s_{t}; \theta \mid h_{t}, a_{t:T-1}, s_{t+1:T})\)$ 随着轨迹长度 \(T \to \infty\)，\(r^{\mathrm{sum}}\) 严格渐近无偏收敛至 BIG，并在有限长度下构成 BIG 的理论下界。
另一方面，传统学习进展奖励 \(r_{t}^{\mathrm{dl}} = \log \int p(s_{t} \mid s_{t-1}, a_{t-1}, \theta) p(\theta \mid h_{t}, s_{t}) d\theta - \log \rho(s_{t} \mid h_{t})\) 原本因需要用更新后的后验评估旧转移而在通用 MDP 中无法用 ICL 前向实现；但在 BED 结构下，论文利用反事实动作复制恒等式证明其等价于单步虚拟预测：\(\rho(s_{t+1}=s_{t} \mid h_{t}, s_{t}, a_{t}=a_{t-1})\)。进一步展开可得（Theorem 4）： $\(\mathbb{E}[r_{t}^{\mathrm{dl}} \mid h_{t}] = I(s_{t}; \theta \mid h_{t}) + \mathbb{E}_{s_{t} \mid a_{t-1}} \left[ \log \mathbb{E}_{p(\theta \mid h_{t}, s_{t})}[L(\theta)] - \mathbb{E}_{p(\theta \mid h_{t}, s_{t})}[\log L(\theta)] \right]\)$ 第二项为非负的琴生间隙（Jensen Gap），构成 BIG 的理论上界。这形成了精妙的双侧夹逼定理：\(\mathbb{E}[r_{t}^{\mathrm{sum}}] \le I(s_{t}; \theta \mid h_{t}) \le \mathbb{E}[r_{t}^{\mathrm{dl}}]\)，两者分别从上下两侧渐近逼近真实的贝叶斯信息增益。
损失函数 / 训练策略¶
离线 PFN 预训练采用自回归多步预测似然目标。以高斯过程环境为例，PFN 采用 Transformer 解码器结构，在合成 GP 先验轨迹上以带停止梯度的方差加权负对数似然进行优化： $\(\mathcal{L}_{\mathrm{PFN}} = \frac{1}{(T-1)B} \sum_{b=1}^{B} \sum_{t=1}^{T-1} [\operatorname{sg}(\hat{\sigma}_{t}^{2})]^{\beta} \left[ \frac{1}{2} \log (2\pi \hat{\sigma}_{t}^{2}) + \frac{(y_{t} - \hat{\mu}_{t})^{2}}{2\hat{\sigma}_{t}^{2}} \right]\)$ 探索策略网络 \(\pi_{\phi}\) 采用 Griffin 序列循环骨干（基于线性循环单元 LRU），使用 REINFORCE 或 PPO 算法配合价值基线网络进行端到端优化： $\(\mathcal{L}_{\mathrm{RL}} = \mathcal{L}_{\pi} + \lambda_{V} \mathcal{L}_{V} - \lambda_{H} \mathcal{H}[\pi_{\phi}]\)$ 其中价值损失权重设为 \(\lambda_{V} = 0.5\)，策略熵增正则项系数设为 \(\lambda_{H} = 0.01\)。在采样轨迹完成后，离线冻结的 PFN 仅通过计算前向预测概率及上下文掩码差分，生成标量轨迹内在奖励反传给策略网络。
实验关键数据¶
主实验¶
实验在三个代表性 BED 环境中评估：连续空间的高斯过程（Gaussian Process, GP）主动函数估计、离散符号推理的Mastermind 破译密码，以及图转移规则发现的Alchemy 炼金术环境。每个环境均评估标准无噪版与引入非均匀异方差偶然噪声的“恶魔/噪声电视”变体（如 GP 中的棋盘交替高方差噪声瓦片、Mastermind 中的伪随机变异恶魔颜色、Alchemy 中的随机恶魔石头）。评估指标为冻结的贝叶斯 Oracle 或验证集上的平均对数似然（V-score）。
| 环境设置 | 探索驱动机制 | Oracle 预测模型验证评分 | PFN (ICL) 预测模型验证评分 | 噪声鲁棒性表现 |
|---|---|---|---|---|
| GP 主动函数估计 (无噪/连续) | 随机策略 Baseline | -1.18 | -1.18 | 基准性能 |
| GP 主动函数估计 (含棋盘高噪) | 预测惊奇度 \(r^{\mathrm{sur}}\) | -1.82 | -1.79 | 严重退化（深陷噪声区） |
| GP 主动函数估计 (含棋盘高噪) | 学习进展 \(r^{\mathrm{dl}}\) | -0.42 | -0.45 | 鲁棒（主动避开噪声区） |
| GP 主动函数估计 (含棋盘高噪) | 提出方法 \(r^{\mathrm{sum}}\) | -0.38 | -0.41 | 最优（逼近环境外在任务奖励） |
| Mastermind (标准无噪 \(L=7, C=6\)) | 预测惊奇度 \(r^{\mathrm{sur}}\) | 0.94 | 0.92 | 接近最优理论上限 |
| Mastermind (标准无噪 \(L=7, C=6\)) | 提出方法 \(r^{\mathrm{sum}}\) | 0.95 | 0.93 | 极佳且完全匹配 Oracle |
| Mastermind (引入 Evil Color 噪声) | 预测惊奇度 \(r^{\mathrm{sur}}\) | 0.12 | 0.11 | 低于随机策略（崩溃） |
| Mastermind (引入 Evil Color 噪声) | 提出方法 \(r^{\mathrm{sum}}\) | 0.88 | 0.85 | 保持高准确率与鲁棒性 |
| Alchemy 规则发现 (含 Evil Stone 噪声) | 预测惊奇度 \(r^{\mathrm{sur}}\) | -2.45 | -2.48 | 探索停滞，落后于随机选择 |
| Alchemy 规则发现 (含 Evil Stone 噪声) | 提出方法 \(r^{\mathrm{sum}}\) | -1.12 | -1.15 | 展现出最强的主动探索能力 |
消融实验¶
针对理论分解项与序列超参数进行消融分析，在 GP 环境下通过 Oracle 解析计算检验各理论成分的契合度，并分析轨迹长度 \(T\) 对 \(r^{\mathrm{sum}}\) 偏差残差消除的影响：
| 评估配置 / 理论项 | 实测对数增益 / 偏差量 | 相对基准变化 | 机制解析与理论对应说明 |
|---|---|---|---|
| 理论真实 BIG: \(I(s_{t}; \theta \mid h_{t})\) | 0.824 nats | 基准信息增益 | 理论最优的纯认知不确定性缩减量 |
| 经验 \(r^{\mathrm{sum}}\) 奖励值 | 0.761 nats | 相比 BIG 偏差 -0.063 | 理论下界：负残差项导致轻微保守估计 |
| 解析重构 \(\text{BIG} - \text{Residual}\) | 0.761 nats | 完美拟合 (0.000) | 完全重合，严格证实 Corollary 3.1 成立 |
| 经验 \(r^{\mathrm{dl}}\) 奖励值 | 0.895 nats | 相比 BIG 偏差 +0.071 | 理论上界：非负琴生间隙导致偏高 |
| 解析重构 \(\text{BIG} + \text{JensenGap}\) | 0.895 nats | 完美拟合 (0.000) | 完全重合，严格证实 Theorem 4 成立 |
| \(r^{\mathrm{sum}}\) 截断长度 \(T=5\) (短序列) | 残差项 = 0.185 | 残差偏大 | 有限步长下对长远参数辨识的信息覆盖不足 |
| \(r^{\mathrm{sum}}\) 截断长度 \(T=26\) (默认) | 残差项 = 0.063 | 残差显著衰减 (-65.9%) | 随着序列增长，残差快速趋向 0 |
关键发现¶
- 经验证的惊奇度病态行为：在含偶然噪声的异方差环境下，使用 \(r^{\mathrm{sur}}\) 训练的策略随着训练步数增加，训练奖励不断上升，但验证对数似然却断崖式下降，策略被完全吸引到棋盘高噪声区域反复采样；而 \(r^{\mathrm{sum}}\) 与 \(r^{\mathrm{dl}}\) 能够自发完全规避高噪区域，精准采样低噪信息丰富区。
- 理论分解的严格经验吻合：在 GP 环境的精确数值解析中，\(r^{\mathrm{sum}}\) 的实测轨迹奖励与解析理论项 \(\text{BIG} - \text{Residual}\) 在时间曲线上完全重叠，同时 \(r^{\mathrm{dl}}\) 与 \(\text{BIG} + \text{JensenGap}\) 完全重叠，从数值仿真层面严格验证了推导的定理成立。
- ICL 先验拟合网络与 Oracle 的高度一致性：在连续与离散环境中，基于 Transformer 架构预训练的 PFN 能够高度拟合甚至完全替代昂贵的解析贝叶斯 Oracle，在完全脱离真实参数显式推断的情况下提供高保真的内在好奇心奖励信号。
亮点与洞察¶
- 免梯度更新的自回归内在好奇心闭环：摆脱了传统世界模型需要针对每条交互轨迹在内循环执行反向传播梯度微调的严重算力瓶颈，首次建立起完全依靠预训练序列模型 ICL 单次前向推断与上下文反事实掩码计算内在好奇心奖励的严谨范式。
- 理论上下界对偶性：揭示了在 BED 设定下，\(r^{\mathrm{sum}}\)（下界，依赖未来数据衰减残差）与 \(r^{\mathrm{dl}}\)（上界，依赖历史推断琴生间隙）在信息论结构上的镜像对偶关系，为未来构建双侧夹逼混合估计器提供了坚实的理论依据。
- 从通用 MDP 的不可能性到特定结构的渐近解：深刻厘清了通用强化学习 MDP 中动力学内核耦合（外推偏差）与 BED 独立试验结构之间的数学鸿沟，指出了序列模型在探索表征中的适用边界。
局限与展望¶
- 通用时序 MDP 中的外推偏差阻碍：由于通用 MDP 中状态间存在物理动力学转移耦合，现有自回归架构仅凭直接预测误差无法剥离外推项；若要强行使用带 Gap 的多步掩码奖励 \(r^{\mathrm{gap}}\)，模型需要跨长跨度对未观测状态进行大步长边际化，现有序列模型对此往往难以泛化。
- 离线预训练与主动策略的分布偏移（Covariate Shift）：ICL 模型是在无偏均匀随机探索的轨迹先验上训练的，当策略网络通过强化学习学会极其敏锐的主动探索模式后，收集到的极端非平衡轨迹可能超出 ICL 模型的有效支持集。
- 单智能体单生命周期在线拓展约束：序列模型的上下文窗口长度存在上限，导致终生持续学习的进展累积存在饱和效应；未来结合隐空间任务向量（Task Vectors）干预或分层抽象动作，是将此范式推广到高维物理控制的重要路径。
相关工作与启发¶
- vs Schmidhuber 系列经典学习进展 (Learning Progress / Description Length)：传统学习进展需要维护在线 RNN 并通过梯度下降更新模型参数以评估参数更新前后的误差差分；本文证明了在 BED 下无需梯度更新，利用反事实动作复制可以在 ICL 单次前向中实现相同度量，并指出了其渐近偏置随信号同步归零的局限。
- vs NDIGO (Azar et al., 2019)：NDIGO 仅衡量单一未来固定第 \(K\) 步的预测似然差异；本文的 \(r^{\mathrm{sum}}\) 采用整个剩余轨迹的望远镜式累加差分，证明了其能够有效驱动认知残差在长序列下衰减至 0，从而渐近恢复真正的 BIG。
- vs 纯惊奇度驱动探索 (Pathak et al., 2017 / Burda et al., 2019)：纯惊奇度本质上混合了认知不确定性与偶然环境熵；本文不仅在理论上量化了该噪声偏移项，而且在实证中展现了 ICL 驱动的差分奖励对噪声电视问题的彻底免疫。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从信息论与贝叶斯预测视角系统严谨地形式化了利用 ICL 隐式推断构建内在好奇心的理论可行性与边界。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖连续高斯过程与两类离散符号环境，全面覆盖理论解析对齐、有噪对比及与真实任务性能的横向比较。
- 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完备，引理与定理的物理意义阐释深入直观，附录证明详实。
- 价值: ⭐⭐⭐⭐⭐ 成功连接了现代序列模型的上下文学习能力与经典内在强化学习探索理论，为通用世界模型与主动探索系统的构建提供了重要指导。