Not all uncertainty is alike: volatility, stochasticity, and exploration¶

会议: NeurIPS 2026
arXiv: 2605.19215
OpenReview: https://openreview.net/forum?id=VSnGy8znmQ
领域: 强化学习
关键词: 多臂老虎机, 探索与利用, 波动性与随机性, 控制即推断, Gittins指数

一句话总结¶

本文证明了环境不确定性中潜状态漂移（波动性）与观测噪声（随机性）对最优探索具有相反的单调驱动作用，并通过控制即推断框架推导出适用于非平稳高斯状态空间老虎机的闭式探索指数策略 CAUSE。

研究背景与动机¶

在生物与人工智能的自适应决策研究中，探索与利用的权衡长期遵循一个核心假设：不确定性驱动探索，后验不确定性越大，智能体就越应分配资源去探索。无论是在强化学习中秉持乐观原则的上置信界（UCB）算法、基于后验采样的 Thompson Sampling、基于信息增益与遗憾比率的信息导向采样（IDS），还是认知神经科学中衡量不确定性神经信号的实验范式，均将不确定性视为同质标量，一律开出“不确定度越高则探索越强”的处方。

然而，这一经典准则忽略了不同环境不确定性来源在信息论本质上的差异。在现实动态环境中，奖励生成通常涉及两种截然不同的潜机制：一种是真实潜状态随时间发生漂移的创新方差（波动性，volatility $v$），另一种是观测时叠加的加性测量噪声（随机性，stochasticity $s$）。这两种来源都会导致后验奖励方差膨胀，传统策略因而无差别地加大探索。但从信息增益的视角来看，波动性意味着潜在状态正在演化，新的观测能够揭示状态的新动态，因此产生真正的信息价值；相反，随机性仅仅破坏了观测信噪比，在纯高噪声环境下采集更多样本的边际信息收益极其微弱。无差别探索的智能体恰恰会在观测最不可靠时盲目且高代价地过度探索。

针对这一结构性缺陷，本文将经典静态多臂老虎机的 Gittins 指数框架严格拓展到带潜随机游走动力学的高斯状态空间老虎机。核心 idea：证明潜状态波动性增强最优探索奖励、而观测随机性抑制探索奖励的理论单调性对称，并借助控制即推断（Control-as-Inference）概率图模型反向消息传递，推导出首个针对非平稳高斯连续状态空间老虎机的闭式探索指数策略 CAUSE。

方法详解¶

整体框架¶

本文首先从规范决策论出发，通过扩展的 Gittins 退休问题确立波动性与随机性驱动探索的相反单调性定理；随后针对非平稳（restless）设定下全局联合最优规划不可解的问题，将动作选择重构为条件化于未来最优性变量的反向贝叶斯推断，构建自适应探索算法 CAUSE（Cause-Aware Uncertainty-Sensitive Exploration）。

在具体运行过程中，系统对每个臂维护一个高斯卡尔曼滤波后验。在每个决策步，状态演化与观测噪声分别通过前向滤波与反向消息精度计算解耦，形成各臂独立的闭式指数，智能体贪婪选择该指数最大的臂拉动。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    InState["各臂卡尔曼滤波后验<br/>均值 m_t-1, 方差 P_t-1"] --> Diff["区分两类不确定性来源<br/>波动性 v (状态漂移) 与 随机性 s (观测噪声)"]

    subgraph CAUSE_Mechanism ["CAUSE 闭式探索指数推导 (控制即推断)"]
        direction TB
        OptModel["引入无限期最优性二值变量<br/>p(o_t=1 | r_t) = σ(γ^(t-1) r_t)"]
        BackMsg["反向消息递归与对偶折扣因子<br/>S ≈ 2 / ((ln D + 1 - γ)(1 + √(1 + φ s)))"]
        PostInf["后验歪斜正态分布一阶矩展开<br/>λ_CAUSE = m + c (P + v) α~"]
    end

    Diff --> OptModel
    OptModel --> BackMsg
    BackMsg --> PostInf
    PostInf --> Select["选择指数最高臂拉动并观测奖励<br/>a_t = argmax_k λ_CAUSE,k"]
    Select --> Update["卡尔曼滤波更新选中臂 (m_t, P_t)<br/>未选中臂仅增长状态方差 P + v"]

关键设计¶

1. Gittins退休问题扩展与探索对偶单调性定理：确立信息价值与噪声的相反效应 针对传统 UCB 类算法盲目探索的问题，论文首先将单臂探索的价值形式化为 Gittins 退休问题：智能体在继续拉动该臂获取噪声奖励或选择永久退休领取保底年金 $\lambda$ 之间权衡，使得立即退休与继续探索无差异的无差别薪资 $\lambda$ 即为该臂的总价值。通过位移耦合技术，该指数严格解耦为期望利用项与非负探索奖励项：$\lambda(m, P, s, v, \gamma) = m + B(P, s, v, \gamma)$。论文通过构造耦合概率空间证明了定理 2（随机性单调递减）：对更嘈杂观测臂的任何停时策略，均可由干净臂智能体通过在内部引入独立高斯噪声予以模拟，因此嘈杂臂的可行决策集严格包含于干净臂，其最优停时价值上界更低，即 $B(P, s, v, \gamma)$ 对 $s$ 单调不增；进一步结合 Bellman 算子的凸性与 Jensen 不等式，证明了定理 3（波动性单调递增）：波动性 $v$ 增大了下一步后验均值的散度，凸价值函数使得 Jensen 增益为正，且后验方差持续被漂移补充，导致 $B(P, s, v, \gamma)$ 对 $v$ 单调不减。这一对偶单调性从理论上终结了“一切不确定性皆应促进探索”的模糊直觉。

2. 基于控制即推断的反向消息传递：解耦非平稳各臂的联合维度灾难 在所有臂均持续演化的非平稳（restless）老虎机中，全局动态规划受制于状态空间组合爆炸（PSPACE-hard），Gittins 指数失去可分离性保障。为打破这一计算瓶颈，论文将动作规划转化为概率图推断，在每个时间步引入最优性指示变量 $o_t \in \{0, 1\}$，其似然满足 $p(o_t=1 \mid r_t) = \sigma(\gamma^{t-1} r_t)$。在该图模型中，条件化于未来无限期最优性事件 $o_{t:\infty}=1$ 后，联合规划自然退化为每个臂内部先验与反向消息 $b_t(x_t) \equiv p(o_{t:\infty}=1 \mid x_t)$ 的局部乘积。通过对高斯-Sigmoid 卷积采用 Probit 近似，反向消息的精度标量 $\alpha_t$ 遵循确定性递归： $$\alpha_t = \beta_t + \frac{\alpha_{t+1}}{\sqrt{1 + \phi v \alpha_{t+1}^2}}, \quad \text{其中 } \beta_t = \frac{\gamma^{t-1}}{\sqrt{1 + \phi \gamma^{2(t-1)} s}}, \; \phi = \frac{\pi}{8}$$ 观测噪声 $s$ 直接削弱了单步最优性信号的有效精度 $\beta_t$；而波动性 $v$ 则通过分母因子 $\sqrt{1 + \phi v \alpha_{t+1}^2}$ 产生“对偶折扣”效应（Dual Discounting），使过往信息随时间快速褪色，大幅压缩了有效规划时界，从而将复杂的跨臂动态博弈映射为各臂独立的精确反向扩散过程。

3. CAUSE闭式探索指数解析解：对偶折扣下的可解释性结构 为了获得可直接在线计算的无循环解析式，论文对反向递推中的非线性分母在积分区间 $[0, 1]$ 上实施梯形近似与 Undamped 极限展开，闭式解析出无限时界有效精度 $S$： $$S \approx \frac{2}{(\ln D + 1 - \gamma)(1 + \sqrt{1 + \phi s})}, \quad D = \frac{1}{2}\left(1 + \sqrt{1 + \phi v (\alpha^*)^2}\right), \quad \alpha^* = \frac{2}{(1 - \gamma)(1 + \sqrt{1 + \phi s})}$$ 将该反向消息与当前卡尔曼滤波的一步预测高斯先验 $\mathcal{N}(m_{t-1}, \Sigma_t)$（其中 $\Sigma_t = P_{t-1} + v$）共轭相乘，得到潜状态的歪斜正态分布（Skew-Normal Posterior）。利用指数族矩母函数恒等式对均值求导，并消除依赖于瞬时均值 $m_{t-1}$ 的门控因子（在对称先验下其期望常数为 $c=0.5$），最终导出封闭形式的 CAUSE 指数： $$\lambda_{\text{CAUSE}} = m_{t-1} + c (P_{t-1} + v) \tilde{\alpha}_t, \quad \tilde{\alpha}_t = \frac{S}{\sqrt{1 + \phi (P_{t-1} + v) S^2}}$$ 当 $P+v \to \infty$ 时，$\tilde{\alpha} \to 1/\sqrt{\phi(P+v)}$，探索项自发渐进退化为经典的 $c\sqrt{8/\pi}\sqrt{P+v}$，无缝吻合了传统 UCB 的方差根号标度；而在有限噪声区间，该指数严格保留了随 $s$ 衰减、随 $v$ 增加且受 $D$ 约束有效视界的所有渐近性质。

4. 联合噪声推断病理病因学映射：病理性噪声归因导致探索极性反转 在噪声参数未知的情境中，波动性与随机性必须通过“解释消除”（Explaining Away）从时间序列残差中联合估计。论文借助双重敏感度模型分析了认知病理机制：若智能体对随机性迟钝（$\lambda_s = 0$），观察到的高频震荡会被误归因为强烈的潜状态剧变（$\hat{v}$ 虚高、$\hat{s}$ 被压低），导致探索行为在噪声极大、观测毫无价值的环境中不降反升，表现为严重的“随机性盲视型过度探索”（如焦虑症对环境噪声的过度反应）；反之，对波动性迟钝（$\lambda_v = 0$）的智能体将潜状态真实演化误判为恒定背景白噪声（$\hat{s}$ 虚高、$\hat{v}$ 极小），在环境发生剧烈变迁时完全丧失探索意愿（如抑郁症的奖赏信念更新僵死）。该机制揭示出精神病理学中异常探索并非简单的能力缺陷，而是特定潜变量推断偏塞所引起的探索单调性极性反转。

损失函数 / 训练策略¶

该方法为在线贝叶斯决策指数策略，无需传统的离线梯度反向传播训练。在在线决策交互中，核心计算分为两部分： 1. 状态更新：各臂按卡尔曼滤波递推执行均值与协方差更新：被拉动臂更新为 $m_t = m_{t-1} + K_t (r_t - m_{t-1})$，$P_t = (1 - K_t)(P_{t-1} + v)$，其中卡尔曼增益 $K_t = (P_{t-1} + v) / (P_{t-1} + v + s)$；未被拉动臂保持 $m_t = m_{t-1}$，方差按真实游走增加 $P_t = P_{t-1} + v$。 2. 决策参数：超参数在所有实验中统一定死，探索比例系数固定为理论平均值 $c=0.5$，折扣因子 $\gamma=0.95$，先验方差设为 $P_0=25$；在病理推断实验中，敏感度系数正常智能体设为 $\lambda_v = \lambda_s = 0.1$，单侧损伤智能体设为对应参数为 $0$。

实验关键数据¶

主实验¶

论文在非平稳多臂老虎机（$K=4$, $T=200$, 折扣因子 $\gamma=0.95$, 1000 次独立 Monte Carlo 仿真）上系统对比了三种噪声异质性体制下的累积折扣遗憾值（Cumulative Discounted Regret）： - 混合体制（Mixed）：臂均匀分布在四种 $(v, s)$ 组合，其中 $v \in \{1, 4\}$, $s \in \{9, 25\}$； - 随机性主导体制（$s$-dominant）：波动性恒定 $v=4$，两臂低噪声 $s=9$，两臂极高噪声 $s=900$； - 波动性主导体制（$v$-dominant）：随机性恒定 $s=25$，两臂低波动 $v=1$，两臂极高波动 $v=100$。

基准方法包含：Thompson Sampling（TS）、Bayesian UCB（$c=2$）、预测采样（Predictive Sampling）、贪婪短视策略（Myopic）以及针对静态问题通过数值值迭代计算的单臂 Gittins 指数（Gittins-per-arm）。

实验体制	评估指标 (累积折扣遗憾)	CAUSE (本文)	Gittins-per-arm	Predictive Sampling	Bayesian UCB	Thompson Sampling	Myopic
混合体制 (Mixed)	累积折扣遗憾 (Mean)	最低 (最优)	次优 (无视非平稳对偶折扣)	显著偏高	显著偏高	显著偏高	严重受挫
随机性主导 ($s$-dominant)	累积折扣遗憾 (Mean)	并列最低 (最优)	并列最低 (最优)	居中	极高 (差于Myopic)	极高 (差于Myopic)	适中
波动性主导 ($v$-dominant)	累积折扣遗憾 (Mean)	最低 (大幅领先)	显著落后 (过度探索)	较高	较高	较高	极高

注：原文在图 1 中以柱状图与误差线展示了上述三类体制下的遗憾分布。在 $s$-dominant 模式下，盲目依赖后验方差的 UCB 和 TS 由于疯狂探索无用的 $s=900$ 臂，累积遗憾甚至恶化到了不如完全不探索的 Myopic 策略。

消融与基准吻合实验（Rested Limit 验证）¶

当波动性衰减至静态极限 $v=0$ 时，多臂老虎机退化为经典独立同分布高斯臂，此时通过高斯-埃尔米特求积数值求解退休问题的 Gittins 理论指数是已被严格证明的最优策略。表 2 汇报了 CAUSE 在 $v=0$ 极限下与理论最优 Gittins 策略的吻合度验证（$T=200, 1000$ 次独立重复）：

测试配置	评估指标	CAUSE (本文)	Gittins 理论最优基线	性能差异 / 统计检验
中度随机异质性 ($s \in \{9, 25\}$)	累积折扣遗憾 (Mean ± SEM)	$22.61 \pm 0.88$	$22.50 \pm 0.75$	$\Delta = +0.11$ (在置信区间内无统计学差异)
极端随机异质性 ($s \in \{9, 900\}$)	累积折扣遗憾 (Mean ± SEM)	$42.71 \pm 2.40$	$41.36 \pm 2.04$	$\Delta = +1.35$ (在联合抽样误差 $\sim 3.15$ 内完全吻合)
探索常数敏感性 ($s$-dominant)	UCB 最佳超参下的遗憾	最优 (免调参 $c=0.5$)	—	UCB即便网格搜索最佳 $c=0.5$ 仍落后 CAUSE
探索常数敏感性 ($v$-dominant)	UCB 最佳超参下的遗憾	最优 (免调参 $c=0.5$)	—	UCB即便网格搜索最佳 $c=1.0$ 仍落后 CAUSE

关键发现¶

对偶折扣机制解决非平稳过度探索：在波动性主导体制下，Gittins-per-arm 因假设未拉动的臂保持静止，严重低估了历史信息在动态演化中的贬值速度，导致后期对高波动臂过度探索；而 CAUSE 通过分母中 $D$ 项引入的对偶折扣因子自然压低了长远期信息的权重，取得了全场最低遗憾。
静态极限下的理论无损逼近：在 $v=0$ 静态基准下，尽管推导经历了 Probit 近似与积分平均展开，CAUSE 计算出的探索红利与经过 15 节点求积加二分搜索的高精度 Gittins 数值解在统计学意义上完全重合（误差 $< 0.5$ 个标准误差）。
探索极性反转实验印证病理预测：在噪声推断病理实验中，随机性盲视智能体在 $s$ 增大时探索奖励反常上升，波动性盲视智能体在 $v$ 增大时探索奖励反常下降。这种跨轴的独立反转直接复现了学习率文献中的认知病理特征，证明了探索异常具有诊断特异性。

亮点与洞察¶

解构不确定性二元性：首次在序贯决策领域从信息论与测度耦合角度证明，环境不确定性决不能作为标量一概而论——漂移生成有效信息，测量噪声毁灭信息，最优探索必须沿两轴呈相反单调性。
控制即推断打破 PSPACE-hard 屏障：巧妙地将非平稳老虎机的联合动态规划转化为最优性条件概率图的反向消息传递，使原本耦合的高维连续状态空间在推断视角下实现各臂解耦，推导出简洁优雅的闭式解。
认知精神病理学的探索解释框架：将临床精神病学中有关焦虑症与抑郁症探索行为紊乱的相互矛盾报道，统一归结为噪声解耦推断中的不同病理通道受损，提供了具有诊断意义的量化计算假说。

局限与展望¶

高斯随机游走假设的局限：当前的闭式推导深度依赖于高斯共轭性和 Probit 近似，若环境包含跳跃式突变点（Change-Point）或非高斯重尾噪声分布，精确的反向消息递推将不再适用。
臂数规模扩大时的相对优势收窄：鲁棒性实验表明，当臂数 $K$ 从 4 扩大到 16 时，由于探索超参数 $c=0.5$ 被强制恒定，CAUSE 与 Gittins-per-arm 的性能差距逐渐收窄，未来需研究自适应规模缩放机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从控制即推断推导出非平稳高斯老虎机的闭式探索指数，理论证明严谨完备。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖理论极限对齐、多体制非平稳测试、超参鲁棒性以及计算精神病学病理反转仿真。
写作质量: ⭐⭐⭐⭐⭐ 概念清晰明快，数学推导详实，故事逻辑浑然一体。
价值: ⭐⭐⭐⭐⭐ 纠正了探索领域长期以来将不确定性同质化的误区，对强化学习探索理论与计算精神病学均有深远意义。

测试配置	评估指标	CAUSE (本文)	Gittins 理论最优基线	性能差异 / 统计检验
中度随机异质性 (\(s \in \{9, 25\}\))	累积折扣遗憾 (Mean ± SEM)	\(22.61 \pm 0.88\)	\(22.50 \pm 0.75\)	\(\Delta = +0.11\) (在置信区间内无统计学差异)
极端随机异质性 (\(s \in \{9, 900\}\))	累积折扣遗憾 (Mean ± SEM)	\(42.71 \pm 2.40\)	\(41.36 \pm 2.04\)	\(\Delta = +1.35\) (在联合抽样误差 \(\sim 3.15\) 内完全吻合)
探索常数敏感性 (\(s\)-dominant)	UCB 最佳超参下的遗憾	最优 (免调参 \(c=0.5\))	—	UCB即便网格搜索最佳 \(c=0.5\) 仍落后 CAUSE
探索常数敏感性 (\(v\)-dominant)	UCB 最佳超参下的遗憾	最优 (免调参 \(c=0.5\))	—	UCB即便网格搜索最佳 \(c=1.0\) 仍落后 CAUSE