跳转至

Bayesian Decision Making observing an Expert

会议: NeurIPS 2026
arXiv: 2510.08113
OpenReview: https://openreview.net/forum?id=mVsJcNjcSu
领域: 强化学习
关键词: 多臂老虎机, 贝叶斯在线学习, 专家反馈, 汤普森采样, 信息论遗憾界

一句话总结

针对智能体与专家共存的多臂老虎机决策场景，本文提出将专家最优策略诱导的结果分布通过贝叶斯一致性更新纳入先验，证明了离线专家数据可将汤普森采样的信息论遗憾界紧化专家数据与最优动作之间的互信息量，并设计了最大化一步互信息增益的在线信息源主动选择规则与专家可信度建模机制。

研究背景与动机

现代复杂决策智能体在实际部署中，通常并非运行在真空环境中，而是与已掌握环境优秀乃至最优动作策略的“专家”（如经验丰富的临床医生、高标定工业控制器、安全监督员或性能成熟的大型预训练模型）共存协同。在多臂老虎机（Multi-Armed Bandits, MAB）和强化学习的经典范式下，贝叶斯在线学习算法（特别是汤普森采样 Thompson Sampling, TS）凭借其在后验分布上的概率匹配探索，展现了优秀的信息论累积遗憾上界保证。然而，当智能体能够观测到专家的反馈时，现有的模仿学习或逆强化学习方法通常必须强依赖于显式观测专家的具体动作，但在很多现实场景中（例如由于隐私保护、部分可观测或通信信道受限），学习者往往只能观测到专家行为所达成的客观结果（Outcome），而无法直接获知专家到底拉动了哪一个动作臂。

这种异构反馈形式引发了根本性的认知张力：学习者所收集的数据由完整的动作-结果对 \((A_t, Y_t)\) 构成，而专家数据则是由未知的最优策略 \(a^*(\theta^*)\) 所诱发的结果样本 \(Y^*\) 组成。传统强化学习算法要么无法有效利用缺乏动作标签的结果数据，要么简单假定专家必然绝对真实而陷入模型误设（Model Misspecification）的崩溃风险中；同时，在同步在线学习场景中，若智能体每轮面临计算或信息吞吐瓶颈而只能选择更新自身经验或处理专家反馈之一时，选择接入何种数据流构成了信息机会成本的权衡，传统算法缺乏统一的度量准则来指导智能体何时应向专家学习、何时应依赖自身试错。

面对上述挑战，本文将观察专家结果的多臂老虎机学习重构为一个贝叶斯后验推断与实验设计的统一框架。通过将“专家做了什么”转换为“世界环境必须具备何种结构才能使专家诱导该结果分布”，智能体得以利用专家结果修剪掉不相容的环境参数集合。核心 idea：将观测专家的结果数据转化为关于最优动作分布的贝叶斯后验约束，证明离线专家数据以最优动作与专家结果的互信息量显式压低汤普森采样遗憾界，并基于最大化关于最优动作的一步互信息增益实现自适应数据源选择与专家可信度推断。

方法详解

整体框架

本文构建了面向专家反馈的贝叶斯在线学习理论与算法体系，涵盖三种典型进阶场景：离线专家数据预热（Offline Prior）、同步在线信息源主动选择（Simultaneous Information Choice）、以及不可信/对抗性专家下的可信度联合推断（Untrustworthy Expert Modeling）。学习者在参数化多臂老虎机环境 \(\theta^* \in \Theta\) 中进行交互，动作集为 \(\mathcal{A}\)，拉动动作 \(a\) 时依据未知似然 \(p_{\theta,a}(Y)\) 产生结果 \(Y \in \mathcal{Y}\) 并获得标量奖励 \(R(Y)\)；而专家知晓真实参数 \(\theta^*\) 并执行确定性最优策略 \(a^*(\theta^*) = \arg\max_{a \in \mathcal{A}} \mathbb{E}_{Y \sim p_{\theta,a}}[R(Y)]\)。

在离线阶段，学习者接收专家结果数据集 \(D_N^* = \{Y_n^*\}_{n=1}^N\)，将其经由贝叶斯推断注入初始先验 \(P_0(\theta)\) 形成紧凑后验 \(P_1(\theta)\)，从而在后续汤普森采样中享受更低的初始不确定性；在同步在线阶段，学习者在每一轮 \(t\) 面临计算与信息机会成本约束，必须在自身探索数据 \((A_t, Y_t)\) 与同步披露的专家结果 \(Y_t^*\) 之间二选一处理，算法通过估计两类观测关于最优动作 \(A^*\) 的条件互信息（Mutual Information, MI）完成贪心决策；在专家存在扰动、有界理性或对抗攻击的场景下，算法将专家策略 \(\pi_e\) 作为隐变量与环境参数 \(\theta\) 联合维护狄利克雷-粒子后验，实现可信度动态对齐。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["环境先验分布与专家观测流<br/>P0(θ) + {Y_n*} / (A_t, Y_t)"] --> B["1. 离线专家结果贝叶斯一致性更新<br/>利用专家结果分布似然修剪参数集"]
    B --> C["2. 互信息引导的主动信息源选择<br/>评估最优动作 A* 与各数据源的互信息"]
    C -->|评估数据源互信息增益| D{"3. 联合粒子滤波与专家可信度推断<br/>专家策略 π_e 是否完全可知？"}
    D -->|完全信任专家| E["双边预测边缘似然估计<br/>对比 I(A*; (A_t,Y_t)) 与 I(A*; Y_t*)"]
    D -->|专家不完美/对抗| F["狄利克雷-粒子后验联合更新<br/>计算边缘化专家策略似然并动态降权"]
    E --> G["汤普森采样动作执行与后验演化<br/>A_t ~ P_t(A*=a)，实现最优动作收敛"]
    F --> G

关键设计

1. 离线专家结果贝叶斯一致性更新：解决非对称结构下无动作专家结果向后验参数转化的数学一致性 在离线预训练中，学习者仅能获取专家最优结果样本 \(D_N^* = \{Y_n^*\}_{n=1}^N\)，无法直接知晓对应动作标签。针对参数空间 \(\Theta\)，在给定候选参数 \(\theta\) 下，最优动作记为 \(a^*(\theta)\)，其诱导的结果似然函数为 \(p_{\theta, a^*(\theta)}(Y)\)。由于各样本条件独立，后验概率计算如下： $\(P_1(\theta \mid D_N^*) \propto P_0(\theta) \prod_{i=1}^N p_{\theta, a^*(\theta)}(Y_i^*) = P_0(\theta) \exp\left( \sum_{i=1}^N \log p_{\theta, a^*(\theta)}(Y_i^*) \right)\)$ 文中严谨证明了（Proposition 1）：随着样本数量 \(N \to \infty\)，根据大数定律，经验对数似然均值以概率 1 收敛至真实分布 \(p^*_{a^*}\) 与模型似然 \(p_{\theta, a^*(\theta)}\) 的交叉熵 \(-\mathbb{H}(p^*_{a^*}) - D_{\mathrm{KL}}(p^*_{a^*} \,\|\, p_{\theta, a^*(\theta)})\)。对于任何诱导最优结果分布不匹配（即 \(D_{\mathrm{KL}} > 0\)）的参数 \(\theta\)，其权重呈指数级衰减至 0，后验分布 \(P_1\) 严格以概率 1 弱收敛于理想无穷数据更新 \(P_1(\theta \mid p^*_{a^*}) \propto P_0(\theta) \mathbb{I}[p_{\theta, a^*(\theta)} = p^*_{a^*}]\)。基于 Russo & Van Roy 的信息论分析框架，将该更新后的先验注入汤普森采样，定理 1（Theorem 1）确立了严格期望贝叶斯遗憾上界： $\(\mathbb{E}[\mathrm{Reg}_{\mathrm{TS}_1}(T)] \le C \sqrt{T \left(\mathbb{H}_0(A^*) - \mathbb{I}_0(A^*; D_N^*)\right)}\)$ 这表明离线专家数据对累积遗憾的削减幅度精确等价于专家结果与最优动作之间的互信息量 \(\mathbb{I}_0(A^*; D_N^*)\)，如果世界具备较强的非对称性，专家数据将快速使熵减为零，使学习者直接达成近乎零遗憾。

2. 互信息引导的主动信息源选择：在单步认知容量限制下以最小化最优动作不确定性为准则进行数据流路由 在同步在线交互中，学习者在时刻 \(t\) 同时面临自身交互生成的数据 \((A_t, Y_t)\) 与专家并行生成的最优结果 \(Y_t^*\)，但受到信道或处理带宽限制，必须从中选取其一 \(D_t \in \{ (A_t, Y_t), Y_t^* \}\) 来更新后验。由于学习者单步即时遗憾只取决于自身采取的动作，所选信息源并不改变当期即时期望收益，因此该决策本质属于贝叶斯最优实验设计问题。算法将选取准则严格公式化为最小化最优动作后验条件熵，等价于最大化关于最优动作 \(A^*\) 的互信息： $\(d_t^* = \arg\max_{d \in \{s, e\}} \mathbb{I}_t(A^*; D_t^{(d)})\)$ 其中针对自产数据源 \(s\)，利用策略独立性展开为： $\(\mathbb{I}_t(A^*; (A_t, Y_t)) = \sum_{a \in \mathcal{A}} \pi_t(a) \sum_{a' \in \mathcal{A}} \pi_t(a') D_{\mathrm{KL}}\left( P_t(Y_t \mid A_t=a, A^*=a') \,\|\, P_t(Y_t \mid A_t=a) \right)\)$ 而针对专家数据源 \(e\)，其预测似然直接由假设空间整合而来： $\(\mathbb{I}_t(A^*; Y_t^*) = \sum_{a' \in \mathcal{A}} \pi_t(a') D_{\mathrm{KL}}\left( P_t(Y_t^* \mid A^*=a') \,\|\, P_t(Y_t^*) \right)\)$ 算法 1 通过重要性粒子集合 \(\{(\theta^{(k)}, w_t^{(k)})\}_{k=1}^K\) 与蒙特卡洛多步虚拟采样（Algorithm 1），以极低方差在线估计这两个信息量并做出硬路由。理论同时揭示了对称性瓶颈（Proposition 2 & Corollary 1）：当且仅当所有参数空间下最优动作对应的结果分布完全一致（即 \(p_{\theta, a^*(\theta)}(\cdot) \equiv q(\cdot)\)）时，\(\mathbb{I}_t(A^*; Y_t^*) = 0\)，专家信息完全无法提供任何判别力，此时选择规则自适应地 \(100\%\) 屏蔽专家流，专注于自身经验。

3. 联合粒子滤波与专家可信度推断：防御有界理性与恶意对抗专家的后验鲁棒保护壁垒 若学习者朴素信任专家输入，而在现实中专家策略 \(\pi_e \in \Delta(\mathcal{A})\) 可能仅具备有界理性（以 \(1-\epsilon\) 概率选择最优臂，以 \(\epsilon\) 概率均匀扰动）甚至存在恶意对抗（Huber 污染模型，以 \(1-\epsilon\) 概率执行使最劣参数 \(\theta^{\mathrm{adv}}\) 产生收益的欺骗策略），直接套用无动作专家更新公式会导致严重的模型误设，使后验不可逆地坍缩至与污染分布 KL 散度最小的错误参数集 \(\Theta_q\) 上，导致线性遗憾灾难。为构建免疫屏障，算法 2（Algorithm 2）引入对专家行为策略的非参数建模，假定先验可分离分解为 \(P_t(\theta, \pi_e) = P_t(\theta) P_t(\pi_e)\)，其中 \(P_0(\pi_e) = \mathrm{Dir}(\eta_0)\)。专家结果的边缘似然被表述为： $\(P_t(Y_t^e \mid \theta, \pi_e) = \sum_{a \in \mathcal{A}} \pi_e(a) p_{\theta, a}(Y_t^e)\)$ 学习者在联合参数空间上部署粒子滤波 \(\{(\theta^{(k)}, \pi_e^{(k)}, w_t^{(k)})\}_{k=1}^K\)，在每次观察到可疑专家输出 \(y\) 时，联合权重更新为 \(w_{t+1}^{(k)} \propto w_t^{(k)} \sum_a \pi_e^{(k)}(a) p_{\theta^{(k)}, a}(y)\)。在估计专家互信息时，显式融入了专家偏离最优策略的不确定度 \(\bar{\pi}_e(a) = \mathbb{E}[\pi_e(a)]\)： $\(P_t(Y_t^e \mid A^*=a') = \sum_{a \in \mathcal{A}} \bar{\pi}_e(a) P_t(Y_t^e \mid A_t^e=a, A^*=a')\)$ 当专家数据持续展现与当前高置信度物理模型不兼容的样本时，联合粒子滤波迅速削减对专家可靠性的信任度，使专家互信息估计值 \(\mathbb{I}_t(A^*; Y_t^e)\) 急剧萎缩至低于自身自探索互信息 \(\mathbb{I}_t(A^*; (A_t, Y_t))\)，驱动决策门控无缝切回自我学习，彻底阻断了恶意毒化与认知崩溃。

损失函数 / 训练策略

该贝叶斯在线决策框架无需反向传播梯度下降，核心计算均由贝叶斯序贯更新驱动。在离线预训练中，依据有限样本集合 \(D_N^*\) 对所有候选离散模型权重进行对数似然重赋权与归一化： $\(w_1(m) \propto w_0(m) \exp\left( \sum_{n=1}^N \log p_{\theta_m, a^*(\theta_m)}(Y_n^*) \right)\)$ 在同步在线推断阶段，采用 \(K\) 个模型粒子的重要性重采样体系（Sequential Monte Carlo）。在每一轮 \(t\) 开始时，学习者提取各模型当前赋予每个动作成为最优臂的概率质量并求和得到动作采样策略 \(\pi_t(a) = \sum_{k=1}^K w_t^{(k)} \mathbb{I}[a^*(\theta^{(k)}) = a]\)；随后执行蒙特卡洛步长 \(L\) 计算自选与专家数据的一步预测 KL 散度估值 \(\hat{I}_s\) 与 \(\hat{I}_e\)，判定路由；在采纳数据源并观测真实实现值 \(y\) 后，根据相应似然函数对粒子权重实施乘法更新 \(w_{t+1}^{(k)} \propto w_t^{(k)} \mathcal{L}(\theta^{(k)}, y)\) 并归一化；当有效粒子数 \(N_{\mathrm{eff}} = 1 / \sum_k (w_t^{(k)})^2\) 低于预设阈值时触发系统性重采样，确保推断稳定性。

实验关键数据

主实验

实验统一在离散结果空间 \(\mathcal{Y} = \{-50, \dots, 50\}\)、奖励函数为恒等映射 \(R(Y) = Y\) 的环境中进行，横跨对称（Symmetric）、非对称（Asymmetric）以及强非对称（Strongly Asymmetric）三类代表性世界。模型空间包含 \(M=500\) 个候选参数模型，动作空间维度 \(|\mathcal{A}|=50\)（在专家建模实验中采用 \(|\mathcal{A}|=20\)），所有实验均在 50 个随机独立种子下统计时间平均累积遗憾率 \(\mathrm{Reg}(T)/T\)。

实验环境配置 对比策略 / 算法配置 时间步 \(T\) 平均遗憾率 \(\mathrm{Reg}(T)/T\) 相对基线提升 / 行为特征
对称世界 (\(M=500, \|\mathcal{A}\|=50\)) 仅自身数据 TS (Self-data only) \(T=4000\) 0.082 最优基线，正常学习收敛
对称世界 仅专家数据 (Expert-data only) \(T=4000\) 0.235 (线性发散) 互信息为 0，完全无学习能力
对称世界 互信息源选择 (Algorithm 1) \(T=4000\) 0.082 成功识别无用信息，完全收敛至自身策略
非对称世界 (\(M=500, \|\mathcal{A}\|=50\)) 标准 TS 基线 (No expert data) \(T=2000\) 0.051 依赖自身动作缓慢探索识别参数
非对称世界 互信息源选择 (Algorithm 1) \(T=2000\) 0.045 较基线提升 11.8% (早期收敛提速)
非对称世界 离线专家预训练 (\(N=2000\) 样本) \(T=2000\) 0.003 接近零遗憾 (后验几乎唯一收敛)
强非对称世界 (\(M=500, \|\mathcal{A}\|=50\)) 标准 TS 基线 \(T=500\) 0.180 需大量轮次才能试出确定性高收益臂
强非对称世界 离线专家预训练 (\(N=5\) 样本) \(T=500\) 0.000 100% 达成零遗憾 (5个样本直接锁定参数)
强非对称世界 互信息源选择 (Algorithm 1) \(T=500\) 0.002 较标准 TS 遗憾暴降 98.9%

消融实验

消融实验重点验证离线样本量规模 \(N\)、专家不确定性/对抗污染程度 \(\epsilon\)、以及是否启用专家可信度推断（Algorithm 2 对比 Naive Trust）对最终累积遗憾率的影响。

实验场景与消融变量 配置条件说明 关键评估指标 (\(\mathrm{Reg}(T)/T\)) 机制说明与消融发现
离线样本量消融 (强非对称) 专家样本量 \(N=0\) (无预训练) \(0.180\) (\(t=500\)) 标准贝叶斯先验，依靠在线试错探索
离线样本量消融 (强非对称) 专家样本量 \(N=1\) \(0.042\) (\(t=500\)) 单个确定性特征样本即过滤大部分候选模型
离线样本量消融 (强非对称) 专家样本量 \(N=5\) 0.000 (\(t=500\)) 5 个样本即完全确定真实参数 \(\theta^*\)，零遗憾
离线样本量消融 (一般非对称) 专家样本量 \(N=200\) \(0.038\) (\(t=2000\)) 相比无预训练降幅达 25.5%
离线样本量消融 (一般非对称) 专家样本量 \(N=2000\) 0.003 (\(t=2000\)) 高密度采样下参数空间几乎完全解耦
专家可信度消融 (非对称受损专家) 朴素信任专家 (Naive Trust, \(\epsilon=0.5\)) \(0.210\) (\(t=4000\)) 严重模型误设，误判最优动作导致持续高遗憾
专家可信度消融 (非对称受损专家) 联合推断算法 (Algorithm 2) 0.076 (\(t=4000\)) 成功辨析受损信号，主动降权专家并切回自学
专家可信度消融 (非对称受损专家) 纯自身经验学习 (Self-only baseline) \(0.078\) (\(t=4000\)) 算法 2 性能完全贴合或略优于纯自身学习基线

关键发现

  • 在对称性世界中，由于所有候选环境的最优臂结果似然完全相同，专家数据关于最优动作的信息增益恒等于零（\(\mathbb{I}_t(A^*; Y_t^*) = 0\)）；本文的 Algorithm 1 展现出极高鲁棒性，能够零误差自动识别并 \(100\%\) 剔除无效专家输入，避免了学习性能的退化。
  • 在强非对称环境下（如最优动作具有特异性的确定性或稀有分布），专家结果能够以极大斜率削减模型空间的条件熵；实验证明仅需 1 个样本即可降低 \(76\%\) 的初期遗憾，5 个样本即可彻底终结探索阶段，直接实现全周期零遗憾。
  • 面对有界理性（\(\epsilon=0.5\) 随机动作扰动）与对抗性投毒专家，传统朴素更新机制会发生灾难性的认知误设；而引入狄利克雷-粒子联合推断的 Algorithm 2 能在数十步内识别出专家的不可信特征，并将选择概率自适应平滑迁移至自我探索，提供可靠的鲁棒防御保证。

亮点与洞察

  • 将“观察行为”升维为“逆向剪枝世界”：传统专家学习必须依赖动作标签 \((a, y)\)，本文创新性指出仅凭结果 \(y^*\) 即可利用“专家必然最优”这一强归纳偏置，直接剔除所有无法诱导该结果分布的模型集合，拓宽了专家反馈学习的边界。
  • 信息论视角下的遗憾界紧化桥梁：将 Russo & Van Roy 的信息比率（Information Ratio）与多信道互信息直接融合，首次在数学上证明预训练消除的贝叶斯遗憾精准等价于先验互信息 \(\mathbb{I}_0(A^*; D_N^*)\)，给出了离线数据价值的理论解析解。
  • 双重认知任务的无缝闭环：算法将“向专家学习环境知识”与“评估专家自身的可信度”两个原本割裂的多智能体推断任务，在同一个粒子滤波联合后验下以互信息驱动决策，实现了极其优雅的自适应对齐。

局限与展望

  • 离散/可数参数空间限制：理论推导与实验目前局限于可数离散参数集 \(\Theta\) 与有限动作空间，这使得精确后验更新与粒子遍历成为可能；未来推广至连续参数空间、深度神经网络函数逼近（如神经网络老虎机）仍需克服高维密度估计与积分难关。
  • 马尔可夫决策过程（MDP）的扩展：本文聚焦于无状态的多臂老虎机设定，尚未延伸至状态转移复杂的强化学习 MDP 环境；在全序列 MDP 中，专家轨迹结果的跨期延迟与信用分配将引入更高维度的后验耦合。
  • 动态演进专家的协同学习：当前假设专家策略是静态的（要么恒定最优，要么遵循固定分布 \(\pi_e\)）；在更真实的多智能体博弈与协同中，专家本身也在同步演进与学习，双向交互下的动态信念建模将是重要的未来方向。

相关工作与启发

  • vs. 传统模仿学习与逆强化学习 (IRL, 如 Abbeel & Ng, 2004)：IRL 与模仿学习依赖对专家动作的显式追踪来学习奖励或策略，而本文彻底解耦了对专家动作的观测，直接建立从结果分布到可行环境参数集合的反向约束。
  • vs. 专家建议老虎机 (Bandits with Expert Advice, 如 Auer et al., 2002)：经典专家建议模型将专家视为给出动作臂推荐的黑盒 Advisor；本文的专家则是物理环境中的共存实体，其披露的是真实的最优结果实现值，且学习者需要主动做信息源路由。
  • vs. 信息导向采样 (IDS, 如 Russo & Van Roy, 2014)：传统 IDS 选择动作以平衡即时收益与参数信息增益；本文则将 IDS 思想升维至元决策层（Meta-Decision Level），在不改变即时收益的前提下专门用于在自身数据源与专家数据源之间做出信息获取权衡。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次系统研究仅观测专家结果分布下的贝叶斯多臂老虎机学习，视角独特且极具启发性。
  • 实验充分度: ⭐⭐⭐⭐ 覆盖对称、非对称、强非对称及对抗投毒场景，理论与实验结论高度呼应，略显不足的是缺乏真实系统的大规模基准验证。
  • 写作质量: ⭐⭐⭐⭐⭐ 数学推导严密连贯，从一致性命题到遗憾界定理层层递进，概念叙述极其清晰。
  • 价值: ⭐⭐⭐⭐⭐ 为人机协同学习、安全监督学习及多模型蒸馏提供了坚实的信息论基础与鲁棒算法设计范式。

相关论文