Bayesian Decision Making observing an Expert¶

会议: NeurIPS 2026
arXiv: 2510.08113
领域: 强化学习
关键词: 贝叶斯多臂老虎机, 汤普森采样, 专家观测, 互信息, 贝叶斯实验设计

一句话总结¶

本文提出面向专家观测场景的贝叶斯决策理论，证明离线专家输出先验使汤普森采样遗憾界随互信息严格收紧，并推导出在线双流数据源的最大互信息动态选择规则与抵御恶意专家的信任推理机制。

研究背景与动机¶

在线学习系统通常不是在真空中孤立运行，而是经常部署在具备成熟经验的专家旁——例如在临床辅助决策中与经验丰富的医生协作、在自动驾驶与机器人控制中由安全监督员兜底、或者小型边缘 AI 模型与云端大参数模型协同进化。在贝叶斯多臂老虎机与汤普森采样（Thompson Sampling, TS）领域，虽然已有完备的信息论遗憾理论证明其探索效率，但传统方法默认智能体只能从自身“动作-反馈”轨迹中反向推断环境；面对来自专家的外生数据流，现有理论既无法解释其对贝叶斯后验收敛的精确影响，也缺乏让学习者自主评估专家数据价值的数学原则。

传统模仿学习与逆强化学习关注的是从专家的显式动作轨迹中复现策略或奖励函数，但现实中往往存在“能看到专家产出的结果、却无法获知其背后具体动作”的信息瓶颈（例如仅能观测到专家的最终治疗成效或系统运行状态，而不可窥见其操作细节）。如果智能体试图将这些只有输出分布的数据用于更新环境参数，面临的核心矛盾在于：专家的动作是基于环境真实参数最优选择的，观测其结果并非直接识别最优动作，而是反向剪枝那些不可能诱导该最优产出的“可能世界”；更进一步，在在线同时学习时，智能体面临算力与认知带宽的“信息机会成本”——选择处理专家数据就必须放弃吸收自身动作的数据，若盲目轻信不完美甚至对抗性的假专家，反而会导致贝叶斯后验发生灾难性崩溃。

针对这一矛盾，本文没有简单套用启发式加权或传统的专家建议（expert advice）框架，而是从贝叶斯实验设计和信息论遗憾视角出发，将专家数据学习统一归结为关于“最优动作分布”的信息获取问题。核心 idea：将观测专家输出形式化为对最优动作 \(A^*\) 的互信息缩减过程，证明离线专家预训练能以互信息 \(\mathbb{I}_0(A^*; D_N^*)\) 精确收紧遗憾界，并设计在线最大互信息信息源路由规则与粒子化专家信任推断算法。

方法详解¶

整体框架¶

本文构建了包含“离线专家先验预热”与“在线双流动态选择”的统一贝叶斯决策框架。在离线阶段，智能体接收 \(N\) 个由专家最优策略生成的环境输出样本 \(D_N^*=\{Y_n^*\}_{n=1}^N\)，通过似然函数加权更新初始先验 \(P_0(\theta)\) 为后验 \(P_1(\theta)\)，消除与专家输出不符的环境参数假设；在在线阶段，智能体每一步在自身探索 \((A_t, Y_t)\) 与同步专家观测 \(Y_t^*\) 之间做决策，依据各数据源对最优动作 \(A^*\) 的一阶互信息收益选择最有价值的数据流更新信念，并在专家可信度未知时动态推断专家策略 \(\pi_e\) 的后验权重。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["环境先验 P_0(θ) 与观测场景输入"] --> B["离线专家先验更新<br/>利用专家输出似然加权与参数剪枝"]
    B --> C["信息源互信息评估<br/>对比自探索 I_s 与专家观测 I_e 互信息增益"]
    C --> D{"数据源路由选择<br/>arg max {I_s, I_e}"}
    D -->|自身数据更优| E["执行动作并更新自探索后验"]
    D -->|专家数据更优| F["吸收专家产出并校准参数信念"]
    E --> G["专家策略与信任度建模<br/>粒子权重更新抵御误导与对抗攻击"]
    F --> G
    G --> H["下一轮汤普森采样策略 π_t"]

关键设计¶

1. 离线专家先验更新与信息论遗憾收紧：通过专家输出边缘似然实现参数剪枝 在只有专家输出样本而缺乏其动作标签时，智能体必须利用专家策略最优性这一隐式约束。给定专家在真实参数 \(\theta^*\) 下依最优动作抽取的离线数据集 \(D_N^*=\{Y_n^*\}_{1\le n\le N}\)，模型参数 \(\theta\) 下生成样本 \(Y^*\) 的似然即为该模型最优动作下的边际分布 \(p_{\theta, a^*(\theta)}(Y^*)\)。智能体据此计算离线贝叶斯后验 \(P_1(\theta \mid D_N^*) \propto P_0(\theta) \prod_{i=1}^N p_{\theta, a^*(\theta)}(Y_i^*)\)。论文通过大数定律证明，当样本量 \(N \to \infty\) 时，由于对数似然差值受 KL 散度支配，该后验以概率 1 收敛至真子集 \(\tilde{\Theta} := \{\theta \in \Theta : p_{\theta, a^*(\theta)} = p^*_{a^*}\}\)。基于 Russo 和 Van Roy 的信息论遗憾框架，引入专家数据使最优动作 \(A^*\) 的期望熵下降，直接抵消累积遗憾：

\[ \mathbb{E}[\mathrm{Reg}_{\mathrm{TS}_1}(T)] \le C \sqrt{T \left( \mathbb{H}_0(A^*) - \mathbb{I}_0(A^*; D_N^*) \right)} \]

这一结果确立了专家数据的本质价值：专家数据带来的遗憾缩减幅度，精确等于该离线数据与最优动作之间的先验互信息 \(\mathbb{I}_0(A^*; D_N^*)\)。

2. 在线主动信息源路由规则：最大化最优动作互信息以优化学习效率 在智能体与专家并行的在线交互中，智能体受限于认知带宽只能处理自身经验 \((A_t, Y_t)\) 或专家产出 \(Y_t^*\) 之一，且选择不影响当步即时奖励，问题转化为贝叶斯实验设计中的信息采集最优化。根据信息比率上界原理，期望遗憾由条件熵 \(\mathbb{H}_t(A^* \mid D_t)\) 主导，因此最佳决策准则是选取能最大化关于最优动作互信息的数据流 \(D_t^* = \arg\max_{D_t \in \{Y_t^*, (A_t, Y_t)\}} \mathbb{I}_t(A^*; D_t)\)。自探索与专家观测的互信息分别展开为对预测边缘分布与动作条件分布的 KL 散度加权和：

\[ \mathbb{I}_t(A^*; (A_t, Y_t)) = \sum_{a \in \mathcal{A}} \pi_t(a) \sum_{a' \in \mathcal{A}} \pi_t(a') D_{\mathrm{KL}}\Big( P_t(Y_t \mid A_t=a, A^*=a') \,\|\, P_t(Y_t \mid A_t=a) \Big) \]

\[ \mathbb{I}_t(A^*; Y_t^*) = \sum_{a' \in \mathcal{A}} \pi_t(a') D_{\mathrm{KL}}\Big( P_t(Y_t^* \mid A^*=a') \,\|\, P_t(Y_t^*) \Big) \]

算法 1（Algorithm 1）通过有限粒子抽样与蒙特卡洛预测，在每轮低方差估计 \(I_s\) 与 \(I_e\) 并选择最优源，避免了直接利用单次随机观测计算后验熵带来的剧烈数值波动。

3. 世界对称性判断与信息增益退化准则：区分有效环境与无效观测 论文严格刻画了专家数据何时能提供正向增益。理论表明 \(\mathbb{I}_t(A^*; Y_t^*) = 0\) 当且仅当对所有动作 \(a \in \mathcal{A}\)，条件预测分布 \(P_t(Y_t^* \mid A^*=a)\) 与边际预测分布 \(P_t(Y_t^*)\) 完全一致。在具有完全对称结构的老虎机（所有候选环境的最优动作产出分布仅是动作标签置换、但具体数值分布相同即 \(p_{\theta, a^*(\theta)}(\cdot) \equiv q(\cdot)\)）中，观测专家输出完全无法区分真实世界属于哪个参数，后验保持不变，互信息严格为 0。相反，在非对称或强非对称世界中，不同环境假设下的最优动作产生相异的输出表征，专家数据能迅速把概率质量在最优动作假设 \(\{A^*=a\}\) 之间搬移，从而大幅降维参数空间。

4. 不完美与对抗专家的信任度联合推断：粒子滤波抵御模型误设 针对专家存在有限理性（如以 \(1-\epsilon\) 概率选最优动作、\(\epsilon\) 概率随机乱选）或恶意欺骗（Huber 污染模型，掺杂对抗性劣质动作）的情形，若智能体仍天真假设专家最优，会导致后验收敛到 KL 散度极小化但动作完全错误的虚假参数集合，造成线性遗憾。为解决此鲁棒性缺陷，算法将专家策略参数化为先验服从狄利克雷分布的随机变量 \(\pi_e \in \Delta(\mathcal{A})\)，维护参数与专家策略的联合信念 \(P_t(\theta, \pi_e)\)。通过粒子集 \(\{(\theta^{(k)}, \pi_e^{(k)}, w_t^{(k)})\}_{k=1}^K\) 逼近联合分布，并利用边际均值 \(\bar{\pi}_e(a) = \mathbb{E}[\pi_e(a)]\) 修正专家数据的预测似然：

\[ P_t(Y_t^e \mid A^*=a') = \sum_{a \in \mathcal{A}} \bar{\pi}_e(a) P_t(Y_t^e \mid A_t^e=a, A^*=a') \]

这使智能体不仅评估环境参数，还能在线检验专家言行是否自洽。当发现专家数据与自测环境矛盾时，\(I_e\) 自动骤降，系统自主切断对专家的依赖并回归自探索。

损失函数 / 训练策略¶

该框架属于无梯度、纯贝叶斯非参数与粒子更新体系。在粒子滤波实现中，维护 \(K\) 个联合假说粒子。在每个时间步 \(t\)： - 策略生成：计算当前汤普森采样策略 \(\pi_t(a) = \sum_{k: a^*(\theta^{(k)})=a} w_t^{(k)}\)； - 信息选择：若 \(I_s \ge I_e\)，在环境中执行 \(A_t \sim \pi_t\) 获得反馈 \(Y_t\)，更新粒子权重 \(w_{t+1}^{(k)} \propto w_t^{(k)} p_{\theta^{(k)}, A_t}(Y_t)\)； - 专家更新：若 \(I_e > I_s\)，接收专家输出 \(Y_t^e\)，以混合似然 \(L^{(k)} = \sum_a \pi_e^{(k)}(a) p_{\theta^{(k)}, a}(Y_t^e)\) 更新权重 \(w_{t+1}^{(k)} \propto w_t^{(k)} L^{(k)}\) 并归一化； - 重采样：当有效粒子数 \(N_{\mathrm{eff}} = 1/\sum_k (w_t^{(k)})^2\) 低于预设阈值时触发系统重采样。

实验关键数据¶

主实验¶

实验设定离散输出空间 \(\mathcal{Y} = \{-50, \dots, 50\}\) 且奖励函数 \(R(Y)=Y\)，在参数空间大小 \(M=500\)、动作数 \(|\mathcal{A}|=50\) 的离散多臂老虎机中进行 50 次随机种子蒙特卡洛评估，对比离线样本预训练和在线互信息选择机制在三种环境下的累积遗憾率（\(\mathrm{Reg}(T)/T\)）。

任务场景	算法模式	关键指标	本文表现	传统 TS (无专家/单一源)	增益 / 现象说明
强非对称环境 (Dirac 优势臂)	离线预训练 (\(N=5\))	稳态累积遗憾率	~0.00	~0.42 (\(N=0\))	5 个专家样本即实现全交互周期零遗憾
强非对称环境 (Dirac 优势臂)	在线双流路由 (Alg 1)	\(t=500\) 步遗憾降低	-99%	基线 TS 持续探索	互信息路由极速锁定高价值专家输出流
标准非对称环境 (高斯扰动均匀分布)	离线预训练 (\(N=2000\))	初始遗憾率收敛速度	近乎瞬时归零	缓慢单调下降	大幅压缩参数搜索空间，降低初期探索惩罚
标准非对称环境 (高斯扰动均匀分布)	在线双流路由 (Alg 1)	\(t=2000\) 步遗憾率下降	-12% (vs 专学自身)	基准 TS (单源)	-8% (vs 专学专家)；无额外成本获 ~10% 提速
完全对称环境 (动作标签置换)	在线双流路由 (Alg 1)	决策一致性	100% 选自探索	纯学专家导致线性遗憾	理论自洽：成功识别 \(I_e=0\) 并过滤无效干扰

消融与鲁棒性分析¶

针对有限理性专家（\(\epsilon=0.5\) 选最优臂）与对抗性专家设置（\(M=500, |\mathcal{A}|=20\)），评估不同可信度处理机制在对称与非对称世界下的表现。

专家配置与算法机制	环境结构	长期遗憾表现	机制有效性验证说明
天真轻信型 TS (Naive Trust)	非对称世界	高位持续发散 (线性遗憾)	模型误设：将混合分布误判为最优分布导致信念崩塌
专家建模型 TS (Alg 2, 动态信任)	非对称世界	平稳收敛，与自探索相当	自动推断 \(\pi_e\) 偏离，自适应调低 \(I_e\) 并切回自探索
纯自探索 TS (Self-Only)	非对称世界	正常对数累积遗憾	免疫专家污染，但错失良好专家的早期加速机会
天真轻信型 TS (Naive Trust)	对称世界	与纯自探索重合	无论专家诚实与否，\(I_e\) 恒等于 0，自动免疫干扰
专家建模型 TS (Alg 2, 动态信任)	对称世界	与纯自探索重合	准确判别对称性，算法不受专家策略扰动的影响

关键发现¶

非对称度是专家数据价值的决定性判据：在具有置换对称性的环境中，专家只给出输出而不给动作标签时，互信息在数学上恒为 0，任何利用专家数据的企图都是徒劳；但在不对称世界中，尤其是强非对称场景，极少数专家样本（低至 5 个）就能彻底解决 50 个臂的复杂决策问题。
信息路由能以零额外代价换取 ~10% 的持续加速：在标准非对称场景下，智能体无需增加任何外部交互预算，仅靠 Algorithm 1 评估互信息并动态分配认知关注点，相较于纯学自身经验能取得 12% 的遗憾率优化。
恶意/次优专家破坏力极强，但可通过贝叶斯检验防御：天真假设专家完全最优会引发后验误设崩溃，而引入对专家策略 \(\pi_e\) 的狄利克雷先验与粒子滤波，使智能体具备了“用自探索事实校验专家可信度”的双向闭环。

亮点与洞察¶

将学习对象从参数空间降维至最优动作空间：经典贝叶斯实验设计通常以环境参数 \(\theta\) 的信息增益为目标，本文精准抓住在线遗憾的本质是由最优动作分布 \(A^*\) 的不确定性决定的，将互信息度量定义为 \(\mathbb{I}_t(A^*; D_t)\)，避免了在无关环境参数细节上过度探索。
建立了专家先验数据与遗憾理论界的一对一信息论映射：Theorem 1 证明了离线专家先验可直接在根号内减去互信息 \(\mathbb{I}_0(A^*; D_N^*)\)，给出了专家演示数据“值多少遗憾”的严格定量刻画。
启发式的观察筛选演变为数学最优的主动信息采集：智能体在交互中的“注意机制”（看别人还是看自己）不再依赖启发式规则，而是统一由预测边缘分布的 KL 散度驱动，为多智能体系统的通信和注意力分配提供了通用理论工具。

局限与展望¶

可数离散空间与粒子退化限制：理论分析和实验主要在有限动作与可数参数空间中推导，虽可推广至紧致集，但面对高维连续参数与复杂函数逼近时，后验更新与粒子互信息估计的计算开销极大且容易发生粒子匮乏。
静态专家策略假设：当前信任建模假定专家遵循静态策略 \(\pi_e\)，未考虑专家自身也在动态学习、或专家根据智能体状态主动调整示教的博弈性协同场景。
向连续状态 MDP 泛化：从多臂老虎机向具备状态转移的马尔可夫决策过程扩展是关键下一步，届时需同时考虑状态转移分布与多步累积奖励的信息反传。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次在贝叶斯老虎机中建立仅观测专家结果时的互信息收紧理论与双流路由算法]
实验充分度: ⭐⭐⭐⭐☆ [设计了对称、非对称与对抗攻击三类严格测试，但局限于离散老虎机，缺连续高维控制任务]
写作质量: ⭐⭐⭐⭐⭐ [数学推导严密流畅，从充分信息极限平滑过渡至有限样本与恶意专家，逻辑层层递进]
价值: ⭐⭐⭐⭐⭐ [为多智能体共存、人机协同、弱模型向强模型自适应对齐提供了坚实的理论基石]