Asymptotically Log-Optimal Bayes-Assisted Confidence Sequences for Bounded Means¶

会议: NeurIPS 2026
arXiv: 2605.07964
OpenReview: https://openreview.net/forum?id=I6z9IukSBB
领域: 学习理论
关键词: 置信序列, 检验鞅, 贝叶斯预测分布, 经验似然, 随时有效推断

一句话总结¶

提出贝叶斯辅助的有界均值置信序列框架，通过贝叶斯或伪贝叶斯工作预测分布自适应选择鞅对赌系数，在保证任意先验误设下随时有效覆盖的同时，证明了其在预测一致性下达到渐近对数最优性。

研究背景与动机¶

现代数据分析与机器学习评测日益呈现序贯化特征：在线 A/B 测试需要实时监控并在达标时提前停止，多臂老虎机需要自适应地向优势系统分配样本，大语言模型评估和预测驱动推断（PPI）也普遍面临样本量无法预先固定的场景。然而，经典固定样本量置信区间在连续监控或数据依赖的停止准则下会导致严重的假阳性膨胀。基于检验鞅（test martingales）与 Ville 极大不等式的置信序列（confidence sequence）能够提供全时一致（time-uniform）的随时有效不确定性量化，但其收敛速度和区间宽度高度依赖于每一步对赌系数的选择；现有免先验方法（如 GRAPA）仅利用历史经验分布做经验对赌，无法有效吸纳先验知识、仿真历史或辅助预评估信息。

如果直接退回全参数贝叶斯序贯检验，虽然可以通过先验和混合似然比构建鞅，但在模型误设或先验不准确时，其后验覆盖率将失去频率学派的严格保证。这种两难构成了核心矛盾：实践者既希望在初始小样本阶段利用有价值的先验信息缩短置信序列宽度并加速决策，又绝不能容忍因先验偏见或分布假设错误而破坏全时一致的频率学派真实覆盖率。

本文的切入角度是将「有效性」与「统计效率」彻底解耦：将有效性完全依托于无分布假定的有界均值线性鞅结构，而仅将贝叶斯预测模型用作指导单步鞅对赌系数更新的算法启发工具。核心 idea：通过贝叶斯或指数倾斜经验似然构建工作预测分布，在每一步候选均值检验中自适应最大化预测对数增长率，使得在任何先验误设下严格保持非渐近随时有效覆盖，且在预测分布 Wasserstein 一致时收敛至与全知真实分布相当的渐近对数最优效率。

方法详解¶

整体框架¶

算法面向 $[0,1]$ 有界独立同分布观测序列 $X_1, X_2, \dots \sim \mathbb{P}^*$，目标是为未知真实均值 $\mu^* = \mathbb{E}_{\mathbb{P}^*}[X_1]$ 构建在所有时间点 $n \ge 1$ 均满足 $\mathbb{P}^*(\mu^* \in C_{\alpha,n} \text{ for all } n \ge 1) \ge 1-\alpha$ 的置信序列。方法通过反转针对各候选均值 $\mu \in (0,1)$ 的零假设 $H_\mu: \mu^* = \mu$ 序贯检验来实现：对每个 $\mu$，构建一个受控非负财富过程 $W_n(\mu) = \prod_{i=1}^n (1 + \widehat{\lambda}_i(\mu)(X_i - \mu))$。系数 $\widehat{\lambda}_i(\mu)$ 被截断在区间 $I_{\mu,c} = [-c/(1-\mu), c/\mu]$ 内以保证鞅因子非负。算法的核心是在每一步利用历史信息构造条件预测分布 $\mathbb{Q}_{n|n-1}$，并依 Kelly 对赌原则通过最大化预测对数期望增长来选取下一步的最优对赌系数 $\widehat{\lambda}_n(\mu)$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据流 X_n ∈ [0,1]<br/>与候选均值网格 μ ∈ G"] --> B["工作预测分布建模<br/>参数Beta / MDP混合 / BETEL / RETEL"]
    B --> C["对数增长率优化<br/>求解一阶最优对赌系数 λ_n(μ) ∈ I_μ,c"]
    C --> D["线性检验鞅乘积更新<br/>W_n(μ) = W_n-1(μ) × (1 + λ_n(μ)(X_n - μ))"]
    D --> E["检验反转与连续求交<br/>C_α,n = ∩ {μ : W_n(μ) ≤ 1/α}"]

关键设计¶

1. 预测辅助的对数增长率优化：解耦覆盖有效性与推断效率 针对现有方法无法兼顾免假设覆盖保证与先验效率提升的困境，本文建立了预测辅助的对赌系数求解机制。在时间步 $n$，算法对候选均值 $\mu$ 的预测预期对数增长目标函数进行优化： $$\widehat{\lambda}_n(X_{1:n-1}, \mu) \in \arg\max_{\lambda \in I_{\mu,c}} \left\{ \mathbb{E}_{\widetilde{X}_n \sim \mathbb{Q}_{n|n-1}(\cdot \mid X_{1:n-1})} \left[ \log(1 + \lambda(\widetilde{X}_n - \mu)) \right] \right\}$$ 由于线性鞅因子在区间 $I_{\mu,c} = [-c/(1-\mu), c/\mu]$（其中 $c \in (0,1)$ 为截断常数，默认取 0.95）上恒严格非负且条件期望在原假设 $H_\mu$ 下恒为 1，Ville 不等式确保了无论 $\mathbb{Q}_{n|n-1}$ 选取何种先验或发生何等严重的模型误设，反转集合 $C_{\alpha,n} = \{\mu \in (0,1): W_n(\mu) \le 1/\alpha\}$ 均绝对满足时齐覆盖条件 $\mathbb{P}^*(\forall n \ge 1, \mu^* \in C_{\alpha,n}) \ge 1-\alpha$。进一步地，理论证明若预测分布在 Wasserstein-1 距离下弱收敛于真实分布 $\mathbb{P}^*$（即 $\mathcal{W}_1(\mathbb{Q}_{n|n-1}, \mathbb{P}^*) \to 0$），则对赌系数在概率意义下收敛到全知真实分布的理论神谕系数 $\lambda^*(\mu)$，且每步平均对数增长率差距由 Wasserstein 误差的上界严格控制： $$M(\lambda^*(\mu), \mu) - \frac{1}{n}\mathbb{E}_{\mathbb{P}^*}[\log W_n(X_{1:n}, \mu)] \le \frac{2c}{(1-c)\min(\mu, 1-\mu)} \times \frac{1}{n} \sum_{i=1}^n \mathbb{E}_{\mathbb{P}^*}[\mathcal{W}_1(\mathbb{Q}_{i|i-1}, \mathbb{P}^*)]$$ 从而实现了在错误先验下保底覆盖、在正确先验下收敛至对数最优速率（log-optimality）。

2. 混合狄利克雷过程（MDP）预测分布：平滑桥接先验信念与实证数据 为克服纯参数贝叶斯在分布误设时的渐近失真，同时保留小样本阶段强先验带来的增益，本文提出了混合 DP 风格预测分布。记 $\mathbb{H}_{n|n-1}$ 为基于 Beta 分布工作模型的参数后验预测分布，$\mathbb{P}_{n-1} = \frac{1}{n-1}\sum_{i=1}^{n-1} \delta_{X_i}$ 为历史样本的经验分布。算法将其凸组合为预测测度： $$\mathbb{Q}_{n|n-1}(\cdot \mid X_{1:n-1}) = \frac{\kappa}{\kappa + n - 1}\mathbb{H}_{n|n-1}(\cdot \mid X_{1:n-1}) + \frac{n - 1}{\kappa + n - 1}\mathbb{P}_{n-1}(\cdot)$$ 其中超参数 $\kappa > 0$（默认取 50）充当先验强度伪计数。在观测初期 $n \ll \kappa$ 时，预测分布由注入了领域知识的参数贝叶斯先验主导，提供锐利的方差控制与方向引导；随着样本量增长 $n \gg \kappa$，经验数据权重自发趋近于 1，完全抹除参数模型的先验偏差。理论证明该构造的期望 Wasserstein-1 距离收敛速率达到 $\mathcal{O}(n^{-1/2})$，在数理上自然兼容定理 4.1 的渐近对数最优性，且在 $\kappa = 0$ 时平滑退化为经典 GRAPA 算法。

3. 正则化贝叶斯指数倾斜经验似然（RETEL）：仅对均值施加先验的免似然构造 在大量实际场景中，研究者往往仅掌握目标均值 $\mu^*$ 的粗略范围或无偏估计，而对高阶矩及完整数据生成分布完全无知。为此，本文设计了基于指数倾斜的伪贝叶斯预测方案。引入均值先验 $\pi(\mu)$，并在经验测度上加入强度为 $\tau_n = o(n)$ 的端点正则化分布 $\mathbb{H} = \frac{1}{2}(\delta_0 + \delta_1)$。通过最小化与正则化经验分布 $\mathbb{P}_{n,\mu} = \frac{n}{n+\tau_n}\mathbb{P}_n + \frac{\tau_n}{n+\tau_n}\mathbb{H}$ 的 KL 散度，得到均值严格等于 $\mu$ 的指数倾斜分布： $$\frac{d\widetilde{\mathbb{P}}_{n,\mu}}{d\mathbb{P}_{n,\mu}}(z) = \exp\{\gamma_{n,\mu}(z - \mu) - \psi_{n,\mu}(\gamma_{n,\mu})\}$$ 由此推导得到关于均值的伪似然函数 $L_n(\mu)$ 与伪后验分布 $\Pi_n(d\mu) \propto L_n(\mu)\pi(d\mu)$，最终积分离散混合得到单步预测分布 $\mathbb{Q}_{n+1|n} = \int_0^1 \widetilde{\mathbb{P}}_{n,\mu} \Pi_n(d\mu)$。引入两点端点正则化（取 $\tau_n = 1$）彻底消除了未正则化 BETEL 在样本凸包极值边界似然归零导致的数值截断崩溃，使算法在全区间 $(0,1)$ 内处处良定义，并证明了其对真实分布的 Wasserstein 一致性。

完整示例 / 训练策略¶

置信序列的具体计算采用网格离散化与序列求交策略： 1. 网格剖分：在开区间 $(0,1)$ 上建立包含 $G=500$ 个等距候选均值的测试网格 $\mathcal{G} = \{1/G, 2/G, \dots, (G-1)/G\}$。 2. 对赌系数求解：每个候选点 $\mu \in \mathcal{G}$ 处独立求解一阶条件 $\mathbb{E}_{\widetilde{X}_n \sim \mathbb{Q}_{n|n-1}} [(\widetilde{X}_n - \mu) / (1 + \lambda(\widetilde{X}_n - \mu))] = 0$。对于离散支撑预测集（如 RETEL），期望直接化简为有限加权和，利用单调性通过一维寻根精确求解并截断于 $I_{\mu,c}$。 3. 检验鞅更新：维护累积对数财富 $\log W_n(\mu) = \sum_{i=1}^n \log(1 + \widehat{\lambda}_i(\mu)(X_i - \mu))$。 4. 反转截断与累积求交：筛选保留点集 $\mathcal{A}_n = \{\mu \in \mathcal{G}: \log W_n(\mu) \le \log(1/\alpha)\}$，扩展一个网格步长以补偿离散化误差，再通过滚动求交 $C_{\alpha,n}^{\mathrm{run}} = \bigcap_{s=1}^n \widetilde{C}_{\alpha,s}$ 输出单调嵌套的单区间形式置信界。

实验关键数据¶

主实验¶

论文在两项真实场景序贯决策任务上进行了严格评测： 1. 大语言模型评测的最佳臂识别（LUCB）：评测 4 个大模型在数组排序任务上的表现，得分采用重标定至 $[0,1]$ 的 Spearman 秩相关系数。利用小规模数组的辅助评测外推作为先验，采用自适应 LUCB 算法进行停止判断。 2. 预测驱动推断（PPI）序贯检验：在 attributedQA 检索增强问答数据集上检验 RTR-10 与 RTR-4 两大系统的归因可靠性差异（$H_0: \theta^* \le 0$）。先验设定为残差居中于 0 的对称 Beta 分布，统计拒绝零假设所需的标注样本量。

任务场景	评测指标	BETEL	RETEL	MDP	Empirical (基线)	UP (基线)
LLM最佳臂识别 (LUCB)	平均采样调用数 (Avg calls ↓)	85.28 (±3.94)	93.12 (±3.65)	97.64 (±4.30)	98.48 (±5.67)	106.68 (±4.71)
LLM最佳臂识别 (LUCB)	平均排名 (Avg rank ↓)	1.78 (±0.15)	2.64 (0.21)	3.04 (0.13)	3.56 (0.32)	4.96 (0.15)
LLM最佳臂识别 (LUCB)	对基线胜/平/负 (vs Emp W/T/L)	35 / 2 / 13	27 / 2 / 21	24 / 4 / 22	–	15 / 5 / 30
attributedQA PPI 检验	拒绝所需标注数 (Avg labels ↓)	54.60 (±3.98)	58.24 (±3.12)	52.79 (±3.65)	65.17 (±4.77)	66.95 (±3.61)
attributedQA PPI 检验	平均排名 (Avg rank ↓)	3.95 (±0.23)	4.87 (0.25)	3.58 (±0.16)	4.98 (0.29)	6.27 (0.18)
attributedQA PPI 检验	对基线胜/平/负 (vs Emp W/T/L)	63 / 13 / 24	53 / 3 / 44	65 / 31 / 4	–	33 / 11 / 56

消融实验¶

在合成非对称双峰 Beta 混合分布 $0.25\,\text{Beta}(5,15) + 0.75\,\text{Beta}(15,5)$（1000 次独立重复，$\alpha=0.1$）上，对先验类型、先验误设程度与各模块有效性进行全基准消融评估：

先验 / 算法配置	相对神谕区间宽度 (n=50)	相对神谕区间宽度 (n=200)	全时经验失效率 (名义 ≤10%)	特性与失效模式说明
MDP (信息丰富先验)	1.21	1.08	3.2%	初期受益于先验收敛极快，渐近逼近神谕
BETEL (信息丰富先验)	1.35	1.12	2.8%	仅需均值先验，在非凸包边界易有数值退化
RETEL (信息丰富先验)	1.38	1.13	2.9%	端点正则化保证全域稳定，大样本性能优异
Empirical (无先验基线)	1.62	1.19	3.1%	缺乏初始引导，小样本区间偏宽
UP Universal Portfolio	1.78	1.25	2.5%	全局投资组合策略，收敛速度较慢
PRECiSE-CO96 (基线)	2.15	1.48	1.8%	覆盖偏保守，决策样本量显著偏多
Hedged-Capital (基线)	2.24	1.52	1.9%	经验方差对赌收敛较迟缓
MDP (先验严重误设)	1.84	1.11	3.4%	初期宽度增大，但 $n$ 增大后经验项纠偏
纯参数贝叶斯 (分布误设)	2.45	1.68	4.1%	错配模型下无法收敛至真实分布神谕

关键发现¶

信息丰富先验显著加速决策收敛：在 LLM 最佳臂识别任务中，BETEL 相比最强无先验经验基线节约了 13.4% 的模型调用量，成对对比胜率达 70%（35/50）；在 PPI 任务中，MDP 更是以 65 胜 4 负的悬殊优势战胜经验基线，所需标注量从 65.17 大幅压减至 52.79。
误设先验仅伤及短期效率，不破坏频率覆盖率：在先验误设实验中，尽管恶劣先验在初期导致置信序列宽度轻微膨胀，但所有 Bayes-assisted 方法的经验失效率在全时间跨度上均严格低于 10% 的设定阈值（维持在 2.5%~4.1% 之间）。
非参数经验似然对复杂结构鲁棒性强：在 Bernoulli 极端分布测试中，由于底层分布严重偏离 Beta 假定，纯参数贝叶斯表现大幅崩塌；而基于经验似然的 BETEL/RETEL 以及带收缩的 MDP 依然展现出极佳的稳定性和渐近对数最优性。

亮点与洞察¶

有效性与效率的优雅分离：传统的贝叶斯序贯分析往往在先验误设时破坏频率学派覆盖，而本文将贝叶斯预测限制在对赌系数的选取上，底层仍由严密的有界非负鞅框架承托。这种机制既吃到了先验指引的红利，又筑牢了频率学派的理论底线。
有限样本损失受 Wasserstein 距离严格显式约束：定理 4.2 建立了预测分布误差与神谕期望对数增长损失之间的直接非渐近不等式，将抽象的模型选择问题转化为可具体度量的 Wasserstein 距离收敛速率优化。
RETEL 端点正则化的工程鲁棒性：在经验似然中巧妙引入两点测度 $\frac{1}{2}(\delta_0 + \delta_1)$ 作为轻微伪观测，一举解决了传统 BETEL 在离散有限点集凸包外似然为零的数值难题，无需牺牲一致性即可实现全区间稳定反转。

局限与展望¶

计算复杂度随时间二次方增长：当前实现中，每个候选网格点在每步都需要对长度为 $n$ 的历史样本进行加权求和与一维数值寻根，单步总复杂度随时间呈现 $\mathcal{O}(Gn^2)$，在超长序列（如 $n > 10^5$）或极密集网格下计算开销显著。
离散反转集合的连通性缺陷：基于网格点检验反转得到的置信集合在理论上不能天然保证为单连通区间，工程上依赖外包络与历史求交操作强制输出区间形式，可能引入轻微的界宽冗余。
未来改进方向：可进一步探索快速增量更新算法或高斯过程/神经网络等可微代理模型以加速对赌系数寻根；同时研究数据自适应的先验方差自动校准技术，以减轻人工调优 $\kappa$ 和先验超参的负担。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙解耦了鞅覆盖有效性与贝叶斯预测效率，证明了 Wasserstein 一致性下的渐近对数最优性，理论框架十分优美。
实验充分度: ⭐⭐⭐⭐⭐ 兼顾合成非对称混合分布、LLM 排序最佳臂识别以及预测驱动推断（PPI）多项前沿任务，包含详尽的显著性检验与误设消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰，数学论证行云流水，附录证明完备且代码实现细节详实。
价值: ⭐⭐⭐⭐⭐ 为 A/B 测试、大模型在线自适应评估与安全序贯推断提供了即插即用且绝对保底的利器，应用前景广阔。