Time-Sensitive Anytime-Valid Testing¶

会议: NeurIPS 2026
arXiv: 2605.06521
OpenReview: https://openreview.net/forum?id=ugSaVm063Y
领域: 学习理论
关键词: 随时有效检验, 对赌检验, E-过程, 贝尔曼方程, 指数衰减奖励

一句话总结¶

论文将随时有效检验（Anytime-Valid Testing）中的对赌机制转化为受控序贯决策问题，通过为拒绝发生时刻赋予时间敏感奖励函数，建立了财富与时间状态下的贝尔曼动态规划方程，并针对指数衰减奖励推导出基于 Rényi 散度的闭式 EDO 最优下注准则。

研究背景与动机¶

在现代序贯统计推断与在线实验监测中，数据通常呈流式到达，实验者亟需在保证第一类错误率（Type-I Error）受控的前提下进行持续动态监测。传统固定样本量检验因缺乏灵活性已难以满足需求，基于 e-值（e-values）与 e-过程（e-processes）的随时有效推断（Anytime-Valid Inference）及“对赌检验”（Testing-by-Betting）因此成为核心范式。在对赌博弈中，检验者从初始单位财富出发，每轮针对零假设选择可预测的下注因子；若累积财富突破显著性倒数阈值 $\alpha^{-1}$，由 Ville 不等式可知拒绝零假设构成了严格有效的水平-$\alpha$ 序贯检验。为了指导具体的下注策略，现有文献普遍依赖增长率最优（Growth-Rate-Optimal, GRO）准则，即最大化备择假设下的期望对数财富增长，在简单假设下等价于 Kelly 准则与 Wald 序贯概率比检验（SPRT）。

然而，GRO 准则的统计正当性完全建立在渐近分析之上。根据大数定律，GRO 下注仅能在样本量趋于无穷的大阈值极限下最小化平均拒绝时间的一阶渐近尺度 $\log(1/\alpha)/\mathbb{E}_{\pi_1}[\log E]$。在临床试验、在线 A/B 测试或在线欺诈检测等实际场景中，测试者对拒绝时刻存在强烈的现实偏好——越早拒绝所带来的商业或决策价值越高，而过迟的拒绝即便在统计上显著也会失去现实意义。近期关于硬截止期（Hard Deadline）的研究指出，渐近最优策略在有限步长下往往表现出明显的次优性，但硬截止期仅是时间偏好的极端特例，无法刻画平滑递减的时间价值。

本文的切入角度是将序贯对赌检验由渐近财富增长最大化，重构为以拒绝时间奖励为目标的序贯随机控制问题。通过引入非增的拒绝时间奖励函数，既涵盖了硬截止期指标，也包容了平滑的逻辑衰减与指数衰减收益。核心 idea：将随时有效检验转化为最大化拒绝时刻期望奖励的随机控制模型，证明策略可严格化约为仅依赖当前财富与时间的马尔可夫策略，并导出了显式权衡时间敏感度与最终检验力的 EDO 稳态下注准则。

方法详解¶

整体框架¶

在设定的 i.i.d. 检验设定中，观测流 $x_1, x_2, \dots$ 来自样本空间 $\mathcal{X}$，目标为检验零假设 $\mathcal{P}_0^\otimes$ 与简单备择假设 $\pi_1^\otimes$。算法为检验过程配备可预测的对赌动作空间 $\mathcal{A}$，使得每个动作 $a \in \mathcal{A}$ 对应的单步赔率 $\phi(a, \cdot)$ 在零假设下满足期望不超过 1 的有效性约束。设定非增奖励函数 $R: \mathbb{N} \cup \{\infty\} \to \mathbb{R}_+$ 且 $R(\infty) = 0$。策略的目标是在首次达到拒绝阈值时刻 $\tau = \inf\{t \ge 1 : W_t \ge \alpha^{-1}\}$ 获得最大化的期望回报 $\mathbb{E}_{\pi_1^\otimes}[R(\tau)]$。整个优化体系通过马尔可夫化约、E-过程典范等价性以及贝尔曼稳态展开三个核心阶段逐层求解。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入：序贯数据流 x_t 与检验水平 α"] --> D1["时间敏感奖励目标<br/>引入非增拒绝时间奖励 R(τ) 替代渐近 GRO"]
    D1 --> D2["马尔可夫化约与贝尔曼递推<br/>历史压缩为 (t, w)，建立动态规划状态转移"]
    D2 --> D3["典范动作空间与 E-过程等价性<br/>单步似然比对赌等价于全局最优 E-过程"]
    D3 --> D4["EDO 准则与功率效用稳态逼近<br/>利用 Rényi 散度构建常数下注与大阈值最优指数"]
    D4 --> Out["输出：最优时序自适应对赌策略与提早拒绝对准决策"]

关键设计¶

1. 时间敏感奖励目标：将拒绝时间偏好内生化为序贯控制回报 传统对赌检验以最大化长期期望对数增长率 $\mathbb{E}_{\pi_1}[\log E]$ 为目标，完全忽略了跨期的贴现损失。本文将目标重塑为标量奖励期望 $\sup_{A^\infty} \mathbb{E}_{\pi_1^\otimes}[R(\tau^{A^\infty})]$。这一框架展现出极强的统一性：当设定硬截止期 $R(t) = \mathbf{1}_{\{t \le T\}}$ 时，直接对应在 $T$ 步内成功拒绝的概率；当采用平滑逻辑衰减 $R(t) = (1 + \exp((t-T)/\beta))^{-1}$ 时，可刻画软性截止窗口；而当选用指数衰减奖励 $R(t) = \exp(-t/T)$ 时，则直接反映具有特征时间尺度 $T$ 的贴现收益。该形式把统计检验的功效指标无缝转化为标准的最优停时与随机控制问题。

2. 马尔可夫降维与贝尔曼表示：将全观测历史压缩至当前财富与轮次 在一般序贯对赌中，第 $t+1$ 步的下注动作先验上可依赖完整的观测历史 $x^t = (x_1, \dots, x_t)$。作者证明在标准 Borel 空间设定下，全历史依赖并不会带来额外的回报增益，存在无损失的马尔可夫策略 $a_t: [0, \alpha^{-1}) \to \mathcal{A}$，使得动作仅取决于当前步数 $t$ 与当前累积财富 $w$。借助正 Borel 动态规划的理论工具，定义连续价值函数 $V_t(w) = \sup_{a^\infty} \mathbb{E}_{\pi_1^\otimes}[R(t + \tau_w^{a^\infty})]$，导出了形式自洽的贝尔曼递推方程： $$V_t(w) = \sup_{a \in \mathcal{A}} \int_{\mathcal{X}} \left( R(t+1)\mathbf{1}_{\{w\phi(a,x) \ge \alpha^{-1}\}} + V_{t+1}(w\phi(a,x))\mathbf{1}_{\{w\phi(a,x) < \alpha^{-1}\}} \right) \mathrm{d}\pi_1(x)$$ 该表示不仅阐明了最优策略对状态的精简依赖，还直接打通了向反向归纳与价值迭代数值求解的通道。

3. 典范动作空间与 E-过程等价性：证明单步对赌在简单假设下无检验力损失 随时有效统计中存在两大工具流派：乘积形式的一步对赌财富，以及更广泛的、可能不具备乘积分解的非负超鞅（E-过程）。针对简单原假设 $\pi_0$ 与备择假设 $\pi_1 \ll \pi_0$，作者选取由原假设控制的所有概率测度的 Radon-Nikodym 导数族作为典范动作空间 $\mathcal{P}^{\pi_0} = \{\nu \in \mathcal{P}_{\mathcal{X}} : \nu \ll \pi_0\}$，对应的赔率映射为 $\phi^{\pi_0}(\nu, x) = \mathrm{d}\nu / \mathrm{d}\pi_0(x)$。作者通过测度分解与 Doob-Dynkin 引理严格证明：在时间敏感奖励目标下，全空间上的任意通用 E-过程所能达到的最优期望奖励，与基于典范单步对赌的马尔可夫策略完全等价： $$\sup_{U^\infty \text{ e-process}} \mathbb{E}_{\pi_1^\otimes}[R(\tau^{U^\infty})] = \sup_{A^\infty} \mathbb{E}_{\pi_1^\otimes}[R(\tau^{A^\infty})] = \sup_{a^\infty \text{ Markov}} \mathbb{E}_{\pi_1^\otimes}[R(\tau^{a^\infty})]$$ 这一结论建立了对赌检验对通用 E-过程在有限时间目标下的充分性基础。特别地，对于硬截止期 $R(t) = \mathbf{1}_{\{t \le T\}}$，最优检验由 Neyman-Pearson 拒绝域 $\Gamma^\star$ 诱导的 Doob 鞅 $U_t^\star = \pi_0^\otimes(\Gamma^\star \mid x^t) / \pi_0^\otimes(\Gamma^\star)$ 精确取得。

4. EDO 准则与稳态幂倾斜：通过 Rényi 散度实现时间尺度与检验力的解耦平衡 对于指数衰减奖励 $R(t) = e^{-t/T}$，通过重标度变量 $z = \alpha w$，贝尔曼方程褪去了显式时间依赖。在远离吸收边界 $z=1$ 的尺度不变区，齐次方程提示了幂效用拟设 $v(z) = c z^{\eta_\star}$。由此导出了指数衰减最优（Exponential-Decay-Optimal, EDO）准则：寻找常数动作 $a_\star \in \mathcal{A}$ 与特征幂次 $\eta_\star \in (0, 1)$，使得单步矩母函数满足 $\sup_{a} \mathbb{E}_{\pi_1}[\phi(a, \cdot)^{\eta_\star}] = \mathbb{E}_{\pi_1}[\phi(a_\star, \cdot)^{\eta_\star}] = e^{1/T}$。在简单假设下，最优对赌测度恰好是原假设关于似然比的几何倾斜： $$\frac{\mathrm{d}\pi_\star}{\mathrm{d}\pi_0} = \frac{L_{\eta_\star}}{\mathbb{E}_{\pi_0}[L_{\eta_\star}]}, \quad L_{\eta_\star} = \left(\frac{\mathrm{d}\pi_1}{\mathrm{d}\pi_0}\right)^{\frac{1}{1-\eta_\star}}$$ 其最优指数与阶数为 $\xi = \frac{1}{1-\eta_\star}$ 的 Rényi 散度精妙对齐：$\eta_\star D_{\frac{1}{1-\eta_\star}}(\pi_1 \| \pi_0) = 1/T$。当 $T \to \infty$ 时，$\eta_\star \to 0$，Rényi 散度渐近趋于 KL 散度，EDO 策略平滑退化回传统的 GRO 似然比下注。

边界修正与求解策略¶

在接近吸收边界 $z = \alpha w \to 1$ 区域，乘法幂拟设会高估超额累积财富的边际价值（因为突破阈值后的多余收益无用）。为此，方法引入了边界自适应的越界截断修正（Boundary-Aware Overshoot Capping）：若某个观测结果足以触发拒绝，算法将其赔率严格截断在刚好达标的数值，并将剩余的有效概率测度质量回拨至未拒绝分支，从而以零代价抬升非拒绝状态下的后续财富增速。对于不可直接解析求解的复杂环境，可借助该修正的 EDO 作为基线，结合财富对数离散网格执行反向归纳值迭代。

实验关键数据¶

主实验¶

为了验证不同时间敏感奖励准则的有效性，作者在简单高斯检验（$\pi_0 = \mathcal{N}(0, 1)$ vs $\pi_1 = \mathcal{N}(\mu, 1)$）及伯努利检验（$\pi_0 = \operatorname{Ber}(p_0)$ vs $\pi_1 = \operatorname{Ber}(p_1)$）下，系统对比了 GRO、硬截止期 Doob 检验、STaR-Bets、Taga et al. 启发式方法以及本文提出的 EDO 及其边界修正版本。

检验任务与设定	检验策略 / 准则	截止时间 T / 时间尺度	显著水平 α	拒绝时间中位数 / 期望	目标时间拒绝概率 (Power)	关键策略特征
高斯均值漂移 ($\mu=0.25$)	GRO (渐近似然比)	$\infty$ (基准)	0.05	较大 (长尾分布)	1.000 (渐近完全保证)	下注偏移量恒为 $a = 0.25$
高斯均值漂移 ($\mu=0.25$)	EDO ($T=8$)	$T=8$	0.05	极小 (提早脉冲)	0.428 (短尺度功率牺牲)	激进偏移 $a_\star = 1.250$
高斯均值漂移 ($\mu=0.25$)	EDO ($T=14$)	$T=14$	0.05	较小	0.741 (中度功率折损)	适度偏移 $a_\star = 0.821$
高斯均值漂移 ($\mu=0.25$)	EDO ($T=60$)	$T=60$	0.05	适中	1.000 ($T \ge 32$ 保持全功率)	接近 GRO 偏移 $a_\star = 0.383$
伯努利试验 ($0.4 \to 0.6$)	Doob E-过程	$T=10$	0.05	10.0 (终端集中)	0.421 (NP 引理理论上限)	极度保守，极少提早拒绝
伯努利试验 ($0.4 \to 0.6$)	GRO (似然比)	$T=10$	0.05	12.4 (超出截止期)	0.285 (截止期内功率不足)	恒定对赌比 $p_1/p_0$
伯努利试验 ($0.4 \to 0.6$)	STaR-Bets (前人)	$T=10$	0.05	7.8	0.395 (优于 GRO)	依方差自适应重算目标
伯努利试验 ($0.4 \to 0.6$)	本文 EDO (无截断)	$T=10$	0.05	6.5	0.408 (逼近理论上限)	倾斜参数 $p_\star = 0.718$

消融实验¶

消融实验重点评估伯努利环境（$\pi_0 = \operatorname{Ber}(0.5)$ vs $\pi_1 = \operatorname{Ber}(0.667)$，$T=30$，$\alpha=0.05$）下，稳态近似、边界溢出截断（Capping）与全状态贝尔曼精确动态规划之间的性能偏差，并剖析高斯与伯努利设定下时间尺度 $T$ 对检验力的决定性相变。

策略变体 / 消融配置	优化算法与机制	理论价值阶数 / 漂移 γ	期望贴现回报 $\mathbb{E}[e^{-\tau/T}]$	最终全时段检验力 (Power)	相对贝尔曼最优的拟合度
贝尔曼最优策略 (Oracle)	401点对数网格反向归纳	动态财富依赖	0.1684	0.988	100.0% (基准边界)
EDO + 边界截断修正 (本文)	稳态倾斜 + 越界质量重分配	稳态常数 + 边界自适应	0.1679	0.985	99.7% (几乎重合)
EDO 原生常数下注 (无截断)	仅求解 Rényi 稳态倾斜	$\eta_\star = 0.214, \gamma > 0$	0.1592	0.978	94.5% (轻微边界损耗)
传统 GRO 常数策略	似然比下注 $\pi_\star = \pi_1$	$\gamma = \mathrm{KL} = 0.0589$	0.1245	1.000	73.9% (早期拒绝不足)
EDO 短时间尺度 ($T < T_{\text{crit}}$)	$T < 1/\mathrm{KL}(\pi_1\\|\pi_0)$	负漂移 $\gamma < 0$	偏高 (极早期惩罚)	$(\alpha w)^\kappa < 1$ (相变掉点)	不满足渐近完全覆盖

关键发现¶

硬截止期下 Doob 过程的“晚熟”惰性：在连续高斯检验中，无约束硬截止期的 Doob 检验在截止期 $T$ 之前任何时刻其条件鞅值都严格小于 $\alpha^{-1}$，导致其退化为完全无法提早拒绝的固定样本量 Neyman-Pearson 检验。即便在原子离散的伯努利检验中，Doob 过程的大多数拒绝动作依然堆积在最后几步。这证明了硬截止期在现实序贯应用中的根本局限性，强有力支撑了引入连续时间衰减奖励的必要性。
EDO 边界截断消除多余损耗：在伯努利对比中，未修正的 EDO 已经能捕获绝大部分提前拒绝收益，而仅仅施加简单的单步越界截断修正，就使得常数策略的表现与极为耗时的 401 网格贝尔曼高阶数值解完全无缝拟合。
检验力与时间的相变边界：Proposition 5 揭示的临界时间尺度 $T_{\text{crit}} = 1/\mathrm{KL}(\pi_1 \| \pi_0)$ 具有极强的指导价值。若设定的贴现尺度 $T > T_{\text{crit}}$，对赌财富在备择假设下保持正对数漂移，以概率 1 保证最终拒绝；若追求极致的早期拒绝而令 $T < T_{\text{crit}}$，策略将承担不可逆的检验力折损（Power Drop），其最终拒绝概率严格受限于指数阶上界 $(\alpha w)^\kappa$。

亮点与洞察¶

将随时有效推断升维为随机控制理论：论文没有停留在修补下注启发式的技术细节，而是首创性地将非增拒绝时间奖励引入对赌游戏，通过规范化状态空间建立起完备的贝尔曼动态规划体系，为该领域构筑了严谨的控制论基座。
Rényi 散度与似然比幂倾斜的深刻数学统一：EDO 准则跳出了经典 Kelly 准则对对数期望（KL 散度）的单点依赖，发现特征时间尺度在稳态幂拟设下天然诱导了 Rényi 散度族。随着时间尺度从有限走向无穷，Rényi 散度平滑收敛于 KL 散度，完美统一了有限时间控制与经典长程渐近理论。
常数下注的大阈值阶最优性保证：尽管完整控制解随财富与时间动态演化，但 EDO 单纯依靠求解一维标量方程即可得到常数下注律，且在 $\alpha \to 0$ 极限下严格保持了与最优马尔可夫策略完全相同的 $\alpha^{\eta_\star}$ 渐近阶，兼具理论极值与工程实操的轻量性。

局限与展望¶

局限于简单备择假设：目前框架的核心理论推导（如 EDO 闭式解与 Neyman-Pearson 等价性）均建立在简单零假设与简单备择假设设定下。实际场景中备择假设往往是复合参数族（例如均值大于某阈值），如何融合安全检验（Safe Testing）中的 GROW 或 REGROW 极小化极大原则仍有待探索。
复合原假设的投影视角未打通：在经典 GRO 理论中，复合原假设可通过备择分布在原假设凸包上的反向信息投影（RI-projection）优雅解决；而在时间敏感的目标函数下，是否存在保真对应的时间贴现测度投影，尚缺乏明确的理论刻画。
非负奖励假设对一般损失函数的限制：为满足正 Borel 动态规划的紧性条件，研究限定奖励非负且单调，未能直接覆盖诸如最小化期望绝对时间 $\mathbb{E}[\tau]$（等价于无界负回报 $R(t) = -t$）的优化设定。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出时间敏感随时有效检验的控制论框架，建立马尔可夫化约并发现 EDO 与 Rényi 散度的深刻联系。
实验充分度: ⭐⭐⭐⭐ 理论推导完备自洽，涵盖高斯与伯努利的高精度数值模拟、动态规划反向归纳验证与相变边界刻画。
写作质量: ⭐⭐⭐⭐⭐ 数学表达高度严密，测度论基础扎实，问题演进逻辑环环相扣，从渐近缺陷到控制重构层层递进。
价值: ⭐⭐⭐⭐⭐ 极大拓展了随时有效推断的理论边界，为在线 AB 实验、动态监测及金融风控等讲求决策时效的领域提供了切实可用的核心算法工具。

检验任务与设定	检验策略 / 准则	截止时间 T / 时间尺度	显著水平 α	拒绝时间中位数 / 期望	目标时间拒绝概率 (Power)	关键策略特征
高斯均值漂移 (\(\mu=0.25\))	GRO (渐近似然比)	\(\infty\) (基准)	0.05	较大 (长尾分布)	1.000 (渐近完全保证)	下注偏移量恒为 \(a = 0.25\)
高斯均值漂移 (\(\mu=0.25\))	EDO (\(T=8\))	\(T=8\)	0.05	极小 (提早脉冲)	0.428 (短尺度功率牺牲)	激进偏移 \(a_\star = 1.250\)
高斯均值漂移 (\(\mu=0.25\))	EDO (\(T=14\))	\(T=14\)	0.05	较小	0.741 (中度功率折损)	适度偏移 \(a_\star = 0.821\)
高斯均值漂移 (\(\mu=0.25\))	EDO (\(T=60\))	\(T=60\)	0.05	适中	1.000 (\(T \ge 32\) 保持全功率)	接近 GRO 偏移 \(a_\star = 0.383\)
伯努利试验 (\(0.4 \to 0.6\))	Doob E-过程	\(T=10\)	0.05	10.0 (终端集中)	0.421 (NP 引理理论上限)	极度保守，极少提早拒绝
伯努利试验 (\(0.4 \to 0.6\))	GRO (似然比)	\(T=10\)	0.05	12.4 (超出截止期)	0.285 (截止期内功率不足)	恒定对赌比 \(p_1/p_0\)
伯努利试验 (\(0.4 \to 0.6\))	STaR-Bets (前人)	\(T=10\)	0.05	7.8	0.395 (优于 GRO)	依方差自适应重算目标
伯努利试验 (\(0.4 \to 0.6\))	本文 EDO (无截断)	\(T=10\)	0.05	6.5	0.408 (逼近理论上限)	倾斜参数 \(p_\star = 0.718\)