DARTS: Targeting Prognostic Covariates in Budget-Constrained Sequential Experiments¶
会议: NeurIPS 2026
arXiv: 2605.06608
领域: 因果推理
关键词: 序列实验设计, 动态协变量采集, 汤普森采样, 再随机化, 因果推断
一句话总结¶
针对高维昂贵协变量场景下的序列随机对照试验，提出 DARTS 框架，利用背包组合半多臂老虎机的汤普森采样自适应学习最具预测性的协变量子集并执行再随机化与回归调整，在保证严格因果推断无偏性与渐近覆盖率的前提下显著逼近预知真协变量的 Oracle 估计精度。
研究背景与动机¶
在经典的随机对照试验（RCT）与因果推断设计中，研究者通常依赖处理前协变量（Pre-treatment Covariates）来提升处理效应估计的统计功效。Morgan 与 Rubin 提出的再随机化（Rerandomization）以及结合 Lin 协变量回归调整的方法，能够大幅消除组间样本均值的不平衡并有效吸收潜在结果的方差，从而规避完全随机化可能导致的“单次试验谬误”（Individual Trial Fallacy）。然而，绝大多数现有理论与方法均建立在理想化假设之上：假定所有有价值的预后协变量（Prognostic Covariates）在实验前均已知且可免费测量。
在临床试验、流行病调查、大规模在线 A/B 测试或社会政策评估等真实场景中，测量高维特征往往代价高昂——例如涉及复杂的医学诊断检测、昂贵的实验室化验、耗时的问卷以及巨大的系统计算开销。当候选协变量空间维度远大于批次样本量时，对所有特征做盲目平衡不仅在预算上不可行，而且高维噪声特征还会严重稀释再随机化的几何约束，导致自由度耗尽与方差膨胀。若采用朴素的固定单批预算贪婪策略，可能因初期噪声过早耗尽预算；而“先探索再利用”（Explore-Then-Commit）策略在严格预算与高维噪声下会把宝贵资金浪费在无信息特征的均匀试探上，无法动态收敛。
面对这一两难困境，研究者亟需在严苛的测量总预算约束下，通过随时间分批到来的试验单元在线学习“哪些协变量对潜在结果最具预测性”，并动态决定每一批次购买并测量哪些特征。本文切入这一空白：将动态协变量采集解耦为嵌入在序贯因果设计内部的组合在线学习任务。核心 idea：将预后协变量的主动采买建模为带背包约束的组合半多臂老虎机（CBwK）并引入汤普森采样与伪后验更新，在利用前序批次信息驱动当批再随机化与回归调整的同时，建立解耦定理证明该自适应过程严格保持批次层级的因果随机化有效性与元分析渐近保守覆盖率。
方法详解¶
整体框架¶
DARTS 框架将整个包含 \(T\) 个批次、每批 \(n\) 个受试单元的序贯试验划分为紧密衔接的闭环控制流程。在进入第 \(t\) 批次时，算法首先依据由前序批次计算累积得到的后验参数，通过组合背包汤普森采样（CBwK-LP-TS）抽取候选协变量的预测重要性，并结合对偶影子价格贪婪决定当批采买的协变量超臂（Super-arm）\(S_t\)；随后仅对当批受试单元测量 \(S_t\) 内的特征，通过马氏距离再随机化生成镜面对称的处理分配向量并观测潜在结果；紧接着在分析阶段使用当批测量特征拟合 Lin 协变量交互回归并输出带有异方差稳健方差（HC2）的批次处理效应估计，将其以逆方差权重累积并入跨批次元分析估计器；最后利用对照组数据拟合 LASSO 回归计算各所选变量的归一化预测贡献作为分数奖励（Fractional Rewards），更新 Beta 伪后验与对偶影子价格，完成自适应闭环。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["候选协变量池与总预算 B"] --> B["基于对偶影子价格的组合汤普森采样<br/>抽取Beta后验并贪婪采买协变量子集 St"]
B --> C["协变量测量与镜面对称再随机化<br/>仅测量 St 并通过马氏距离择优翻硬币分配"]
C --> D["批次因果估计与跨批次逆方差加权合并<br/>Lin交互回归拟合与HC2方差更新元分析"]
D --> E["对照组LASSO分数奖励与伪后验更新<br/>提取预测信号更新Beta后验与乘性影子价格"]
E -->|传递至第 t+1 批次| B关键设计¶
1. 基于对偶影子价格的组合汤普森采样：突破单批贪婪与预算过早耗尽的困境
在高维特征池 \(p\) 中，每个协变量 \(j\) 具有测量成本 \(c_j\)。若简单按固定单批预算 \(B/T\) 贪婪选择，一旦高预测力真特征的测量成本超出单批限额，算法将永远无法采样该特征；若早期盲目探索，又会因初期奖励估计的高噪声而在无效特征上耗尽总预算。DARTS 将这一全局优化问题建模为整数规划并在松弛至线性规划（LP）后求解其拉格朗日对偶。算法为全局预算约束以及每个特征的单臂使用频次引入乘性更新的影子价格向量 \(\nu \in \mathbb{R}^{p+1}\)。影子价格衡量了每增加一单位资源消耗所带来的边际收益损失。
在第 \(t\) 批次开始时，算法从各自独立的 Beta 后验分布中采样出均值奖励 \(\tilde{\theta}_j(t) \sim \text{Beta}(\alpha_j(t-1), \beta_j(t-1))\)，并结合当前的影子价格计算每个特征的有效成本（Effective Cost）： $$ \tilde{c}_j^{\text{eff}}(t) = \tilde{c}j \cdot \nu $$ 决策器按照性价比比值 }}(t) + \nu_j(t), \quad \text{其中 } \tilde{c}_j = c_j \cdot \frac{\min(B, T)}{B\(\tilde{\theta}_j(t) / \tilde{c}_j^{\text{eff}}(t)\) 从高到低降序排序，在剩余全局预算 \(B_{t-1}\) 内贪婪吸纳协变量构建超臂 \(S_t\)。一旦某特征被频繁采买，其影子价格以乘性速率 \((1+\varepsilon)\) 上涨，有效抑制过度消费；同时全局预算影子价格以 \((1+\varepsilon)^{\tilde{c}_j}\) 递增，确保在有限时域内动态收紧支出门槛，从理论上将贝叶斯学习遗憾严格控制在极小化极大下界对应的对数因子之内。
2. 协变量测量与镜面对称再随机化：消除自适应选择带来的因果选择偏倚
由于协变量超臂 \(S_t\) 是通过前序批次的数据动态习得的，传统因果推断容易质疑自适应选择是否会引入内生性偏倚或违背随机分配的无偏性。DARTS 在设计层面对此进行了严格解耦：在第 \(t\) 批次中，仅为当批 \(n\) 个新单元测量 \(S_t\) 涉及的特征，构成特征子矩阵 \(\mathbf{X}(t) \in \mathbb{R}^{n \times |S_t|}\)。随后，算法生成 \(\mathcal{K}\) 个平衡候选分配向量，并挑选使两组间马氏距离最小的分配 \(z^* = \arg\min_z d_M(z, \mathbf{X}(t))\)。为了完全保留随机对照的严格对称性，最终分配向量 \(Z(t)\) 通过在 \(z^*\) 与其关于 \(1\) 的对称补集 \(\mathbf{1}-z^*\) 之间掷一枚均匀硬币（Fair Coin Toss）确定。
理论分析（定理 1）证明：只要条件化于截至 \(t-1\) 批次的信息流 \(\mathcal{F}_{t-1}\) 以及当批单元特征 \(\mathbf{X}(t)\)，边际翻硬币机制赋予了任何分配向量严格相等的对称概率 \(P(Z(t)=z \mid \mathbf{X}(t), \mathcal{F}_{t-1}) = P(Z(t)=\mathbf{1}-z \mid \mathbf{X}(t), \mathcal{F}_{t-1}) = 1/2\)。由于受试单元在各批次间独立同分布采样且潜在结果在进入试验前已经确定，处理与对照组指示变量在条件期望下与潜在结果彻底正交，从而使得常规的差值均值估计器（Difference-in-Means）在每一批次内部均能无条件实现无偏性 \(\mathbb{E}[\hat{\tau}_t^{\text{DIM}} \mid \mathcal{F}_{t-1}] = \tau\)，从根本上杜绝了自适应采集对因果可识别性的污染。
3. 批次因果估计与跨批次逆方差加权合并：兼顾渐近有效性与有限样本保守性
为了在获得无偏估计的同时最大限度吸收方差，DARTS 在分析阶段引入 Lin 交互 OLS 回归。将当批观测结果 \(Y_i(t)\) 对处理指示 \(Z_i(t)\)、中心化后的协变量子集 \(\mathbf{X}(t)\) 以及二者的完全交互项进行拟合，提取 \(Z_i(t)\) 的回归系数作为当批处理效应估计 \(\hat{\tau}_t\)，并计算 HC2 异方差稳健方差估计 \(\hat{v}_t\)。Lin 调整在此类镜面对称再随机化设计下具有双重稳健性，其有限样本偏差阶数为 \(O(n^{-1})\)，在批次容量增长快于批次数量 \(T=o(n)\) 的渐近范式下对标准误的累积影响可以完全忽略。
在跨批次整合时，DARTS 采用序贯逆方差加权元分析更新累积估计量： $$ \hat{\sigma}t^2 = \left(\hat{\sigma}}^{-2} + \hat{v}_t^{-1}\right)^{-1}, \qquad \hat{\mut = \hat{\sigma}t^2 \left(\frac{\hat{\mu}}}{\hat{\sigma\right) $$ 由于平衡较好、预测方差吸收更彻底的批次其方差 }^2} + \frac{\hat{\tau}_t}{\hat{v}_t\(\hat{v}_t\) 显著更小，该机制天然赋予后期高质量平衡批次更高的置信权重。定理 2 进一步证明，在温和的鞅中心极限定理正则条件以及再随机化方差弱于或等于完全随机方差的条件下，归一化累积统计量满足 \((\hat{\mu}_T - \tau)/\hat{\sigma}_T \xrightarrow{d} \mathcal{N}(0, c^{-2})\)，其中常数 \(c^2 \geq 1\)。这意味着由此构建的渐近置信区间 \(\hat{\mu}_T \pm z_{\alpha/2} \hat{\sigma}_T\) 具有保守性，经验覆盖率永远不低于名义置信水平 \(1-\alpha\)。
4. 对照组 LASSO 分数奖励与伪后验更新：在无处理效应污染下高效蒸馏预后信号
老虎机模块需要可靠的奖励信号反馈协变量的预后价值。直接利用全部样本拟合回归易受到异质性处理效应的干扰污染，因此 DARTS 严格限定仅在当批未受干预的对照组单元（\(Z_i(t)=0\)）上拟合 LASSO 回归 \(Y_i(0, t) \sim \mathbf{X}_{S_t}(t)\)。LASSO 在高维稀疏设定下不仅具有一致的预测表现，而且能够天然在共线特征群中择取最具代表性的稀疏子集，避免将预算浪费在高度相关的冗余协变量上。
提取 LASSO 估计系数绝对值后，DARTS 构造介于 \([0, 1]\) 之间的连续分数奖励 \(r_j(t) = |\hat{\lambda}_j| / \max_{k \in S_t} |\hat{\lambda}_k|\)（未入选或系数压缩至零则设为 0）。将该连续分数视作伪伯努利观测，代入共轭 Beta 后验递推式： $$ \alpha_j(t) \leftarrow \alpha_j(t-1) + r_j(t), \qquad \beta_j(t) \leftarrow \beta_j(t-1) + (1 - r_j(t)) $$ 推论 2 从理论上界定了分数奖励下的伪后验全变差误差上界。相比于硬阈值二值化奖励，分数奖励能够保留特征间微弱的相对预测强弱梯度，经验收敛速度明显更快，并驱使特征后验包含概率 \(\pi_j = \alpha_j / (\alpha_j + \beta_j)\) 呈现对真实预后信号变量的阶跃式聚集。
实验关键数据¶
主实验¶
论文在 1000 次蒙特卡洛模拟复现下，深入对比了不同数据生成过程（DGP）、预算规模 \(B\)、特征池维度 \(p\) 与批次容量 \(n\) 组合下的估计表现。主要对比基线包括：DiM（完全随机化，不调整协变量）、Random（在当批可行预算内随机抽取协变量做再随机化与 Lin 调整，无自适应学习）、DARTS（本文全流程方法）以及 Oracle（无视预算直接获取全部 \(q=20\) 个真实预后特征进行再随机化与 Lin 调整）。
在具有特征相关性与非线性响应面的复杂 Liang DGP（基准设定 \(T=100, \tau=4\)）以及非高斯连续成本下的各方法表现如下表所示：
| 数据生成配置 | 方法 | 经验标准差 (Emp SD) | 偏倚 (Bias) | 均方误差 (MSE) | 中位数标准误 (Median SE) | 95% 覆盖率 | 相对效率 (RE vs DiM) |
|---|---|---|---|---|---|---|---|
| Liang DGP (\(B=1000, p=100, n=100\)) |
DiM (基准) Random DARTS (本文) Oracle |
0.0302 0.0280 0.0245 0.0153 |
\(3 \times 10^{-4}\) \(3 \times 10^{-4}\) \(-1 \times 10^{-3}\) \(1 \times 10^{-3}\) |
\(9 \times 10^{-4}\) \(8 \times 10^{-4}\) \(6 \times 10^{-4}\) \(2 \times 10^{-4}\) |
0.0294 0.0277 0.0231 0.0146 |
0.949 0.946 0.943 0.939 |
1.0000 1.1623 1.5251 3.8874 |
| Liang DGP (\(B=2000, p=100, n=100\)) |
DiM (基准) Random DARTS (本文) Oracle |
0.0308 0.0290 0.0218 0.0153 |
\(-4 \times 10^{-4}\) \(2 \times 10^{-4}\) \(-6 \times 10^{-4}\) \(1 \times 10^{-3}\) |
\(9 \times 10^{-4}\) \(8 \times 10^{-4}\) \(5 \times 10^{-4}\) \(2 \times 10^{-4}\) |
0.0294 0.0270 0.0208 0.0146 |
0.933 0.933 0.939 0.937 |
1.0000 1.1323 1.9918 4.0421 |
| Liang DGP (\(B=2000, p=100, n=1000\)) |
DiM (基准) Random DARTS (本文) Oracle |
0.0086 0.0075 0.0057 0.0045 |
\(-5 \times 10^{-4}\) \(1 \times 10^{-4}\) 0.0000 \(1 \times 10^{-4}\) |
\(1 \times 10^{-4}\) \(1 \times 10^{-4}\) \(0.0000\) 0.0000 |
0.0085 0.0077 0.0057 0.0045 |
0.946 0.960 0.956 0.948 |
1.0000 1.3261 2.3177 3.6377 |
| Liang DGP (\(B=2000, p=1000, n=100\)) |
DiM (基准) Random DARTS (本文) Oracle |
0.0296 0.0315 0.0302 0.0153 |
\(-0.0003\) \(0.0023\) \(0.0002\) \(-0.0012\) |
\(9 \times 10^{-4}\) \(1 \times 10^{-3}\) \(9 \times 10^{-4}\) \(2 \times 10^{-4}\) |
0.0294 0.0293 0.0285 0.0146 |
0.945 0.939 0.937 0.942 |
1.0000 0.8810 0.9573 3.7321 |
| Linear DGP (\(B=2000, p=100, n=1000\)) |
DiM (基准) Random DARTS (本文) Oracle |
0.0581 0.0518 0.0308 0.0139 |
\(-0.0014\) \(0.0011\) \(0.0007\) \(0.0006\) |
0.0034 0.0027 0.0009 0.0002 |
0.0583 0.0583 0.0583 0.0142 |
0.953 0.977 0.998 0.956 |
1.0000 1.2605 3.5633 17.5896 |
在更严苛且实际的序列实验对比设置下（\(T=200, n=1000, p=100, B=2000\)，变量独立采样成本 \(c_j \sim \text{Uniform}(0, 2)\)），将 DARTS 与经典协变量自适应随机化算法 ARMM（Yang et al., 2023）与 MADCovar（Molitor & Gold, 2025）进行 1000 次重复模拟横向对比（后两者在实际中只能随机预选 12 个协变量）：
| 评估方法 | 平均 ATE | 估计偏倚 (Bias) | 均方根误差 (RMSE) | 中位数标准误 (Med. SE) | 95% 置信区间宽度 | 相对 RMSE 收益 (Rel. RMSE) |
|---|---|---|---|---|---|---|
| DiM (基准) | 4.0003 | \(+3 \times 10^{-4}\) | 0.0058 | 0.0059 | 0.0230 | 1.000 |
| ARMM (随机预选) | 4.0000 | 0.0000 | 0.0057 | 0.0056 | 0.0221 | 1.018 |
| MADCovar (随机预选) | 4.0000 | 0.0000 | 0.0056 | 0.0056 | 0.0219 | 1.036 |
| DARTS (全池自适应学习) | 3.9998 | \(-2 \times 10^{-4}\) | 0.0041 | 0.0041 | 0.0162 | 1.415 |
| Oracle DARTS (真特征集) | 3.9999 | \(-1 \times 10^{-4}\) | 0.0032 | 0.0032 | 0.0125 | 1.812 |
| Oracle MADCovar (真特征集) | 4.0001 | \(+1 \times 10^{-4}\) | 0.0032 | 0.0031 | 0.0122 | 1.812 |
| Oracle ARMM (真特征集) | 3.9999 | \(-1 \times 10^{-4}\) | 0.0032 | 0.0032 | 0.0125 | 1.812 |
消融实验¶
论文验证了单纯“再随机化（Rerandomization）”与“再随机化 + Lin 协变量交互回归调整（Rerand+Adj）”在 DARTS 学习框架中的消融贡献差异（1000 次模拟，以 MSE 降低百分比为基准）：
| 实验设定配置 | 策略组件配置 | 经验标准差 (Emp SD) | 偏倚 (Bias) | 均方误差 (MSE) | 相对效率 (RE vs DiM) | MSE 降低百分比 (% Red.) |
|---|---|---|---|---|---|---|
| Liang DGP (\(B=1000, p=100, n=100\)) |
Rerand (仅再随机化) Rerand+Adj (再随机化+Lin调整) |
0.0253 0.0245 |
\(-9 \times 10^{-4}\) \(-1 \times 10^{-3}\) |
\(6 \times 10^{-4}\) \(6 \times 10^{-4}\) |
1.4216 1.5251 |
29.65% 34.43% |
| Liang DGP (\(B=2000, p=100, n=100\)) |
Rerand (仅再随机化) Rerand+Adj (再随机化+Lin调整) |
0.0249 0.0218 |
\(-1 \times 10^{-3}\) \(-6 \times 10^{-4}\) |
\(6 \times 10^{-4}\) \(5 \times 10^{-4}\) |
1.5355 1.9918 |
34.88% 49.79% |
| Liang DGP (\(B=2000, p=100, n=1000\)) |
Rerand (仅再随机化) Rerand+Adj (再随机化+Lin调整) |
0.0064 0.0057 |
\(-1 \times 10^{-4}\) 0.0000 |
\(0.0000\) \(0.0000\) |
1.7856 2.3177 |
43.99% 56.85% |
| Linear DGP (\(B=2000, p=100, n=1000\)) |
Rerand (仅再随机化) Rerand+Adj (再随机化+Lin调整) |
0.0518 0.0308 |
\(0.0011\) \(0.0007\) |
0.0027 0.0009 |
1.2605 3.5633 |
20.55% 71.93% |
关键发现¶
- 预后特征精准后验收敛：在可辨识的预算空间内（\(B=2000, p=100, n=1000\)），前 20 个真实预后信号特征的平均后验包含概率收敛至 0.34，而噪声特征的包含概率稳定在 0.11，二者后验分布完全分离，证明了汤普森采样能精准把预算导向信息量最大的特征。
- 难学极端配置下的优雅退化：在极端挑战配置（\(p=1000, n=100\)）下，由于批次自由度耗尽且候选池过大，后验分离坍塌。此时 DARTS 相对效率接近 1.0，表现平滑退化至完全随机化，没有因自适应失真带来灾难性的方差激增或偏倚失控。
- 再随机化与回归调整的超加性收益：消融数据证明，单纯再随机化虽然能提升效率（MSE 降低 20%~44%），但叠加 Lin 交互回归调整后能进一步把 MSE 降幅推高至 56%~72%（如 Linear DGP 下 RE 从 1.26 飙升至 3.56），且整个过程各组经验覆盖率均完美满足 95% 的标称置信区间。
- 学习奖励与方差收缩高度正相关：在排除前 30 批次预热期后，各批次获得的 LASSO 分数奖励与标准误降低比例之间的相关系数高达 \(r=0.977\)，证实了以预测方差解释度为代理的在线奖励机制在驱动因果精度方面的直接有效性。
亮点与洞察¶
- 在线特征采买与因果推断的跨界解耦：将昂贵特征选择转化为带背包约束的老虎机优化，同时利用镜面对称随机翻转与批次条件鞅结构证明了因果无偏性，打通了在线强化学习与经典奈曼-鲁宾潜在结果因果推断框架之间的理论壁垒。
- 对偶影子价格抑制贪婪与透支：在组合多臂老虎机中引入乘性权重的影子价格变量，让高频调用的特征有效成本自发通胀，彻底解决了固定批次预算造成的局部死锁与早期探索阶段的预算过早耗竭问题。
- 仅用对照组拟合回归防污染的巧妙闭环：在奖励设计上严格规避了处理组交互污染，通过仅在对照组上运用具有特征筛选性质的 LASSO 提取相对预测强度作为伪后验奖励，兼顾了共线特征压缩与泛化方差缩减。
- 可迁移至序贯临床决策与工业 A/B 平台：该架构可直接迁移至涉及复杂生物标志物采样的长期临床试验、智能硬件测试以及需要按需采买昂贵用户全景标签的现代推荐系统因果评估场景中。
局限与展望¶
- 独立臂假设与特征共线性的理论间隙：老虎机分析依赖独立臂奖励假设。虽然 LASSO 倾向于在共线组中选出稀疏代表，但理论贝叶斯遗憾界与高度相关的特征矩阵之间仍存有间隙；未来结合 Group LASSO 或带图结构的相关组合老虎机是重要改进方向。
- 固定时域推断与序贯检验（Peeking）的限制：渐近覆盖率定理目前仅在固定的实验终点 \(T\) 处严格成立。若实验者中途反复进行窥视检验或采用提前停止准则（Early Stopping），名义覆盖率将被破坏；未来需引入随时有效因果推断（Anytime-Valid Inference）与置信序列（Confidence Sequences）进行拓展。
- 伪后验近似的全变差误差依赖：分数奖励引入的连续 Beta 更新在理论上属于伪后验近似，其遗憾界的紧致性依赖于全变差距离项；在密集微弱信号场景下，该近似可能会降低收敛速度。
相关工作与启发¶
- vs Morgan & Rubin (2012) / Li & Ding (2020) [再随机化与回归调整]：经典再随机化框架假设预后特征集事先完整已知且免费测量；DARTS 补充并前置了解答“在面对高维未知且昂贵的候选特征池时，该优先购买并平衡哪些协变量”的问题。
- vs Yang et al. (2023) [ARMM] & Molitor & Gold (2025) [MADCovar] [自适应随机化]：ARMM 与 MADCovar 针对固定协变量集进行动态概率倾斜或序列平衡，但在未知特征集下只能做盲目随机预选；DARTS 在同等预算下展现出从未知全池中主动提取预后特征的显著优势，Rel. RMSE 从基线的 1.018~1.036 跃升至 1.415。
- vs Das et al. (2022) [组合背包老虎机 CBwK-LP]：Das 等人提出了基于 UCB 与 LP 松弛的组合背包老虎机；DARTS 将其扩展为基于 Beta 共轭的汤普森采样架构，推导了匹配极小化极大下界的贝叶斯风险界，并将其完全融入因果推断的实验设计闭环中。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [首次将带背包约束的组合在线特征采买与序列因果再随机化推断严谨融合]
- 实验充分度: ⭐⭐⭐⭐⭐ [1000次多DGP蒙特卡洛模拟、严密消融、与经典及SOTA方法的多维度统计对比与稳健性检验]
- 写作质量: ⭐⭐⭐⭐⭐ [数学推导严丝合缝，定理假设与证明链条完备，问题陈述层次分明]
- 价值: ⭐⭐⭐⭐⭐ [对高维昂贵测量场景下的临床医学试验与在线因果推断实验平台具有重要的落地指导价值]