跳转至

Asymptotically Optimal Best Arm Identification with Fixed-Budget under Differential Privacy

会议: NeurIPS 2026
arXiv: 2610.04600
OpenReview: https://openreview.net/forum?id=lMIsAO6npD
领域: 学习理论
关键词: 最佳臂识别, 差分隐私, 固定预算, 渐近最优, 信息几何

一句话总结

针对严格保护交互轨迹与最终推荐的纯 \(\epsilon\)-差分隐私多臂赌博机最佳臂识别问题,本文推导了由非对称逆向隐私迁移指数决定的固定预算错误率下界,并提出了基于拉普拉斯树流式估计与 AdaHedge 极小极大对抗采样的渐近最优算法 AO-Pri-BAI。

研究背景与动机

在多臂赌博机纯探索(Pure-Exploration Multi-Armed Bandits)设定下,最佳臂识别(Best Arm Identification, BAI)被广泛应用于临床试验、在线推荐和自动化超参数调优等关键决策场景。不同于以累积遗憾最小化为目标的探索-利用权衡,BAI 的核心关注点是在有限资源下以最高统计置信度找出期望奖励最高的臂。在实际隐私敏感场景(如药物疗效测试与个性化医疗分析)中,试验过程中收集到的观测样本往往涉及高度敏感的个体隐私。差分隐私(Differential Privacy, DP)为此类序列决策提供了严谨的数学稳定性保障。然而,自适应策略下后续动作的选择直接依赖于历史观测,这意味着即便仅公开动作选择序列或最终推荐结果,敏感信息依然可能通过自适应轨迹严重外泄。因此,必须对包括采样轨迹与最终决策在内的全交互轨迹施加严格的纯 \(\epsilon\)-差分隐私约束。

现有差分隐私最佳臂识别研究绝大多数集中在固定置信度(Fixed-Confidence)体制下,即给定容许错误率 \(\delta\),探索停时样本复杂度的渐近刻画。然而在许多现实实验中,探索样本总预算 \(T\) 是由预算或试验周期预先强制锁定的,算法必须在预算耗尽时给出推荐,核心目标是使得推荐次优臂的错误概率随预算 \(T\) 呈最快指数衰减。传统的非私有固定预算分析通常依赖于纯 KL 散度刻画的几何信息量;而在纯差分隐私约束下,分布间的分离难度不仅受制于随机统计不确定性,更受到隐私保护对轨迹输出分布强制施加的稳定性约束。更关键的是,固定预算与固定置信度在测度变换证明上具有完全相反的数学方向:固定置信度刻画的是从真实分布出发向混淆备择分布迁移的特征时间,而固定预算下界控制的是在真实测度下发生错误判决的指数衰减,其测度变换必须从备择分布(错误最优臂实例)向真实分布进行反向比较。由于 KL 散度关于其参数的固有非对称性,直接照搬固定置信度中的迁移成本无法刻画固定预算下的真实极限。

面对这一挑战,本文致力于建立固定预算纯 \(\epsilon\)-差分隐私最佳臂识别的信息论下界,并探寻是否能够构造出无需预知真实参数、仅依赖隐私化运行统计量即可在匹配下界指数意义下达到渐近最优的在线算法。核心 idea:推导并采用以备择分布到真实分布的非对称隐私迁移指数为几何核,将固定预算隐私 BAI 转化为采样分配与混淆备择实例间的在线极小极大零和博弈,结合拉普拉斯树私有化前缀和与 AdaHedge 动态自适应学习达成渐近最优匹配。

方法详解

整体框架

算法 AO-Pri-BAI(Asymptotically Optimal Private Best Arm Identification)旨在采样预算 \(T\) 内自适应调整各臂的采样比例,并在终止时输出最佳臂。算法核心框架由四大协同组件构成: 1. 拉普拉斯树连续发布机制:针对每个候选臂维护一棵局域前缀和二叉树,对各树节点独立注入校准拉普拉斯噪声,保证整个探索轨迹在满足严格纯 \(\epsilon\)-差分隐私的同时,仅以单臂累加 \(O(\log T)\) 阶扰动维持高精度的流式私有均值估计; 2. Min-Learner(混淆备择生成器):以当前私有经验领先臂为基准,利用吉布斯分布采样构造一个使得领先臂不再最优、且与当前私有估计最难以区分的困难备择实例 \(\theta'_t \in \mathrm{Alt}(\hat{\theta}_t)\); 3. Max-Learner(采样设计更新器):将困难备择与当前估计的单臂隐私散度转化为归一化对抗损失,利用自适应学习率 AdaHedge 算法更新臂采样分布 \(\lambda_t\),提升区分困难备择所需关键臂的采样权重; 4. 强迫探索与最终吉布斯推荐:通过以 \(t^{-\alpha}\) 速度渐近衰减的均匀混合策略消除冷启动偏差并保障强一致性,最终依据全局累积采样量与私有均值构建终局吉布斯分布进行后处理采样推荐。

整体在线交互与决策流向如下所示:

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["初始化状态与先验参数<br/>均值设为0.5 & 均匀初始分配"] --> B["拉普拉斯树流式私有统计量<br/>逐臂前缀和注入Laplace噪声"]
    B --> C["强迫探索渐近衰减混合<br/>混合均匀分布保障全臂充分拉取"]
    C --> D["Min-Learner采样困难备择<br/>Gibbs分布聚焦最难区分备择实例"]
    D --> E["Max-Learner对抗博弈更新<br/>AdaHedge根据隐私散度损失调整配比"]
    E -->|持续T轮交互循环| B
    E -->|预算T耗尽| F["终局吉布斯后处理推荐<br/>全预算加权能量采样输出最大臂"]

关键设计

1. 逆向隐私感知迁移散度与信息论下界:揭示固定预算隐私 BAI 的非对称几何

在非私有设定中,实例混淆成本仅由伯努利分布之间的 KL 散度决定;而在纯 \(\epsilon\)-差分隐私约束下,由于真实交互环境与备择环境之间的耦合必须兼顾统计距离与邻域输出稳定性的双重限制,使得分布间的最短迁移路径被拆分为“全变差(TV)约束步”与“KL 散度步”。对于任意两个伯努利参数 \(p, q \in (0, 1)\),其一维隐私伯努利散度定义为引入中间参数 \(u\) 的两步最小化路径: $\(d_{\epsilon}^{\mathrm{Ber}}(p,q) := \inf_{u \in (0,1)} \Big\{ \epsilon \, \mathrm{TV}\big(\mathrm{Ber}(p) \,\|\, \mathrm{Ber}(u)\big) + \mathrm{KL}\big(\mathrm{Ber}(u) \,\|\, \mathrm{Ber}(q)\big) \Big\}.\)$ 针对两组多臂实例 \(\theta_1, \theta_2 \in \Theta\) 与分配向量 \(\lambda \in \Delta_{[K]}\),全局散度 \(d_{\epsilon}(\theta_1, \theta_2, \lambda) = \sum_{a=1}^K \lambda_a d_{\epsilon}^{\mathrm{Ber}}(\theta_{1,a}, \theta_{2,a})\)。在固定预算下界推导中,为了控制真实实例 \(\theta^*\) 下错误判决的指数衰减,必须建立测度变换关系 \(\mathbb{M}_{\theta^*, \pi}\) 与错误备择测度 \(\mathbb{M}_{\theta', \pi}\) 的似然比,这迫使最大耦合构建在备择实例 \(\theta'\) 与中间实例 \(\theta''\) 之间,而似然比则由中间实例 \(\theta''\) 向真实实例 \(\theta^*\) 计算。由此,固定预算的最优指数上界显式表征为: $\(\tau^*(\theta^*) := \sup_{\lambda \in \Delta_{[K]}} \inf_{\theta' \in \mathrm{Alt}(\theta^*)} d_{\epsilon}(\theta', \theta^*, \lambda).\)$ 该指数的参数顺序严格为 \((\theta', \theta^*)\)(即备择到真实),与固定置信度特征时间中的 \(d_{\epsilon}(\theta^*, \theta', \lambda)\) 参数顺序正好相反。由于伯努利 KL 散度具有内在非对称性,该逆向散度是固定预算隐私探索的本质表征。

2. 拉普拉斯树流式私有统计量:全自适应轨迹的低噪声纯隐私保障

由于算法在每一轮的臂选择都取决于历史反馈,任何未脱敏的中间统计量均会导致后续拉取轨迹泄露底层敏感样本。为了在全过程保障纯 \(\epsilon\)-DP,算法禁止直接访问原始奖励,而是为每个臂 \(a\) 建立独立的完全二叉拉普拉斯树 \(\mathcal{T}_a\)。 当臂 \(a\) 产生新观测时,数据插入至对应叶节点,树内部节点维护局部区间和,且每个节点仅注入一次标度为 \(b = m_T / \epsilon\) 的独立拉普拉斯噪声,其中 \(m_T = \lceil \log_2 T \rceil + 1\) 为树的最大深度。当计算截至时间 \(t\) 臂 \(a\) 被拉取 \(N_{a,t}\) 次的私有累积奖励 \(\tilde{S}_{a,t}\) 时,仅需将覆盖前缀区间的最多 \(m_T\) 个私有树节点值求和。 为了防止极端扰动导致均值溢出,算法引入硬截断与光滑收缩估计器: $\(\tilde{S}'_{a,t} = \big[\tilde{S}_{a,t}\big]_{0}^{N_{a,t}}, \qquad m_{a,t} = \frac{1 + \tilde{S}'_{a,t}}{2 + N_{a,t}} \in (0,1).\)$ 因为单个样本在任何树中至多影响一条由叶至根的单一路径(至多 \(m_T\) 个节点),全局 \(L_1\) 敏感度严格受限于 \(m_T\)。基于拉普拉斯机制与后处理定理,整个算法输出的交互轨迹 \((A_1, \dots, A_T, A_{\mathrm{out}})\) 严格满足纯 \(\epsilon\)-差分隐私,且流式均值估计误差在集中不等式下保持高概率 \(O\big(\frac{\sqrt{\log T}}{\sqrt{N_{a,t}}} + \frac{\log^3 T}{N_{a,t}}\big)\) 阶收敛,确保渐近层面扰动不损伤指数速率。

3. Min-Learner 采样困难备择:基于 Gibbs 分布的无优化隐式鞍点搜索

为了达到博弈下界 \(\tau^*(\theta^*)\),算法必须实时找到针对当前分配而言最难以区分的混淆备择。然而真实参数未知,若在每轮显式求解非凸约束的鞍点规划将带来极高的计算复杂度。AO-Pri-BAI 巧妙引入采样预言机代替显式优化: 在第 \(t\) 轮,算法首先获取私有经验最优臂 \(\hat{a}_t = \arg\max_{a \in [K]} m_{a,t-1}\),并定义备择集 \(\mathrm{Alt}(\hat{\theta}_t) = \{\theta \in (0,1)^K : \hat{a}_t \notin \arg\max_a \theta_a\}\)。Min-Learner 随后从倾斜的吉布斯分布 \(q_t\) 中抽取一个备择实例 \(\theta'_t\): $\(q_t(\theta) \propto \mathbf{1}_{\{\theta \in \mathrm{Alt}(\hat{\theta}_t)\}} \exp\left(-\beta_t \sum_{a=1}^K \lambda_{t,a} \, d_{\epsilon}^{\mathrm{Ber}}(\theta_a, m_{a,t-1})\right),\)$ 其中退火温度参数满足 \(\beta_t \to \infty\)(实操取 \(\beta_t = 2\sqrt{t+1}\))。该分布赋予隐私迁移成本更低的实例以指数级更高的采样概率。由于一维分量 \(d_{\epsilon}^{\mathrm{Ber}}\) 在分段区间内具有优良的对数凹性(Log-concavity),可通过自适应拒绝采样(ARS)或变换密度拒绝法(TDR)在极低耗时下精准采样,无需数值积分求取配分函数,自然逼近最难区分的有效扰动。

4. Max-Learner 对抗博弈更新与 AdaHedge:自适应驱动经验分配逼近最优测度

Max-Learner 负责在已知挑战者 \(\theta'_t\) 下提高系统区分能力。对于各臂 \(a\),其遭受的归一化对抗损失定义为: $\(\ell_{t,a} = 1 - \frac{1}{\epsilon} d_{\epsilon}^{\mathrm{Ber}}(\mu'_{a,t-1}, m_{a,t-1}) \in [0, 1].\)$ 该定义将博弈收益反转:在区分困难备择时能够贡献更大隐私散度的臂,其对应的损失 \(\ell_{t,a}\) 越小。算法采用 AdaHedge 更新基准分配 \(\lambda_t\),通过追踪混合损失(Mixed Loss)与真实损失之间的累计混合间隙(Mixability Gap)\(\Delta_t\),完全自适应地调整学习率 \(\eta_{t+1} = \frac{\log K}{\Delta_t}\),克服了传统指数权重算法必须预设固定学习率调度的缺陷。 同时,为避免个别臂过早欠采样导致私有统计量失效,算法施加显式强迫探索: $\(\hat{\lambda}_t = (1 - \gamma_t)\lambda_t + \gamma_t \frac{\mathbf{1}}{K}, \qquad \gamma_t = t^{-\alpha}, \; \alpha \in \Big(0, \frac{1}{2}\Big).\)$ 强迫探索确保各臂在 \(t\) 步内的拉取次数至少达到 \(\Omega(t^{1-\alpha})\),保证经验均值强一致收敛;而由于 \(\sum_{t=1}^T \gamma_t / T \to 0\),该探索项在渐近意义下对最优指数无任何损耗。

完整示例 / 推荐策略

在预算 \(T\) 全部耗尽后,算法并不简单采用点估计贪心推荐,而是为了与测度大偏差界严格对齐,构造了基于总采样分配与终局私有均值的终局吉布斯分布: $\(q_{\mathrm{Final}}(\theta) \propto \exp\left(-\sum_{a=1}^K N_{a,T} \, d_{\epsilon}^{\mathrm{Ber}}(\theta_a, m_{a,T})\right).\)$ 最终推荐臂通过从 \(q_{\mathrm{Final}}\) 抽取样本 \(\hat{\theta}_{T+1}\) 并输出其最大坐标决定:\(A_{\mathrm{out}} = \arg\max_{a \in [K]} \hat{\theta}_{T+1,a}\)。以一个两臂系统为例,若臂 1 真实均值显著高于臂 2,随着采样积累,\(N_{1,T}\) 与 \(N_{2,T}\) 的分配逐渐收敛至博弈鞍点。此时若发生错误推荐,意味着采出的备择样本落入 \(\theta_2 \ge \theta_1\) 的备择空间,其测度积分精确等于 \(\exp\big(-T (\tau^*(\theta^*) - o(1))\big)\),从算法实现层面严格达成了下界所限定的理论极限。

实验关键数据

主实验

论文在多种臂规模与均值分布配置下开展了实证评估,隐私预算统一设置为严格隐私体制 \(\epsilon = 0.1\),强迫探索参数 \(\alpha = 0.25\),退火参数 \(\beta_t = 2\sqrt{t+1}\)。基准方法包括: - Uniform Baseline:作为消融对照,保留拉普拉斯树私有化架构与终局推荐,但移除 AdaHedge 更新,全程采用均匀随机分配; - DP-TT-FB:将 Jourdan & Azize [2025] 中基于几何私有估计器(GPE)的固定置信度 DP-TT 算法适配至固定预算体制(达到预算 \(T\) 强制终止并输出领先臂); - DP-BAI:Chen et al. [2024] 提出的基于固定预算逐级淘汰(Phase-elimination)的私有算法。

在 50 臂合成实例(最佳臂均值 0.95,4 个难区分次优臂均值 0.925,45 个易区分干扰臂均值 0.50)以及 17 臂极小间隔实例(最佳臂 0.60,紧邻次优臂 0.59975,差距仅 0.00025,其余 15 个臂 0.01)上,经过 500 次独立重复试验,各方法在不同预算 \(T\) 下的经验推荐准确率表现如下表所示:

评估实例与场景 算法策略 预算 \(T=5\times 10^4\) 预算 \(T=1.5\times 10^5\) 预算 \(T=3\times 10^5\) 最终收敛态准确率
50-arm 实例
(\(\mu_1=0.95, 4\times 0.925, 45\times 0.50\))
Uniform (消融基线) 0.282 ± 0.020 0.495 ± 0.022 0.640 ± 0.021 缓慢线性爬升(严重受困于均匀分散采样)
DP-TT-FB [Jourdan & Azize] 0.612 ± 0.022 0.814 ± 0.017 0.825 ± 0.017 平台期停滞(GPE翻倍更新机制导致后期迟滞)
AO-Pri-BAI (本文) 0.428 ± 0.022 0.868 ± 0.015 0.976 ± 0.007 趋近 1.000(平滑对抗逼近理论鞍点)
17-arm 难区隔离实例
(\(\mu_1=0.60, \mu_2=0.59975, 15\times 0.01\))
DP-BAI [Chen et al. 2024] 0.185 ± 0.017 0.362 ± 0.021 0.512 ± 0.022 准确率受限(强噪声下阶段淘汰不可逆误删)
AO-Pri-BAI (本文) 0.310 ± 0.021 0.684 ± 0.021 0.892 ± 0.014 持续稳步突破(连续软分配保持全局鲁棒性)

消融实验

为系统解耦拉普拉斯树流式机制、AdaHedge 动态博弈调度以及不同隐私约束强度对算法性能的影响,论文在 20 臂配置(\(\mu_1=0.85, 4\times 0.845, 15\times 0.25\))下,对比了不同组件及跨越三阶数量级的隐私参数 \(\epsilon \in \{0.05, 1.0, 5.0\}\) 下的收敛特性与消融表现:

模块配置 / 隐私强度 预算 \(T=5\times 10^4\) 预算 \(T=2\times 10^5\) 预算 \(T=5\times 10^5\) 机制贡献与消融说明
AO-Pri-BAI (\(\epsilon=0.05\), 极端高隐私) 0.215 ± 0.018 0.628 ± 0.022 0.874 ± 0.015 强噪声下平稳度过 burn-in 期,后程主导
AO-Pri-BAI (\(\epsilon=1.0\), 中度隐私) 0.684 ± 0.021 0.942 ± 0.010 0.998 ± 0.002 噪声迅速衰减,指数优势极早展现
AO-Pri-BAI (\(\epsilon=5.0\), 弱隐私接近非私) 0.895 ± 0.014 1.000 ± 0.000 1.000 ± 0.000 逼近非私有 BAI 的理论收敛速率
w/o AdaHedge (Uniform \(\epsilon=1.0\)) 0.440 ± 0.022 0.690 ± 0.021 0.812 ± 0.017 移除博弈学习后掉点 >18.6%,分配无法收敛至鞍点
w/o Laplace-tree (替用 GPE 批更新) 0.582 ± 0.022 0.810 ± 0.018 0.835 ± 0.016 批处理延迟导致大预算下识别能力严重停滞

关键发现

  • 对抗博弈调度的关键性:去掉 AdaHedge 模块(Uniform)后,算法在 50 臂实例的大预算阶段准确率从 0.976 骤降至 0.640。原因在于 Uniform 在 45 个易区分的干扰臂(均值 0.50)上均摊了大量无效预算,而 AO-Pri-BAI 通过对抗博弈迅速将采样权重压向均值为 0.925 的 4 个关键混淆臂,验证了 Min-Max 博弈分配的理论有效性。
  • 连续软分配 vs 不可逆硬淘汰:在 17 臂极小差距测试中,DP-BAI 表现远逊于 AO-Pri-BAI。这是因为当臂间差距 \(\Delta = 0.00025\) 极小且隐私噪声较大时,基于阶段划分的硬淘汰机制极易因噪声波动而在早期将真正的最优臂错误剔除且无法挽回;AO-Pri-BAI 全程维持软性概率分布与强迫探索,具有天然的容错自愈能力。
  • 前期 Burn-in 与渐近超车:在中小预算阶段,DP-TT-FB 凭借几何批处理在早期上升较快,但在中后期迅速进入平台期(因 GPE 每次更新要求拉取数翻倍);AO-Pri-BAI 虽然需要 \(O(\mathrm{polylog}(T))\) 的初期预热阶段建立稳定的私有估计,但一旦度过预热期,其理论匹配的指数衰减速率全面超越竞品。

亮点与洞察

  • 信息几何的逆向发现:敏锐指出了固定预算下界中测度变换的逆向属性,确立了 \(d_{\epsilon}(\theta', \theta^*, \lambda)\)(备择向真实迁移)作为固定预算隐私纯探索的真正特征量,纠正了领域内直接套用固定置信度正向指标的惯性思维。
  • 免显式优化的隐式博弈求解:避免了在每轮高维概率单纯形上数值求解极小极大非凸规划,巧妙利用隐私散度的对数凹性,通过吉布斯拒绝采样与 AdaHedge 在线学习实现博弈自平衡,算法工程落地复杂度极低。
  • 全轨迹纯隐私闭环:结合拉普拉斯树累加器与终局吉布斯采样,将差分隐私保护无缝贯穿于观测统计、动作决策与终局推荐的全流程,且在理论上通过六大核心良态事件(Good Events)完成了与下界的严格无隙匹配。

局限与展望

  • 受限于伯努利奖励分布假设:当前闭式解和对数凹性分析严格建立在伯努利分布之上。对于一般有界支持集或非参数分布,直接计算 TV 与 KL 混合散度极其困难,未来需依赖随机量化离散化近似技术拓展。
  • 条件错误率与无条件渐近一致性的理论间隙:上界证明针对的是给定历史滤波条件下的吉布斯推荐条件错误率。根据近期固定预算领域的最新不可能性结论(如 Goldberger 2026),单策略在全实例上一致匹配无条件下界具有深层理论障碍,如何在更广泛意义下弥合条件与无条件边界仍是开放难题。
  • 高维大规模臂集合的预热耗时:强迫探索与私有树机制包含 \(O(\mathrm{polylog}(T))\) 阶的预热开销。当候选臂规模成百上千且预算有限时,算法在非渐近早期的采样分散问题仍有进一步优化空间。

相关工作与启发

  • vs DP-BAI (Chen et al., ICLR 2024): DP-BAI 针对线性赌博机采用基于 MAX-DET 的分阶段硬消除框架,给出的误差界包含未指明的常数项 \(\Omega(T / (H(\theta^*) \log d))\),且在小间隔强噪声下易发生不可逆淘汰;本文专注多臂情形,给出了精确常数匹配的渐近指数 \(\tau^*(\theta^*)\),并采用连续博弈分配避免了硬淘汰缺陷。
  • vs DP-TT (Jourdan & Azize, NeurIPS 2025): DP-TT 聚焦固定置信度体制,特征时间由正向散度 \(d_{\epsilon}(\theta^*, \theta', \lambda)\) 决定,并依赖 GPE 几何倍增批处理;本文确立了固定预算体制下的逆向散度 \(d_{\epsilon}(\theta', \theta^*, \lambda)\),并采用拉普拉斯树流式发布与 AdaHedge 动态学习,解决了固定预算下的渐近最优性。
  • vs PEPS (Li et al., AISTATS 2024): PEPS 针对非私有纯探索通过贝叶斯后验采样逼近最优指数;在隐私场景下真实后验高度不可解析,本文通过构建基于隐私散度的吉布斯代理能量函数,成功将对抗探索思想迁移至纯差分隐私环境。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次建立了固定预算下纯 \(\epsilon\)-DP 最佳臂识别的逆向信息几何下界并提出了精确匹配的渐近最优在线博弈算法。
  • 实验充分度: ⭐⭐⭐⭐ 涵盖多种规模合成实例、强弱隐私消融及与代表性算法的深入对比,若能补充真实临床或医疗推荐数据集验证则更加完备。
  • 写作质量: ⭐⭐⭐⭐⭐ 理论脉络清晰严谨,从测度变换几何、算法设计到六个良态事件的证明链条环环相扣。
  • 价值: ⭐⭐⭐⭐⭐ 为差分隐私序贯决策与纯探索理论填补了固定预算体制的关键理论空白,对敏感数据下的自适应试验设计具有指导意义。