NeurIPS 2026 强化学习对决多臂老虎机 (Dueling Bandits) Lipschitz 连续动作空间缩放维度 (Zooming Dimension) 递归区域消除遗憾下界

Lipschitz Dueling Bandits over Continuous Action Spaces¶

会议: NeurIPS 2026
arXiv: 2604.00523
OpenReview: https://openreview.net/forum?id=LCU19fa0gS
论文: https://arxiv.org/abs/2604.00523
领域: 强化学习
关键词: 对决多臂老虎机 (Dueling Bandits), Lipschitz 连续动作空间, 缩放维度 (Zooming Dimension), 递归区域消除, 遗憾下界

一句话总结¶

针对连续紧致动作空间与双向 Lipschitz 偏好传递模型下的对决多臂老虎机问题，提出首个利用自适应锚定参考臂将相对比较转化为标量偏好场的递归消除算法 ARC-DuelLi，以 $O(d \log T)$ 空间复杂度达成匹配标量 Lipschitz 老虎机下界的最优遗憾界 $\tilde{O}(T^{\frac{d_z+1}{d_z+2}})$。

研究背景与动机¶

连续动作空间中的序贯决策与黑盒优化广泛存在于超参数调优、推荐系统排序策略生成及机器人连续控制等实际场景中。在许多以人类或复杂评测为导向的真实任务中，环境往往无法直接提供可信的绝对标量奖励数值，但用户或评测机制能够准确给出两个备选方案之间的成对优劣比较偏好反馈（即对决老虎机模型）。当底层效用函数关于度量空间具有平滑的几何连续性时，相近的动作应诱导相似的相对偏好概率，这就自然催生了在连续 Lipschitz 空间中通过带噪成对比较学习 Condorcet 获胜者的理论需求。

然而，现存的连续动作空间老虎机机制完全无法直接处理纯对决反馈。经典的 Lipschitz 老虎机消除算法（如 Zooming 或 HOO 架构）完全依赖于全局统一标度的绝对标量奖励估计来构建置信区间与自适应网格细化规则；而在对决反馈中，两次成对比较的结果仅在相对于同一对手时才具有可比性，跨区域的独立估计丧失了全局基准。另一方面，既有的连续动作对决老虎机方法几乎全部建立在效用函数强凹或凸光滑性的严格几何假设之上，严重依赖于将局部成对偏好转化为一阶拟梯度方向的局部下降框架，这使得它们在非凸或通用 Lipschitz 连续度量空间中彻底失效，更无法刻画依赖于近优集合内蕴复杂度的缩放维度。

面对相对反馈缺乏跨区域可比性这一根本理论阻碍，本文切入的角度是：在多尺度分层网格划分的递归消除过程中，能否在每一个时间轮次内动态维持一个公共的全局“锚定参考臂”，将局部的成对偏好概率差异严格转化为关于该参考臂的相对标量偏好场，从而实现既安全又不膨胀空间的全局递归淘汰？核心 idea：通过轮次自适应锚定参考臂建立全空间统一的可比基准，结合双向 Lipschitz 偏好传递性质推导松弛三角不等式，并设计深度优先递归多尺度网格消除策略 ARC-DuelLi，在仅占用 $O(d \log T)$ 极小内存的条件下达成匹配标量连续老虎机理论下界的亚线性遗憾。

方法详解¶

整体框架¶

算法处理的输入为紧致动作空间 $\mathcal{X}=[0,1]^d$（赋予 $\ell_\infty$ 度量）、未知 1-Lipschitz 连续效用函数 $f:\mathcal{X} \to \mathbb{R}$、总步数 $T$、置信参数 $\delta$ 以及传递函数双向 Lipschitz 参数 $(\lambda, \Gamma)$。在每个时间步 $t$，算法选取两个动作 $(x_t, y_t)$ 进行对决，观测二值 Bernoulli 随机变量 $o_t(x_t, y_t) \sim \mathrm{Ber}(P(x_t \succ y_t))$，其中偏好概率由满足反对称性与单调性的传递函数 $\rho(f(x_t)-f(y_t))$ 给出。算法的目标是逐步逼近使 $P(x^\star \succ y) \ge \frac{1}{2}$ 对任意 $y \in \mathcal{X}$ 均成立的 Condorcet 获胜者 $x^\star$。

ARC-DuelLi 采用轮次驱动与递归网格探索相结合的执行流水线。在每个轮次 $m \in \{1, \dots, B\}$ 中，算法以从上一轮最优区域采样的锚定参考臂 $X^{m-1}$ 为基准，自适应对当前深度 $h$ 的超立方体进行采样估计，并基于上界置信测试判断是否安全淘汰子区域，若不可淘汰则细化分裂为 $2^d$ 个子超立方体进行深度优先递归探索；探索完毕后在最深层挑选新的经验最优区域更新参考臂与基准差距，直至总步数耗尽后由收尾阶段持续播放最优臂。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入：动作空间与时间预算<br/>X=[0,1]^d, 步数T, 置信参数delta, Lipschitz常数Gamma"] --> Init["初始化状态与第一代基准<br/>均匀随机选取参考臂X^0, 设置深度边界B"]
    Init --> OuterRound["轮次遍历与多尺度细化<br/>m=1...B, 分辨率r_h=2^(-h+1)"]
    OuterRound --> Sample["1. 锚定参考臂成对采样<br/>区域C内采样n_h个动作与X^(m-1)对决"]
    Sample --> UniformConc["2. 区域偏好估计与一致性集中<br/>计算经验偏好差距Delta_h^m并检验置信界"]
    UniformConc --> SafeElim{"3. 双向Lipschitz安全消除判定<br/>Delta^(m-1) - Delta_h^m > 2 r_h (1 + Gamma) ?"}
    SafeElim -->|是：次优区域| Cut["剪枝淘汰当前立方体C<br/>就地释放内存，终止递归"]
    SafeElim -->|否且未达最大深度| Split["分层裂变与递归探索<br/>C均分为2^d个子立方体进入h+1层"]
    Split --> Sample
    SafeElim -->|否且达到深度m| UpdateBest["4. 缩放区域收敛与最优基准转移<br/>记录当前候选C_max^m与Delta_max^m"]
    UpdateBest --> NewRef["补充采样更新参考臂X^m<br/>为下一轮对决建立新对齐基准"]
    NewRef --> OuterRound
    OuterRound --> Cleanup["5. 最终参考臂极小化收尾<br/>在剩余步骤内持续播放X^B或X^(m-1)"]
    Cut --> OuterRound

关键设计¶

1. 锚定参考臂成对采样：解决对决反馈跨区域不可比的核心基准

在标准 Lipschitz 连续老虎机中，每个动作抽取的标量奖励具有天然的全局全序关系，可以直接计算经验均值并跨区域比对。然而在成对对决设定下，$P(x \succ y)$ 严重依赖于对比动作 $y$ 的相对质量；若在探索不同空间几何区域时随机选择对手，不同区域的胜率毫无内在可比性。针对该困境，ARC-DuelLi 在每个探索轮次 $m$ 中固定唯一的全局锚定参考臂 $X^{m-1}$。在对任意深度 $h$ 的超立方体 $C$ 展开评估时，算法在 $C$ 内均匀采样 $n_h$ 个动作 $x_i$，且强制这 $n_h$ 个动作全部只与同一个参考臂 $X^{m-1}$ 进行对决。

这种采样的关键机制在于将任意区域 $C$ 内各动作相对于统一基准 $X^{m-1}$ 的偏好差异投射为一个相对偏好标量场。定义区域对决的经验偏好差距统计量为： $$\widehat{\Delta}_h^m(C, X^{m-1}) := \frac{1}{n_h}\sum_{i=1}^{n_h} o(x_i, X^{m-1}) - \frac{1}{2}$$ 通过为每个层级设定严密的采样预算 $n_h = \frac{16 \log(T/\delta)}{r_h^2}$，不仅对齐了尺度间方差，还使得对决所得的离散胜率能够直接作为各空间超立方体相对优劣的真实标尺。

2. 区域偏好估计与一致性集中：控制有限样本误差与几何偏差

将区域内有限个离散采样的对决结果推广到该超立方体中任意未观测动作时，必然同时引入两个层面的误差：成对比较结果自身的随机二项式抽样方差，以及由于动作位置偏移导致的空间效用波动。传统方法因无法分离相对模型中的这两类误差而难以建立一致置信界。ARC-DuelLi 借助效用函数的 1-Lipschitz 特性与偏好传递函数的双向 Lipschitz 性质，推导出了区域级偏好估计的高概率一致收敛上界。

对于半径（边长）为 $r_h$ 的任意超立方体 $C$，任意两点间的距离满足 $\|x - x_i\|_\infty \le r_h$。效用函数的 1-Lipschitz 性保证了 $|f(x) - f(x_i)| \le r_h$；再利用传递函数 $\rho$ 的上 Lipschitz 常数 $\Gamma$，区域内任意动作的理论差距与抽样均值之差的几何偏差被严格控制在 $\Gamma r_h$ 以内。结合基于 Hoeffding 不等式的随机集中界，证明了在以至少 $1 - 2\delta$ 的高概率成立的全局良好事件 $\mathcal{E}$ 下，对所有轮次、所有深度、所有活动超立方体及其中任意点 $x \in C$，均一致满足： $$|\Delta(x, X^{m-1}) - \widehat{\Delta}_h^m(C, X^{m-1})| \le \sqrt{\frac{16\log(T/\delta)}{n_h}} + \Gamma r_h = r_h(1 + \Gamma)$$ 该界将复杂的对决空间平滑性完全解构为关于网格直径 $r_h$ 的线性项，为后续的安全消除奠定了确定性的数值基础。

3. 双向 Lipschitz 安全消除判定：确保 Condorcet 获胜者永不淘汰

设计消除规则时的关键矛盾在于：既要激进剪枝远离最优的庞大次优区域以控制累积遗憾，又绝对不能将真正包含最优动作 $x^\star$ 的超立方体误淘汰。在对决老虎机中，参考臂自身并非真神，若消除规则不当极易发生级联误杀。ARC-DuelLi 引入上一轮次结束时在最优立方体中测定的基准估计 $\tilde{\Delta}^{m-1}$，并设定阈值判定条件：当且仅当 $\tilde{\Delta}^{m-1} - \widehat{\Delta}_h^m(C, X^{m-1}) > 2r_h(1+\Gamma)$ 时，才将当前超立方体 $C$ 从探索树中剪枝。

这一判定阈值的巧妙之处在于其利用了 Condorcet 获胜者的全局优越性。根据定义，$x^\star$ 使得 $f(x^\star) \ge f(x)$ 对任意 $x$ 恒成立，因此在单调传递函数下必然有 $\Delta(x_C, X^{m-1}) - \Delta(x^\star, X^{m-1}) \le 0$。展开误差分解后可以严格证明，包含 $x^\star$ 的真实超立方体 $(C_h^m)^\star$ 所产生的经验差距差值必定不超过 $2r_h(1+\Gamma)$。因此，只要全局事件 $\mathcal{E}$ 成立，真实最优区域被淘汰的概率为零；反之，任何落入消除准则的区域中的所有点，其真实效用差距必然劣于当前基准，证明了剪枝的绝对安全性。

4. 缩放区域收敛与最优基准转移：递归收敛半径与极小空间维持

随着多尺度树从根节点向叶节点逐层展开，幸存区域不仅不会丢失最优动作，且其包含的所有点必须向 $x^\star$ 发生严格的几何收缩。传统分析在连续对决下无法传递次优界，本设计通过双向 Lipschitz 偏好传递（参数 $\lambda, \Gamma$，记条件数 $\kappa = \frac{\Gamma}{\lambda}$）导出的松弛三角不等式建立桥梁： $$\Delta(x^\star, x) \le \frac{\Gamma}{\lambda}\left(\Delta(x^\star, X^{m-1}) - \Delta(x, X^{m-1})\right)$$ 由于上一轮所选的新参考臂 $X^{m-1}$ 来自胜率最高立方体，其自身与 $x^\star$ 的差距受控于 $O(r_{m-1})$；同时幸存立方体通过了消除测试，其相对胜率不低于基准减去阈值，两者结合直接导出了紧凑的收敛半径界： $$\Delta(x^\star, x) \le \kappa(2\kappa + 4)(1+\Gamma)r_{h-1}$$ 这意味着活动集合 $\mathcal{A}_h^m$ 完全内嵌在 $2Kr_h$ 阶近优集合 $\mathcal{S}(2Kr_h)$ 之内。结合深度优先遍历机制，算法在内存中仅需保存当前回溯路径上的父子索引、计数值与当前轮最佳候选，无需存储历史博弈数据或全局分裂网格，直接将空间复杂度严格压低在 $O(d \log T)$。

5. 最终参考臂极小化收尾：平衡深度开销与早停稳健性

算法总轮数被精准解析设置为 $B = \lceil \frac{\log_2 T}{d_z + 2} \rceil + 1$，以在多尺度网格细化采样消耗的探索代价与在精细层级下进行对决的次优性之间取得理论最优折中。在算法耗尽全部 $B$ 轮探索后，所有存活区域均收敛到极小半径 $r_B$ 的邻域内，最终参考臂 $X^B$ 满足 $\Delta(x^\star, X^B) \le K r_{B-1}$。在剩余的时间步长中，算法执行无探索纯利用的收尾（Cleanup）策略，持续抽取 $X^B$（即令 $x_t = y_t = X^B$），从而使单步瞬时遗憾降至极低量级。

更为关键的是算法面对时间预算边界时的早停稳健性机制：当算法因步数耗尽而在某一中间轮次 $M < B$ 的递归过程中强制终止时，算法果断舍弃当前轮所有未完成的中间状态，直接退回并回退调用上一完整轮次沉淀出的高置信度参考臂 $X^{M-1}$ 执行收尾。分析表明，因提前终止导致的剩余步数严格受限于下一深度的采样块大小 $\tau < n_{M+1}$，早停引入的收尾累积遗憾阶数为 $\tilde{O}(2^{M(d_z+1)})$，在渐进阶上与完整探索完全同阶，从而保证了在任意给定时间预算下算法渐进最优性的绝对鲁棒。

一个完整示例¶

考虑二维动作空间 $\mathcal{X}=[0,1]^2$ 上对决探索的典型流转过程： 1. 初始轮次 ($m=1$)：算法随机选取初始参考臂 $X^0 = (0.9, 0.9)$。将空间划分为网格边长 $r_1 = 1$ 的粗粒度立方体。 2. 递归采样与对决：对于待评估立方体 $C$，系统采样 $n_1 = 16 \log(T/\delta)/1^2$ 个动作点，每个点分别与 $X^0$ 对决，统计胜率后得到经验差距 $\widehat{\Delta}_1^1(C, X^0)$。 3. 消除检验与裂变：由于 $h=1=m$，直接进入最深层候选评估，选出胜率最高区域 $C_{\max}^1$；随后在 $C_{\max}^1$ 中抽取新参考臂 $X^1$（例如靠近 $(0.5, 0.3)$），并增广采样重估最优基准 $\tilde{\Delta}^1$。 4. 轮次细化 ($m=2$)：空间从根节点以 $r_1=1$ 重新展开，但在 $h=1 < 2$ 时执行消除检测：对于远离最优点的边缘立方体（如偏好差距差值显著大于 $2r_1(1+\Gamma)$ 的角落区域），算法判定为次优并立即剪枝释放；仅对包含 $(0.3, 0.1)$ 周边潜力的候选区域细化分裂为 $2^2=4$ 个边长 $r_2=0.5$ 的子超立方体，并在下一层继续与 $X^1$ 对决。 5. 逐轮收敛与收尾：轮次推进至 $m=B$ 时，幸存超立方体尺度缩小为 $2^{-B+1}$，参考臂 $X^B$ 高度浓缩在真实最优解 $x^\star=(0.3, 0.1)$ 极其狭窄的邻域内，最终收尾阶段重复执行 $X^B$ 对决直至 $T$ 步耗尽。

实验关键数据¶

主实验¶

在连续动作空间 $\mathcal{X}=[0,1]^2$、时间跨度 $T=10^8$、50 次独立随机重复试验下，论文评估了 ARC-DuelLi 与传统基于均匀网格离散化基准（Interleaved Filter, Yue et al., 2012）在不同缩放维度 $d_z$ 假设与多类真实效用曲面上的收敛表现与累积遗憾对比。

测试函数配置	缩放维度 $d_z$	评估指标	ARC-DuelLi (本文)	均匀离散化 (Interleaved Filter)	相对性能优势
Unimodal Sharp (主干实验)	$d_z=0$	最终参考臂偏好差距 $\Delta(x^\star, X^m)$	$< 0.015$ (稳步趋向 0)	$> 0.180$ (受固定网格下界限制)	误差降低 $> 91.6\%$
Unimodal Sharp (主干实验)	$d_z=0$	累积对决遗憾 $R(T)$ ($T=10^8$)	显著亚线性收敛 ($\approx \tilde{O}(T^{1/2})$)	线性快速增长后次优饱和	累积遗憾大幅降低 $> 80\%$
Random Initialization (鲁棒性)	$d_z=0$	最终偏好差距 $\Delta(x^\star, X^m)$	$< 0.018 \pm 0.005$	$> 0.195 \pm 0.030$	对恶劣初值无敏感性，稳定收敛
Scaled Domain $\mathcal{X}=[0,10]^2$	$d_z=0$	尺度缩放后累积遗憾	亚线性极低平缓增长	随动作空间扩展方差剧烈发散	泛化保持几何有效性
Flat Benchmark (平坦极值区)	$d_z=4/3$	最终偏好差距 $\Delta(x^\star, X^m)$	$< 0.022$	$> 0.145$	克服三阶平坦梯度困境
Plateau Benchmark (平面极值区)	$d_z=2$	区域锁定成功率	$100\%$ 快速定位 $[0.35, 0.65]^2$	局限于网格离散点反复抖动	自适应多尺度空间消除
Quadratic Basin (二次优化盆地)	$d_z=1$	累积对决遗憾阶数	严格匹配理论 $\tilde{O}(T^{2/3})$	早期探索开销过大导致次优	逼近最优理论极限
Continuous Ridge (环状流形最优)	$d_z=1$	环形流形辨识精度	参考臂完全收敛于半径 $0.28$ 圆环	无法辨析连续非孤立多最优解	稳健捕获流形结构
Two Competing Peaks (多模态竞争)	$d_z=0$	全局最优点识别率	$100\%$ 收敛于 $(0.2, 0.2)$ 全局主峰	易陷入 $(0.8, 0.75)$ 次优局部峰	成功辨别 $0.03$ 微弱峰值差异

传递函数敏感性与维度拓展消融实验¶

论文系统测试了不同成对偏好连接函数（具有不同的上下 Lipschitz 导数常数）以及更高环境物理维度对算法收敛行为的影响。

偏好传递模型 $\rho(u)$	导数上界 $\Gamma$	理论基准条件数 $\kappa$	最终差距 $\Delta(x^\star, X^m)$ ($T=10^8$)	亚线性遗憾曲线形态	验证结论
Sigmoid (Logistic)	$\frac{1}{4} = 0.250$	$\approx 2.139$	$\approx 0.014$	稳定平滑亚线性	标准非线性平滑模型完全适用
Probit (高斯累积分布)	$\frac{1}{\sqrt{2\pi}} \approx 0.399$	$\sqrt{e} \approx 1.649$	$\approx 0.016$	稳定平滑亚线性	重尾高斯误差下鲁棒
Linear Link	$\frac{1}{2} = 0.500$	$1.000$ (最优无扭曲)	$\approx 0.011$	极低常数亚线性 (理论匹配下界)	线性映射效率最高
Arctangent (反正切)	$\frac{1}{\pi} \approx 0.318$	有界良好常数	$\approx 0.018$	稳定平滑亚线性	饱和区斜率减小仍稳定收敛
Hyperbolic Tangent (Tanh)	$\frac{1}{2} = 0.500$	有界良好常数	$\approx 0.013$	稳定平滑亚线性	对称 S 型响应收敛良好
维度拓展: $D=2$	$\Gamma_{\mathrm{sig}}$	基准维度	完成深度最高，收敛最深	遗憾阶数严格匹配理论	网格分裂规模可控
维度拓展: $D=3$	$\Gamma_{\mathrm{sig}}$	空间超立方体倍增	偏好差距单调平稳下降至低水平	步数受限导致提前终止，但符合早停上界	早停机制保障了高维安全性
维度拓展: $D=4$	$\Gamma_{\mathrm{sig}}$	$2^4=16$ 叉树开销	参考臂持续逼近最优邻域	单轮消耗增大但遗憾率仍保持亚线性	理论在更高维度依然定性自洽

关键发现¶

对恶劣初始化具有极强的鲁棒性：即使人为将初始参考臂放置在远离最优解的对抗性角落 $(0.9, 0.9)$（最优解为 $(0.3, 0.1)$），算法在经过 2-3 个轮次的自适应多尺度递归消除后，也能快速将参考臂拉回到最优区域附近，证明锚定基准具有自校正能力。
自适应缩放完胜均匀网格离散化：均匀离散化策略在面对连续空间时面临无法调和的两难困境——网格过粗则引入无法消除的离散化常数遗憾底线，网格过细则导致动作组合数指数爆炸，无法在有限步数内完成充分对决统计。ARC-DuelLi 凭借缩放消除机制，只在有希望的区域细化网格，累积遗憾相比 baseline 降低超过 $80\%$。
早停机制与理论分析完全吻合：在高维场景（$D=3, 4$）由于每个轮次裂变的超立方体呈指数级增加，在固定 $10^8$ 预算下未能跑满全部预定深度 $B$ 轮，但由于算法舍弃残缺轮次并回退调用上一轮最高置信度参考臂，实际累积遗憾依然保持严格的亚线性收敛，实证了 Theorem 5.4 中关于早停情况下的理论健全性。

亮点与洞察¶

轮次锚定参考臂的破局设计：在无绝对数值反馈的纯对决环境下，通过动态更新的锚定臂将多区域非可比成对观测转化为相对于基准动作的局部标量场，巧妙化解了对决机制与多尺度连续区域消除不相容的根本矛盾。
极小化内存在线执行策略：算法虽然在逻辑上描述为递归树搜索，但底层采用基于深度优先遍历的就地内存复用机制，每一时刻仅记录活动路径上的索引、二项统计胜场和当前最优候选，内存占用仅为 $O(d \log T)$，彻底消除了传统自适应网格老虎机随时间膨胀存储的隐患。
紧致的下界归约与完全匹配：针对线性传递模型，创造性地构建了双抽样合成对决仿真机制，证明任意对决算法均可诱导出一个遗憾严格为两倍的标量反馈连续老虎机算法，进而借助标量老虎机的经典下界建立了对决模式下 $\Omega(T^{\frac{d_z+1}{d_z+2}})$ 的理论底线，证实了 ARC-DuelLi 在对数因子意义下的渐进最优性。

局限与展望¶

依赖缩放维度的先验知识：算法在初始化时需要已知动作空间在最优解附近的缩放维度 $d_z$ 以预设最优轮数 $B^\star$；若 $d_z$ 未知，目前尚缺乏能够自适应探测最优维度的无参调度设计。
传递函数双向 Lipschitz 的下界依赖：理论分析严格要求传递函数的导数具有严格正下界 $\lambda > 0$；对于斜率可能在边界趋近于 0（即信息极度匮乏）的极度平坦或退化偏好模型，当前理论框架无法直接覆盖。
高维环境下的维度灾难：空间划分依赖于超立方体的多尺度网格裂变，每个被选立方体在下一层细化为 $2^d$ 个子区域；随着物理维度 $d$ 增长，即使仅保留近优区域，单轮探索所需的样本数依然呈现指数爆炸，未来亟需结合连续低维流形嵌入或核化比较技术进行降维拓展。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次打通连续度量空间 Lipschitz 几何与对决比较反馈的结合，提出创新的锚定参考臂消除范式。
实验充分度: ⭐⭐⭐⭐☆ 在合成流形、非平凸基准、不同维度及多种非线性传递函数下均进行了严谨的鲁棒性实证。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完整，误差分解、集中不等式与消除安全性的数学证明层层递进、逻辑严密。
价值: ⭐⭐⭐⭐⭐ 彻底解决了连续无绝对标量打分场景下的平滑偏好优化问题，为 RLHF 策略调优及高维系统偏好对齐提供了兼具极低空间开销与理论最优保证的算法蓝图。

测试函数配置	缩放维度 \(d_z\)	评估指标	ARC-DuelLi (本文)	均匀离散化 (Interleaved Filter)	相对性能优势
Unimodal Sharp (主干实验)	\(d_z=0\)	最终参考臂偏好差距 \(\Delta(x^\star, X^m)\)	\(< 0.015\) (稳步趋向 0)	\(> 0.180\) (受固定网格下界限制)	误差降低 \(> 91.6\%\)
Unimodal Sharp (主干实验)	\(d_z=0\)	累积对决遗憾 \(R(T)\) (\(T=10^8\))	显著亚线性收敛 (\(\approx \tilde{O}(T^{1/2})\))	线性快速增长后次优饱和	累积遗憾大幅降低 \(> 80\%\)
Random Initialization (鲁棒性)	\(d_z=0\)	最终偏好差距 \(\Delta(x^\star, X^m)\)	\(< 0.018 \pm 0.005\)	\(> 0.195 \pm 0.030\)	对恶劣初值无敏感性，稳定收敛
Scaled Domain \(\mathcal{X}=[0,10]^2\)	\(d_z=0\)	尺度缩放后累积遗憾	亚线性极低平缓增长	随动作空间扩展方差剧烈发散	泛化保持几何有效性
Flat Benchmark (平坦极值区)	\(d_z=4/3\)	最终偏好差距 \(\Delta(x^\star, X^m)\)	\(< 0.022\)	\(> 0.145\)	克服三阶平坦梯度困境
Plateau Benchmark (平面极值区)	\(d_z=2\)	区域锁定成功率	\(100\%\) 快速定位 \([0.35, 0.65]^2\)	局限于网格离散点反复抖动	自适应多尺度空间消除
Quadratic Basin (二次优化盆地)	\(d_z=1\)	累积对决遗憾阶数	严格匹配理论 \(\tilde{O}(T^{2/3})\)	早期探索开销过大导致次优	逼近最优理论极限
Continuous Ridge (环状流形最优)	\(d_z=1\)	环形流形辨识精度	参考臂完全收敛于半径 \(0.28\) 圆环	无法辨析连续非孤立多最优解	稳健捕获流形结构
Two Competing Peaks (多模态竞争)	\(d_z=0\)	全局最优点识别率	\(100\%\) 收敛于 \((0.2, 0.2)\) 全局主峰	易陷入 \((0.8, 0.75)\) 次优局部峰	成功辨别 \(0.03\) 微弱峰值差异

偏好传递模型 \(\rho(u)\)	导数上界 \(\Gamma\)	理论基准条件数 \(\kappa\)	最终差距 \(\Delta(x^\star, X^m)\) (\(T=10^8\))	亚线性遗憾曲线形态	验证结论
Sigmoid (Logistic)	\(\frac{1}{4} = 0.250\)	\(\approx 2.139\)	\(\approx 0.014\)	稳定平滑亚线性	标准非线性平滑模型完全适用
Probit (高斯累积分布)	\(\frac{1}{\sqrt{2\pi}} \approx 0.399\)	\(\sqrt{e} \approx 1.649\)	\(\approx 0.016\)	稳定平滑亚线性	重尾高斯误差下鲁棒
Linear Link	\(\frac{1}{2} = 0.500\)	\(1.000\) (最优无扭曲)	\(\approx 0.011\)	极低常数亚线性 (理论匹配下界)	线性映射效率最高
Arctangent (反正切)	\(\frac{1}{\pi} \approx 0.318\)	有界良好常数	\(\approx 0.018\)	稳定平滑亚线性	饱和区斜率减小仍稳定收敛
Hyperbolic Tangent (Tanh)	\(\frac{1}{2} = 0.500\)	有界良好常数	\(\approx 0.013\)	稳定平滑亚线性	对称 S 型响应收敛良好
维度拓展: \(D=2\)	\(\Gamma_{\mathrm{sig}}\)	基准维度	完成深度最高，收敛最深	遗憾阶数严格匹配理论	网格分裂规模可控
维度拓展: \(D=3\)	\(\Gamma_{\mathrm{sig}}\)	空间超立方体倍增	偏好差距单调平稳下降至低水平	步数受限导致提前终止，但符合早停上界	早停机制保障了高维安全性
维度拓展: \(D=4\)	\(\Gamma_{\mathrm{sig}}\)	\(2^4=16\) 叉树开销	参考臂持续逼近最优邻域	单轮消耗增大但遗憾率仍保持亚线性	理论在更高维度依然定性自洽