Adaptively Incorporating Directional Hints into Zeroth-Order Optimization¶

会议: NeurIPS 2026
arXiv: 2609.08277
OpenReview: https://openreview.net/forum?id=ofyCInS0Mr
领域: 优化/理论
关键词: 零阶优化, 控制变量, 方向线索, 非凸优化, 自适应步长

一句话总结¶

提出控制变量零阶下降（CV-ZOD）框架，将低维方向线索作为无偏控制变量注入梯度估计，并设计了仅依赖函数查询的自适应步长准则，在收敛率上实现从一阶 $\mathcal{O}(1/T)$ 到零阶 $\mathcal{O}(d/T)$ 的动态平滑插值。

研究背景与动机¶

在现代科学计算与黑箱机器学习中，许多非凸优化问题的目标函数无法获得解析梯度或反向传播开销极大。例如流体力学偏微分方程反演控制、高精度量子化学分子构型搜索、闭源 API 大语言模型的黑箱 Prompt 调优以及仅依赖前向传播的大模型微调。传统的零阶优化（Zeroth-Order Optimization, ZO）仅通过函数值评估来构造各向同性的随机梯度估计，但其方差与维度 $d$ 呈线性放大，导致高维非凸优化收敛速度极为缓慢。

与此同时，实际任务中往往存在廉价但粗糙的先验辅助梯度信息（即方向线索，Directional Hints），如粗网格求解器、蒸馏小模型或经典力场。然而现有结合先验的零阶方法（如引导进化策略 GES 和先验引导无梯度优化 PRGF）通过重塑各向异性扰动分布来偏向先验子空间，这不可避免地引入了估计偏差，使得梯度更新被先验严重扭曲；一旦先验方向退化或存在较大夹角，方法就会陷入难以调和的步长困境甚至完全停滞，且已有理论分析多局限在凸目标。

针对这一核心矛盾，本文探索如何在保持优化动力学不受扭曲的前提下自适应利用方向线索。核心 idea：将方向先验从「搜索分布的偏置」转变为「零阶梯度估计的控制变量」，在保持高斯平滑梯度严格无偏的同时大幅降低估计方差，并通过仅需极少查询量的自适应步长机制，实现收敛率在一阶与零阶之间的动态最优插值。

方法详解¶

整体框架¶

算法将外部环境在每轮迭代 $t$ 提供的低维线索子空间 $\mathcal{S}_t \in \mathrm{Gr}_k(\mathbb{R}^d)$ 作为输入。整体流程包含四个阶段：首先利用正交基对目标函数进行确定性差分探测，提取真实梯度在提示子空间上的投影估计作为参考向量；接着利用少量随机高斯探测分别估计全空间与正交补空间的梯度模长；随后根据模长之比自适应计算当前最优步长；最后执行控制变量零阶梯度更新并根据累积步长概率输出最终解。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：当前迭代点 $x_t$ 与线索子空间 $\mathcal{S}_t$"] --> B["子空间投影估计<br/>确定性正交基差分获取参考向量 $m_t$"]
    B --> C["模长探测估计<br/>高斯随机投影估计全空间与正交分量模长"]
    C --> D["自适应步长计算<br/>动态平衡方差惩罚与下降增益确定 $\alpha_t$"]
    D --> E["控制变量零阶更新<br/>利用无偏扰动修正残差并更新迭代点 $x_{t+1}$"]
    E -->|累积步长加权采样| F["输出最终解 $\bar{x}$"]

关键设计¶

1. 控制变量梯度估计器：消除先验偏置并压制各向同性方差

以往方法（如 GES 与 PRGF）通过非各向同性协方差矩阵引导随机扰动采样，导致估计期望偏离真实梯度，放大了先验子空间内的增益，造成先验方向与正交补方向步长尺度的不可调和矛盾。为彻底消除该偏差，CV-ZOD 提出以任意参考向量 $m_t \in \mathbb{R}^d$ 为基底的控制变量零阶估计器： $$G(x_t, m_t; u_t) := m_t + \frac{f(x_t + \tau u_t) - f(x_t) - \langle m_t, \tau u_t \rangle}{\tau} u_t, \quad u_t \sim \mathcal{N}(0, I_d)$$ 该式本质上是对残差函数 $f(\cdot) - \langle m_t, \cdot \rangle$ 执行古典零阶估计并补偿回 $m_t$。数学上可以严格证明，其期望严格等于平滑梯度 $\nabla f^\tau(x_t)$，没有任何各向异性偏差。更关键的是，其估计均方误差上界直接受制于参考向量与真实梯度的残差范数：$\mathbb{E}[\|G(x_t,m_t;u_t) - \nabla f(x_t)\|^2] \leq 2(d+1)\|m_t - \nabla f(x_t)\|^2 + \mathcal{O}(\tau^2 L^2 d^3)$。当参考向量 $m_t$ 能良好对齐真实梯度时，原本与全梯度范数成比例的高维项 $d\|\nabla f(x_t)\|^2$ 被急剧压制为 $d\|m_t - \nabla f(x_t)\|^2$，从而实现方差的实质性缩减。

2. 子空间投影估计：极低查询代价下的无偏参考构造

在没有一阶预言机的实际场景中，最优参考向量应取为真实梯度在 $k$ 维线索子空间 $\mathcal{S}_t$ 上的正交投影 $P_{\mathcal{S}_t}\nabla f(x_t)$。CV-ZOD 通过正交基差分算子 $P_f^\tau(x_t, \mathcal{S}_t)$ 实现了确定性近邻逼近： $$P_f^\tau(x_t, \mathcal{S}_t) := B \hat{y}, \quad \hat{y}_j = \frac{f(x_t + \tau b_j) - f(x_t)}{\tau}, \quad j=1,\dots,k$$ 其中 $B = [b_1, \dots, b_k]$ 为 $\mathcal{S}_t$ 的标准正交基。在 $L$-光滑性假设下，该步骤仅需 $k+1$ 次函数查询即可满足确定性误差界 $\|P_f^\tau(x_t, \mathcal{S}_t) - P_{\mathcal{S}_t}\nabla f(x_t)\|^2 \leq \frac{k L^2 \tau^2}{4}$，无需任何对数过采样或浓度不等式保证，以极小的评估预算锁定了子空间内的真实投影分量。

3. 模长探测与自适应步长：平衡方差与下降收益的最佳调谐

通过控制变量分析，单步更新引起的方差累积与目标函数值下降之间的方差-下降平衡量取决于残差分量与梯度总量的相对大小。理论上的最优步长为 $\alpha_t^* = \frac{1}{L}\min\{1, \frac{1}{d\sin^2\theta_t}\}$，其中 $\theta_t = \angle(\nabla f(x_t), \mathcal{S}_t)$ 为线索夹角。为在完全黑箱条件下重构该最优解，CV-ZOD 设计了基于高斯随机探测的模长估计器 $N_f^\tau(x, \mathcal{S}, N) = \frac{1}{N}\sum_{i=1}^N \left(\frac{f(x+\tau P_{\mathcal{S}} u_i)-f(x)}{\tau}\right)^2$。通过分配 $N = \mathcal{O}(\log T)$ 次查询，可获得全空间范数 $\|\nabla f(x_t)\|^2$ 与正交补空间范数 $\|P_{\mathcal{S}_t}^\perp \nabla f(x_t)\|^2$ 的常数因子可靠估计，进而闭式构造自适应步长： $$\alpha_t := \frac{1}{\gamma L}\min\left\{1, \frac{N_f^\tau(x_t, \mathbb{R}^d, N) + c_1 \varepsilon}{16d \cdot \max\{0, N_f^\tau(x_t, \mathcal{S}_t^\perp, N) - c_1 \varepsilon\}}\right\}$$ 该设计从理论上保证了单步步长严格下界于理论最优值的常数缩放 $\alpha_t \geq \frac{\alpha_t^*}{c_0 \gamma}$，且使得整个轨迹的累积方差项完全受控，无需任何关于线索质量演化的先验知识。在实践中，为了进一步节省查询预算并提升稳定性，算法采用指数加权滑动平均（Discounted Moving Average）平滑范数估计，使每次迭代仅需 2 次探测即可实现高度平稳的步长调节。

实验关键数据¶

主实验¶

论文在流体力学二维 Navier-Stokes 方程初值反演控制（$d=8192$）及 MACE-OFF23 势能面下的三个高应变分子构型能量最小化任务上进行了系统评估。每种零阶方法在流体实验中每步固定 16 次查询预算，运行 100 步并统计 15 次独立成对随机种子的均值与标准差。

流体逆问题与分子几何优化最终目标函数对比：

任务 / 分子	维度 $d$	CV-ZOD (本文)	GES (有偏先验)	ZOD (无导引基线)	SurGD (纯先验代理)
流体反演 (Fluid Inverse)	8192	0.0136 ± 0.0025	0.0381 ± 0.0082	0.0258 ± 0.0040	0.0475 ± 0.0120
Efavirenz 构型优化	90	-1.32 ± 0.15	-1.18 ± 0.18	-0.65 ± 0.12	-1.35 ± 0.14
Adenosine 构型优化	96	-1.85 ± 0.21	-1.62 ± 0.25	-0.88 ± 0.16	-1.88 ± 0.20
Benzylpenicillin 构型优化	123	-2.10 ± 0.24	-1.89 ± 0.22	-1.02 ± 0.19	-2.14 ± 0.21

消融实验¶

在流体反演任务中，针对自适应步长的滑动平滑折扣因子 $\gamma_{\mathrm{disc}}$ 与单步 16 次查询预算分配（更新梯度批次 / 模长估计 / 子空间投影）进行消融对比：

流体反演任务中折扣因子与查询分配的消融结果（最终目标值，越低越好）：

折扣因子 $\gamma_{\mathrm{disc}}$	12/2/2 分配	7/7/2 分配	2/12/2 分配	ZOD 基准 (16/0/0)
0.0 (无平滑)	0.0764 ± 0.0219	0.0686 ± 0.0274	0.0846 ± 0.0003	0.0258 ± 0.0040
0.6	0.0149 ± 0.0029	0.0169 ± 0.0041	0.0797 ± 0.0149	0.0258 ± 0.0040
0.7	0.0136 ± 0.0025	0.0153 ± 0.0028	0.0796 ± 0.0137	0.0258 ± 0.0040
0.8	0.0153 ± 0.0037	0.0149 ± 0.0030	0.0749 ± 0.0197	0.0258 ± 0.0040
0.9	0.0176 ± 0.0063	0.0150 ± 0.0022	0.0759 ± 0.0175	0.0258 ± 0.0040

关键发现¶

对先验衰退的强鲁棒性：在流体问题中，早期代理模型与真实梯度的余弦相似度较高，GES 和 CV-ZOD 均快速下降；但随着优化深入，代理模型梯度的余弦相似度跌落至接近 0，GES 因各向异性偏差陷入停滞并被无导引 ZOD 反超，而 CV-ZOD 凭借无偏控制变量机制自然退化为各向同性下降，最终误差仅为 GES 的 35.7% 和 ZOD 的 52.7%。
查询预算分配规律：模长估计无需过度分配查询量，分配 2 次探测配合时序折扣平滑（$\gamma_{\mathrm{disc}}=0.7$）即可达到极优效果；若过度将查询预算分配给模长估计（如 2/12/2），导致用于控制变量更新的梯度扰动方向过少（仅 $b=2$），收敛效果发生明显劣化。

亮点与洞察¶

无偏先验注入机制：改变了以往方法强行修改采样协方差引入各向异性偏差的做法，巧妙采用控制变量将先验信息置于方差缩减位置，保证梯度估计无论先验好坏都严格无偏。
理论连续插值收敛性：严格证明了收敛界由沿轨迹的真实线索主夹角 $\theta_t$ 积分决定，在非凸设置下打通了一阶收敛率 $\mathcal{O}(1/T)$ 到零阶高维收敛率 $\mathcal{O}(d/T)$ 之间的连续平滑过渡。
自适应黑箱可实现性：设计了仅消耗 $\mathcal{O}(k + \log T)$ 查询量的纯函数值探测原语，在无需预知任何先验质量的前提下达到了 Oracle 理论速率。

局限与展望¶

线索子空间维度局限：目前的框架要求线索子空间维度 $k$ 较小，每次迭代消耗 $k+1$ 次查询计算投影；若拥有多个代理模型或历史动量积累导致 $k$ 增大，正交基探测的开销将迅速吞噬梯度更新的预算。
静态先验选择缺乏多源在线学习：算法在每步仅能被动接收单组子空间 $\mathcal{S}_t$，尚无法在多个不同质量的廉价代理源之间做在线多臂老虎机式的动态选择或自适应集成。
超高维大模型微调场景验证待拓展：论文验证主要集中在物理仿真与分子几何（$d \approx 10^2 \sim 10^4$），尚未在参数量达数亿至数百亿的大语言模型无反向传播前向微调（Forward-only Tuning）上完成大规模实测。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次在非凸零阶优化中利用控制变量无偏融入方向线索，打破了长久以来的先验有偏瓶颈。
实验充分度: ⭐⭐⭐⭐ 覆盖流体反演逆问题与真实量子力学/经典力场分子优化，包含细致的消融分析与轨迹角度监测。
写作质量: ⭐⭐⭐⭐⭐ 数学严密，结构清晰，从理论下界、可计算原语到自适应算法层层递进。
价值: ⭐⭐⭐⭐⭐ 为科学仿真黑箱反演与大模型免微调前向优化提供了坚实高效的优化算法基础。