Online Learning on Hidden-Convex Losses via Algorithmic Equivalence: Optimal Regret, Geometric Barrier, and Bandit Feedback¶

会议: NeurIPS 2026
arXiv: 2605.26373
OpenReview: https://openreview.net/forum?id=sdtnLayEs7
论文: https://arxiv.org/abs/2605.26373
领域: 优化/理论
关键词: 在线学习, 隐凸优化, 在线梯度下降, 镜像下降算法等价性, 单点Bandit反馈

一句话总结¶

通过建立一阶最优性条件驱动的 $\mathcal{O}(\eta^2)$ 离散化耦合，证明在线梯度下降（OGD）在未知的隐凸损失下可达到对抗环境最优的 $\mathcal{O}(\sqrt{T})$ 全反馈 Regret 与 $\mathcal{O}(T^{3/4})$ Bandit Regret，并揭示了非保守几何壁垒导致的 $\Omega(T)$ 线性下界。

研究背景与动机¶

在线凸优化（OCO）为动态对抗环境下的序贯决策提供了坚实的理论基石，简单的在线一阶方法如在线梯度下降（OGD）即可在凸 Lipschitz 损失序列上达到极小化极大最优的 $\Theta(\sqrt{T})$ 累积 Regret。然而在现代机器学习应用（如深度网络过参数化训练、带一般效用的强化学习策略优化、以及非凸博弈求解）中，损失函数天然呈现高度非凸性。对于一般非凸在线问题，在无强优化预言机（offline optimization oracle）或连续域指数加权采样机制的情况下，确定性在线算法在最坏情况下已被证明无法实现亚线性 Regret，这迫使理论研究转向具有良态几何性质的结构化非凸问题类别。

隐凸性（Hidden Convexity）是一种备受关注的良态非凸结构：目标损失 $\ell_t(x)$ 在决策者可操作的原空间 $\mathcal{X}$ 中是非凸的，但存在光滑双射重参数化映射 $q: \mathcal{X} \to \mathcal{Y}$，使得在隐空间中的复合函数 $h_t = \ell_t \circ q^{-1}$ 是严格凸函数。近期先驱工作 Ghai et al. (2022) 首次从算法等价性（Algorithmic Equivalence）切入该在线问题，指出在特定的 Hessian 兼容性度量下，原空间的 OGD 更新在连续极限下精确对应隐空间的在线镜像下降（OMD）；然而其离散时间摄动分析仅导出了 $\mathcal{O}(T^{2/3})$ 的次优 Regret 界。这留下了两个关键的基础理论悬疑：其一，隐凸在线学习能否彻底抹平这一速率差距、恢复凸优化经典的最优 $\Theta(\sqrt{T})$ 界？其二，原先保证 OGD–OMD 等价所需的“对角 Jacobian”条件是否本质，当几何兼容性失效时系统究竟会遭遇怎样的根本瓶颈？

针对上述核心矛盾，本文从离散优化一阶变分条件与微分几何守恒场理论切入，全面破解了这些悬疑。本文的核心 idea 是：绕过传统的函数值超范数摄动推导，直接在强凸变分模型的法锥单调性下一阶耦合 OGD 与 OMD 迭代点，将单步隐空间截断误差精化至 $\mathcal{O}(\eta^2)$，从而恢复严格的 $\mathcal{O}(\sqrt{T})$ 最优界；同时证明 Hessian 兼容性充要于隐式反度量场的旋度守恒，一旦破缺即可构造循环涡旋迫使 OGD 承受 $\Omega(T)$ 线性 Regret。

方法详解¶

整体框架¶

算法面向未知隐凸损失序列 $\ell_t(x) = h_t(q(x))$，其中双射 $q: \mathcal{X} \to \mathcal{Y}$ 对学习器完全未知，学习器既无法对 $h_t$ 直接运行凸优化，亦无法获知 Jacobian 矩阵 $J_q(x)$ 进行预条件修正。在全信息反馈下，学习器仅执行朴素的欧氏投影 OGD；在单点 Bandit 反馈下，学习器仅接收单点损失标量并运行带球面扰动的平滑梯度估计器。

理论分析的核心框架是构建一个仅存在于分析维度的“幽灵镜像下降”（Ghost OMD）系统。在隐空间 $\mathcal{Y}$ 中，通过 Hessian 兼容条件 $[\nabla^2 R(z)]^{-1} = J_q(x) J_q(x)^\top$（其中 $z=q(x)$）选取引导正则化子 $R$，将非凸原空间中带有欧氏范数的 OGD 步映射为隐空间中以 Bregman 散度 $D_R$ 为距离生成器的 OMD 步。通过严格控制单步映射误差与累积摄动，整个学习过程呈现出优雅的映射耦合体系。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：原空间决策点 x_t ∈ X<br/>对弈环境揭示未知隐凸损失 l_t(x) = h_t(q(x))"] --> B["一阶优化条件驱动的单步局部二次强凸耦合<br/>局部化半径 O(η) 内对比 OGD 与 OMD 变分最优性"]
    B --> C["Hessian 兼容性与对称旋度守恒判定<br/>检验度量场 M(z) 满足对称交叉导数偏微分充要条件"]
    C -->|度量场为保守 Hessian 场| D["最优 Regret 上界推导<br/>全反馈 O(√T) 与单点 Bandit O(T^(3/4))"]
    C -->|度量场非保守/存在负涡量| E["几何阻断与流场非守恒环流下界<br/>构造对抗向量序列沿矩形闭环积分导出 Ω(T) 线性下界"]

关键设计¶

1. 一阶优化条件驱动的单步局部二次强凸耦合：打破 $T^{2/3}$ 瓶颈的核心机制

以往分析（如 Ghai et al., 2022）在建立原空间 OGD 映射点 $z_{t+1} = q(x_{t+1})$ 与幽灵 OMD 点 $y_{t+1}$ 的逼近时，采用的是控制两个目标函数的超范数（sup-norm）距离，再借助模函数的强凸模量换取极小点的距离，这不可避免地损失了半阶步长阶数，仅能得到 $\|z_{t+1} - y_{t+1}\| \leq \mathcal{O}(\eta^{3/2})$，导致最终 Regret 止步于 $\mathcal{O}(T^{2/3})$。

本文的核心突破在于直接比较两者的一阶最优性变分不等式。首先证明在步长 $\eta$ 下，自耦合初值 $y_t = z_t = q(x_t)$ 出发，两个更新点均被严格限制在局部球 $\mathcal{Y}_t := \{y \in \mathcal{Y} : \|y - y_t\| \leq 2\eta \tilde{G}_F\}$ 内。在此局部集合上，OMD 与 OGD 映射更新可严格等价为同一个以 $\nabla^2 R(y_t)$ 为度量的 $1/\eta$-强凸二次代理函数 $\Phi_t(y) := \langle \tilde{g}_t, y - y_t \rangle + \frac{1}{2\eta} \|y - y_t\|_{\nabla^2 R(y_t)}^2$ 在不同高阶摄动下的极小化点： $$y_{t+1} = \arg\min_{y \in \mathcal{Y}_t} \{\Phi_t(y) + \varepsilon_t^{\mathrm{OMD}}(y)\}, \quad z_{t+1} = \arg\min_{y \in \mathcal{Y}_t} \{\Phi_t(y) + \varepsilon_t^{\mathrm{OGD}}(y)\}$$ 由闭凸集法锥 $N_{\mathcal{Y}_t}$ 的单调性 $\langle v_1 - v_2, y_1 - y_2 \rangle \geq 0$ 以及 $\Phi_t$ 的 $1/\eta$-强凸性，两极小值点之差满足变分收缩关系： $$\|y_{t+1} - z_{t+1}\| \leq \eta \|\nabla \varepsilon_t^{\mathrm{OGD}}(z_{t+1}) - \nabla \varepsilon_t^{\mathrm{OMD}}(y_{t+1})\|$$ 由于两点均在 $\mathcal{O}(\eta)$ 邻域内，借助正则化子 $R$ 的三阶光滑度与逆映射 $q^{-1}$ 的二阶导数有界性，分别严密证明了两个残差梯度范数满足 $\|\nabla \varepsilon_t^{\mathrm{OMD}}(y_{t+1})\| \leq 2G \tilde{G}_F^2 \eta$ 与 $\|\nabla \varepsilon_t^{\mathrm{OGD}}(z_{t+1})\| \leq G^5(3\hat{G}_F^2 + \hat{G}_F^3 \eta)\eta$。由此一举将单步耦合偏差缩紧至 $\|z_{t+1} - y_{t+1}\| \leq C_\eta = \mathcal{O}(\eta^2)$。将其代入摄动 OMD 累积 Regret 界中，摄动项从 $C_\eta T G / \eta = \mathcal{O}(\eta^{1/2} T)$ 转变为纯 $\mathcal{O}(\eta T)$ 项，与梯度的离散二阶量 $\frac{\eta G^2 T}{2}$ 完美对齐，经最优步长平衡 $\eta \propto 1/\sqrt{T}$ 后直接导出匹配经典凸界限的 $\mathcal{O}(\sqrt{T})$。

2. Hessian 兼容性充要条件与对称旋度守恒判定：拓宽可行重参数化空间

Ghai et al. (2022) 仅给出了当双射的 Jacobian 矩阵 $J_q(x)$ 为对角阵时的充分构造。本文彻底厘清了底层几何本质，将研究对象提升至隐空间反度量张量场： $$M(z) := \left[ J_q(q^{-1}(z)) J_q(q^{-1}(z))^\top \right]^{-1}$$ 根据多变量微积分基本理论，一个对称正定矩阵场 $M(z)$ 是某个标量凸势函数 $R$ 的 Hessian 场（即 $M(z) = \nabla^2 R(z)$）当且仅当其构成的向量场具有保守性（Conservative Field），即满足全空间对称交叉偏导相等的相容条件： $$\frac{\partial M_{ij}(z)}{\partial z_k} = \frac{\partial M_{ik}(z)}{\partial z_j}, \quad \forall i, j, k \in [d]$$ 该判定准则显著拓宽了合法重参数化的范畴，论文给出并严格推导了两类非对角 Jacobian 的重要实例： 1. 可分参数化的仿射混合（Affine Mixing）：$q(x) = A s(x) + b$，其中 $A$ 为任意非对角可逆矩阵，$s(x)$ 为坐标可分变换。其对应的反度量场为 $M(z) = A^{-\top} D(x)^{-2} A^{-1}$，其显式正则化势函数为 $R(z) = \sum_{i=1}^d r_i((A^{-1}(z-b))_i)$，满足 $r_i''(t) = (s_i'(s_i^{-1}(t)))^{-2}$； 2. 秩一非线性混合（Rank-One Nonlinear Mixing）：$q(x) = x + h(a^\top x) a$，其 Jacobian 为典型非对角结构 $I + h'(a^\top x) a a^\top$。通过解特征方向上的标量常微分方程，同样严格构造出相匹配的凸势函数 $R(z) = \frac{1}{2}\|z\|^2 + \psi(a^\top z)$。

3. 几何阻断与流场非守恒环流下界：破坏兼容性时的 $\Omega(T)$ 机制

针对学界长期存疑的“Hessian 兼容性是否仅为证明技巧”，本文通过构造性反例给出了确定性否定回答。选取经典对数极坐标变换 $q(x_1, x_2) = e^{x_1}(\cos x_2, \sin x_2)$，其诱导的反度量场为 $M(z) = \frac{1}{\|z\|^2} I_2$。尽管该变换处处光滑且正定，但由于其各向同性缩放因子的空间依赖性，其并不存在对应的二次原函数 $R$。

在对偶线性隐损失 $h_t(z) = \langle s_t, z \rangle$ 下，固定参考点 $u \in \mathcal{X}$（对应隐空间点 $z_u = q(u)$），单步 Regret 可改写为非保守向量场 $F_u(z) := M(z)(z - z_u)$ 沿迭代路径的线积分形式： $$\ell_t(x_t) - \ell_t(u) = -\frac{1}{\eta} \langle F_u(z_t), z_{t+1} - z_t \rangle + \mathcal{O}(\eta)$$ 对抗者精巧地设置梯度向量 $s_t = -M(z_t) v_t$（其中 $v_t \in \{\pm e_1, \pm e_2\}$），迫使 OGD 轨迹在隐空间形成长度为 $N = \Theta(1/\eta)$ 步的逆时针矩形闭环。应用格林公式，该闭环上的线积分转化为二重旋度积分： $$I_R = \oint_{\partial R} F_u(z) \cdot dz = \iint_R \left( \frac{\partial Q_u}{\partial z_1} - \frac{\partial P_u}{\partial z_2} \right) dz_1 dz_2$$ 经解析求导计算，旋度严格满足 $\frac{\partial Q_u}{\partial z_1} - \frac{\partial P_u}{\partial z_2} = \frac{2(z_1 z_{u,2} - z_2 z_{u,1})}{\|z\|^4}$。精心选取比较点 $u = (0, \pi/6)$，在点 $(1,1)$ 附近形成恒为负的非零旋度（$\leq -\gamma < 0$）。因此单次闭环累积的负积分导致 Regret 净增量达 $\frac{\gamma \alpha \beta}{\eta}$，摊销至环路每一步均产生正恒定误差，经过 $T/N = \Theta(\eta T)$ 次重复循环，直接锁死 OGD 遭受 $\Omega(T)$ 的线性不可撤销损失。

4. 四重误差解耦的单点 Bandit 镜像桥接：非凸无梯度优化

在仅能观测单点标量反馈 $\ell_t(\hat{x}_t)$ 的困难设定下，算法在紧缩域 $\mathcal{X}_\delta = (1-\delta)\mathcal{X}$ 内运行 Flaxman 随机球面微扰更新。理论分析通过引入纯分析概念的隐空间伪梯度 $\tilde{g}_t := J_q(x_t)^{-\top} g_t$，构建出四个相互独立的误差源分解体系： $$\mathbb{E}[R_T] \leq \underbrace{\mathbb{E}\left[\sum_{t=1}^T \langle \tilde{g}_t, z_t - z_\delta^\star \rangle\right]}_{R_T^{(1)}: \text{摄动 OMD 随机线性 Regret}} + \underbrace{\sum_{t=1}^T (h_t(z_\delta^\star) - h_t(z^\star))}_{R_T^{(2)}: \text{定义域紧缩误差}} + \underbrace{\mathbb{E}\left[\sum_{t=1}^T \langle b_t, z_\delta^\star - z_t \rangle\right]}_{R_T^{(3)}: \text{球面梯度估计偏差}} + \underbrace{\mathbb{E}\left[\sum_{t=1}^T (h_t(\hat{z}_t) - h_t(z_t))\right]}_{R_T^{(4)}: \text{扰动点平滑化位移}}$$ 对于 $R_T^{(2)}$ 与 $R_T^{(4)}$，利用全局 Lipschitz 性直接分别控制为 $\delta G_F D T$ 与 $\delta G_F T$；对于梯度偏差 $b_t$，巧妙利用球积分恒等式与损失光滑度将其严格绑定为 $\|b_t\| \leq \delta G H$，得到 $R_T^{(3)} \leq \delta G^2 H D T$；对于核心项 $R_T^{(1)}$，由于其单步随机向量界为 $\hat{G}_F = dM/\delta$，代入改进后的单步耦合引理可得误差阶为 $\mathcal{O}(\eta^2 d^3 M^3 / \delta^3)$。通过联合求解关于 $(\eta, \delta)$ 的非凸约束极值： $$\delta^\star = \Theta(d^{1/2} T^{-1/4}), \quad \eta^\star = \Theta(d^{-1/2} T^{-3/4})$$ 四重误差达到完美驻点平衡，最终收敛至 $\mathcal{O}(d^{1/2} M^{1/2} T^{3/4})$，严密复现了传统凸 Bandit OCO 的理论极限。

实验关键数据¶

主实验：全反馈与Bandit反馈下理论Regret界对比¶

该工作为严格的纯理论学习理论研究，其主结果为严密数学定理（Theorem 1, Theorem 2, Theorem 3）所确立的最坏对抗 Regret 阶数与参数依赖性。下表将本文定理与相关领域的基线理论界限进行全景对比：

理论场景与算法	损失函数几何类别	几何假定条件	反馈类型	极值 Regret 理论上界	理论下界保障
经典 OGD (Zinkevich, 2003)	凸优化 (OCO)	恒等映射 ($q = \mathrm{id}$)	全梯度反馈	$\mathcal{O}(\sqrt{T})$	$\Omega(\sqrt{T})$ (最坏对抗)
OGD (Ghai et al., 2022)	隐凸 (OHCO)	对角 Jacobian 兼容	全梯度反馈	$\mathcal{O}(T^{2/3})$	无明确几何下界
OGD (本文 Theorem 1)	隐凸 (OHCO)	对称旋度 Hessian 兼容	全梯度反馈	$\mathbf{\mathcal{O}(\sqrt{T})}$	匹配 OCO 紧界
OGD (本文 Theorem 2)	隐凸 (OHCO)	非 Hessian 兼容度量	全梯度反馈	$\mathbf{\Omega(T)}$ (线性发散)	几何阻断确立
经典 BOGD (Flaxman et al., 2005)	凸优化 (OCO)	恒等映射 ($q = \mathrm{id}$)	单点 Bandit 反馈	$\mathcal{O}(T^{3/4})$	$\Omega(T^{1/2})$
BOGD (本文 Theorem 3)	隐凸 (OHCO)	对称旋度 Hessian 兼容	单点 Bandit 反馈	$\mathbf{\mathcal{O}(T^{3/4})}$	匹配传统凸 Bandit

消融实验：单步迭代耦合阶数与误差分解贡献¶

为系统阐明本文分析框架相比 Ghai et al. (2022) 产生跃迁的理论组件来源，下表给出了关键解析证明模块的消融对照：

证明分析模块	耦合控制范式	单步偏差 $\\|z_{t+1} - y_{t+1}\\|$	累积摄动项 $R_T^{\mathrm{pert}}$ 阶数	最终全反馈 Regret 界	Bandit 拓展适用性
Ghai et al. (2022) 范式	超范数目标函数差 + 强凸模量	$\mathcal{O}(\eta^{3/2})$	$\mathcal{O}(\eta^{1/2} T)$	$\mathcal{O}(T^{2/3})$	无法直接闭合
本文变分一阶条件模块	法锥单调性 + 误差梯度内积	$\mathcal{O}(\eta^2)$	$\mathcal{O}(\eta T)$	$\mathcal{O}(\sqrt{T})$	完美支撑
几何相容性充要判定	保守矩阵场交叉微商条件	-	-	覆盖非对角仿射/秩一混合	充要几何刻画
Bandit 四重误差分解	隐空间伪梯度 $\tilde{g}_t$ 桥接	$\mathcal{O}(\eta^2 d^3 / \delta^3)$	$\mathcal{O}(\eta T / \delta^2 + \eta^2 T / \delta^3)$	$\mathcal{O}(T^{3/4})$	首次确立非凸单点界

关键发现¶

离散时间变分阶数的本质突破：传统基于目标函数值差的摄动估计是次优的，根本原因在于它未能利用极小值点处梯度算子的零根结构。通过引入一阶最优性条件并利用法锥单调性消解边界约束，直接诱导出梯度差的 $\mathcal{O}(\eta)$ 阶，乘以外围步长 $\eta$ 后天然形成 $\mathcal{O}(\eta^2)$ 阶，消除了冗余的 $1/2$ 阶亏损。
几何非保守性是导致非凸在线优化崩溃的根源：反度量场 $M(z)$ 若非保守场，其对应的动力系统在隐空间中将演化为非哈密顿系统或带旋流场。对抗者只需利用此旋度在二维平面内驱动循环，即可榨取正的稳态 Regret，证明了凸结构在坐标变换下的保持必须受到严格黎曼几何完整性的制约。
Bandit 反馈对维数与平滑半径的强依赖：在隐凸单点 Bandit 优化中，维度因子 $d$ 通过球面梯度估计引入了 $d/\delta$ 的范数膨胀，进而使高阶摄动项呈现 $d^3 / \delta^3$ 的敏感依赖，但由于该摄动项以 $\eta^2 T$ 衰减，在渐进意义下被一阶项压制，最终 Regret 仍呈现标准的 $d^{1/2}$ 维度依赖。

亮点与洞察¶

一阶变分最优性替代函数值界限：将 OMD 与 OGD 统一表述为隐空间同一强凸变分不等式的扰动特解，利用法锥算子单调性直接消解投影边界效应，这一解析证明路径可作为分析各类非精确/分裂近端在线算法的通用技术底座。
微分几何守恒场理论对算法下界的物理直觉转化：创造性地将对抗在线学习的 Regret 累积转化为外微分形式的环路积分，将“无法收敛”直接翻译为“旋度不守恒”，为非凸优化下界构造提供了极为深刻的物理与几何直觉。
无须感知隐空间结构的算法鲁棒性：算法本身（无论是标准 OGD 还是球面平滑 Bandit OGD）无需知道变换函数 $q$、正则化子 $R$ 乃至维数以外的任何几何常数，其“黑盒式”的单纯迭代自动实现了隐凸几何的最优追踪。

局限与展望¶

下界成立的算法特异性：Theorem 2 的 $\Omega(T)$ 线性下界是专门针对 OGD（以及以欧氏度量直接更新的原空间一阶方法）构造的。它并未排除其他可能具备隐式预条件、动量或高阶结构的算法在非 Hessian 兼容隐凸损失上获得亚线性 Regret 的可能性。
Bandit 速率的理论空间：单点反馈下的 $\mathcal{O}(T^{3/4})$ 界匹配了 Flaxman et al. (2005) 的经典水平，但近年来纯凸 Bandit 理论通过高阶核或双点反馈可推进至 $\mathcal{O}(\sqrt{T})$ 或 $\mathcal{O}(T^{5/8})$，隐凸性下能否借由多点采样或隐式探索实现更快的 Bandit 收敛仍有待挖掘。
对抗者适应性限制：Bandit 设定下的理论界当前仅在遗忘对抗者（Oblivious Adversary）假设下严格成立，对于决策依赖型或自适应对抗者（Adaptive Adversary）的扩展尚未解决。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [攻克了领域内长期悬而未决的公开问题，给出了完美的极值速率与几何充要刻画]
理论充分度: ⭐⭐⭐⭐⭐ [数学推导极度严密，上下界闭环，涵盖全反馈与单点 Bandit 两种机制]
写作质量: ⭐⭐⭐⭐⭐ [数学符号规范统一，几何直觉与物理图像阐述极其清晰生动]
价值: ⭐⭐⭐⭐⭐ [为非凸在线学习与深度模型隐凸特征理论提供了坚固的方法论基石]

理论场景与算法	损失函数几何类别	几何假定条件	反馈类型	极值 Regret 理论上界	理论下界保障
经典 OGD (Zinkevich, 2003)	凸优化 (OCO)	恒等映射 (\(q = \mathrm{id}\))	全梯度反馈	\(\mathcal{O}(\sqrt{T})\)	\(\Omega(\sqrt{T})\) (最坏对抗)
OGD (Ghai et al., 2022)	隐凸 (OHCO)	对角 Jacobian 兼容	全梯度反馈	\(\mathcal{O}(T^{2/3})\)	无明确几何下界
OGD (本文 Theorem 1)	隐凸 (OHCO)	对称旋度 Hessian 兼容	全梯度反馈	\(\mathbf{\mathcal{O}(\sqrt{T})}\)	匹配 OCO 紧界
OGD (本文 Theorem 2)	隐凸 (OHCO)	非 Hessian 兼容度量	全梯度反馈	\(\mathbf{\Omega(T)}\) (线性发散)	几何阻断确立
经典 BOGD (Flaxman et al., 2005)	凸优化 (OCO)	恒等映射 (\(q = \mathrm{id}\))	单点 Bandit 反馈	\(\mathcal{O}(T^{3/4})\)	\(\Omega(T^{1/2})\)
BOGD (本文 Theorem 3)	隐凸 (OHCO)	对称旋度 Hessian 兼容	单点 Bandit 反馈	\(\mathbf{\mathcal{O}(T^{3/4})}\)	匹配传统凸 Bandit

证明分析模块	耦合控制范式	单步偏差 \(\\|z_{t+1} - y_{t+1}\\|\)	累积摄动项 \(R_T^{\mathrm{pert}}\) 阶数	最终全反馈 Regret 界	Bandit 拓展适用性
Ghai et al. (2022) 范式	超范数目标函数差 + 强凸模量	\(\mathcal{O}(\eta^{3/2})\)	\(\mathcal{O}(\eta^{1/2} T)\)	\(\mathcal{O}(T^{2/3})\)	无法直接闭合
本文变分一阶条件模块	法锥单调性 + 误差梯度内积	\(\mathcal{O}(\eta^2)\)	\(\mathcal{O}(\eta T)\)	\(\mathcal{O}(\sqrt{T})\)	完美支撑
几何相容性充要判定	保守矩阵场交叉微商条件	-	-	覆盖非对角仿射/秩一混合	充要几何刻画
Bandit 四重误差分解	隐空间伪梯度 \(\tilde{g}_t\) 桥接	\(\mathcal{O}(\eta^2 d^3 / \delta^3)\)	\(\mathcal{O}(\eta T / \delta^2 + \eta^2 T / \delta^3)\)	\(\mathcal{O}(T^{3/4})\)	首次确立非凸单点界