Mirror Descent Beyond Euclidean Stability: An Exponential Separation in Initialization Sensitivity¶

会议: NeurIPS 2026
arXiv: 2606.11431
OpenReview: https://openreview.net/forum?id=ojWztQNH2d
论文: https://arxiv.org/abs/2606.11431
领域: 优化算法
关键词: 镜像下降, 初始化敏感性, 算法稳定性, 相对强凸性, 锚点正则化

一句话总结¶

论文揭示了非欧氏几何下镜像下降（MD）对初始化的敏感性与欧氏梯度下降存在指数级分离：即使目标光滑凸且正则化子良态，初值扰动仍可随迭代步数呈指数放大；并通过引入固定锚点的布雷格曼正则化成功恢复 $O(1/T)$ 稳定性。

研究背景与动机¶

在现代强化学习策略优化（如 PPO、TRPO）及大语言模型对齐微调（RLHF、DPO、GRPO 等后训练过程）中，镜像下降（Mirror Descent, MD）常被用作带 KL 散度正则化动力学的基础理论视角。在实际应用场景中，微调算法通常初始化于海量语料上预训练或经过监督微调（SFT）的基座模型检查点。由于预训练随机种子、训练数据切片或初始权重检查点的细微变动，算法的初始输入往往存在微小的扰动。这引发了一个直接关乎算法可复现性与可靠性的核心理论问题：经过 $T$ 步连续的镜像下降迭代，初始点处的大小为 $\varepsilon$ 的扰动会被动力系统放大到何种程度？

经典优化理论中，当正则化函数为欧氏二次项时（涵盖标准梯度下降 GD 与马氏距离几何），对于凸且光滑的目标函数，算法的初始化敏感度具有极佳的稳定性保证。根据 Hardt 等人的经典分析，两次迭代轨迹在任意时刻的差距始终被正则化子条件数严格控制在 $O((\beta/\alpha)\varepsilon)$ 内，绝不随时间迭代步数累积发散。由于欧氏几何表现出如此优良的收缩性，学术界普遍预期：只要镜像映射所诱导的正则化子在欧氏范数下保持均匀强凸与光滑（即条件数 $\kappa = O(1)$ 处于良态），镜像下降亦应保持类似的稳定性。

然而，非欧氏或非二次正则项本质上诱导了非线性的局部对偶坐标变换，几何曲率的动态扭曲彻底打破了欧氏压缩映射的结构平衡。论文的核心切入点正是解耦“非二次几何的动力学旋转放大”与“边界局部病态条件数”对初始扰动的影响。核心 idea：证明非二次正则项驱动的镜像下降在凸光滑目标下即可发生指数级初值扰动放大（产生与欧氏稳定性的指数级分离），并证明添加独立于初值的固定参考点布雷格曼锚点（Fixed-Anchor）能够将不稳定性完全压制至 $O(1/T)$。

方法详解¶

整体框架¶

论文的研究体系涵盖理论下界构造、机理分析与正则化稳定算法设计三个递进阶段：首先在三维欧氏空间构建良态非二次正则化反例，确立与 GD 的指数分离；接着剖析单形上负熵 KL 几何的局部病态发散机制；最后提出并严格证明两类带布雷格曼锚点的稳定化 MD 算法。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["初值扰动输入: w₀ 与 w₀' = w₀ + p (‖p‖ ≤ ε)"] --> B["良态欧氏几何构造<br/>三维柱体 + 旋转 Hessian 动力学"]
    A --> C["单形熵几何分析<br/>低质量坐标乘性权重指数放大"]
    B --> D["指数不稳定性下界确立<br/>exp(Ω(ηT)) 误差放大与欧氏 GD 指数分离"]
    C --> D
    D --> E["稳定化机制设计: 布雷格曼锚点正则化"]
    E --> F["初值锚点 MD (Init.-Anchor)<br/>依赖局部平滑度，病态时失效"]
    E --> G["固定锚点 MD (Fixed-Anchor)<br/>两轨迹收敛至相同极小点，达到 O(1/T) 稳定"]

关键设计¶

1. 良态非二次几何下的旋转坐标系构造：解耦几何病态性与动力学发散 针对“指数放大是否仅由正则化函数局部病态条件数所致”的疑问，作者在 $d=3$ 维欧氏空间内构筑了一个反例。将参数空间分解为横截平面 $x \in \mathbb{R}^2$ 与时钟坐标 $z \in \mathbb{R}$，定义旋转矩阵 $P(\theta)$ 并构造依赖时钟坐标的二次型正则项与目标函数： $$R(x, z) = \frac{5}{8} x^\top P(\omega z) B P(\omega z)^\top x + \frac{5}{4} R_{\mathrm{clock}}(z)$$ $$F(x, z) \approx -\mu z + \frac{h}{2} z^2 + \frac{\sigma}{780} x^\top P(\omega z) Q P(\omega z)^\top x$$ 在参考轨迹沿时钟轴 $w_t = (0, z_t)$ 匀速演化时，横截面方向的 Hessian 矩阵随迭代步同步旋转。通过在随动坐标系中将 $T$ 步线性化更新映射进行连续伸缩对齐，单步横截 Jacobian 矩阵化简为固定矩阵 $A_\sigma \approx B^{-1} P(-\sigma \tilde{\eta}/24)(B - \frac{\sigma \tilde{\eta}}{6} Q)$。利用不对称耦合设计，使得矩阵 $A_\sigma$ 的特征值出现严格大于 1 的扩张模长 $\rho \approx 1 + \Omega(\sigma \eta)$。由此，初值在扩张特征向量方向的极微小扰动沿轨迹以 $(1+\Omega(\eta))^t$ 指数膨胀，即便正则项与目标函数在全域均保持 1-强凸与常数级光滑，稳定性误差仍被强制拉升至 $\Omega(\min\{(1+\log(1/\varepsilon))^{-3}, \varepsilon e^{\Omega(\eta T)}\})$。

2. 单形负熵几何与乘性权重更新：对偶坐标极度失真驱动的发散 在强化学习和策略优化广泛使用的概率单形 $\Delta_d^\circ$ 与负熵正则化 $R(w) = \sum_i w_i \log w_i$（对应 KL 散度）体系下，作者揭示了即便对于最简单的线性损失函数 $F(w) = \langle g, w \rangle$，指数放大也会普遍出现。负熵的对偶梯度满足 $\nabla R(w)_i = 1 + \log w_i$，其局部平滑度 $\beta(w_0, \varepsilon)$ 由最小分量 $w_0^{\min}$ 决定。当把初始质量为 $\varepsilon$ 的微小扰动施加在最低质量坐标 $i_m$ 上时，对偶空间产生剧烈偏移。结合镜像下降的乘性权重更新闭式解： $$w_T(i) = \frac{w_0(i) e^{-\eta T g(i)}}{\sum_{j=1}^d w_0(j) e^{-\eta T g(j)}}$$ 选取只针对坐标 $i_m$ 提供增益的 1-Lipschitz 线性目标，分母归一化在特定步长和时间下受控，分子直接按倍数 $K = \min\{e^{\eta T}, 1/w_0^{\min}, 1/\varepsilon\}$ 进行缩放，使得 $\ell_1$ 范数下的终点距离突破下界 $\frac{1}{5}\min\{1, \varepsilon e^{\eta T}, \varepsilon / w_0^{\min}\}$。在大维数区间 $d \ge 1/\varepsilon$ 下，任意初始点皆存在质量不超过 $1/d \le \varepsilon$ 的坐标，导致指数放大在整个开单形内对所有初始点均匀成立。

3. 布雷格曼锚点稳定化机制：从初值锚定到固定锚定 为了在不破坏非欧氏几何优势的前提下消除初值敏感性，论文提出了带额外参考点布雷格曼散度惩罚的修正算法框架。 - 初值锚点镜像下降（Initialization-Anchored MD）：每步将目标替换为相对于当前初值 $w_0$ 的复合目标 $F(w) + \mu D_R(w, w_0)$。更新迭代为： $$w_{t+1} \leftarrow \arg\min_{w \in \mathcal{W}} \left\{ \langle \nabla F(w_t) + \mu(\nabla R(w_t) - \nabla R(w_0)), w - w_t \rangle + (\mu + L) D_R(w, w_t) \right\}$$ 虽然该算法使目标函数相对于 $R$ 具备 $\mu$-强凸性并确保轨迹收敛至极小点，但因两个不同初始点 $w_0, w_0'$ 锚定到了不同的目标，二者极限点的漂移受制于对偶初始差距 $\|\nabla R(w_0) - \nabla R(w_0')\|_* \approx \varepsilon \beta(w_0, \varepsilon)$。在单形负熵等病态几何下仍会发生指数发散。 - 固定锚点镜像下降（Fixed-Anchor MD）：引入独立于初始点的先验固定参考点 $w_a \in \mathcal{W}$，构造统一的锚定目标 $F(w) + \mu D_R(w, w_a)$。由于参考锚点在扰动下完全静止，不同初值出发的轨迹均在相对强凸作用下收缩至同一个唯一极小点 $w_\mu^\star$。通过选取 $\mu = \frac{8L \log T}{T}$，证明两轨迹输出的终点距离满足 $\delta_A(w_0, \varepsilon) \le \frac{2}{T} \sqrt{D_R(w_\mu^\star, w_0) + D_R(w_\mu^\star, w_0')}$，不仅抹去了对初值扰动尺度 $\varepsilon$ 的放大，更在任意病态正则化下实现了 $O(1/T)$ 的强稳定性，且目标优化误差仅产生对数项松弛 $O(\frac{\log T}{T})$。

损失函数 / 训练策略¶

固定锚点 MD（Algorithm 2）的求解每步仅需将传统镜像下降的一阶线性化梯度替换为合成相对梯度 $G_t = \nabla F(w_t) + \mu(\nabla R(w_t) - \nabla R(w_a))$，并以步长 $\eta = \frac{1}{\mu + L}$ 执行标准布雷格曼近端投影。设置正则化系数衰减率 $\mu = \frac{8L \log T}{T}$ 时，算法在收敛速度与稳定性之间达到帕累托最优，完美兼容欧氏与非欧氏几何域。

实验关键数据¶

主实验¶

论文通过严密的理论构造与精确常数推导确立了各类几何与算法下的初始化稳定性界，各主要理论结果对比总结如下：

算法机制	作用几何域	正则化函数条件数 / 性质	目标函数假设	初始化敏感度上/下界 $\delta_A(w_0, \varepsilon)$	理论来源
标准 MD / GD	凸集 $\mathbb{R}^d$	二次正则项 ($\kappa = \beta/\alpha$)	凸且 $L$-光滑	$\le \frac{\beta}{\alpha} \varepsilon$ (无时间积累)	Hardt et al. (2016)
标准 MD	凸集 $\mathcal{W} \subset \mathbb{R}^3$	良态非二次 ($\kappa = O(1)$)	凸且 $1$-光滑 / Lipschitz	$\Omega\left(\min\left\{\frac{1}{(1+\log(1/\varepsilon))^3}, \varepsilon e^{\Omega(\eta T)}\right\}\right)$	Theorem 1 (本文下界)
标准 MD (熵更新)	概率单形 $\Delta_d^\circ$	负熵 (边界病态, $\kappa = \Omega(d)$)	线性损失 (1-Lipschitz)	$\Omega\left(\min\left\{1, \varepsilon e^{\eta T}, \frac{\varepsilon}{w_0^{\min}}\right\}\right)$	Theorem 2 (本文下界)
标准 MD (熵更新)	概率单形 $\Delta_d^\circ$	负熵正则化	$G$-Lipschitz & $L$-光滑	$\le \min\left\{2, \varepsilon e^{(2G+4L)\eta T}\right\}$	Theorem 3 (本文上界)
初值锚点 MD	紧凸集 $\mathcal{W}$	良态且 $\beta$-光滑	凸且 $L$-光滑	$\le \beta \varepsilon + \sqrt{\frac{GD}{LT \log T}}$	Theorem 4 (本文上界)
固定锚点 MD	任意凸集 $\mathcal{W}$	任意 1-强凸正则化 (允许病态)	凸且 $L$-光滑	$\le \frac{2}{T}\sqrt{D_R(w_\mu^\star, w_0) + D_R(w_\mu^\star, w_0')} = O(1/T)$	Theorem 6 (本文上界)

消融实验¶

针对缓解机制中“锚点选取方式（初值 vs 固定点）”与“几何良态性”的交互影响，理论消融对比如下：

正则化方案	正则化子平滑度假设	典型几何实例	稳定性保障 $\delta_A(w_0, \varepsilon)$	优化超额误差 $F(w_T) - F(w^\star)$	理论性质与失效模式
无锚点 (Vanilla MD)	良态非二次 ($\beta \le C_0$)	三维旋转椭球面	$\Omega(\varepsilon e^{\Omega(T^{1/2})})$ (取 $\eta \sim 1/\sqrt{T}$)	$O(1/\sqrt{T})$	出现指数级初值敏感性
初值锚点 (Init.-Anchor)	良态且光滑 ($\beta < \infty$)	欧氏强凸光滑函数	$O(\varepsilon + 1/\sqrt{T \log T})$	$O(\frac{\log T}{T})$	扰动被平滑度常数有效控制
初值锚点 (Init.-Anchor)	边界非光滑 ($\beta \to \infty$)	单形负熵 (KL 散度)	$\Omega(\min\{1, \varepsilon e^{\Omega(\sqrt{T})}\})$ (取 $\mu \sim 1/\sqrt{T}$)	$O(\frac{\log T}{T})$	失效：对偶初值差导致漂移发散
固定锚点 (Fixed-Anchor)	任意性质 (允许病态)	单形负熵 / Legendre 族	$O(1/T)$ (完全独立于 $\varepsilon$ 与 $\beta$)	$O(\frac{\log T}{T})$	全面稳健：两轨迹向同一极小点收缩

关键发现¶

在规范步长 $\eta = \Theta(1/\sqrt{T})$（经典 MD 达到 $O(1/\sqrt{T})$ 优化误差的必要区间）下，良态欧氏非二次镜像下降的不稳定性界退化为 $\Omega(e^{\Theta(\sqrt{T})} \varepsilon)$，表明优化收敛性无法自然阻止动力学对初值扰动的剧烈放大。
在单形高维极限 $d \ge 1/\varepsilon$ 下，负熵镜像下降对全单形内部的所有可能初始点均展现出均一的指数级初值发散，排除了“仅在极端边界点偶发不稳定”的侥幸。
初值锚点方法虽然顺应了当前工业界 RLHF 中利用 SFT 模型作为初始与惩罚参考模型的做法，但在理论上若模型处于概率单形稀疏/边界区域，仍无法阻断指数发散；固定基准锚点则是恢复理论稳定性的本质解法。

亮点与洞察¶

颠覆欧氏直觉的严谨数学反例：传统共识认为算法发散多由几何非凸或曲率病态（无界条件数）引发，本文巧妙在 $d=3$ 的良态紧凸集上通过时间依赖的旋转坐标变换，证实了“非二次性”本身就足以构成指数不稳定性的充分条件。
揭示 RLHF 与 LLM 后训练的潜在复现性隐患：现代大模型对齐微调依赖基于 KL 散度的镜像流映射，本文理论表明即便是同一基座模型微调，微小的初始检查点扰动也会在连续几步更新后被显著放大，这为大模型后训练中的不可复现性提供了动力学几何层面的深刻解释。
相对光滑性框架下的构造性稳定范式：将 Bregman 散度锚点技术从经验性经验风险最小化（ERM）样本稳定性推广至优化初值敏感性分析，不仅给出了显式界，而且保持了 $O(\frac{\log T}{T})$ 的近最优收敛速率。

局限与展望¶

最坏情况对抗性扰动的保守性：文中的指数下界是在沿扩张特征向量的最坏对抗扰动方向下建立的，在随机各向同性高斯扰动下的平均初值敏感性（Average-case Stability）尚待进一步量化。
目标函数仅限于凸与光滑函数：深度神经网络与实际 LLM 训练中的损失面高度非凸且可能非光滑，将该分离定理向相对光滑非凸优化或 PPO 裁剪目标拓展是极具价值的后续方向。
固定锚点选择对实际性能的权衡：Fixed-Anchor 方案需要预先选定先验固定点 $w_a$，若 $w_a$ 偏离全局最优解过远，优化误差界中的分子项 $D_R(w^\star, w_a)$ 会增大，如何在稳定性和先验偏差之间取得自适应平衡值得深究。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次严格证明非二次良态欧氏 MD 存在指数级初值敏感性，建立了与 GD 的指数分离。
实验充分度: ⭐⭐⭐⭐⭐ 理论构造精巧严谨，完整覆盖上下界推导及两种稳定化算法的严格收敛性与稳定性证明。
写作质量: ⭐⭐⭐⭐⭐ 概念清晰，叙述层层递进，将复杂的微分几何旋转动力学与相对强凸性分析阐述得极为透彻。
价值: ⭐⭐⭐⭐⭐ 对理解非欧氏优化算法本质、RL 策略优化及大模型后训练中的复现性与稳定性提供了根本性的理论基石。

算法机制	作用几何域	正则化函数条件数 / 性质	目标函数假设	初始化敏感度上/下界 \(\delta_A(w_0, \varepsilon)\)	理论来源
标准 MD / GD	凸集 \(\mathbb{R}^d\)	二次正则项 (\(\kappa = \beta/\alpha\))	凸且 \(L\)-光滑	\(\le \frac{\beta}{\alpha} \varepsilon\) (无时间积累)	Hardt et al. (2016)
标准 MD	凸集 \(\mathcal{W} \subset \mathbb{R}^3\)	良态非二次 (\(\kappa = O(1)\))	凸且 \(1\)-光滑 / Lipschitz	\(\Omega\left(\min\left\{\frac{1}{(1+\log(1/\varepsilon))^3}, \varepsilon e^{\Omega(\eta T)}\right\}\right)\)	Theorem 1 (本文下界)
标准 MD (熵更新)	概率单形 \(\Delta_d^\circ\)	负熵 (边界病态, \(\kappa = \Omega(d)\))	线性损失 (1-Lipschitz)	\(\Omega\left(\min\left\{1, \varepsilon e^{\eta T}, \frac{\varepsilon}{w_0^{\min}}\right\}\right)\)	Theorem 2 (本文下界)
标准 MD (熵更新)	概率单形 \(\Delta_d^\circ\)	负熵正则化	\(G\)-Lipschitz & \(L\)-光滑	\(\le \min\left\{2, \varepsilon e^{(2G+4L)\eta T}\right\}\)	Theorem 3 (本文上界)
初值锚点 MD	紧凸集 \(\mathcal{W}\)	良态且 \(\beta\)-光滑	凸且 \(L\)-光滑	\(\le \beta \varepsilon + \sqrt{\frac{GD}{LT \log T}}\)	Theorem 4 (本文上界)
固定锚点 MD	任意凸集 \(\mathcal{W}\)	任意 1-强凸正则化 (允许病态)	凸且 \(L\)-光滑	\(\le \frac{2}{T}\sqrt{D_R(w_\mu^\star, w_0) + D_R(w_\mu^\star, w_0')} = O(1/T)\)	Theorem 6 (本文上界)

正则化方案	正则化子平滑度假设	典型几何实例	稳定性保障 \(\delta_A(w_0, \varepsilon)\)	优化超额误差 \(F(w_T) - F(w^\star)\)	理论性质与失效模式
无锚点 (Vanilla MD)	良态非二次 (\(\beta \le C_0\))	三维旋转椭球面	\(\Omega(\varepsilon e^{\Omega(T^{1/2})})\) (取 \(\eta \sim 1/\sqrt{T}\))	\(O(1/\sqrt{T})\)	出现指数级初值敏感性
初值锚点 (Init.-Anchor)	良态且光滑 (\(\beta < \infty\))	欧氏强凸光滑函数	\(O(\varepsilon + 1/\sqrt{T \log T})\)	\(O(\frac{\log T}{T})\)	扰动被平滑度常数有效控制
初值锚点 (Init.-Anchor)	边界非光滑 (\(\beta \to \infty\))	单形负熵 (KL 散度)	\(\Omega(\min\{1, \varepsilon e^{\Omega(\sqrt{T})}\})\) (取 \(\mu \sim 1/\sqrt{T}\))	\(O(\frac{\log T}{T})\)	失效：对偶初值差导致漂移发散
固定锚点 (Fixed-Anchor)	任意性质 (允许病态)	单形负熵 / Legendre 族	\(O(1/T)\) (完全独立于 \(\varepsilon\) 与 \(\beta\))	\(O(\frac{\log T}{T})\)	全面稳健：两轨迹向同一极小点收缩