Mirror Descent Beyond Euclidean Stability: An Exponential Separation in Initialisation Sensitivity¶

会议: NeurIPS 2026
arXiv: 2606.11431
领域: 优化/理论
关键词: 镜像下降、初始化敏感性、Bregman散度、算法稳定性、负熵正则化

一句话总结¶

本文系统研究非欧几何下镜像下降（MD）对初始点扰动的动态放大机制，严格证明即使用于光滑凸目标及良态正则子，非二次正则化仍会使初始扰动以指数速率扩散，并在单形负熵几何下揭示边界局域病态诱导的指数分离，进而提出固定锚点正则化实现多项式级稳定性。

研究背景与动机¶

镜像下降（Mirror Descent, MD）作为突破经典欧氏几何范式的核心优化框架，通过引入由凸正则化函数诱导的 Bregman 散度，将参数更新自适应地契合于概率单纯形、正定矩阵锥等非欧几何结构中。随着强化学习策略优化（如基于相对熵约束的 TRPO/PPO）以及大语言模型后训练阶段 KL 正则化偏好对齐（如 RLHF 与 DPO 变体）的广泛应用，镜像下降已从经典凸优化理论走向现代基础模型的训练一线。然而，现代优化管线普遍依赖于预训练、指令微调或已有检查点作为初始化起点，训练数据配比微调、微小随机种子变动或量化扰动均不可避免地导致初始权重发生细微偏移，这引出了一个关乎模型复现性与鲁棒性的底层理论问题：在经历多步序列更新后，算法输出对初始扰动的放大上界究竟如何？

在欧氏几何与二次正则化设定下，标准梯度下降（GD）及 Mahalanobis 几何的动态敏感性早已得到完备刻画：对于光滑凸目标函数，微小初始扰动在整条迭代轨迹与最终输出中保持非扩张性，输出差异严格被扰动量与条件数比例所线性控制。面对非欧镜像映射，直觉上常寄希望于只要正则化函数具有与欧氏范数一致的良态条件数，算法便能继承类似的线性稳定性。

然而，非二次几何与非齐次测度从根本上瓦解了这种收缩直觉。本文切入角度明确：将初始化敏感性解耦为几何非二次性与局部病态性两个正交机制。核心 idea：镜像下降在非二次几何下的动态演化会在正交方向产生指数级敏感性分离，即便正则子在欧氏范数下良态强凸且光滑，凸优化亦会出现对初始扰动的指数放大；而通过引入独立于初始点的固定锚点 Bregman 正则化，可打破发散级联并在保持原优化收敛率的前提下将敏感度压制至多项式级别。

方法详解¶

整体框架¶

本文旨在量化 $T$ 步镜像下降算法映射 $w_0 \mapsto \mathcal{A}(w_0)$ 的 $\varepsilon$-初始化敏感性： $$ \delta_{\mathcal{A}}(w_0,\varepsilon) := \sup_{p: |p| \le \varepsilon, w_0+p \in \mathcal{W}} |\mathcal{A}(w_0) - \mathcal{A}(w_0+p)| $$ 为剖析其动态演化机制，论文构建了涵盖几何下界构造、单形负熵理论剖析以及锚点稳定化修复的三层体系：首先在三维柱形可行域内构建正交时钟变量与旋转横向曲率，证明良态正则子下的固有指数扩张；其次在概率单形上解析负熵乘性权重动力学，揭示稀疏低质量坐标导致的局域对偶几何爆炸；最后针对初值锚点化在病态区间的失效缺陷，设计了固定参考点锚点化算法。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["初始扰动输入: p (||p|| ≤ ε)"] --> K1["旋转横向几何构造<br/>时钟坐标推进 + 旋转Hessian"]
    K1 --> K2["单形负熵多项式乘性权重<br/>低质量坐标对偶位移对数爆炸"]
    K2 -->|初值锚点在病态区失效| K3["初值锚点化 MD<br/>依赖初值处局部光滑度"]
    K2 -->|收缩向共享确定极小值| K4["固定锚点化 MD<br/>引入固定参考点 wa 消除初值依赖"]
    K3 --> Out1["良态区稳定: O(ε + 1/√(T log T))"]
    K4 --> Out2["全域高鲁棒性: O(1/T) 敏感度"]

关键设计¶

1. 旋转横向几何构造：良态欧氏非二次正则子下的指数发散

针对良态条件下是否具备欧氏稳定性的猜想，该构造在三维欧氏空间柱形区域 $\mathcal{W} = \{(x,z) \in \mathbb{R}^2 \times \mathbb{R}: \|x\|_2 \le r, -m \le z \le 2z_T+m\}$ 展开。其中 $z$ 轴充当时钟坐标（沿着参考轨迹 $w_t=(0,z_t)$ 严格单调推进），二维横向子空间 $x$ 承担正交扰动扩张。设计通过正交旋转矩阵 $P(\theta)$ 驱动横向二次型沿着时钟轨迹匀速旋转： $$ R(x,z) = \frac{5}{4}\left(\frac{1}{2}x^\top P(\omega z) B P(\omega z)^\top x + R_{\text{clock}}(z)\right), \quad F(x,z) = \frac{1}{65}\left(-\mu z + \frac{h}{2}z^2 + \frac{\sigma}{12}x^\top P(\omega z) Q P(\omega z)^\top x\right) $$ 通过精巧匹配时钟步长 $\Delta \theta = \omega(z_{t+1}-z_t) = \sigma \tilde{\eta}/24$，横向雅可比算子在伴随共动坐标系下被完全对齐为定常矩阵的乘幂：$D\Phi(w_t) \approx P(\theta_{t+1}) A_\sigma P(\theta_t)^\top$。由于矩阵乘积 $A_\sigma \approx B^{-1} P(-\sigma \tilde{\eta}/24)(B - \sigma \tilde{\eta} Q / 6)$ 的特征系统存在实部大于 1 的扩张特征值 $\rho \approx 1 + c_\rho \sigma \eta$，初始扰动沿着该特征向量被逐级放大 $T$ 步，形成 $\Omega(e^{c\eta T}\varepsilon)$ 的下界，且经由四阶张量导数二次自举（Quadratic Bootstrap）严格控制高阶非线性误差不会提前截断指数增长。

2. 单形负熵局域病态性：极小质量坐标诱导的对偶对数撕裂

在概率单形 $\Delta_d^\circ$ 及其典型的负熵正则子 $R(w) = \sum_i w_i \log w_i$（对应 KL 散度）设定下，扰动放大机制退化到了线性目标函数即可激发的极致场景。负熵梯度的分量为 $\nabla R(w)_i = 1 + \log w_i$，其 Hessian 对角阵元素为 $1/w_i$。当向单形极小坐标 $w_0(i_m) = w_0^{\min}$ 分配微小质量扰动 $\varepsilon/2$ 时，原对偶空间坐标位移为对数差量 $\log(1 + \varepsilon / (2 w_0^{\min}))$。由于镜像下降在线性损失 $F(w) = \langle g, w \rangle$ 下展现为精确的乘性权重更新（Multiplicative Weights Update）： $$ w_T(i) = \frac{w_0(i) e^{-\eta T g(i)}}{\sum_{j=1}^d w_0(j) e^{-\eta T g(j)}} $$ 针对该最小坐标施加单位方向增益，两轨迹在时间尺度 $T$ 下分别产生乘子扩张，分母归一化项被严格控制在常数倍（小于 5/2），从而直接将微小扰动放大至 $\frac{1}{5}\min\{1, \varepsilon e^{\eta T}, \varepsilon / w_0^{\min}\}$。当维度 $d \ge 1/\varepsilon$ 时，单形中天然存在质量小于等于 $1/d \le \varepsilon$ 的坐标，使得该下界对于单形内的任意初始化点无条件一致成立。

3. 固定锚点正则化：切断初值漂移诱导极小值漂移的恶性循环

针对指数不稳定性，常规思路通常是加入相对初始点的正则化（如算法 1 初值锚点化 MD，在目标上增加 $\mu D_R(w,w_0)$）。然而，当把扰动后的起点代入该项时，两个系统的收敛中心分别变成了受微扰影响的伪目标极小值 $w_{\mu,w_0}^\star$ 与 $w_{\mu,w_0'}^\star$；两极小值之间的位移直接受制于初值处的局域光滑度 $\varepsilon \beta(w_0,\varepsilon)$，在病态区域仍会退化为指数发散。算法 2 提出的固定锚点镜像下降（Fixed-Anchor MD）则引入与初始点 $w_0$ 完全无关的静态参考点 $w_a \in \mathcal{W}$： $$ w_{t+1} \leftarrow \arg\min_{w \in \mathcal{W}} \left{ \langle \nabla F(w_t) + \mu (\nabla R(w_t) - \nabla R(w_a)), w - w_t \rangle + (\mu + L) D_R(w,w_t) \right} $$ 由于两个摄动初值轨迹面对的是完全相同的锚定目标 $F(w) + \mu D_R(w, w_a)$，该目标相对于 $R$ 严格满足 $\mu$-强凸性与 $(L+\mu)$-相对光滑性，使得两条轨迹均以几何收缩速率逼向同一个稳态点 $w_\mu^\star$。通过选取正则化超参数 $\mu = 8L\log(T)/T$，两个轨线最终输出的残差直接受收缩几何控制，实现了 $\mathcal{O}(1/T)$ 的绝对初始化稳定性，同时将原生函数优化误差严格控制在 $\mathcal{O}(\log(T)/T)$。

损失函数 / 训练策略¶

论文主要涉及理论构造与优化算法的收敛参数设定，未引入经验驱动的黑盒训练。核心超参数设定如下： - 良态反例验证步长: 理论要求取规范步长 $\eta = \Theta(1/\sqrt{T})$，在此最优凸优化收敛步长下，初始化误差放大界为 $\Omega(\min\{(1+\log(1/\varepsilon))^{-3}, e^{\Theta(\sqrt{T})}\varepsilon\})$，表明不稳定现象并非由过度激进的步长导致，而恰恰发生在最合理的优化区间。 - 锚点算法正则化衰减率: 在固定锚点算法中，正则化强度设置为 $\mu = \frac{8L \log T}{T}$。当步数 $T \ge 2$ 时，相对强凸收缩项满足 $(1 + \frac{\mu}{L})^T \ge T^2$，使得收敛残差以平方反比级衰减，完全对消了初值潜在的发散潜力。

实验关键数据¶

论文作为纯数学理论与动力系统构造工作，核心结果为严格的数学定理及渐近界分析。以下两张表格归纳了论文确立的核心理论收敛率与敏感度界限，以及不同正则化/锚点策略在对应几何条件下的理论特性对比。

主实验¶

下表总结了在不同几何空间与正则化算子下，各种镜像下降变体在凸光滑目标上的初始化敏感度界限（$\delta_{\mathcal{A}}(w_0, \varepsilon)$）与优化误差上界对比：

算法机制	几何流形 / 正则化形式	正则子条件数假设	初始化稳定性界限 $\delta_{\mathcal{A}}(w_0, \varepsilon)$	目标函数优化误差 $F(w_T) - F(w^\star)$
标准梯度下降 (GD)	欧氏空间 $\mathbb{R}^d$ / 二次正定矩阵 $A$	$\kappa = \beta/\alpha$	$\mathcal{O}\left(\frac{\beta}{\alpha} \varepsilon\right)$（绝对稳定）	$\mathcal{O}(1/\sqrt{T})$
镜像下降 (MD, 定理 1)	3维欧氏空间 $\mathbb{R}^3$ / 非二次良态正则子	$\kappa = \mathcal{O}(1)$	$\Omega\left(\min\left\{\frac{1}{(1+\log(1/\varepsilon))^3}, e^{\Omega(\eta T)}\varepsilon\right\}\right)$	$\mathcal{O}(1/\sqrt{T})$（规范步长下）
负熵单形 MD (定理 2,3)	概率单形 $\Delta_d^\circ$ / 负熵 $w\log w$	无界 (边界病态, $\beta \ge d\alpha$)	$\Theta\left(\min\left\{1, \varepsilon e^{\Theta(\eta T)}\right\}\right)$	$\mathcal{O}\left(\sqrt{\frac{\log d}{T}}\right)$
初值锚点化 MD (算法 1)	凸闭集 $\mathcal{W}$ / 初值锚点 $D_R(w, w_0)$	$\beta$-光滑且 $\alpha$-强凸	$\mathcal{O}\left(\beta \varepsilon + \sqrt{\frac{GD}{LT \log T}}\right)$	$\mathcal{O}\left(\frac{L D_R(w^\star, w_0) \log T}{T}\right)$
固定锚点化 MD (算法 2)	凸闭集 $\mathcal{W}$ / 固定锚点 $D_R(w, w_a)$	仅需 $\alpha$-强凸 (允许病态)	$\mathcal{O}\left(\frac{1}{T}\sqrt{D_R(w_\mu^\star, w_0) + D_R(w_\mu^\star, w_0')}\right)$	$\mathcal{O}\left(\frac{L D_R(w^\star, w_a) \log T}{T}\right)$

消融实验¶

下表对不同锚点化范式（Anchoring Schemes）在良态欧氏几何与病态负熵单形几何下的敏感度控制表现进行机制消融分析：

锚点方案	锚定参考点选择	良态几何敏感度 ($\kappa = \mathcal{O}(1)$)	病态单形几何敏感度 ($d \ge 1/\varepsilon$)	失败机制 / 理论瓶颈
无锚点 (原生 MD)	无额外锚定惩罚项	$\Omega(e^{\Omega(\eta T)}\varepsilon)$ (指数级发散)	$\Omega(e^{\Omega(\eta T)}\varepsilon)$ (指数级发散)	非二次雅可比乘积累积扩张特征值
初始点锚点 (Init-Anchor)	动态取当前起点 $w_0$	$\mathcal{O}(\varepsilon + \frac{1}{\sqrt{T\log T}})$ (恢复稳定)	$\Omega\left(\min\left\{1, \varepsilon e^{\Omega(\sqrt{T})}\right\}\right)$ (退化失效)	目标极小值依赖初值对偶位移 $\varepsilon\beta(w_0,\varepsilon)$
固定点锚点 (Fixed-Anchor)	预先指定的独立静态点 $w_a$	$\mathcal{O}(1/T)$ (独立于 $\varepsilon$ 稳态收缩)	$\mathcal{O}(1/T)$ (彻底克服局部病态)	无，双轨迹同向收敛至同一静态平衡态

关键发现¶

良态欧氏非二次性足以摧毁稳定性: 长期以来学界普遍将非欧算法的敏感性归因于边界奇点或无界 Hessian，定理 1 明确证伪了该直觉：即便在 $\mathbb{R}^3$ 紧集、条件数 $\mathcal{O}(1)$ 且目标函数全局 1-光滑强凸的极优条件下，非二次性即可产生旋转正反馈，呈现与 GD 截然不同的指数级敏感性分离。
单形高维全域不稳定性: 在 $d \ge 1/\varepsilon$ 的高维单形下，由于鸽巢原理必然存在一个分量满足 $w_0(i) \le 1/d \le \varepsilon$，定理 2 表明即便初始化于完全均匀分布的中心点，只要对偶基向量施加对抗扰动，MWU 轨迹依然展现出 $\Omega(\varepsilon e^{\eta T})$ 的无差别全域发散。
锚点独立性的决定性作用: 初值锚点在形式上虽然贴合当前强化学习中的 KL 微调（以预训练模型同时作为初始化与参考分布），但理论证明其对预训练权重的微小摄动极其脆弱；而引入独立固定锚点能彻底斩断初始误差沿梯度步与散度项的双重传播链条。

亮点与洞察¶

非二次动力系统的伴随坐标系化简: 证明定理 1 时，巧妙构造时钟坐标 $z$ 与横向空间 $x$ 的交互，利用旋转正交矩阵消除时变 Hessian，将非定常雅可比矩阵序列降解为固定矩阵幂次，从而精准提取出了扩张特征根。
高维对偶撕裂效应的显式刻画: 揭示了单形负熵几何在 1 范数与无穷范数之间的对偶不匹配。引理 17 证明了对于任何相容于 $\ell_1$ 范数的强凸光滑正则子，其条件数必须满足 $\beta / \alpha \ge d$，证明了高维单形下局域病态发散的内在数学必然性。
算法设计启示: 当前大模型 RLHF / 对齐阶段将监督微调模型（SFT）既作为基准初始化 $w_0$ 又作为 KL 惩罚锚点 $w_a$ 的普遍做法，在理论上正对应 Initialization-Anchored 范式，极易因尾部低概率 token 的对偶漂移造成显著波动；本研究指出将初始化与参考锚点解耦是解决微调复现性难题的重要理论方向。

局限与展望¶

最恶扰动与平均敏感性的间隙: 文中所有下界均基于针对特定扩张特征向量构造的最坏情况对抗扰动（Adversarial Perturbations），而在实际机器学习训练中，初始扰动通常表现为各向同性高斯噪声或微量随机 dropout，其平均敏感度（Average-case Stability）是否仍呈现指数发散尚未可知。
隐式正则化机制未被覆盖: 现代 LLM 后训练不仅依赖显式 KL 惩罚，还大量引入基于梯度截断（Clipping, 如 PPO 剪切机制或 DPO 隐式边缘控制），这类非线性约束对镜像发散的抑制能力有待进一步建模。
算法稳定性与泛化性能的桥接: 文中探讨的初始化敏感度属于算法对初值的局域动力学响应，其如何映射到传统统计学习意义上的均匀稳定性（Uniform Stability）并进而推导出训练泛化误差界，仍是开放的研究课题。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次严格证明了良态非二次正则子下镜像下降对初始扰动的指数级分离现象，颠覆了传统直觉。
理论完备度: ⭐⭐⭐⭐⭐ 涵盖三维欧氏反例构造、高维单形负熵全域上下界匹配以及两套锚点算法的收敛性与稳定性闭环证明。
写作质量: ⭐⭐⭐⭐⭐ 论文结构严谨清晰，数学推导详尽完备，从基础反例到修复算法的推进层层递进。
价值: ⭐⭐⭐⭐⭐ 为当前大模型偏好对齐与强化学习优化中复现性差、初值敏感等工业界长期痛点提供了坚实深刻的理论解释与改进方案。

算法机制	几何流形 / 正则化形式	正则子条件数假设	初始化稳定性界限 \(\delta_{\mathcal{A}}(w_0, \varepsilon)\)	目标函数优化误差 \(F(w_T) - F(w^\star)\)
标准梯度下降 (GD)	欧氏空间 \(\mathbb{R}^d\) / 二次正定矩阵 \(A\)	\(\kappa = \beta/\alpha\)	\(\mathcal{O}\left(\frac{\beta}{\alpha} \varepsilon\right)\)（绝对稳定）	\(\mathcal{O}(1/\sqrt{T})\)
镜像下降 (MD, 定理 1)	3维欧氏空间 \(\mathbb{R}^3\) / 非二次良态正则子	\(\kappa = \mathcal{O}(1)\)	\(\Omega\left(\min\left\{\frac{1}{(1+\log(1/\varepsilon))^3}, e^{\Omega(\eta T)}\varepsilon\right\}\right)\)	\(\mathcal{O}(1/\sqrt{T})\)（规范步长下）
负熵单形 MD (定理 2,3)	概率单形 \(\Delta_d^\circ\) / 负熵 \(w\log w\)	无界 (边界病态, \(\beta \ge d\alpha\))	\(\Theta\left(\min\left\{1, \varepsilon e^{\Theta(\eta T)}\right\}\right)\)	\(\mathcal{O}\left(\sqrt{\frac{\log d}{T}}\right)\)
初值锚点化 MD (算法 1)	凸闭集 \(\mathcal{W}\) / 初值锚点 \(D_R(w, w_0)\)	\(\beta\)-光滑且 \(\alpha\)-强凸	\(\mathcal{O}\left(\beta \varepsilon + \sqrt{\frac{GD}{LT \log T}}\right)\)	\(\mathcal{O}\left(\frac{L D_R(w^\star, w_0) \log T}{T}\right)\)
固定锚点化 MD (算法 2)	凸闭集 \(\mathcal{W}\) / 固定锚点 \(D_R(w, w_a)\)	仅需 \(\alpha\)-强凸 (允许病态)	\(\mathcal{O}\left(\frac{1}{T}\sqrt{D_R(w_\mu^\star, w_0) + D_R(w_\mu^\star, w_0')}\right)\)	\(\mathcal{O}\left(\frac{L D_R(w^\star, w_a) \log T}{T}\right)\)

锚点方案	锚定参考点选择	良态几何敏感度 (\(\kappa = \mathcal{O}(1)\))	病态单形几何敏感度 (\(d \ge 1/\varepsilon\))	失败机制 / 理论瓶颈
无锚点 (原生 MD)	无额外锚定惩罚项	\(\Omega(e^{\Omega(\eta T)}\varepsilon)\) (指数级发散)	\(\Omega(e^{\Omega(\eta T)}\varepsilon)\) (指数级发散)	非二次雅可比乘积累积扩张特征值
初始点锚点 (Init-Anchor)	动态取当前起点 \(w_0\)	\(\mathcal{O}(\varepsilon + \frac{1}{\sqrt{T\log T}})\) (恢复稳定)	\(\Omega\left(\min\left\{1, \varepsilon e^{\Omega(\sqrt{T})}\right\}\right)\) (退化失效)	目标极小值依赖初值对偶位移 \(\varepsilon\beta(w_0,\varepsilon)\)
固定点锚点 (Fixed-Anchor)	预先指定的独立静态点 \(w_a\)	\(\mathcal{O}(1/T)\) (独立于 \(\varepsilon\) 稳态收缩)	\(\mathcal{O}(1/T)\) (彻底克服局部病态)	无，双轨迹同向收敛至同一静态平衡态