Greedy Alignment Principle for Optimizer Selection¶
会议: NeurIPS 2026
arXiv: 2512.06370
领域: 优化算法
关键词: 优化器选择, 贪心对齐原则, 动量动态调整, 因果滤波器, 梯度自相关
一句话总结¶
将一阶优化器建模为作用于梯度时间序列的因果滤波器，证明最大化瞬时期望损失下降率等价于滤波器与梯度自相关在希尔伯特空间中的内积，由此推导出无需网格搜索的 SGD 与 Adam 动态动量选择准则。
研究背景与动机¶
一阶优化算法是现代深度学习模型训练的基石，从基础随机梯度下降（SGD）到 Adam、AdamW、Lion 等自适应方法，几乎所有实用优化器都严重依赖动量（Momentum）机制来平滑历史梯度并加速逃离鞍点。然而，动量超参数（如 SGD 中的 \(\beta\) 或 Adam 中的 \(\beta_1\)）对模型训练动态和最终收敛至关重要，最优取值高度依赖特定架构、数据分布与任务规模。在现有实践中，动量参数往往仅依靠经验默认值（如 0.9）或极其耗费算力的超参数网格搜索（hyperparameter sweep），一旦换用新任务或非标准架构，固定动量往往导致收敛缓慢或训练发散。
近期工作（如 Cautious 优化器与 MGUP）注意到梯度与更新量之间的瞬时内积 \(\bm{g}^\top \bm{u}\) 是评估并调控训练动态的强信号，并通过掩码或重加权坐标更新来加速收敛。然而，这类启发式规则仅局限于固定优化器输出层面的后处理启发式执行，无法解释“什么样的优化器或动量超参数在理论上是最优的”，更未能将梯度-更新对齐提升为指导优化器设计与超参数自适应调节的一般性数学法则。
本文从信号处理视角切入，将时变梯度视为输入流，将一阶优化器抽象为将因果梯度流映射为更新流的因果滤波器算子。利用链式法则，最大化梯度与更新向量的瞬时对齐严格等价于最大化一阶损失下降率 \(-\mathrm{d}\mathcal{L}/\mathrm{d}t\)。核心 idea：将优化器选择形式化为在给定因果滤波器族上最大化损失下降率的对偶凸优化问题，证明其目标函数即为滤波器算子与梯度自相关张量的希尔伯特内积，从而将动量超参数的离线网格搜索转化为跟踪梯度自相关统计量的在线贪心选择准则。
方法详解¶
整体框架¶
本文提出的贪心对齐原则（Greedy Alignment Principle）将模型训练视为主对偶协同过程：主问题执行模型参数更新以极小化损失 \(\mathcal{L}(\bm{\theta})\)；对偶问题则在每个时步利用历史梯度自相关统计量，从预设的优化器滤波器候选族 \(\mathcal{Q}\) 中贪心选取使期望损失下降速度最大的最优优化器算子 \(Q^\star\)。
整体流程包含三个核心阶段：首先在连续与离散时间域建立因果线性滤波器下的学习能力（Learning Power）内积表示；随后在算子空间引入规范化信赖域，导出单极点（1-pole）动量滤波器族下最优动量的显式闭式得分；最后针对有限候选集设计无需全量更新的流式切换机制（\(K\)-Switch），并加入滑动平均滤波与负对齐状态衰减策略以保证数值稳定性。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["梯度流输入<br/>g_t = ∇_θ L(θ_t)"] --> B["算子级内积对齐<br/>学习能力 P(Q) = ⟨Q, R⟩_H"]
B --> C["信赖域归一化单极点动量探测<br/>最优解恢复梯度时间相关性 β*"]
C --> D["K-Switch 离散动态切换算法<br/>维护 K 个动量分支并自适应衰减"]
D --> E["模型参数更新<br/>θ_{t+1} ← θ_t - η u_{k*, t}"]关键设计¶
1. 算子级内积对齐与学习能力泛函：将更新对齐提升至滤波器空间 在连续时步下，参数更新 \(\bm{\theta}_{t+1} \leftarrow \bm{\theta}_t - \bm{u}_t\) 的瞬时损失下降率为 \(-\mathrm{d}\mathcal{L}/\mathrm{d}t = \bm{g}_t^\top \bm{u}_t\)。为摆脱固定优化器后处理的局限，作者将优化器视为因果线性卷积算子 \(\bm{u}_t = (Q \bm{g})_t = \sum_{k=0}^\infty Q_{t,k} \bm{g}_{t-k}\)。在梯度二阶矩一致有界 \(\sup_t \mathbb{E}[\|\bm{g}_t\|^2] < \infty\) 及算子绝对可和的前提下，期望损失下降速度（定义为学习能力 \(P_t(Q)\)）精确退化为优化器转移函数与梯度自相关矩阵 \(R_{t,k} = \mathbb{E}[\bm{g}_t \bm{g}_{t-k}^\top]\) 在希尔伯特空间 \(\mathcal{H}\) 中的内积： $\(P_t(Q) \coloneqq \mathbb{E}[\bm{g}_t^\top \bm{u}_t] = \sum_{k=0}^\infty \operatorname{Tr}(Q_{t,k}^\top R_{t,k}) = \langle Q_t, R_t \rangle_{\mathcal{H}}\)$ 这一结论建立了优化器更新对齐与物理滤波特性的严格对应：最优优化器选择问题在本质上是一个线性目标函数在凸紧集 \(\mathcal{Q}\) 上的极值问题。作者进一步通过极集（polar set）与极规范（polar gauge）理论证明了最优解的存在性、唯一性与次梯度构造性质，并给出在小批量样本估计误差扰动下的 Lipschitz 稳定性界，保障了在线流式计算的可靠性。
2. 规范化单极点动量探测：推导 SGD 与 Adam 的闭式动态动量准则 标准指数移动平均（EMA）动量在信号处理中对应于一阶单极点无限脉冲响应（1-pole IIR）滤波器。若不加约束直接在 \(\beta \in [0, 1)\) 上极大化 \(\mathbb{E}[\bm{g}_t^\top \bm{m}_{\beta, t}]\)，优化过程会平凡地趋向无记忆（\(\beta=0\)）或发散的无限记忆（\(\beta \to 1\)）。为此，作者对滤波器转移函数施加弗罗贝尼乌斯范数约束 \(\|Q\|_{\mathcal{H}} \le \sqrt{B}\)，引入能量归一化信赖域。对于 SGD+Momentum，未归一化动量为 \(\bm{m}_{\beta,t} = \beta \bm{m}_{\beta,t-1} + \bm{g}_t\)，归一化后的贪心最优动量评分为： $\(\beta_t^\star = \arg\max_{\beta \in \mathcal{B}} \sqrt{1 - \beta^2} \, \mathbb{E}[\bm{g}_t^\top \bm{m}_{\beta,t}]\)$ 当梯度具有单极点自相关结构 \(r_k = r_0 \rho^k\)（\(\rho \in [0, 1)\) 表示时间相关系数）时，该评分在数学上恰好在 \(\beta^\star = \rho\) 处取到全局最大值，揭示了动量超参数的物理本质——动量并非任意的人工平滑权重，而是用于匹配梯度时间自相关极点的最佳调谐器。进一步将该原理推广至对角预条件自适应优化器 Adam/AdamW 时，将二阶矩逆平方根视作时变坐标代价向量 \(\bm{c}_{\beta_2, t}\)，推导出联合自适应选择规则： $\((\beta_1^\star, \beta_2^\star)_t = \arg\max_{\beta_1, \beta_2 \in (0,1)} \sqrt{\frac{1+\beta_1}{1-\beta_1}} \frac{1}{\sqrt{\sum_j c_{\beta_2, t, j}^{-1}}} \mathbb{E}[\bm{g}_t^\top \bm{u}_{\beta_1, \beta_2, t}]\)$
3. 有限候选 K-Switch 算法与非局部保护机制：低开销在线稳定执行 为了将连续超参数空间的极值问题工程落地，作者证明了凸包约简定理（Family-Hull Reduction）：在有限候选族 \(\tilde{Q}_1, \dots, \tilde{Q}_K\) 的凸包上寻优等价于直接在 \(K\) 个端点离散候选上做简单求最大值。基于此，提出轻量级 \(K\)-Switch 算法（默认仅设 \(K=2\) 个覆盖常规工作区间的端点动量候选，如 SGD 选 \(\{0.8, 0.99\}\)，Adam 选 \(\beta_1 \in \{0.8, 0.95\}\)）。算法并行累积 \(K\) 个动量状态，每步仅计算单步标量内积得分并选取得分最高的更新分支执行参数更新。 在实践中，由于非凸曲率与离散大步长可能导致一阶泰勒展开失效并出现持续负对齐（\(A_t < 0\)），算法设计了两道防护机制：一是采用系数 \(\alpha=0.9\) 的滑动平均平滑得分 \(A_{k,t}\)，过滤小批量采样的随机方差；二是在检测到贪心最优分支连续 \(T_{\text{neg}}=5\) 步出现负对齐时，执行软性衰减策略，将所有候选动量状态强制减半（\(\bm{\mu}_k \leftarrow \frac{1}{2}\bm{\mu}_k\)），避免优化器在剧烈震荡曲率区域被陈旧历史动量带偏。
一个完整示例¶
以 \(K=2\) 的 \(K\)-Switch SGD+Momentum 在 CIFAR-100 上训练 ResNet-18 为例： 1. 状态初始化：选定两个动量端点 \(\beta_1 = 0.8\) 与 \(\beta_2 = 0.99\)；设置归一化加权系数 \(a_1 = \sqrt{1 - 0.8^2} = 0.60\) 与 \(a_2 = \sqrt{1 - 0.99^2} \approx 0.141\)；动量缓存 \(\bm{\mu}_1, \bm{\mu}_2 \leftarrow \mathbf{0}\)。 2. 前向与反向：在某训练步 \(t\)，模型反向传播得到当前小批量梯度 \(\bm{g}_t\)。 3. 多动量累积与评分： - 候选 1 更新动量 \(\bm{\mu}_1 \leftarrow 0.8 \bm{\mu}_1 + \bm{g}_t\)，计算瞬时对齐得分 \(A_1 = 0.60 \times (\bm{g}_t^\top \bm{\mu}_1)\)； - 候选 2 更新动量 \(\bm{\mu}_2 \leftarrow 0.99 \bm{\mu}_2 + \bm{g}_t\)，计算瞬时对齐得分 \(A_2 = 0.141 \times (\bm{g}_t^\top \bm{\mu}_2)\)。 4. 贪心分支判定：若当前梯度与近期梯度方向高度一致（如处于平滑长峡谷区），长时积分使 \(\bm{g}_t^\top \bm{\mu}_2\) 极大，即使被 \(0.141\) 缩放后仍有 \(A_2 > A_1\)，算法自动选取分支 \(k^\star = 2\)，以大动量加速穿越；若当前处于高曲率转折区，历史梯度方向频繁反转导致 \(\bm{g}_t^\top \bm{\mu}_2\) 骤降甚至为负，此时短时分支 \(A_1 > A_2\)，算法切换至 \(k^\star = 1\)，抑制过冲。 5. 参数更新与异常衰减：执行参数更新 \(\bm{\theta}_{t+1} \leftarrow \bm{\theta}_t - \eta \bm{\mu}_{k^\star}\)。若连续 5 步两个分支均处于 \(A_k < 0\)，触发保护机制使 \(\bm{\mu}_1 \leftarrow 0.5 \bm{\mu}_1, \bm{\mu}_2 \leftarrow 0.5 \bm{\mu}_2\)。
损失函数 / 训练策略¶
论文建立了一阶对齐与实际单步有限步长下降之间的严格联系（Finite-step Descent Bridge）。设目标损失 \(\mathcal{L}\) 具有 \(L_s\)-Lipschitz 连续梯度，对于任意范数受限 \(\|\bm{u}\| \le \rho\) 的候选更新，单步实际损失下降量 \(D_\eta(\bm{u}) = \mathcal{L}(\bm{\theta}) - \mathcal{L}(\bm{\theta} - \eta \bm{u})\) 满足： $\(|D_\eta(\bm{u}) - \eta \bm{g}^\top \bm{u}| \le \frac{L_s \eta^2}{2} \|\bm{u}\|^2\)$ 由推论可知，贪心最大化 \(\bm{g}^\top \bm{u}\) 构成了实际单步损失下降的 \(\mathcal{O}(\eta^2)\) 高精度代理。在实现 AdamW 时，梯度驱动的动量分支仅用于计算一阶内积对齐得分，解耦权重衰减（Decoupled Weight Decay）则在选定获胜更新后统一施加，保证了自适应缩放与正则化项的完全正交性。
实验关键数据¶
主实验¶
论文在经典图像分类（ResNet-18 / CIFAR-100）、大语言模型微调（Gemma-2B、Llama-3-8B 在 MetaMathQA 与 Commonsense-170K 上使用 LoRA 及全量微调）以及视觉 Transformer 微调（ViT-B、ViT-L 在 7 个分类数据集上 LoRA 微调）上进行了系统验证。以下表格展示了与经充分网格搜索调谐的固定超参数最优基线（Oracle Best Baseline）的对比。
| 模型与架构 | 任务与数据集 | 优化器配置 | 最优固定基线 (Best Baseline) | 本文动态选择 (Ours, K=2) | 性能增益 |
|---|---|---|---|---|---|
| ResNet-18 (从头训练) | CIFAR-100 Top-1 准确率 (%) | SGD+M (\(\beta=0.9\) vs 自适应) | \(77.57 \pm 0.09\) | \(\mathbf{78.06 \pm 0.07}\) | \(+0.49\%\) |
| ResNet-18 (从头训练) | CIFAR-100 训练损失 (Train Loss) | SGD+M | \(0.0078 \pm 0.0001\) | \(0.0080 \pm 0.0001\) | 相当 |
| ResNet-18 (从头训练) | CIFAR-100 Top-1 准确率 (%) | Adam (\(\beta_1=0.8\) vs 自适应) | \(73.20 \pm 0.21\) | \(\mathbf{73.26 \pm 0.31}\) | \(+0.06\%\) |
| ResNet-18 (从头训练) | CIFAR-100 训练损失 (Train Loss) | Adam | \(0.0324 \pm 0.0042\) | \(\mathbf{0.0115 \pm 0.0010}\) | \(-0.0209\) |
| Gemma-2B (LoRA) | MetaMathQA \(\to\) GSM8K 准确率 (%) | AdamW (\(\beta_1=0.5\) vs 自适应) | \(52.57 \pm 1.10\) | \(\mathbf{52.77 \pm 0.93}\) | \(+0.20\%\) |
| Llama-3-8B (LoRA) | MetaMathQA \(\to\) GSM8K 准确率 (%) | AdamW (\(\beta_1=0.9\) vs 自适应) | \(76.20 \pm 0.33\) | \(\mathbf{76.30 \pm 0.31}\) | \(+0.10\%\) |
| Gemma-2B (LoRA) | Commonsense-170K 6项推理平均 (%) | AdamW (\(\beta_1=0.95\) vs 自适应) | \(72.76 \pm 0.17\) | \(\mathbf{73.01 \pm 0.27}\) | \(+0.25\%\) |
| Gemma-2B (Full FT) | Commonsense-170K 6项推理平均 (%) | AdamW (\(\beta_1=0.5\) vs 自适应) | \(61.35 \pm 0.27\) | \(\mathbf{62.79 \pm 0.83}\) | \(+1.44\%\) |
| ViT-B (LoRA, r=32) | 7个下游图像数据集平均准确率 (%) | AdamW (\(\beta_1=0.9\) vs 自适应) | \(83.95 \pm 0.06\) | \(\mathbf{83.96 \pm 0.10}\) | \(+0.01\%\) |
| ViT-L (LoRA, r=8) | 7个下游图像数据集平均准确率 (%) | AdamW (\(\beta_1=0.9\) vs 自适应) | \(86.50 \pm 0.05\) | \(\mathbf{86.57 \pm 0.07}\) | \(+0.07\%\) |
消融与候选数量分析¶
论文对固定动量取值的极端敏感性以及 \(K\)-Switch 候选数量 \(K\) 进行了消融分析。以 CIFAR-100 上 ResNet-18 的动量扫描为例，固定动量对性能影响剧烈，而 \(K\)-Switch 即使仅用 2 个端点即可包络最优解，扩展至 5 个选项时甚至进一步突破固定动量的上限。
| 优化器与分支设置 | 动量参数设定 | 测试集准确率 (%) | 训练损失 (Train Loss) | 说明 |
|---|---|---|---|---|
| SGD+M 固定参数 | \(\beta = 0.01\) (极小动量) | \(74.93 \pm 0.11\) | \(0.0091 \pm 0.0002\) | 缺乏历史累积，收敛欠佳 |
| SGD+M 固定参数 | \(\beta = 0.50\) | \(76.21 \pm 0.17\) | \(0.0115 \pm 0.0001\) | 欠平滑 |
| SGD+M 固定参数 | \(\beta = 0.90\) (常用默认最优) | \(77.57 \pm 0.09\) | \(0.0078 \pm 0.0001\) | 固定网格搜索的最佳结果 |
| SGD+M 固定参数 | \(\beta = 0.98\) | \(69.79 \pm 0.86\) | \(0.1648 \pm 0.0148\) | 动量过大，严重震荡掉点 |
| SGD+M 固定参数 | \(\beta = 0.99\) | \(55.62 \pm 5.32\) | \(1.3609 \pm 0.2312\) | 训练发生剧烈发散 |
| Ours (\(K=2\) 动态) | 端点 \(\beta \in \{0.8, 0.99\}\) | \(78.06 \pm 0.07\) | \(0.0080 \pm 0.0001\) | 动态在两端切换，显著超越固定 \(\beta=0.9\) |
| Ours (\(K=5\) 动态) | 5个候选 \(\beta \in \{0.5, 0.8, 0.9, 0.95, 0.99\}\) | \(\mathbf{78.33 \pm 0.49}\) | \(\mathbf{0.0073 \pm 0.0001}\) | 粒度更细，准确率再升 \(+0.76\%\) |
额外分析：运行时开销¶
算法额外引入的计算开销主要为 \(K\) 个动量向量的线性组合与内积计算。论文在 Table 16 中实测了单步迭代时间（Per-iteration Runtime）变化： - ResNet-18 全量训练（11.2M 参数）：单步额外耗时仅 \(+4.2\%\)。 - ViT-Base LoRA（87.1M 参数）：单步额外耗时仅 \(+0.79\%\)。 - Gemma-2B 全量微调（2.5B 参数）：单步耗时测得 \(-17.3\%\)（处于测时噪声区间，保守评估为基本无额外开销）。 这一结果表明，动态切换带来的边际开销远低于进行多次完整训练轮次的网格搜索。
关键发现¶
- 在 Gemma-2B 的 Commonsense-170K 全量微调中，动态选择 AdamW 相比固定动量获得了 \(+1.44\%\) 的显著提升，且显著改善了高难度多任务推理（如 HellaSwag 提升近 \(2\%\)）。
- 固定高动量（如 SGD 中 \(\beta \ge 0.98\)）在训练后期极易发散，而 \(K\)-Switch 即使将 \(\beta=0.99\) 作为端点之一，由于对齐得分探针与负对齐衰减机制的自适应保护，依然能够安全利用大动量的加速优势而不发生发散。
- 单极点自相关理论推导出的归一化因子 \(\sqrt{1-\beta^2}\) 是防止短时与长时动量平凡退化的关键数学平衡项。
亮点与洞察¶
- 将优化器形式化为因果线性滤波器：跳出参数更新的具象算法逻辑，将其提升至算子空间，证明期望损失下降率即为优化器算子与梯度自相关的希尔伯特内积，数学形式优美且深刻。
- 解开动量超参数的物理意义：证明在单极点自相关梯度下，贪心最优动量 \(\beta^\star\) 恰好等于梯度的自相关极点 \(\rho\)，直观阐明动量本质上是在匹配梯度流的时间相关性。
- 即插即用且开销极低：通过凸包约简，仅维护 \(K=2\) 个极值分支做内积打分即可逼近最优解，单步额外开销在绝大多数大模型与 ViT 场景下低于 \(1\%\)，可直接替代繁琐的手动动量搜索。
局限与展望¶
- 贪心一阶准则的局限：目标仅最大化当前单步的瞬时一阶损失下降率，缺乏在非凸高度不规则损失面上的长时程全局收敛性理论保证。
- 候选滤波器族的预定义依赖：该框架仍需用户显式指定基础优化器家族（如 SGD 或 Adam），无法自主从零生成全新拓扑结构的非线性自适应算子。
- 自适应优化器的非线性近似：将 Adam 中的二阶矩除法视为局部时变预条件对角滤波是一种局部冻结二阶状态的近似，未来可探索严格考虑二阶矩动态的非线性因果滤波理论。
相关工作与启发¶
- vs Cautious Optimizers (ICLR 2026)：Cautious 在固定优化器更新后采用逐坐标符号硬掩码保留正对齐分量；本文则提升到算子级别，利用内积得分直接自适应选取最优动量超参数，两者可作为互补机制协同工作。
- vs MGUP (NeurIPS 2025)：MGUP 依赖动量与梯度的内积对坐标步长进行连续调制；本文从系统辨识与信号滤波视角出发，推导出动量超参数与梯度时间相关性的闭式匹配关系。
- vs 梯度超参数优化 (Hypergradient Descent / BOHB)：传统方法需要通过长程计算图反向传播展开或维护庞大的外层寻优循环；本文的方法完全在线、无展开、无元学习开销，随单次正常训练流式完成。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [将优化器调优统一进因果滤波器与自相关内积理论，视角极具启发性]
- 实验充分度: ⭐⭐⭐⭐☆ [覆盖 CNN、LLM 及 ViT 的 LoRA 与全量微调，基线全面，略缺更大规模预训练验证]
- 写作质量: ⭐⭐⭐⭐⭐ [数学推导严密自洽，从理论定理到离散工程算法层层递进]
- 价值: ⭐⭐⭐⭐⭐ [为困扰工业界的动量调优瓶颈提供了扎实的理论依据与开箱即用的落地算法]