跳转至

Muon^2: Boosting Muon via Adaptive Second-Moment Preconditioning

会议: EMNLP 2026
论文: ACL Anthology
领域: 信息检索
关键词: 优化算法、大模型预训练、正交化更新、二阶矩预条件、Newton-Schulz迭代

一句话总结

Muon^2 通过在极分解正交化步骤之前引入类似 Adam 的自适应二阶矩逐元素预条件(并提出内存高效的因式分解变体 Muon^2-F),从根本上重塑动量矩阵的不良奇异值谱并消除死区,在降低 40% Newton-Schulz 迭代开销的同时显著提升预训练收敛质量与下游评测表现。

研究背景与动机

随着现代语言模型参数量与训练数据规模的持续扩张,基础模型预训练面临着极高的计算吞吐与基础设施通信瓶颈。在现存优化器中,以 Adam 和 AdamW 为代表的坐标自适应一阶算法凭借卓越的鲁棒性长期占据工业界主导地位;然而,这类方法将高维张量展平处理,完全忽视了神经网络层权重的内在二维矩阵几何结构。为了突破一阶对角缩放的性能上限,Muon 等基于矩阵结构的优化器应运而生,其核心机制在于直接对动量矩阵进行极分解(Polar Decomposition)正交化,从而在不增加全二阶曲率计算开销的前提下有效抑制梯度秩塌陷(rank collapse)并加速预训练动态收敛。

然而,Muon 的正交化质量高度受制于其核心计算算子——Newton-Schulz(NS)多项式迭代的执行步数。标准 Muon 依赖 5 次迭代来逼近极因子,但高阶矩阵多项式在分布式并行环境下引入了大量高开销的局部通用矩阵乘法(GEMM)以及跨节点聚合通信延迟;若强行削减迭代次数至 3 步,优化器方向将严重偏离真实正交更新,导致预训练困惑度发生灾难性劣化。现有变体要么仅聚焦于改造更新步长缩放规则(如 NorMuon、AdaMuon),要么探索更复杂的正交多项式系数(如 PolarExpress、Turbo-Muon),均未能正视动量矩阵本身的病态奇异谱问题,陷入了“正交化精度”与“系统级计算通信吞吐”两难全的权衡困境。

深入剖析该瓶颈可以发现,动量矩阵在训练初期的奇异值分布极为弥散且高度病态,大量奇异值堆积在接近于零的“死区”,这迫使 Newton-Schulz 迭代必须依赖高阶多项式反复拉伸低奇异值。若能在正交化前对动量矩阵进行坐标级谱重整,即可显著减轻迭代负担。本文从随机矩阵理论与经验谱分析双重维度出发,提出将自适应二阶矩统计量作为进入正交化算子前的预条件子。核心 idea:在执行 Newton-Schulz 正交化前引入自适应二阶矩逐元素预条件以重塑动量谱分布,消除奇异值死区,从而以少 40% 的迭代步数实现更高精度的方向对齐与显著更快的预训练收敛。

方法详解

整体框架

Muon^2 在保持 Muon 矩阵正交更新优势的同时,对动量输入谱进行系统性改造。其端到端执行流程包含四个核心阶段:首先根据实时梯度累积一阶动量矩阵与未中心化的二阶矩矩阵;随后通过逐元素平方根二阶矩归一化对动量进行预条件缩放,将原本弥散在死区的奇异值拉升至易收敛谱区间;接着将预条件后的动量输入轻量级 Newton-Schulz 迭代器(仅需 3 次多项式矩阵乘法),输出精准逼近真实极因子的正交化矩阵;最后施加与矩阵维度长宽比适配的缩放系数,直接更新网络权重参数。针对全尺寸二阶矩带来的显存额外开销,架构还提供了基于行列分解的外积低秩近似版本 Muon^2-F。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["梯度与动量累积<br/>计算 Gt 与一阶动量 Mt"] --> B["自适应二阶矩预条件<br/>逐元素缩放修正输入奇异谱"]
    B --> C["方向对齐评估与低秩谱保障<br/>规避奇异值死区并保证余弦相似度"]
    C --> D["加速 Newton-Schulz 迭代<br/>K=3 步矩阵多项式极分解"]
    D --> E["因式分解轻量化变体 Muon^2-F<br/>行列外积低显存状态维护"]
    E --> F["参数矩阵正交更新<br/>长宽比尺度自适应步长更新 Wt+1"]

关键设计

1. 自适应二阶矩预条件:消除动量矩阵奇异谱的死区塌陷 传统 Muon 直接将一阶动量矩阵 \(M_t = \beta_1 M_{t-1} + (1 - \beta_1) G_t\) 送入 Newton-Schulz 迭代。由于神经网络各层神经元梯度的方差分布极不均衡,未加缩放的动量矩阵呈现出极高的条件数,大量奇异值跌落入 \(10^{-4} \sim 10^{-3}\) 的低幅值区间。Muon^2 引入二阶矩统计量 \(V_t = \beta_2 V_{t-1} + (1 - \beta_2)(G_t \odot G_t)\),并在正交化前对动量执行对角级预条件化: $\(\widetilde{M}_t = M_t \oslash (\sqrt{V_t} + \epsilon I)\)$ 该逐元素除法本质上根据历史坐标方差统一了不同参数维度的能量尺度。随机矩阵理论(Marchenko-Pastur 定律)严格证明,当各条目的固有扰动尺度被二阶矩准确抵消后,即使原始梯度存在严重的非均匀方差,预条件矩阵的经验奇异值分布也会以概率 1 严格收敛至紧致区间 \([1-\sqrt{\lambda}, 1+\sqrt{\lambda}]\)(其中 \(\lambda = m/n < 1\) 为层权重矩阵长宽比),使得低于临界阈值的奇异值占比几乎完全消失,从源头上抹平了导致 Newton-Schulz 迭代震荡的病态奇异谱。

2. 方向对齐评估与低秩谱保障:打破传统正交误差准则的尺度脱节 针对学术界普遍采用 \(\|Q^\top Q - I\|\) 衡量极分解近似质量的惯例,本文指出该标量范数受全局尺度因子的微小偏差主导,无法真实反映优化更新方向的有效性。若矩阵奇异值被一致映射至常数 \(c \in (0, 1]\),尽管空间更新方向与真实极因子 \(Q^\star = U V^\top\) 完全重合,正交误差仍会产生 \(|c^2 - 1| \cdot \|I\|\) 的虚假巨大扰动。Muon^2 改用以奇异值分布为核心的方向余弦相似度进行度量: $\(\cos(Q_{\text{NS}}, Q^\star) = \frac{\sum_i \phi_K(\sigma_i)}{\sqrt{n} \sqrt{\sum_i \phi_K(\sigma_i)^2}}\)$ 在该准则下,Newton-Schulz 算子 \(\phi(x) = ax + bx^3 + cx^5\)(其中 \(a=3.4445, b=-4.7750, c=2.0315\))的收敛速度完全取决于输入谱的相对集中度。由于二阶矩预条件使有效秩(Effective Rank)从 48.9 激增至 142.5,奇异值死区占比从 26% 锐减至 6%,Muon^2 仅需 3 步迭代即可达成 0.916 的方向对齐度(优于传统 Muon 5 步迭代的 0.902~0.931 水平),而在 5 步迭代下更是高达 0.975,赋予了优化器极高的方向保真度。

3. 加速 Newton-Schulz 迭代:在低开销算子下实现极致收敛质量 在完成对角谱调整后,预条件矩阵 \(\widetilde{M}_t\) 被送入轻量化 Newton-Schulz 多项式循环中执行 \(K=3\) 次正交投影: $\(O_t = \text{NewtonSchulz}(\widetilde{M}_t, K=3)\)$ 该步骤将耗时占比最高的矩阵立方运算次数减少 40%,大幅削减了每一轮反向传播后等待正交化 GEMM 核心的耗时与跨多卡同步延迟。随后,参数更新采用考虑维度尺度的自适应学习率因子进行推进: $\(W_{t+1} = W_t - \eta \sqrt{\frac{m}{n}} O_t\)$ 实验表明,3 步迭代的 Muon^2 在保持极低单步开销的同时,实际语言建模困惑度反超 5 步迭代的标准 Muon,证明了改善输入几何谱相比于在恶劣谱分布上强行堆叠迭代步数具有压倒性的收敛优势。

4. 因式分解轻量化变体 Muon^2-F:基于外积统计重构的极低显存优化 为了解决保存全量二阶矩矩阵 \(V_t \in \mathbb{R}^{n \times m}\) 所带来的显存翻倍负担,算法借鉴 Adafactor 思想设计了行与列的一阶投影统计量: $\(r_t = \beta_2 r_{t-1} + (1 - \beta_2) \text{sum}_{\text{col}}(G_t \odot G_t), \quad c_t = \beta_2 c_{t-1} + (1 - \beta_2) \text{sum}_{\text{row}}(G_t \odot G_t)\)$ $\(\widehat{V}_t = \frac{r_t c_t^\top}{\text{sum}(r_t)}\)$ 通过这种秩-1 外积重构,优化器状态的额外空间复杂度从 \(\mathcal{O}(nm)\) 骤降至 \(\mathcal{O}(n + m)\)。理论分析表明,只要神经元尺度的方差具有行列可分离性,预条件化后的矩阵信号秩依然与未因式分解的原始信号完全一致。在实际大模型微调与预训练中,Muon^2-F 在 7B 规模下相较于普通 Muon 仅增加 0.24 GB 显存占用,却完整保留了全量 Muon^2 约 95% 以上的困惑度优化收益与 40% 的迭代压缩红利。

损失函数 / 训练策略

论文采用标准自回归因果语言建模交叉熵损失函数开展大规模预训练评测: $\(\mathcal{L}(W) = -\frac{1}{T} \sum_{t=1}^T \log P(w_t \mid w_{<t})\)$ 权重衰减解耦作用于权重矩阵;二阶矩超参数默认设置为衰减因子 \(\beta_2 = 0.95\)、数值稳定常数 \(\epsilon = 10^{-8}\),一阶动量系数取 \(\beta_1 = 0.95\)。所有非二维矩阵权重(如 Embedding 词表与 LayerNorm 偏置/缩放向量)统一退水回落至标准 AdamW 进行参数更新。

实验关键数据

主实验

论文在 GPT 系列(Small 124M、Base 362M、Large 774M)、LLaMA 系列(60M、350M、1B、13B)以及稀疏 Mixture-of-Experts(MoE-7B-A1B)上进行了系统的预训练损失与验证困惑度评测。

模型架构与规模 训练 Token 量 评估指标 Muon (Ns=5) Muon^2 (Ns=3) Muon^2 (Ns=5) 相对增益 (Ns=5 vs Muon)
GPT-Small (124M) 3.0B 验证 PPL (↓) 29.51 28.12 27.95 -1.56
GPT-Base (362M) 7.2B 验证 PPL (↓) 21.47 20.39 19.96 -1.51
GPT-Large (774M) 15.5B 验证 PPL (↓) 17.56 16.99 16.52 -1.04
LLaMA-60M 1.0B 验证 PPL (↓) 24.98 24.59 24.60 -0.38
LLaMA-350M 7.3B 验证 PPL (↓) 14.03 13.44 13.44 -0.59
LLaMA-1B 20.1B 验证 PPL (↓) 10.62 10.42 10.21 -0.41
LLaMA-13B 26.8B 验证 PPL (↓) 9.24 9.11 8.71 -0.53
MoE-7B-A1B 20.1B 验证 PPL (↓) 10.61 9.85 9.66 -0.95

此外,在 LLaMA-1B 上游模型得到的下游多任务微调与零样本通用基准测试中(涵盖常识问答与自然语言理解),Muon^2 展现了极强的泛化一致性:

评测基准 (LLaMA-1B) Muon (Ns=3) Muon (Ns=5) Muon^2 (Ns=3) Muon^2 (Ns=5)
ARC-Challenge† (准确率 %) 27.08 30.01 31.91 33.48
ARC-Easy (准确率 %) 42.80 46.09 47.81 49.03
OpenBookQA (准确率 %) 32.00 33.20 31.80 35.20
HellaSwag (准确率 %) 44.37 49.75 50.23 52.61
PIQA (准确率 %) 71.22 72.25 72.20 74.05
WinoGrande† (准确率 %) 56.75 59.91 59.88 61.90
LAMBADA (准确率 %) 36.52 40.99 42.50 45.08
MMLU† (准确率 %) 29.75 30.71 30.79 31.31
平均得分 Avg (准确率 %) 42.56 45.36 45.89 47.83

消融实验

论文设计了针对正交化迭代必要性、因式分解显存占用、超参数鲁棒性以及竞品变体的全方位消融比对。

配置变体 核心指标 (GPT-Small PPL @ Ns=3 / Ns=5) 显存占用 (LLaMA-7B) 机制说明
Muon^2 (完整模型) 28.12 / 27.95 60.66 GB 完整二阶矩预条件 + 极分解正交化
Muon^2-F (低秩因式分解) 28.30 / 27.93 47.53 GB 行列外积近似,显存几近于普通 Muon,性能极佳
标准 Muon 基线 32.70 / 29.51 47.29 GB 无预条件,Ns=3 时由于奇异谱塌陷严重退化 (+4.58)
仅预条件,移除 NS 正交化 27.14 (LLaMA-60M) - 仅将预条件动量作为更新方向,落后 Muon^2 (24.59) 2.55 困惑度
竞品变体 PolarExpress 30.01 / 29.42 - 优化多项式映射区间,但无法解决底层输入病态谱
竞品变体 Turbo-Muon 29.70 / 29.66 - 迭代多项式加速,Ns=3 仍严重逊色于 Muon^2
竞品变体 NorMuon 30.35 / 28.40 - 在更新规则后引入二阶自适应步长,未能降低 NS 迭代需求
竞品变体 AdaMuon 31.20 / 29.30 - 输出侧坐标缩放,极易对学习率超参敏感

关键发现

  • 3 步 Muon^2 跨级碾压 5 步 Muon:在所有尺度(从 60M 到 13B)与全部模型类别(GPT、LLaMA、MoE)下,仅配置 3 次迭代的 Muon^2 验证困惑度均全面优于执行 5 次迭代的原始 Muon(如 LLaMA-13B 达到 9.11 vs. 9.24)。这直接证伪了“只有通过增加 Newton-Schulz 迭代才能获得高质量极分解”的先验假设。
  • 系统级吞吐与算力开销大幅削减:由于单步正交化 GEMM 负载下降 40% 且二阶矩逐元素除法计算开销几乎可忽略不计,达到相同的目标训练损失(如 LLaMA-1B 达到 2.36 loss)时,Muon^2 节约了整整 25% 的物理训练时间(从 1042 GPU-hours 降至 796 GPU-hours)。
  • 超参数极端钝感:在衰减因子 \(\beta_2 \in [0.90, 0.99]\) 与数值截断 \(\epsilon \in [10^{-10}, 10^{-6}]\) 的宽广空间内,Muon^2 验证困惑度极差严格控制在 0.18 以内,远低于原始 Muon 调整动量系数时的性能震荡。

亮点与洞察

  • 切中病灶的谱重整思路:不仅停留在经验工程调优,而是从随机矩阵理论(Marchenko-Pastur 定律)严格论证了二阶矩预条件如何彻底消除奇异值死区。这一发现揭示出 Muon 算法此前在算力开销上的本质瓶颈在于输入张量严重病态,而非多项式拟合阶数不足。
  • 重构正交化评估准则:敏锐地指出了经典的绝对正交误差矩阵范数在神经网络优化语境下的尺度误导性,确立了方向余弦相似度作为衡量迭代更新质量的核心指标,为后续矩阵流形优化算法的理论建模扫清了评估障碍。
  • Muon^2-F 极致的工程可行性:将 Adafactor 风格的行列均值分解优雅地迁移至矩阵预条件化环节,在 7B 级别模型上相较于原始 Muon 仅增加 0.24 GB 显存,使千亿大模型在显存极为受限的大规模集群上无缝部署该高阶正交优化器成为现实。

局限与展望

  • 算力预算限制导致前沿尺度未验:受限于高校学术预算,论文最大验证模型规模止步于 13B 参数量级与 26.8B 训练 Token,尚未在千亿参数量(如 70B+)及数万亿级 Token 的产业界超前模型上完成全周期扩展定律(Scaling Laws)校准。
  • 矩阵形状对边界保证的理论差异:Proposition 1 严格依赖长宽比 \(\lambda = m/n < 1\) 的矩形矩阵设定;对于完全对称的方形权重矩阵,Marchenko-Pastur 谱下界理论上收缩至零,虽然实践中有效谱质量依旧大幅提升,但严格的正谱下界理论保证存在弱化。
  • 探索更多轻量化状态压缩范式:未来工作可进一步探索 8-bit / 4-bit 块级量化(Block-wise Quantization)或低秩梯度正交投影(如 GaLore 结合机制),以进一步压缩二阶矩状态并在多模态预训练场景中推广验证。

相关工作与启发

  • vs Muon (Jordan et al., 2024): Muon 开创性地将 Newton-Schulz 迭代引入隐藏层参数更新,但直接将原始高方差动量矩阵送入多项式迭代导致收敛极其依赖步数。Muon^2 在其前端插入自适应二阶矩预条件,以极低开销改善奇异谱,使 NS 迭代需求压缩 40% 且损失全面下降。
  • vs PolarExpress (Amsel et al., 2026) & Turbo-Muon (Boissin et al., 2025): 二者均尝试通过构造更优的正交逼近多项式系数来加速极分解,但本质上都是在病态输入谱上进行事后补救。Muon^2 则选择在正交化发生前从数据源头重整谱分布,实验表明单纯优化多项式的方法均全面落后于 Muon^2。
  • vs NorMuon (Li et al., 2025) & AdaMuon (Si et al., 2025): 后两者将二阶矩用于 Newton-Schulz 迭代产出的正交矩阵之后以调整坐标学习率,属于输出侧的自适应扰动。Muon^2 则是将二阶矩置于正交化之前的输入端充当预条件子,保持了正交更新的纯粹几何方向特性,两者的数学逻辑与工程收益完全正交。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次发现并从理论与实验双重维度证明了二阶矩预条件对动量矩阵奇异谱的重塑效应,打通了一阶对角自适应与二阶矩阵正交化之间的协同通道。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 GPT、LLaMA、MoE 三大主流架构,横跨 60M 至 13B 规模,包含了密集的学习率扫描、显存开销测试、计算耗时实测及多任务下游评测。
  • 写作质量: ⭐⭐⭐⭐⭐ 叙述流畅清晰,数学推导严格自洽,图表设计信息密度极高,理论分析与工程落地结合严密。
  • 价值: ⭐⭐⭐⭐⭐ 极具实用性的大模型预训练底层基础设施级创新,不仅直接提升了训练稳定性与损失收敛表现,更实在地节省了 25% 预训练耗时。