Perfect Parallelization in Mini-Batch SGD with Classical Momentum Acceleration¶

会议: NeurIPS 2026
arXiv: 2605.18609
OpenReview: https://openreview.net/forum?id=3iXnCafw0q
论文: https://arxiv.org/abs/2605.18609
领域: 优化/理论
关键词: 随机梯度下降, 经典动量加速, 小批量并行化, 插值范式, 舒尔分解

一句话总结¶

针对插值范式下的随机二次优化问题，本文建立了经典动量加速（重球动量与 Nesterov 动量）的统一收敛理论，证明其收敛速率随小批量大小 $m$ 呈线性加速直至达到 $\mathcal{O}(\sqrt{\kappa_f})$ 的加速饱和点，首次在极少噪声假设下从理论上解释了经典动量实现小批量 SGD 完美并行化的机制。

研究背景与动机¶

在现代大规模机器学习与深度学习模型训练中，带有经典动量项（如 Polyak 重球动量 HBM 与 Nesterov 加速梯度 NAG）的小批量随机梯度下降（Mini-batch SGD）及其衍生自适应优化器（如 Adam）已成为工业界与学术界的标准基石。硬件架构（如 GPU 集群）的迅速发展促使研究人员通过大幅增加小批量尺寸 $m$ 来充分释放并行计算吞吐量，并利用批量平均降低随机梯度方差。然而，在优化理论层面，对于经典动量为何能在随机小批量设置下取得如此显著经验收益的认识却长期滞后于实践。无动量的普通小批量 SGD 在插值范式下的收敛迭代复杂度通常停留在 $\mathcal{O}(\kappa_f \log(1/\epsilon))$，单凭增加批量大小 $m$ 往往只能降低单步方差，无法改变受限于整体条件数的主导收敛率，从而难以实现算力与吞吐量成正比的“完美并行化”。

前人试图为带动量的随机优化建立理论保证，但在处理随机非对称矩阵乘积构成的动力系统时遇到了严重的数学壁垒。已有文献（例如 Bollapragada 等人的开创性工作）多依赖矩阵对角化技巧配合黑盒矩阵浓度不等式。这一分析范式不仅需要引入关于随机噪声的极其苛刻的分布假设，更迫使算法必须使用规模极其庞大、甚至依赖于未知问题条件数的高阶下界批量（例如要求 $m = \tilde{\Omega}(\kappa_f \sqrt{\kappa_F})$ 或 $m = \tilde{\Omega}(\kappa_f^3)$）。更关键的是，非对称转移矩阵在临界动量参数附近极易接近甚至退化为不可对角化的亏损矩阵，使得相似对角化变换矩阵的条件数 $\| \mathbf{C} \| \cdot \| \mathbf{C}^{-1} \|$ 发生严重爆炸，从而在理论界中遗留了巨大的理论与实践断层。

面对上述理论瓶颈，本文的切入点是彻底摒弃容易导致界发散的对角化思路与黑盒随机矩阵积浓度界，转而在插值范式（即各随机样本损失可被同时极小化，过参数化深度学习的核心抽象）下重新审视误差向量的动力学演化。作者将问题统一抽象为随机收缩过程（Stochastic Contraction Process），借助分块舒尔分解（Schur Decomposition）刻画期望迭代的确定性偏差转移，并建立精细的矩阵方差递归方程以严密控制随机误差。核心 idea：彻底摒弃矩阵对角化假设，通过分块舒尔分解与紧凑矩阵方差递归，证明插值范式下带有重球或 Nesterov 动量的小批量 SGD 在任意批量大小 $m$ 下均具备 $\mathcal{O}((\kappa_f/m + \sqrt{\kappa_f})\log(\kappa_f/\epsilon))$ 迭代复杂度，以 $\beta = 1 - \Theta(1/m)$ 的简易动量参数即可在达到饱和点前达成计算工作量守恒的完美并行化。

方法详解¶

整体框架¶

本文构建了一个通用的随机动量过程框架，用于系统分析插值状态下二次目标函数的优化动力学。算法考虑极小化 $F(\mathbf{w}) = \mathbb{E}_{\xi \sim \mathcal{D}}[f(\mathbf{w}; \xi)]$，其中每个 $f(\mathbf{w}; \xi)$ 为 $L$-光滑强凸二次函数且共享最优解 $\mathbf{w}^*$。误差向量 $\mathbf{\Delta}_t = \mathbf{w}_t - \mathbf{w}^*$ 的演化可由随机收缩算子 $\mathcal{A}_t(\mathbf{\Delta}; \alpha) = (\mathbf{I} - \frac{\alpha}{L}\nabla^2 f(\mathbf{w}_t; \xi_t))\mathbf{\Delta}$ 统一刻画。

在该框架中，引入小批量平均算子 $\mathcal{A}^{[m]}$（聚合 $m$ 个独立采样的收缩算子）以及由两步历史信息驱动的动量递推方程。通过参数 $\omega$ 的连续调节，该系统可无缝退化为经典重球动量（HBM，$\omega=0$）或 Nesterov 加速梯度动量（NAG，$\omega=\alpha$）。整个理论分析将随机迭代误差解耦为“期望迭代收缩（偏差分析）”与“随机噪声扰动累积（方差分析）”两个核心维度，其整体数据与理论推导流向如下所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["随机收缩算子与小批量采样<br/>计算 m 个独立随机梯度并做批量平均"] --> B["统一随机动量递推框架<br/>由参数 omega 统一覆盖 HBM 与 NAG 动力系统"]
    B --> C["分块化与舒尔分解偏差控制<br/>避免矩阵对角化条件数爆炸，精确约束谱范数"]
    B --> D["紧凑矩阵方差递归方程<br/>结合二次矩上界逐层递推展开随机误差"]
    C --> E["谱半径全区间特征值解析<br/>精细划分实特征值与复特征值三个区间"]
    D --> E
    E --> F["完美并行化收敛判定<br/>达成 O(kappa/m + sqrt(kappa)) 线性收敛复杂度"]

关键设计¶

1. 统一随机动量递推框架：无缝涵盖 HBM 与 NAG 动量机制

针对现有动量理论割裂、难以统一比较不同动量机制的痛点，本文提出了统一的随机动量递推方程（Definition 2）。对于基础收缩过程 $\mathcal{A}_t(\mathbf{\Delta}, \alpha) = (\mathbf{I} - \alpha \mathbf{\Pi}_t)\mathbf{\Delta}$，其平均速率矩阵为 $\bar{\mathbf{\Pi}} = \mathbb{E}[\mathbf{\Pi}_t]$，条件数定义为 $\kappa = \alpha / \lambda_{\min}^+(\bar{\mathbf{\Pi}})$。动量演化被形式化定义为： $$\mathbf{\Delta}_{t+1} = \mathcal{A}_t(\mathbf{\Delta}_t, \alpha) + \beta \big[ \mathcal{A}_t(\mathbf{\Delta}_t, \omega) - \mathcal{A}_{t-1}(\mathbf{\Delta}_{t-1}, \omega) \big]$$ 当 $\beta = 0$ 时，该式退化为无动量的标准小批量 SGD；当 $\beta > 0$ 且 $\omega = 0$ 时，动量增量项简化为纯几何位移差 $\beta (\mathbf{\Delta}_t - \mathbf{\Delta}_{t-1})$，精确对应 Polyak 重球动量（HBM）；而当选取 $\omega = \alpha$ 时，则在动量差分中额外嵌入一步随机梯度收缩步，从而精确恢复 Nesterov 动量（NAG）。该设计将两类主流动量整合进同一分析范式，为后续建立通用的收敛保障奠定了基础。

2. 分块化与舒尔分解偏差控制：消除对角化导致的条件数爆炸

针对以往研究中依赖矩阵对角化导致变换矩阵条件数 $\|\mathbf{C}\| \cdot \|\mathbf{C}^{-1}\|$ 在临界参数处发散的严重缺陷，本文引入分块置换与舒尔分解（Schur Decomposition）。通过特征向量矩阵 $\mathbf{V}$ 将期望转移矩阵 $\mathbf{T}$ 投影至主成分空间，再经置换矩阵 $\mathbf{P}$ 变换为以 $2 \times 2$ 块对角矩阵构成的形式 $\mathbf{P}\mathbf{T}\mathbf{P}^\top = \mathrm{diag}(\mathbf{T}_1, \dots, \mathbf{T}_d)$。对于每一个对角块 $\mathbf{T}_i$，作者不再强行对其进行特征分解，而是采用舒尔分解构造酉矩阵 $\mathbf{U}_i$： $$\mathbf{U}_i^H \mathbf{T}_i \mathbf{U}_i = \begin{bmatrix} \gamma_{i1} & x_i \\ 0 & \gamma_{i2} \end{bmatrix}, \quad \text{其中 } 1 \le |x_i| \le 3$$ 利用舒尔形式计算矩阵幂次 $\mathbf{T}_i^k$，其非对角累积项由等比级数精确控制，从而导出恒成立的范数界 $\|\mathbf{T}_i^k\| \le (3k + 2)|\gamma_{i1}|^{k-1}$。此设计完全摆脱了对矩阵可对角化条件的依赖，彻底消除了由于特征值重合导致的上界常数奇点。

3. 紧凑矩阵方差递归方程：自包含解析非对称随机矩阵乘积

针对黑盒矩阵浓度不等式在非对称随机矩阵长乘积上必然失效（范数乘积急剧发散而乘积范数收敛至零）的困境，本文建立了自包含的方差递归方程。设 $\mathbf{\Sigma}_t$ 为前 $t$ 步置换转移矩阵的累乘，其矩阵方差定义为 $\mathbf{M}_t = \mathbb{E}[\mathbf{\Sigma}_t^\top \mathbf{\Sigma}_t] - \bar{\mathbf{\Sigma}}_t^\top \bar{\mathbf{\Sigma}}_t$。根据随机差分矩阵 $\mathbf{R}_t = \mathbf{P}(\mathbf{Y}_t - \mathbb{E}\mathbf{Y}_t)\mathbf{P}^\top$，递归关系导出： $$\mathbf{M}_t \preceq p_{t-1} \cdot \mathbb{E}[\mathbf{R}_t^\top \mathbf{R}_t] + \bar{\mathbf{Y}}^\top \mathbf{M}_{t-1} \bar{\mathbf{Y}}$$ 借助小批量平均的二阶中心矩方差界 $\mathbb{E}[(\mathbf{\Pi}^{[m]} - \bar{\mathbf{\Pi}})^2] \preceq \frac{1}{m}\bar{\mathbf{\Pi}}(\mathbf{I} - \bar{\mathbf{\Pi}})$，作者证明了噪声协方差项同样可被分块对角矩阵 $\frac{4}{m}\mathrm{diag}(\lambda_i(1-\lambda_i)\mathbf{I}_2)$ 上界控制。通过将递推逐层展开并与一维动态标量系统耦合，完全避开了高维矩阵浓度的失效陷阱。

4. 谱半径全区间特征值解析：覆盖小批量及任意噪声谱

针对以往方法强制要求大批量以确保特征值全为复数的局限，本文对特征值在复数与实数域的全面行为进行了深度解析。特征值性态由判别式 $\lambda_i - \frac{(1-\beta)^2}{(1+\beta)^2}$ 决定，作者针对全参数空间划分为三大区间分别突破： - Case 1（复特征值区）：$\lambda_i$ 显著大于临界值，特征值模长平滑受制于 $(1 - 1/\phi)(1 - \lambda_i)$，噪声摄动项受限于 $(1 - \frac{1}{32\phi})$； - Case 2（近不可对角化临界区）：$\lambda_i$ 极度逼近临界点，利用多项式时间衰减因子与极值位置抵消理论奇点； - Case 3（实特征值区）：$\lambda_i$ 显著小于临界值，此前研究视其为发散区域而强行排除，本文证明在此区域内两实特征值自然分离，最大特征值满足 $|\gamma_{i1}| + q_i \ell_i(t) \le 1 - \frac{\phi \lambda_i}{4}$。由此证明无论 $m$ 取何值，只要动量参数选取在安全阈值内，整个动力系统的谱半径与方差增长均受到严格抑制。

损失函数 / 训练策略¶

优化目标为插值范式下的二次损失函数。在算法执行中，核心超参数包括学习率 $\alpha$（理论中归一化为 1）与动量参数 $\beta$。动量系数依据批量大小 $m$ 分段指定： $$\beta = \begin{cases} 0 & \text{若 } m \le c_1 \\ 1 - \frac{c_1}{2m} & \text{若 } c_1 \le m \le c_2 \sqrt{\kappa} \\ 1 - \frac{c_1}{2c_2\sqrt{\kappa}} & \text{若 } m \ge c_2 \sqrt{\kappa} \end{cases}$$ 其中 $c_1, c_2 > 0$ 为绝对常数。在实践中，由于真实条件数 $\kappa$ 未知，对于小到中等规模批量可直接采用极简的先验设置 $\beta = 1 - 1/m$；而在超大批量阶段，则可通过双序列在线监控残差比值的自适应二分搜索策略（Algorithm 1）动态寻找最佳折中点。

实验关键数据¶

主实验¶

论文在 Scikit-learn 与 OpenML 的四个标准基准数据集（Covtype, California Housing, Abalone, Phoneme）上进行核岭回归（Kernel Ridge Regression）求解任务，对比了四种算法配置：标准小批量坐标下降（CD）、专门设计的高阶加速坐标下降（CDpp，基于 Lyapunov 双辅助序列）、理论推荐动量的 CD+NAG（$\beta = 1 - 1/m$）以及自适应动量版本的 CD+NAG（$\beta = \text{adaptive}$）。

下表汇总了各算法在达到预设收敛精度（误差容限 $\epsilon = 10^{-7}$ 或 $10^{-10}$）时所需的迭代次数对比（在不同批量大小 $m$ 下）：

数据集	批量大小 $m$	CD (无动量)	CDpp (专有加速)	CD+NAG ($\beta=1-1/m$)	CD+NAG (自适应 $\beta$)	相对无动量迭代减少比例
Covtype ($\epsilon=10^{-7}$)	$m=1$	$1.2 \times 10^5$	$3.5 \times 10^4$	$1.2 \times 10^5$	$1.2 \times 10^5$	0.0%
Covtype ($\epsilon=10^{-7}$)	$m=16$	$1.1 \times 10^5$	$1.8 \times 10^4$	$1.5 \times 10^4$	$1.3 \times 10^4$	88.2%
Covtype ($\epsilon=10^{-7}$)	$m=64$	$1.1 \times 10^5$ (外推)	$1.1 \times 10^4$	$3.8 \times 10^3$	$3.1 \times 10^3$	97.2%
Covtype ($\epsilon=10^{-7}$)	$m=256$	$1.1 \times 10^5$ (外推)	$7.2 \times 10^3$	$1.5 \times 10^3$	$9.5 \times 10^2$	99.1%
California Housing ($\epsilon=10^{-7}$)	$m=1$	$8.5 \times 10^4$	$2.2 \times 10^4$	$8.5 \times 10^4$	$8.5 \times 10^4$	0.0%
California Housing ($\epsilon=10^{-7}$)	$m=32$	$8.0 \times 10^4$	$8.1 \times 10^3$	$4.2 \times 10^3$	$3.9 \times 10^3$	95.1%
California Housing ($\epsilon=10^{-7}$)	$m=128$	$8.0 \times 10^4$ (外推)	$4.6 \times 10^3$	$1.4 \times 10^3$	$1.1 \times 10^3$	98.6%
Abalone ($\epsilon=10^{-10}$)	$m=64$	$9.2 \times 10^4$ (外推)	$9.8 \times 10^3$	$2.6 \times 10^3$	$2.4 \times 10^3$	97.4%

消融实验¶

消融实验重点考察了动量插值参数 $\omega$ 对算法性能的具体影响（从纯 HBM $\omega=0$ 渐进插值至 NAG $\omega=1$），以及固定理论先验 $\beta = 1 - 1/m$ 与自适应调整策略在不同批量下的功耗与总行采样总计算量（Total Work = 迭代次数 $\times$ 批量 $m$）。

动量配置 / 参数设定	评估维度	$m=1$ 表现	$m=16$ 表现	$m=64$ 表现	$m=256$ 表现	核心观察说明
HBM ($\omega=0.00$)	收敛所需迭代步数	接近基线	$1.9 \times 10^4$	$4.8 \times 10^3$	$1.9 \times 10^3$	具备显著加速，但略逊于高 $\omega$
混合动量 ($\omega=0.50$)	收敛所需迭代步数	接近基线	$1.7 \times 10^4$	$4.2 \times 10^3$	$1.6 \times 10^3$	曲线平滑过渡，理论速率恒定
NAG ($\omega=1.00$)	收敛所需迭代步数	接近基线	$1.5 \times 10^4$	$3.8 \times 10^3$	$1.4 \times 10^3$	实测表现最稳健且各批量均略优
CD+NAG ($\beta=1-1/m$)	总采样行数 (Total Work)	$1.2 \times 10^5$	$2.4 \times 10^5$	$2.4 \times 10^5$	$3.8 \times 10^5$	在 $m \le 64$ 内总计算量保持恒定（完美并行）
CD+NAG (自适应 $\beta$)	总采样行数 (Total Work)	$1.2 \times 10^5$	$2.1 \times 10^5$	$2.0 \times 10^5$	$2.4 \times 10^5$	超大批量跨过饱和点后自适应截断更优
专有加速 CDpp	总采样行数 (Total Work)	$3.5 \times 10^4$	$2.9 \times 10^5$	$7.0 \times 10^5$	$1.8 \times 10^6$	总计算量随 $m$ 迅速膨胀，无法完美并行

关键发现¶

完美并行化区间成立：无动量的普通 CD 随着批量 $m$ 增加，收敛所需的迭代次数几乎没有减少，导致总样本计算量（Total Work）呈线性剧烈飙升。相比之下，加入经典动量后，当 $m \le \Theta(\sqrt{\kappa})$ 时，迭代次数严格以 $\mathcal{O}(1/m)$ 的比例下降，总计算量保持常数，展示了清晰的“完美并行化”效应。
经典动量在大批量下反超专有加速方案：专有的 CDpp 方法在无批量（$m=1$）时因更精细的 Lyapunov 构造收敛更快；然而在并发大批量场景下，CDpp 的工作量迅速膨胀，而经典动量凭借其对方差消减的更佳吸收机制，在 $m \ge 16$ 后无论在迭代步数还是吞吐效率上均全面碾压 CDpp。
理论动量参数 $\beta=1-1/m$ 的实践极简性：实验证实，用户无需费力调参或估计数据矩阵的谱范数，仅采用理论推荐的 $\beta=1-1/m$ 即可在并行加速区间内逼近最优收敛速率；仅在 $m \gg \sqrt{\kappa}$ 进入饱和区时，自适应参数选择才显现出额外优势。

亮点与洞察¶

摆脱对角化依赖的舒尔分析法：通过采用舒尔三角分解替代常规的相似对角化，成功绕过了矩阵不可对角化或伪对角化时条件数爆炸的顽疾，这一证明工具为高阶随机非对称动力系统分析提供了可复用的数学范式。
矩阵方差递归代替黑盒随机浓度：直接针对随机转移矩阵外积建立分块递推控制，揭示了方差缩减与动量放大的精细正交机制，攻克了矩阵积谱范数发散的本质难题。
对现代深度学习优化实践的理论注脚：解释了为何深度学习实践中工程师极度偏好带动量的大批量并行训练（如 Adam/SGD+Momentum），指明了经典动量在过参数化插值范式下能够无损吃满 GPU 并行吞吐红利的理论根源。

局限与展望¶

目标函数受限于二次型强凸假设：本文理论建立在二次插值最小化设定之上（即 Hessian 处处恒定），虽然二次型是刻画过参数化神经网络局部训练动力学与经典随机线性求解器的重要理论基准，但尚不能直接泛化到非凸复杂损失曲面。
严格依赖完全插值范式：分析假定存在共同最优解 $\mathbf{w}^*$ 使得所有样本梯度同时归零（$f(\mathbf{w}^*; \xi)=0$）。若系统处于非插值或大残差噪声机制下，梯度的非渐进方差将阻止线性收敛并引发动量震荡。
理论常数偏保守：为确保全局所有极端特征值区间均收敛，理论定理中给出的绝对常数下界（例如 $C > 76800$）较为严苛，而数值实验表明算法对动量强度的鲁棒性远优于理论给出的最坏情况常数边界。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 彻底攻克了经典随机动量非对称矩阵转移分析中十余年未决的对角化奇异性瓶颈，首次建立任意批量下的完美并行化收敛界。
实验充分度: ⭐⭐⭐⭐ 覆盖四个标准回归基准集，对不同动量形态（HBM/NAG）、批量缩放曲线、参数敏感性进行了详尽评测与对比。
写作质量: ⭐⭐⭐⭐⭐ 逻辑主线极为清晰，从反思现有数学工具缺陷、引入舒尔分解到方差递推展开，推导严谨且层层递进。
价值: ⭐⭐⭐⭐⭐ 为大规模机器学习优化器设计、大批量分布式并行调度策略提供了极其扎实且深刻的理论依据。

数据集	批量大小 \(m\)	CD (无动量)	CDpp (专有加速)	CD+NAG (\(\beta=1-1/m\))	CD+NAG (自适应 \(\beta\))	相对无动量迭代减少比例
Covtype (\(\epsilon=10^{-7}\))	\(m=1\)	\(1.2 \times 10^5\)	\(3.5 \times 10^4\)	\(1.2 \times 10^5\)	\(1.2 \times 10^5\)	0.0%
Covtype (\(\epsilon=10^{-7}\))	\(m=16\)	\(1.1 \times 10^5\)	\(1.8 \times 10^4\)	\(1.5 \times 10^4\)	\(1.3 \times 10^4\)	88.2%
Covtype (\(\epsilon=10^{-7}\))	\(m=64\)	\(1.1 \times 10^5\) (外推)	\(1.1 \times 10^4\)	\(3.8 \times 10^3\)	\(3.1 \times 10^3\)	97.2%
Covtype (\(\epsilon=10^{-7}\))	\(m=256\)	\(1.1 \times 10^5\) (外推)	\(7.2 \times 10^3\)	\(1.5 \times 10^3\)	\(9.5 \times 10^2\)	99.1%
California Housing (\(\epsilon=10^{-7}\))	\(m=1\)	\(8.5 \times 10^4\)	\(2.2 \times 10^4\)	\(8.5 \times 10^4\)	\(8.5 \times 10^4\)	0.0%
California Housing (\(\epsilon=10^{-7}\))	\(m=32\)	\(8.0 \times 10^4\)	\(8.1 \times 10^3\)	\(4.2 \times 10^3\)	\(3.9 \times 10^3\)	95.1%
California Housing (\(\epsilon=10^{-7}\))	\(m=128\)	\(8.0 \times 10^4\) (外推)	\(4.6 \times 10^3\)	\(1.4 \times 10^3\)	\(1.1 \times 10^3\)	98.6%
Abalone (\(\epsilon=10^{-10}\))	\(m=64\)	\(9.2 \times 10^4\) (外推)	\(9.8 \times 10^3\)	\(2.6 \times 10^3\)	\(2.4 \times 10^3\)	97.4%

动量配置 / 参数设定	评估维度	\(m=1\) 表现	\(m=16\) 表现	\(m=64\) 表现	\(m=256\) 表现	核心观察说明
HBM (\(\omega=0.00\))	收敛所需迭代步数	接近基线	\(1.9 \times 10^4\)	\(4.8 \times 10^3\)	\(1.9 \times 10^3\)	具备显著加速，但略逊于高 \(\omega\)
混合动量 (\(\omega=0.50\))	收敛所需迭代步数	接近基线	\(1.7 \times 10^4\)	\(4.2 \times 10^3\)	\(1.6 \times 10^3\)	曲线平滑过渡，理论速率恒定
NAG (\(\omega=1.00\))	收敛所需迭代步数	接近基线	\(1.5 \times 10^4\)	\(3.8 \times 10^3\)	\(1.4 \times 10^3\)	实测表现最稳健且各批量均略优
CD+NAG (\(\beta=1-1/m\))	总采样行数 (Total Work)	\(1.2 \times 10^5\)	\(2.4 \times 10^5\)	\(2.4 \times 10^5\)	\(3.8 \times 10^5\)	在 \(m \le 64\) 内总计算量保持恒定（完美并行）
CD+NAG (自适应 \(\beta\))	总采样行数 (Total Work)	\(1.2 \times 10^5\)	\(2.1 \times 10^5\)	\(2.0 \times 10^5\)	\(2.4 \times 10^5\)	超大批量跨过饱和点后自适应截断更优
专有加速 CDpp	总采样行数 (Total Work)	\(3.5 \times 10^4\)	\(2.9 \times 10^5\)	\(7.0 \times 10^5\)	\(1.8 \times 10^6\)	总计算量随 \(m\) 迅速膨胀，无法完美并行