Estimating Implicit Regularization in Deep Learning¶

会议: NeurIPS 2026
arXiv: 2605.05436
OpenReview: https://openreview.net/forum?id=8J2wYjpdE2
领域: 学习理论
关键词: 隐式正则化, 梯度匹配, 泛化理论, 早停机制, Dropout

一句话总结¶

提出一种基于经验梯度匹配的隐式正则化估计框架，通过将经验损失梯度与参数化正则项梯度的偏差构建回归系统，首次在不需要解析推导的前提下从复杂深度网络训练轨迹或终点中定量恢复隐式正则项。

研究背景与动机¶

现代深度学习系统普遍处于高度过参数化状态，网络容量足以完美记忆训练样本，却依然能在测试集上保持优异的泛化能力。经典统计学习理论表明，避免过拟合的关键在于学习系统对简单解的偏好。除显式引入的先验（如权重衰减、卷积平移不变性）外，各种算法和架构技巧（如早停、Mini-batch SGD、Dropout）在优化过程中引入了深刻的隐式正则化效应，使得参数更新偏离了经验风险最小化的简单目标。

然而，现有的隐式正则化理论分析严重受限。绝大多数严谨数学推导仅适用于极端简化场景，例如矩阵分解、浅层线性网络或连续梯度流，面对现代复杂深度架构（非线性激活、批归一化、随机失活等）时，往往由于复杂的非凸动态而无法导出显式解析解。理论界迫切需要一种工具在真实网络中检验理论断言，而实践者也缺乏量化和诊断复杂超参数隐式归纳偏置的经验工具。

本文的切入角度是：优化轨迹中参数更新量与纯经验损失负梯度的系统性偏差，正是隐式正则化施加在优化系统上的直接反作用力。核心 idea：将隐式正则化建模为与经验损失共同优化的参数化正则项，利用损失梯度与候选正则项梯度之间的平衡关系构建梯度匹配估计器，从网络终点或训练轨迹中直接回归出隐式正则化系数。

方法详解¶

整体框架¶

该方法建立在正则化经验风险最小化（RERM）假设之上：假设观测到的参数更新并非仅由经验损失 $\mathcal{L}(\theta, D)$ 驱动，而是等价于联合最小化经验损失与未知正则项 $\mathcal{R}(\theta, D, \Lambda)$。在稳定点处，经验损失的负梯度必须恰好被正则项的正梯度抵消；而在训练动态过程中，实际参数更新步长与经验损失梯度的差异则对应着正则项梯度的反向推动。通过将参数化正则项的梯度作为特征、损失梯度或轨迹残差作为目标构建最小二乘回归，即可直接估计正则化超参数 $\Lambda$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["训练观测数据<br/>权重轨迹 θ 或收敛终点 θ̂"] --> B["终点或轨迹梯度分解<br/>计算经验损失梯度与更新偏差"]
    B --> C["候选正则项参数化族<br/>构建梯度特征设计矩阵 Φ"]
    C --> D["梯度匹配最小二乘求解<br/>求解正则化参数估计值 Λ̂"]
    D --> E["双重成功模式验证<br/>理论真值参数对比 或 显式重训练恢复"]

关键设计¶

1. 终点一阶稳态梯度匹配：将参数偏离损失极小点解释为正则项的反向抗衡 在标准经验风险最小化中，损失梯度收敛至零向量。而在实际训练终点 $\hat{\theta}$，残差梯度 $\nabla_{\theta}\mathcal{L}(\hat{\theta}, D)$ 往往并不为零，本文将该现象建模为系统达到了增广目标 $\mathcal{L}(\theta, D) + \mathcal{R}(\theta, D, \Lambda)$ 的平稳点。基于一阶最优性条件，正则项梯度必须与经验损失梯度大小相等、方向相反： $$-\nabla_{\theta}\mathcal{L}(\theta, D)\big|_{\hat{\theta}} = \nabla_{\theta}\mathcal{R}(\theta, D, \Lambda)\big|_{\hat{\theta}}$$ 为了求解未知的正则项参数 $\Lambda$，将该关系构建为均方误差最小化目标： $$\hat{\Lambda} = \arg\min_{\Lambda} \left\{ \frac{1}{p} \left\| \nabla_{\theta}\mathcal{R}(\theta, D, \Lambda)\big|_{\hat{\theta}} + \nabla_{\theta}\mathcal{L}(\theta, D)\big|_{\hat{\theta}} \right\|_2^2 \right\}$$ 当候选正则项为线性基函数组合 $\mathcal{R}(\theta, D, \Lambda) = \sum_{k=1}^r \lambda_k \mathcal{R}_k(\theta)$ 时，该优化问题退化为标准的 $p \times r$ 维普通最小二乘回归。损失梯度可通过向量-雅可比乘积（VJP）快速计算，避免显式实例化全输出维度的雅可比矩阵。针对单次训练终点仅能提供 $p$ 个方程而无法估计超过 $p$ 个自由度（如全对称正则化矩阵需要 $p(p+1)/2$ 个未知数）的问题，框架支持多数据集重训练或有放回 Bootstrap 重采样拼接设计矩阵，将有效参数自由度成倍扩展。

2. 轨迹增量偏差回归：捕捉优化动态与有限步长隐式正则项 当研究未收敛状态或随时间动态演化的正则化效应时，终点一阶平稳性不再成立。为此，框架进一步提出了基于轨迹步长偏差的估计机制。对于单步更新 $\Delta \theta_t = \theta_{t+1} - \theta_t = -\eta_t \nabla_{\theta}(\mathcal{L} + \mathcal{R})$，通过对比实际模型更新与无偏/基准优化路径（例如将离散欧拉梯度下降与连续梯度流 $\varphi_{\eta}(\theta) - \theta$ 进行局部泰勒展开对比），可以精确析出高阶项引起的瞬时偏差： $$\mathcal{T}(\theta_t, \eta) := \frac{\Delta\theta_{\text{flow}} - \Delta\theta_{\text{GD}}}{\eta} = \frac{\eta}{2} H(\theta_t) g(\theta_t) + O(\eta^2)$$ 通过在优化轨迹上沿途收集多个检查点的时间偏置数据点，建立时变参数回归方程，该机制能够以标量最小二乘闭式解直接拟合出有限步长隐式梯度正则化（IGR）系数，支持对训练早期与非稳态过程的动态归纳偏置进行解析。

3. 双重验证标准与严格恢复保证：区分真值恢复与函数等价性 对于估计结果的优劣，框架明确了两种相互独立的评价范式。第一种是“理论真值参数恢复”，适用于早停最小二乘或离散步长等具备解析理论指导的场景，直接核对估计系数 $\hat{\Lambda}$ 与解析值的一致性；第二种是“显式重训练功能等价性”，针对复杂网络中无法写出真值形式的场景，将训练技巧（如早停或 Dropout）移除，替换为显式正则项 $\mathcal{L}(\theta) + \mathcal{R}(\theta, \hat{\Lambda})$ 重新训练。论文在理论上证明了恢复定理：若增广目标函数 $f(\theta)$ 在 $\hat{\theta}$ 处局部强凸且海森矩阵正定 $\nabla^2 f(\hat{\theta}) \succ 0$，则显式重训练必然在局部邻域内唯一收敛到原隐式训练所得权重 $\hat{\theta}$。即使估计的正则项存在模型误设（例如用对角矩阵替代全矩阵），只要在相关特征空间满足梯度平衡，同样能实现权重的严格等价复现。

实验关键数据¶

主实验¶

论文在显式弹性网惩罚恢复、线性模型早停正则化矩阵恢复、Dropout 隐式惩罚估计以及离散步长隐式梯度正则化（IGR）四个基准上进行了验证。

实验任务	模型与数据配置	核心估计目标	理论预期或基准	估计结果与表现	验证结论
显式弹性网参数恢复	单隐层 200 宽 ReLU 网络，合成回归数据 ($n=5000, p=10$)	平滑 $\ell_1$ 强度 $\hat{\lambda}_1$ 与 $\ell_2$ 强度 $\hat{\lambda}_2$	预设 $6\times 6$ 参数网格，平滑参数 $\beta=10^{-3}$	在中间合理参数区间沿对角线完美拟合对数理论值	证实一阶梯度匹配可准确解耦多正则项
OLS 早停矩阵估计	$1000\times 10$ 高斯设计矩阵，$t=500$ 步固定迭代点	全对称正定正则化矩阵 $\hat{\Lambda}^{(t)} \in \mathbb{R}^{10\times 10}$	Ali et al. 解析矩阵 $VS((I-\eta S)^{-t}-I)^{-1}V^{\top}$	单点拟合秩不足，拼接 $m \ge 10$ 个独立端点后 Frobenius 误差趋近于 0	证实方程自由度饱和机制的有效性
早停对角与标量拟合	同上，单终点运行或追踪 $t \in [1, 1000]$ 迭代轨迹	对角矩阵 $\text{diag}(\hat{\Lambda})$ 或标量 $\hat{\lambda}_t I$	对角矩阵误设；标量 $\lambda_t \to 0$ 渐近衰减	对角显式重训练精确复现 $\hat{\theta}$；标量衰减曲线与特征值衰减完全对齐	证实欠参数化模型具备解释力与等价重现能力
深度 Dropout 估计	深度 3/5 层、宽度 128/256/512 MNIST 分类器	等效标量 $\ell_2$ 正则化强度 $\hat{\lambda}$	理论定性预测：自适应权重衰减强度随失活率上升	各深度与宽度下 $\hat{\lambda}$ 随 dropout rate 单调递增，窄网络更显著	首次经验验证深度非线性网络中 Dropout 的隐式 $\ell_2$ 效应
离散步长 IGR 恢复	5 层 tanh MLP，MNIST 数据子集，$T=5$ 步探测轨迹	隐式梯度正则化系数 $\hat{\lambda}$	Barrett & Dherin 解析系数 $\lambda = \eta p / 4$	在不同步长与宽度下，$\hat{\lambda}$ 与 $\eta p / 4$ 呈现极高线性一致性	证实基于轨迹导数的瞬时偏差回归机制有效

消融与灵敏度分析¶

采样与端点配置	估计误差度量 / 恢复表现	说明与关键机制
单终点固定迭代 ($m=1$)	欠定最小二乘，大部分非对角矩阵元坍缩为 0	仅有 $p=10$ 个方程，无法确定 $p(p+1)/2=55$ 个独立矩阵分量
多端点固定迭代 ($m=10$)	矩阵重构误差急剧下降，恢复理论全矩阵	独立重采样端点扩展了有效样本量 $p_{\text{eff}}$，跨过满秩阈值
变早停步长端点 ($m=1 \to 100$)	$\\|\hat{\Lambda}_m - \bar{\Lambda}\\|$ 随端点数平滑单调递减，无阶跃悬崖	真实端点自适应收敛步长差异丰富了梯度信号的多样性
Bootstrap 重采样 ($\sigma=1.0$)	重构误差劣于全零基线 $\\|\Lambda\\|_F$	低噪声下参数聚集在小邻域内，设计矩阵条件数差
Bootstrap 重采样 ($\sigma=10.0, m=100$)	显著超越零基线，成功恢复理论主结构	适度增加采样方差有助于提升 Bootstrap 设计矩阵的跨度覆盖

关键发现¶

隐式正则项的参数自由度受限于模型参数维度 $p$。当需要估计参数数量大于 $p$ 的高维结构（如全对称矩阵）时，必须通过多端点拼接或 Bootstrap 重采样增加无偏梯度方程组数量，其估计误差理论上以 $\mathcal{O}(\sqrt{r/p_{\text{eff}}})$ 衰减。
即使估计的正则项是欠参数化的（如用对角矩阵拟合稠密理论矩阵），只要满足当前数据点处的梯度反向平衡，将其作为显式惩罚项重新训练模型，依然能够在局部强凸条件下严格复原原始隐式训练所得的网络权重。
在深度非线性网络中，随着 Dropout 丢失概率从 0 提升至 0.5，估计出的等效 $\ell_2$ 惩罚项呈现严格的单调上升趋势；网络结构越窄，权重承担的归一化惩罚压力越大，证明 Dropout 在复杂深度架构中本质上行使着自适应权重衰减功能。

亮点与洞察¶

视角转换极其巧妙：传统文献试图从动力学微分方程直接积分推导隐式正则项，本文将问题逆向转化为“假设观测权重是最优解，需要何种反向正则化力场来抵消当前非零损失梯度”，将棘手的理论推导变成了可直接用反向传播求解的经验回归问题。
计算开销极为经济：利用损失函数关于输出梯度的向量-雅可比乘积（VJP），无需计算和存储高维雅可比矩阵，使得在成百上千万参数的真实深度神经网络上诊断正则化效应成为可能。
理论边界清晰诚实：明确区分了“参数真值识别（Identifiability）”与“函数功能等价（Rationalization）”，不仅证明了正定海森矩阵下的局部唯一重训练恢复定理，还指出了共线梯度导致估计方差膨胀（PAC 泛化界）的理论限制。

局限与展望¶

估计能力受制于候选正则项的假设空间设定：若未事先定义合理的参数化正则项结构族，方法无法无中生有地自动发现未知的正则化函数形式。
当候选正则项梯度的相关性极高时（如平滑 $\ell_1$ 在小权重处退化为二次型，与 $\ell_2$ 梯度近乎共线），回归系统的协方差矩阵呈现严重病态，导致估计方差急剧发散。
未来方向可探索非参数化神经网络拟合正则化势能面，或在超大模型微调阶段利用该工具实时监控不同超参数组合带来的归纳偏置漂移。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出利用残差梯度与增广目标平稳性进行经验隐式正则化参数回归的统一框架。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖线性早停、显式弹性网、深度 Dropout 及离散步长动力学，提供完备理论证明与多端点消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑推导严丝合缝，附录数学性质与边界条件讨论极为透彻。
价值: ⭐⭐⭐⭐⭐ 为深度学习理论与经验实践架设了一座实用的测量桥梁，对超参诊断和算法设计具备深远价值。

详细技术实现与实现细节¶

为保证数值估计的稳健性，算法在计算向量-雅可比积（VJP）时利用了反向传播图的局部前向展开，无需显式构建巨大的 Hessian 矩阵。对于深层卷积网络和注意力层，采用 Hutchinson 迹估计器对随机投影方向进行蒙特卡洛抽样，将计算复杂度从参数量平方降低至与前向推理等同的线性量级。

同时，在多极小值流形中，算法利用不同局部极大与稳定鞍点处的曲率差异，通过对偶空间投影自动分离梯度流中由显式目标函数诱导的有偏漂移与由优化器动力学引起的无偏扰动，从而实现了跨越不同学习率、动量因子及批次大小配置下的可转移隐式正则强度量化。

实验任务	模型与数据配置	核心估计目标	理论预期或基准	估计结果与表现	验证结论
显式弹性网参数恢复	单隐层 200 宽 ReLU 网络，合成回归数据 (\(n=5000, p=10\))	平滑 \(\ell_1\) 强度 \(\hat{\lambda}_1\) 与 \(\ell_2\) 强度 \(\hat{\lambda}_2\)	预设 \(6\times 6\) 参数网格，平滑参数 \(\beta=10^{-3}\)	在中间合理参数区间沿对角线完美拟合对数理论值	证实一阶梯度匹配可准确解耦多正则项
OLS 早停矩阵估计	\(1000\times 10\) 高斯设计矩阵，\(t=500\) 步固定迭代点	全对称正定正则化矩阵 \(\hat{\Lambda}^{(t)} \in \mathbb{R}^{10\times 10}\)	Ali et al. 解析矩阵 \(VS((I-\eta S)^{-t}-I)^{-1}V^{\top}\)	单点拟合秩不足，拼接 \(m \ge 10\) 个独立端点后 Frobenius 误差趋近于 0	证实方程自由度饱和机制的有效性
早停对角与标量拟合	同上，单终点运行或追踪 \(t \in [1, 1000]\) 迭代轨迹	对角矩阵 \(\text{diag}(\hat{\Lambda})\) 或标量 \(\hat{\lambda}_t I\)	对角矩阵误设；标量 \(\lambda_t \to 0\) 渐近衰减	对角显式重训练精确复现 \(\hat{\theta}\)；标量衰减曲线与特征值衰减完全对齐	证实欠参数化模型具备解释力与等价重现能力
深度 Dropout 估计	深度 3/5 层、宽度 128/256/512 MNIST 分类器	等效标量 \(\ell_2\) 正则化强度 \(\hat{\lambda}\)	理论定性预测：自适应权重衰减强度随失活率上升	各深度与宽度下 \(\hat{\lambda}\) 随 dropout rate 单调递增，窄网络更显著	首次经验验证深度非线性网络中 Dropout 的隐式 \(\ell_2\) 效应
离散步长 IGR 恢复	5 层 tanh MLP，MNIST 数据子集，\(T=5\) 步探测轨迹	隐式梯度正则化系数 \(\hat{\lambda}\)	Barrett & Dherin 解析系数 \(\lambda = \eta p / 4\)	在不同步长与宽度下，\(\hat{\lambda}\) 与 \(\eta p / 4\) 呈现极高线性一致性	证实基于轨迹导数的瞬时偏差回归机制有效

采样与端点配置	估计误差度量 / 恢复表现	说明与关键机制
单终点固定迭代 (\(m=1\))	欠定最小二乘，大部分非对角矩阵元坍缩为 0	仅有 \(p=10\) 个方程，无法确定 \(p(p+1)/2=55\) 个独立矩阵分量
多端点固定迭代 (\(m=10\))	矩阵重构误差急剧下降，恢复理论全矩阵	独立重采样端点扩展了有效样本量 \(p_{\text{eff}}\)，跨过满秩阈值
变早停步长端点 (\(m=1 \to 100\))	\(\\|\hat{\Lambda}_m - \bar{\Lambda}\\|\) 随端点数平滑单调递减，无阶跃悬崖	真实端点自适应收敛步长差异丰富了梯度信号的多样性
Bootstrap 重采样 (\(\sigma=1.0\))	重构误差劣于全零基线 \(\\|\Lambda\\|_F\)	低噪声下参数聚集在小邻域内，设计矩阵条件数差
Bootstrap 重采样 (\(\sigma=10.0, m=100\))	显著超越零基线，成功恢复理论主结构	适度增加采样方差有助于提升 Bootstrap 设计矩阵的跨度覆盖