Two Speeds of Learning: A Representation-Readout Decomposition of Grokking and Double Descent¶

会议: NeurIPS 2026
arXiv: 2605.27078
OpenReview: https://openreview.net/forum?id=Ie9GknsUHy
领域: 优化/理论
关键词: 点悟现象, 双重下降, 表示学习, 读出层对齐, 流形几何

一句话总结¶

将神经网络解耦为非线性编码器与线性读出层，提出结合临界维度、流形几何、线性探测与末层 NTK 对齐的自顶向下诊断框架，揭示点悟与双重下降源于表示学习与读出校准的“两种学习速度”失衡，并成功判别虚假泛化。

研究背景与动机¶

在深度神经网络的常规训练监控中，训练损失与准确率是最核心的进度反馈信号。然而，泛化动力学中反复出现的反直觉反常现象对这一朴素监控逻辑提出了严峻挑战：在点悟（grokking）现象中，模型早已极速过拟合训练集并达到近乎零损失，而测试性能在经过漫长的迟滞周期后突然跳跃式爆发；在历元级双重下降（epoch-wise double descent）中，训练损失单调下降，测试误差却呈现下降、恶化再恢复的非单调波动。过去的研究多将这些反常解释为突发相变或依靠特定任务的代数结构（如模加法傅里叶分析、宇称布尔分析）构建定制化进度指标，缺乏一个跨任务、跨架构且具诊断能力的通用分析框架。

这一理论与实用困境的核心矛盾在于：既有的任务不可知解释（如基于神经切核的 lazy-to-rich 理论）将点悟简化为特征不动的“惰性（lazy）”机制到特征重组的“富裕（rich）”机制的突发二元跃迁；然而这种二元论无法解释为何在迟滞阶段特征实际上已在持续演变，更无法区分究竟是真正的表示泛化还是特定训练技巧（如过度放大初始权重、标签噪声）诱导出的病态拟合产物。

本文的切入角度是：将网络解耦为负责特征学习的编码器和负责映射到标签空间的线性读出层，分别测量两者在训练全生命周期中的动态交互。核心 idea：将网络学习动态解耦为编码器的表示学习与末层的读出校准，通过临界维度与末层 NTK 对齐度量揭示两者的相对速度失衡——点悟并非表示学习的突发相变，而是持续渐进的特征几何解缠与早期训练集偏置的读出校准之间的速度差博弈。

方法详解¶

整体框架¶

本文针对分类网络 \(f(\mathbf{x}) = W \phi_{\theta}(\mathbf{x})\) 提出自顶向下的“表示-读出”解耦框架。输入样本首先经由非线性编码器 \(\phi_{\theta}: \mathcal{X} \to \mathbb{R}^N\) 映射为特征表示，形成由类别条件标记的特征流形 \(\mathcal{M}_c = \{\phi_{\theta}(\mathbf{x}): \mathbf{x} \in \mathcal{X}_c\}\)；随后由线性读出层 \(W \in \mathbb{R}^{C \times N}\) 将表示映射为 logits 输出。整个监控系统通过构建四项任务无关的几何与代数探针，持续解耦追踪特征空间的几何演化与读出层的梯度偏置状态。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入样本 x"] --> B["非线性编码器 ϕ_θ<br/>映射到特征流形 M_c"]
    B --> C["临界维度 N_crit & GLUE 几何测度<br/>评估特征解缠与内在维度"]
    B --> D["线性探测器评估<br/>度量当前表示的最优可分潜力"]
    B --> E["末层 NTK-标签对齐度量<br/>评估特征流形引导读出梯度的方向"]
    B --> F["线性读出层 W<br/>映射特征到类别 Logits"]
    F --> G["模型输出与泛化诊断<br/>识别读出过拟合 / 虚假泛化模式"]

关键设计¶

1. 临界维度与 GLUE 几何测度：量化平均意义下的特征流形解缠程度 传统最优间隔或线性探测只能衡量特定分离超平面的极值表现，对特征流形在正交方向上的厚度或退化不敏感。本文引入基于 GLUE（Geometry Linked to Untangling Efficiency）理论的临界维度 \(N_{\text{crit}}\)，定义为使类别流形在随机正交投影子空间中保持线性可分的期望最小维度：

\[N_{\text{crit}} = \mathbb{E}_{\mathbf{t} \sim \mathcal{N}(0, I_N), \mathbf{y} \sim \mathcal{Y}} \left[ \min_{\mathbf{v} \in \mathbb{R}^N: y_c \langle \mathbf{v}, \mathbf{z}_c \rangle \geq 0 \, \forall \mathbf{z}_c \in \mathcal{M}_c, \forall c} \|\mathbf{v} - \mathbf{t}\|_2^2 \right]\]

\(N_{\text{crit}}\) 越小代表类别流形在多维度投影下均能稳健分离，即平均可分性与解缠度越强。通过强对偶性，框架进一步分解出表征类内几何的有效流形维度 \(D\)、有效流形半径 \(R\)，以及表征类间几何的锚点中心对齐度 \(\rho_c\) 与轴向对齐度 \(\rho_a\)，从而透视不同模型架构优化特征流形的内在机制差异。

2. 读出层对齐度量与线性探测间隙：解耦读出偏置与表示潜力 为了诊断读出层是否忠实挖掘了当前表示的泛化能力，框架构建了正则化线性探测（Linear Probe, LP）与末层 NTK-标签对齐（Last-layer NTK-label Alignment）两套探针。线性探测在冻结当前 \(\phi_{\theta}\) 的基础上，通过强权重衰减训练最优线性分类器；若 LP 泛化良好而模型本身测试精度低下，表明瓶颈在读出层的训练集偏置而非编码器能力。末层 NTK 对齐通过特征 Gram 矩阵 \(K = \Phi \Phi^\top\) 与居中单热标签核 \(Y\) 之间的中心化核对齐（CKA）度量：

\[\mathrm{Align}(K_{\text{NTK}}, Y) = \frac{\mathrm{HSIC}(K_{\text{NTK}}, Y)}{\sqrt{\mathrm{HSIC}(K_{\text{NTK}}, K_{\text{NTK}}) \mathrm{HSIC}(Y, Y)}}\]

该值精确对应于线性读出在梯度流下初始损失衰减率 \(-\dot{\ell}(0) \propto \mathrm{HSIC}(K_{\text{NTK}}, Y)\)。通过分别评估训练集与测试集的 NTK 对齐度差值 \(\mathrm{Align}_{\text{train}} - \mathrm{Align}_{\text{test}}\)，能够实时监测读出层的更新方向是否被训练集样本主导。

3. 虚假泛化诊断签名：辨识非标准训练配方引起的虚假点悟与双重下降 针对通过过大初始权重（如 MNIST 上放大 4-6 倍）或严重标签噪声人为触发的反常现象，框架制定了四条结构性诊断准则：(1) 读出过拟合（模型泛化间隙显著超出 LP 间隙）；(2) 表示退化（LP 准确率随训练下降且 \(N_{\text{crit}}\) 反常上升）；(3) 次优读出（LP 准确率显著压倒模型端到端准确率）；(4) 虚假对齐主导（噪声/虚假信号的 NTK 对齐度超过真实任务对齐度）。若点悟伴随着早期表示退化，则表明所谓迟滞泛化仅是破坏性初始化后读出校准艰难挣扎的虚假伪影。

损失函数 / 训练策略¶

论文在探究中涵盖了全方位的任务与架构设定： - 算法任务：模加法（\(p=113\)）、置换复合（\(S_5\) 群，\(C=120\)）和稀疏宇称（\(n=40, k=3\)），分别在 MLP 与 1 层单块 Transformer 解码器/编码器上训练；优化器采用 AdamW（权重衰减 1.0）或 SGD。输出缩放因子 \(\beta\) 用于调节 lazy/rich 倾向。 - 图像任务：采用 3 层 MLP 在 MNIST 上探究大初始权重尺度（\(\alpha=6.0\)）导致的点悟伪影；采用 ResNet-18 在 CIFAR-10 上引入 0%、10%、20% 对称标签噪声研究历元级双重下降。 - 探测计算：线性探测器使用 AdamW（学习率 \(10^{-3}\)，权重衰减 1.0）迭代 200 个 full-batch epoch，确保严格评估表示质量。

实验关键数据¶

主实验¶

在算法点悟任务中，关键测试在于考察表示学习在点悟发生前（泛化准确率跃升前）是否已经启动，以及在非点悟对照组下的表现。论文测量了各阶段临界维度 \(N_{\text{crit}}\) 的相对下降比例和末层 NTK 训练-测试对齐间隙：

任务 & 架构配置	训练总历元	训练达 100% 阶段 \(N_{\text{crit}}\) 降幅占比	点悟爆发前 \(N_{\text{crit}}\) 累计降幅占比	峰值训练-测试 NTK 对齐间隙	最终测试准确率
模加法 (ModAdd) MLP	2,000	~32.4%	~71.8%	显著正偏 (峰值 ~0.25)	100.0%
模加法 (ModAdd) Transformer	500	~18.6%	~54.2%	显著正偏 (峰值 ~0.31)	100.0%
置换复合 (PermComp) MLP	10,000	~24.1%	~68.5%	显著正偏 (峰值 ~0.38)	100.0%
置换复合 (PermComp) Transformer	400	~21.3%	~58.9%	显著正偏 (峰值 ~0.29)	100.0%
稀疏宇称 (SparseParity) MLP	2,000	~15.2%	~46.7%	显著正偏 (峰值 ~0.42)	100.0%
稀疏宇称 (SparseParity) Transformer	3,000	~12.0%	~38.5%	显著正偏 (峰值 ~0.22)	100.0%
非点悟对照组 (PermComp MLP)	1,000	均匀渐进	0% (无迟滞期)	趋近于 0 (<0.05)	100.0%

消融实验与虚假学习诊断¶

论文针对 MNIST 虚假点悟（通过极端初始化权重倍率 \(\alpha=6.0\) 和 \(N=1000\) 样本诱导）以及 CIFAR-10 双重下降（标签噪声 20%）进行了诊断分析与标准训练消融对比：

实验场景与训练配置	阶段特征	探测器表现 (LP Acc)	临界维度 \(N_{\text{crit}}\) 演化	NTK 对齐度动态	诊断结论
MNIST 虚假点悟 (\(\alpha=6.0\))	前期记忆阶段	早期由 88% 下降至 72%	反常持续上升	读出泛化间隙远大于 LP	签名 1+2 触发：表示严重退化，非真实富裕特征演进
MNIST 标准基线 (\(\alpha=1.0\))	全程平稳收敛	单调上升并稳定在 >97%	单调下降	训练/测试对齐一致平稳	虚假签名完全消除，无点悟迟滞现象
CIFAR-10 双重下降 (20% 噪声)	谷底下潜期	停滞在 ~78% (优于端到端)	反常上升	清洁标签对齐度下降	签名 2+3 触发：表示受损且读出严重次优
CIFAR-10 双重下降 (20% 噪声)	谷底回升期	缓慢爬升	缓慢回落	噪声标签对齐超过清洁标签	签名 4 触发：虚假/噪声标签主导梯度方向
CIFAR-10 无噪声基线 (0% 噪声)	单调收敛	随主模型单调上升	单调持续下降	清洁对齐平稳占据主导	双重下降谷底与异常签名完全消失

关键发现¶

打破 lazy-to-rich 二元突变假设：在所有的算法点悟基准中，表示学习在训练集准确率饱和至测试集爆发的漫长“静默期”中一直在发生，\(N_{\text{crit}}\) 的总降幅中有 20%~80% 均发生在点悟爆发前，表明特征解缠是一个缓慢但从未停止的平滑渐进过程。
读出偏置是泛化迟滞的主因：在训练精度达到 100% 时，读出层被迅速拉入专门拟合训练集的子空间，导致训练与测试 NTK 对齐间隙达到峰值；只有当底层编码器将流形解缠至足够高容量时，读出层才被拉回泛化方向。
架构决定的几何路径分化：在相同任务上，MLP 与 Transformer 展现出截然相反的几何解缠路径——MLP 通过显著降低轴向对齐 \(\rho_a\) 促成解缠（伴随中心对齐 \(\rho_c\) 劣化），而 Transformer 则主要通过大幅降低中心对齐 \(\rho_c\) 实现流形分离。

亮点与洞察¶

解耦分析机制：将网络严格切分为“表示生成器”与“线性读出器”，绕过了具体任务的复杂底层电路细节，构建了跨架构通用的宏观动力学分析范式。
理论联系紧密：严密论证了末层 NTK-标签对齐度就是梯度流下读出层初始损失衰减率的数学本质，为度量学习速度提供了坚实的动力学物理意义。
伪反常识别能力：证明了文献中部分通过非标准手段（高初始权重、极小样本、标签噪声）造出的点悟与双重下降，本质上是表示被暴力破坏后的修复过程或次优读出拟合伪影，为该领域的机制解释提供了去伪存真的准绳。

局限与展望¶

解耦位置局限于最后一层：当前分析仅在倒数第一层线性读出处进行拆解，尚未向中间隐藏层拓展多层级级联解耦。
任务代数特异性利用不足：作为通用框架，其牺牲了一部分对特定群论对称性（如有限群不可约表示与周期傅里叶模态）的直观解释力。
大模型与真实落地考量：GLUE 几何测度与临界维度在高维特征与大样本下的计算需要采样近似，未来需进一步开发适用于数十亿参数大语言模型预训练的轻量化实时监控工具。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 提出“两种学习速度”的解耦假说，以任务无关的表示流形与 NTK 探针重塑了对点悟与双重下降的认知。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 类任务、MLP/Transformer/ResNet-18 多架构，且细致对比了真伪点悟与对照消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，数学推导与实验论证高度咬合，诊断准则清晰实用。
价值: ⭐⭐⭐⭐⭐ 为深入探索网络非单调泛化动力学与安全可解释性提供了极具潜力的宏观分析工具。