Unveiling Memorization–Generalization Coexistence: A Case Study on Arithmetic Tasks with Label Noise¶

会议: NeurIPS 2026
arXiv: 2605.18022
领域: 其他
关键词: 记忆与泛化、标签噪声、双重下降、主频滤波、神经元解耦

一句话总结¶

本文以模运算任务为受控试验台，深入剖析了过参数化神经网络在严重标签噪声下记忆与泛化共存的内在机理，揭示模型在拟合噪声的同时内部已完整习得代数规则结构，通过主频滤波可在高达 80% 噪声下恢复极高泛化准确率，同时证明记忆与泛化在神经元层级呈现深度纠缠。

研究背景与动机¶

现代大语言模型和深度神经网络的成功在很大程度上依托于模型容量的扩展，随着参数量的激增，模型在结构化任务中展现出了捕获底层抽象规律的涌现泛化能力。然而在现实训练场景中，数据往往充斥着错误标注、事实矛盾与随机扰动等高强度标签噪声。经典统计学习理论常认为过拟合噪声必然破坏泛化能力，但深度过参数化网络却展现出良性过拟合（benign overfitting）与双重下降（double descent）等反直觉现象——模型既能完全死记硬背下所有随机噪声标签，又能对未见分布保持极佳的测试泛化。

深入探索这种记忆（memorization，即对特定离散噪声标签的逐点拟合）与泛化（generalization，即对未见样本普遍适用的抽象规则挖掘）之间的微观冲突机制一直面临严峻阻碍。在自然语言或真实视觉任务中，测试样本往往与训练样本共享局部纹理、语义先验或分布相关性，高测试精度无法直接区分模型是真正掌握了全局底层规则，还是仅仅利用了虚假相关捷径。为此，本文采用模运算（如模加法 $a \circ b = (a + b) \bmod P$）作为高度可控的实验载体。模运算不仅具有规则泛化与逐点记忆的严格数学二元边界，表现出显式的迟滞涌现（grokking）特征，更具备二次激活网络下的解析边缘最大化解，为追踪模型内部表征的演变提供了精确的显微镜。

本文通过在模运算中显式注入不同比例的均匀标签噪声，系统追踪模型在优化路径、内部表征和神经元组织上如何调和数学规则与随机噪声的冲突。核心 idea：以模运算为受控分析环境，证明过参数化网络在插值拟合随机噪声的同时内部已隐式构建了对称代数规则表征，通过主频滤波可将潜伏的规则结构从噪声插值中无损提取，并揭示记忆与泛化在物理神经元尺度呈现高度分散与深度纠缠的本征特性。

方法详解¶

整体框架¶

本文主要研究模运算分类任务 $a \circ b = c$，输入为 $a, b \in \{0, \dots, P-1\}$ 的 one-hot 编码向量 $\bm{e}_a, \bm{e}_b \in \mathbb{R}^P$，输出经过具有 $M$ 个隐藏神经元的双层神经网络 $\bm{f}_\theta(a, b) = \bm{W} \phi(\bm{U} \bm{e}_a + \bm{V} \bm{e}_b) + \bm{\mu}$，通过交叉熵损失函数进行端到端全批次训练。训练集随机注入比例为 $\alpha$ 的对称或非对称标签噪声 $\tilde{c} \sim \text{Uniform}(\{0, \dots, P-1\} \setminus \{c\})$。

整个分析框架聚焦于三个核心层面的剖析：首先在训练轨迹层面，对比干净样本与噪声标签在初期的拟合速率；其次在隐式表征层面，借助二次激活两层网络的解析余弦解，设计针对神经元权重傅里叶谱的主频滤波算法（Frequency Filtration, FF），剥离高频噪声残差；最后在拓扑结构层面，提出任务无关的神经元强度评估指标（Neuron Strength, Str.），执行贪心网络划分，探究泛化能力是否可局部化到特定神经元子集。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据 (a, b)<br/>注入比例 α 的离散标签噪声"] --> B["全批次梯度动力学与反常早期拟合分析<br/>样本梯度投影差异驱动噪声优先记忆"]
    B --> C["过参数化网络隐式表征共存<br/>代数周期规则与散乱噪声插值同存"]
    C --> D{"机制解耦与规则提取"}
    D -->|频域投影视角| E["基于二次激活解析解的主频滤波 (FF)<br/>保留峰值主频分量，剥离高频噪声残差"]
    D -->|神经元重要性视角| F["任务无关神经元强度 (Str.) 与网络划分算法<br/>基于输出裕度上限评估重要度并贪心划分"]
    E --> G["规则泛化子网 f^G (频域)<br/>极端80%噪声下恢复近100%泛化"]
    F --> H["剪枝泛化子网 f^M_G (神经元级)<br/>部分提升泛化但受限神经元级纠缠"]

关键设计¶

1. 全批次梯度动力学与反常早期拟合分析：揭示噪声优先记忆的梯度投影机制

传统深度学习经验普遍认为网络在早期倾向于优先学习低频平滑的典型样本，而将难样本和噪声推迟到后期拟合（这也是早停策略有效的理论前提）。然而，本文在全批次优化下观察到了一个反常动力学现象：在训练最初期，噪声标签的记忆准确率上升显著早于干净标签。为了从机理上解释这一现象，本文将全训练损失拆解为干净子集损失与噪声子集损失 $L(\theta) = L_{\mathrm{c}}(\theta) + L_{\mathrm{n}}(\theta)$。在学习率为 $\eta$ 的梯度更新下，干净与噪声损失的一阶下降量受自身梯度与总梯度的对齐程度支配： $$\Delta L_{\mathrm{c}} \approx -\eta \langle \nabla L_{\mathrm{c}}, \nabla L_{\mathrm{c}} + \nabla L_{\mathrm{n}} \rangle, \quad \Delta L_{\mathrm{n}} \approx -\eta \langle \nabla L_{\mathrm{n}}, \nabla L_{\mathrm{c}} + \nabla L_{\mathrm{n}} \rangle$$ 作者定义了归一化的单样本损失下降速率指标 $s_{\mathrm{c}} = \frac{\langle \nabla L_{\mathrm{c}}, \nabla L_{\mathrm{c}} + \nabla L_{\mathrm{n}} \rangle}{|\mathcal{D}_{\mathrm{c}}|}$ 与 $s_{\mathrm{n}} = \frac{\langle \nabla L_{\mathrm{n}}, \nabla L_{\mathrm{c}} + \nabla L_{\mathrm{n}} \rangle}{|\mathcal{D}_{\mathrm{n}}|}$。实证发现，尽管在初期干净梯度与噪声梯度存在方向冲突（$\langle \nabla L_{\mathrm{c}}, \nabla L_{\mathrm{n}} \rangle < 0$），但两者的单样本速率均为正。由于噪声比例 $\alpha$ 较小时噪声样本总量远少于干净样本（$|\mathcal{D}_{\mathrm{n}}| \ll |\mathcal{D}_{\mathrm{c}}|$），全批次梯度为每一个孤立噪声样本施加的单样本推动强度反而显著大于干净样本，导致 $s_{\mathrm{n}} > s_{\mathrm{c}}$。这种由于样本规模不对称导致的单样本梯度聚焦效应，是噪声早期被快速记忆的内在根源。

2. 基于二次激活解析解的主频滤波 (FF)：从权重中解耦代数规则与噪声残差

当标签噪声比例极端增加至 80% 时，标准 ReLU 网络的原始测试准确率几乎完全坍塌。这引发了关键疑问：模型究竟是未曾学到底层规则，还是规则已经习得但被输出层拟合噪声的杂散激活所掩蔽？已知在二次激活函数 $\phi(z) = z^2$ 下，模加法边缘最大化两层网络的解析解严格具有余弦周期形式： $$u_{mi} = \lambda \cos\left(\frac{2\pi}{P}\omega_m i + \varphi_m^{(a)}\right), \quad v_{mj} = \lambda \cos\left(\frac{2\pi}{P}\omega_m j + \varphi_m^{(b)}\right), \quad w_{mk} = \lambda \cos\left(\frac{2\pi}{P}\omega_m k + \varphi_m^{(c)}\right)$$ 且相位满足代数恒等关系 $\varphi_m^{(a)} + \varphi_m^{(b)} \equiv \varphi_m^{(c)} \pmod{2\pi}$。虽然 ReLU 网络缺乏精确解析形式，但经验发现其权重向量同样展现出明显的空间周期震荡。

本文提出主频滤波（Frequency Filtration, FF）机制：对每个隐藏神经元 $m$，利用离散傅里叶变换矩阵 $\bm{F} \in \mathbb{C}^{P \times P}$ 计算输出权重 $\bm{w}_m$ 的频谱 $\tilde{\bm{w}}_m = \bm{F} \bm{w}_m$；提取幅值最大的主导频率 $\omega_m$，构造主频投影算子 $\bm{P}_{G,m} = \bm{F}^H \bm{F}_G(\bm{w}_m)$ 与残差算子 $\bm{P}_{R,m} = \bm{I} - \bm{P}_{G,m}$。随后将权重严格分解为规则泛化部分与噪声残差部分： $$(\bm{u}_m, \bm{v}_m, \bm{w}_m) = (\bm{u}_m^G, \bm{v}_m^G, \bm{w}_m^G) + (\bm{u}_m^R, \bm{v}_m^R, \bm{w}_m^R)$$ 通过保留主频分量构建子网 $\{\bm{U}^G, \bm{V}^G, \bm{W}^G, \bm{\mu}\}$，实验证实该子网不仅准确率几乎不受 80% 极端噪声的影响，而且其提取出的相位精确满足 $\varphi_m^{(a)} + \varphi_m^{(b)} \approx \varphi_m^{(c)}$。这确凿证明了代数泛化规则在模型内部完好保留，仅被拟合噪声所需的高频残差所掩盖。

3. 任务无关神经元强度 (Str.) 与网络划分算法：探测神经元维度的记忆与泛化纠缠

尽管主频滤波效果惊人，但它高度依赖于傅里叶变换与周期性代数先验，难以直接平移至缺乏自然周期的乘法任务或通用网络中。为探索网络能否在物理神经元粒度实现任务无关解耦，本文提出了衡量神经元对输出裕度最大潜在贡献的神经元强度指标（Neuron Strength, Str.）： $$\text{Str}_m \coloneqq \lVert\bm{w}_m\rVert_\infty \phi\left(\lVert\bm{u}_m\rVert_\infty + \lVert\bm{v}_m\rVert_\infty\right)$$ 对比依赖傅里叶频域变换的逆参与率指标（$\text{IPR}_m \coloneqq (\lVert\tilde{\bm{w}}_m\rVert_4 / \lVert\tilde{\bm{w}}_m\rVert_2)^4$），Str. 完全摆脱了任务先验。

基于此指标，作者设计了双向贪心网络划分算法（Algorithm 1）：先依据重要性得分降序排列神经元，从上至下累加神经元并验证验证集精度，选出使泛化准确率达到顶峰的子集 $\mathcal{M}^G$（规模为 $k^G$）；再从下至上筛选能以最小规模满足噪声记忆阈值 $\tau$ 的子集 $\mathcal{M}^R$（规模为 $k^R$）。研究发现，当网络宽度充分大时，两子集确实互不重叠（$\gamma^G + \gamma^R \le 1$），证明网络中存在神经元专业化的趋势；然而，即使剥离了高强度泛化子网 $\bm{f}_{\mathcal{M}^G}$，其测试性能提升仍然显著弱于全网直接做 FF，在 $\bm{f}_{\mathcal{M}^G}$ 内部再做 FF 也无法达到全网 FF 的效果。这揭示了一个深刻结论：泛化规则并非孤立存放在特定“纯净神经元”中，而是以弥散重叠的方式分布在整个网络的所有神经元之中，单个神经元同时承担着规则拟合与噪声记忆的双重角色。

损失函数 / 训练策略¶

模型采用标准多分类交叉熵损失，全数据集全批次训练 200,000 个 epoch。优化器主要采用 AdamW（默认学习率 $10^{-3}$，前 10 步线性 warmup，权重衰减系数控制在 0.001 至 1.0 之间），并广泛对照了 Adam、Muon 以及 SGD。对于模加法任务，固定质数模数 $P = 113$（样本总量 $P^2 = 12769$），训练集、验证集与测试集划分比例为 50%、20% 与 30%。隐藏层宽度覆盖 $M = 2^k + 1$（$k \in \{4, \dots, 12\}$，采用奇数宽度以匹配 ReLU 在奇偶宽度下的泛化特性）。

实验关键数据¶

主实验¶

为了验证频域解耦策略在复杂架构与不同任务中的普适性，作者不仅在两层神经网络上进行了验证，还将主频滤波扩展至具备多头注意力和残差连接的单层 Transformer 上（在 unembedding 预测头中保留能量最高的前 20 个主频分量并滤除其余分量），并在注入噪声的模加法任务上展开评估。

模型与评估阶段	干净训练样本准确率 (Clean Acc.)	噪声标签训练准确率 (Noisy Acc.)	干净测试集泛化准确率 (Test Acc.)	核心结论与机制表现
Transformer (滤波前, Raw)	100.0%	100.0%	76.8%	完美插值全部样本，但噪声拟合压制了测试泛化
Transformer (滤波后, Top-20 FF)	98.1%	36.8%	87.8%	噪声记忆骤降 63.2%，测试准确率大幅提升 +11.0%
两层 ReLU ($M=4097, \alpha=0.3$, Raw)	100.0%	100.0%	~76.0%	发生 grokking，完全记忆噪声，测试集存在显著泛化间隙
两层 ReLU ($M=4097, \alpha=0.3$, FF)	~99.8%	~0.0%	~99.5%	彻底剔除高频记忆残差，恢复近乎完美的理论泛化上限
两层 ReLU ($M=4097, \alpha=0.8$, Raw)	100.0%	100.0%	<15.0%	极高噪声下原始预测崩塌，规则表征完全被噪声掩盖
两层 ReLU ($M=4097, \alpha=0.8$, FF)	~98.5%	~0.0%	~97.8%	证实极端噪声下代数规则依然在底层完整习得

消融实验¶

消融一：全批次优化下早期拟合反常动力学（MNIST 跨域验证） 为了证明“噪声标签在训练最初期优先于干净标签被拟合”并非模运算特有的傅里叶伪影，作者在 MNIST 数据集上使用三层 MLP（隐藏维度 $[1024, 256]$，AdamW 学习率 $0.001$）进行全批次梯度下降测试，记录前两个 Epoch 的准确率。

噪声注入比例	训练轮次 (Epoch)	噪声样本拟合率 (Noisy Acc.)	干净样本拟合率 (Clean Acc.)	差异态势 ($\Delta_{\mathrm{noisy}-\mathrm{clean}}$)
$\alpha = 0.05$	Epoch 1	10.87%	2.86%	+8.01% (噪声样本优先快速被单样本强梯度更新拟合)
$\alpha = 0.05$	Epoch 2	6.47%	46.29%	-39.82% (干净样本主导特征涌现，噪声拟合被迅速抑制)
$\alpha = 0.20$	Epoch 1	10.75%	2.89%	+7.86% (高噪声下依旧保持初始轮次对离散噪声的优先记忆)
$\alpha = 0.20$	Epoch 2	5.71%	48.09%	-42.38% (结构化主成分梯度快速拉升全局泛化特征)

消融二：网络解耦方式与后处理策略对比（模加法 $\alpha=0.3$） 针对两层 ReLU 网络在训练收敛后，对比不同神经元剪枝策略（IPR 与 Str.）以及频域滤波的作用效果。

处理策略 / 子网形式	依赖先验	选定神经元比例 ($\gamma$)	测试集准确率	噪声记忆保留度	核心机理表现
全模型原始输出 ($f_{\theta}$)	无	100.0%	~76.0%	100.0%	记忆与泛化混合输出
神经元剪枝 ($f_{\mathcal{M}^G}$, IPR)	任务周期先验	~35.0%	~82.5%	~42.0%	滤除部分纯噪声神经元，提升幅度温和
神经元剪枝 ($f_{\mathcal{M}^G}$, Str.)	任务无关	~34.0%	~81.8%	~45.0%	达到与 IPR 相当的泛化效果，泛化至乘法任务
剪枝子网后接 FF ($f_{\mathcal{M}^G}$ + FF)	任务周期先验	~34.0%	~88.0%	~0.0%	性能明显低于全网直接 FF (~99.5%)
全网直接主频滤波 (Full + FF)	任务周期先验	100.0% (全神经元)	~99.5%	~0.0%	证明规则表征弥散分布在全量神经元权重中

关键发现¶

双重下降与模型容量拓展：在过参数化区域（跨越插值门槛后），增加模型宽度能够稳健提升测试集泛化性能，且模型预测置信度显著升高（测试交叉熵损失随宽度单调递减）。二次激活与 GeLU 会受到激活对称性约束遇到泛化上限，而 ReLU 的非对称性使其能够更灵活地吸纳噪声并保持高泛化上限。
正规化强度的双刃剑效应：增大 weight decay 会将插值阈值推迟到更大的模型尺寸，并在欠参数化和过参数化交界处有效抑制对噪声的死记硬背；但在过参数化极限下，较弱的正则化反而能使大模型以更大几何间隔分离数据，获得更低的测试损失。
神经元级纠缠的不可分割性：神经元选择法（无论是利用 IPR 还是 Str.）获得的增益极其有限。全网所有神经元都在其主频带上编码了规则，同时在残差频带上插值噪声；试图单纯在神经元级别进行二值化“硬剪枝”，会不可避免地损伤弥散在整个网络中的规则信号。

亮点与洞察¶

证明了极端噪声下抽象规则的隐式习得：本文最具突破性的发现是揭示了即使在 80% 随机标签噪声破坏下，过参数化网络并没有丢失代数结构的学习，底层代数恒等式的相位对齐依然精确成立；传统的表象性能崩溃只是因为输出层被噪声拟合信号淹没。这一结论为大模型在低质、带毒语料下的隐式知识抽取提供了强有力的理论支撑。
揭示了全批次优化下样本不平衡的梯度投影偏置：通过严密的单样本梯度对齐分解，解释了早期噪声拟合快于干净数据的反常现象，打破了“网络必然先学简单典型样本”的单一教条，指明该动态主要受训练批次范式与单样本梯度的几何投影尺度调控。
提出了任务无关的神经元强度指标（Str.）：巧妙利用 $\ell_\infty$ 范数界定了神经元对分类裕度的最大理论贡献，在模乘法等非周期性任务上展现了超越经典 IPR 的普适评估价值。

局限与展望¶

受控任务与自然模态的表征差距：模运算任务具备极其清晰的正交基与周期群结构，这使得傅里叶主频滤波能够以极高精度将规则与噪声分离。但在自然语言与计算机视觉等连续、非均匀且语义高度交织的现实场景中，规则本身不具备纯粹的单频或解析表达，主频滤波无法直接迁移。
后处理解耦的理论局限：频域主频滤波属于非严格的功能分解（即 $f_\theta \neq f_G + f_R$），改变了激活函数的非线性传导；同时它属于事后干预（post-hoc intervention），无法直接在训练过程中指导模型自主隔离噪声。
未来改进方向：未来的核心方向在于探索如何在训练机制层面设计新型架构或正交正则化目标，使得模型在自主吸收噪声的同时，在物理通道或特定隐空间中实现规则逻辑与记忆碎片的正交解耦。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从微观频域分解与神经元动力学层面，彻底厘清了过参数化网络在极端标签噪声下记忆与规则共存的物理机制。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖不同网络宽度、正则化强度、激活函数、优化器（AdamW/Adam/Muon/SGD）、任务类型（模加/减/乘）以及跨域 MNIST 和 Transformer 扩展。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严密自洽，问题意识极强，逻辑推演层层递进，图表刻画入木三分。
价值: ⭐⭐⭐⭐⭐ 为理解过参数化大模型的良性过拟合、噪声免疫边界及深层机制可解释性提供了极具启发性的基石案例。

噪声注入比例	训练轮次 (Epoch)	噪声样本拟合率 (Noisy Acc.)	干净样本拟合率 (Clean Acc.)	差异态势 (\(\Delta_{\mathrm{noisy}-\mathrm{clean}}\))
\(\alpha = 0.05\)	Epoch 1	10.87%	2.86%	+8.01% (噪声样本优先快速被单样本强梯度更新拟合)
\(\alpha = 0.05\)	Epoch 2	6.47%	46.29%	-39.82% (干净样本主导特征涌现，噪声拟合被迅速抑制)
\(\alpha = 0.20\)	Epoch 1	10.75%	2.89%	+7.86% (高噪声下依旧保持初始轮次对离散噪声的优先记忆)
\(\alpha = 0.20\)	Epoch 2	5.71%	48.09%	-42.38% (结构化主成分梯度快速拉升全局泛化特征)

处理策略 / 子网形式	依赖先验	选定神经元比例 (\(\gamma\))	测试集准确率	噪声记忆保留度	核心机理表现
全模型原始输出 (\(f_{\theta}\))	无	100.0%	~76.0%	100.0%	记忆与泛化混合输出
神经元剪枝 (\(f_{\mathcal{M}^G}\), IPR)	任务周期先验	~35.0%	~82.5%	~42.0%	滤除部分纯噪声神经元，提升幅度温和
神经元剪枝 (\(f_{\mathcal{M}^G}\), Str.)	任务无关	~34.0%	~81.8%	~45.0%	达到与 IPR 相当的泛化效果，泛化至乘法任务
剪枝子网后接 FF (\(f_{\mathcal{M}^G}\) + FF)	任务周期先验	~34.0%	~88.0%	~0.0%	性能明显低于全网直接 FF (~99.5%)
全网直接主频滤波 (Full + FF)	任务周期先验	100.0% (全神经元)	~99.5%	~0.0%	证明规则表征弥散分布在全量神经元权重中