Synthetic Pre-Pre-Training Improves Language Model Robustness to Noisy Pre-Training Data¶

会议: NeurIPS 2026
arXiv: 2605.10129
论文: https://arxiv.org/abs/2605.10129
代码: https://github.com/guox18/formal-language-prepretraining
领域: 预训练
关键词: 预训练、合成数据、噪声鲁棒性、注意力机制、循环神经网络

一句话总结¶

本文提出在自然语言预训练前引入基于随机初始化RNN集成的轻量级合成预-预训练（PPT）阶段，使语言模型在遭遇噪声预训练语料时主动抑制噪声自建模，在1B参数模型上以仅65M合成Token换取高达49%的自然文本训练Token节省。

研究背景与动机¶

现代大语言模型极度依赖网络规模的千亿至万亿级语料进行自监督预训练。然而，公开网络数据中不可避免地充斥着重复样板文本、排版错误、低质爬虫垃圾以及模板化广告等系统性噪声。已有实证研究表明，语料中的噪声不仅会大幅压缩模型的有效知识容量（甚至导致知识承载能力下降达20倍），还会严重破坏序列的可预测结构，导致预训练动态不稳定并在下游任务上发生性能退化。常规预训练管线依赖启发式规则或分类器进行数据清洗，但彻底清洗在计算上代价高昂，且自动化过滤器往往会在剔除噪声的同时误伤长尾稀疏领域知识，使得实际预训练语料始终存在无法消除的残存噪声。

面对清洗不彻底的现实困境，一种直接的替代思路是增强模型在训练阶段对噪声的内在鲁棒性。虽然计算机视觉领域在含噪标签学习方面已积累了成熟的理论与方法，但LLM在非监督自回归预训练中的噪声容忍机制仍鲜有人触及。从零初始化的Transformer对噪声模式极其敏感，容易将上下文中的噪声标记当成后续预测的有效先验；尽管先前工作曾尝试利用形式语言（如Dyck括号匹配）或算法生成数据为模型注入结构归纳偏置，但这类形式语言模式单一狭窄，难以应对网络文本中复杂异构的真实噪声分布。

本文的切入视角在于：与其被动等待更昂贵的语料清洗，不如在正式预训练前赋予模型区分“时序连贯结构”与“非结构化噪声”的先验偏置。随机初始化的循环神经网络（RNN）无需任何参数学习，其递推动力学天然具备丰富的时序依赖特征；通过聚合大量独立随机RNN的输出，能够构建出既在表面呈现统计伪随机性、又深层蕴含时序语法多样性的合成序列。核心 idea：在正式预训练前引入轻量级随机RNN合成预-预训练（PPT），为Transformer建立广谱时序结构偏置，使其在后续面对含噪语料时主动抑制“以噪推噪”的噪声自建模机制，从而显著提升预训练的收敛下界与数据效率。

方法详解¶

整体框架¶

整个训练流程包含清晰的串行两阶段：轻量级合成预-预训练（Pre-Pre-Training, PPT）阶段与标准自然语言预训练（Pre-Training, PT）阶段。在PPT阶段，模型仅消耗极少步数（如500–1000步，占正式预训练预算约4%–5%）学习由冻结的随机RNN集成生成的合成Token流；随后模型无缝衔接至常规自然文本预训练，在固定的优化器超参、学习率退火策略与含噪文本下继续优化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["随机初始化与冻结生成器<br/>M个独立随机RNN (H=64, 谱半径0.9)"] --> B["随机RNN集成生成<br/>全词表自回归采样合成序列"]
    B --> C["阶段一：合成预-预训练 (PPT)<br/>500~1000步轻量级自回归热身"]
    C --> D["权重热启动传递<br/>保留时序结构先验初始化"]
    D --> E["阶段二：含噪自然语言预训练 (PT)<br/>面对样本替换/打乱/片段截断噪声"]
    E --> F["动态抑制噪声自建模<br/>深层注意力头衰减损坏位置互注"]
    F --> G["高质量收敛表征与下游评估"]

关键设计¶

1. 随机RNN集成生成：构建无偏且高覆盖的时序依赖先验

针对先前形式语言（如Dyck语法）结构狭窄、词表受限导致归纳偏置过于片面的问题，本文基于动力系统理论设计了基于无学习RNN集成的合成生成源。固定集成包含 \(M=1000\) 个相互独立的随机RNN生成器，其内部隐状态维度设为 \(H=64\)。在生成每条长度为2048的合成序列时，首先均匀抽取生成器 \(g \sim \text{Unif}(\{1, \dots, M\})\) 并设置初始全零隐状态 \(h_0^{(g)}=\mathbf{0}\)，初始Token \(x_0\) 均匀采样自包含 50,304 个Token的全尺寸词表 \(V\)。随后按固定线性循环更新隐状态并投影至Logits：

\[h_t^{(g)} = A^{(g)} e_{x_{t-1}} + W^{(g)} h_{t-1}^{(g)} + b^{(g)}, \quad \ell_t^{(g)} = C^{(g)} h_t^{(g)} + d^{(g)}\]

其中输入矩阵 \(A^{(g)}\) 元素按 \(\mathcal{N}(0, 1/V)\) 初始化，循环矩阵 \(W^{(g)}\) 和投影矩阵 \(C^{(g)}\) 按 \(\mathcal{N}(0, 1/H)\) 采样，并通过幂迭代法将 \(W^{(g)}\) 的谱半径精确缩放至 \(0.9\)，以确保动态系统稳定收敛且具备长程记忆混淆能力。下一Token按带温度的分类分布 \(x_t \sim \text{Categorical}(\text{softmax}(\ell_t^{(g)}/\tau))\) 采样（默认 \(\tau=1\)）。该设计确保合成序列在表面分布上平铺整个词表从而不产生词汇偏见，而在转移概率上受确定性隐动力学约束，向Transformer灌输通用时序记忆机制。

2. 适度可学习性约束：平衡生成复杂度与模型同化瓶颈

如果合成数据过于复杂或退化为不可解的混沌噪声，下游Transformer将难以提取通用特征；反之若退化为局部马尔可夫链，则无法传递长程依赖。本文提出了“可学习性”与“低偏差”双准则：将生成器隐状态维度严格约束在 \(H \in [16, 64]\) 的中等复杂度窗口内。当 \(H\) 进一步扩增到 512 或 1024 时，RNN生成的动态过于繁复，模型在有限的预-预训练步数内无法有效同化，导致对后续预训练的鲁棒增益几乎归零；而在 \(H=64\) 下，Transformer能够恰到好处地拟合全局状态转移规律，建立起跨层注意力协同机制。

3. 抑制噪声自建模：重塑含噪预训练中的深层注意力动力学

为了阐明PPT阶段生效的本质机理，作者形式化定义了量化注意力机制在含噪Token之间互相抄袭的诊断指标——“噪声自建模度”（Noise Self-Modeling, \(r_{\text{noise}}\)）。对于查询位置 \(q \in Q_{\text{noise}}\)，计算其在因果前缀中所有含噪键位置 \(k \in K_{\text{noise}}(q)\) 上的注意力权重分配总和：

\[r_{\text{noise}} = \frac{1}{|Q_{\text{noise}}|} \sum_{q \in Q_{\text{noise}}} \sum_{k \in K_{\text{noise}}(q)} a_{qk}\]

机理探针揭示了一个反直觉的现象：在预训练步骤为 0 时，经RNN-PPT初始化的模型对损坏Token的互注权重反而高于随机初始化的基线模型，说明PPT并没有简单粗暴地将无意义符号的注意力权重直接清零。真正的质变发生在正式预训练的前 2,000 步：随机初始化模型因缺乏先验，迅速顺应含噪上下文，深层注意力头会建立起强大的“噪声推噪声”虚假通路；而经RNN-PPT预热的模型在接触到真实自然语言与噪声的混合输入后，注意力权重中的 \(r_{\text{noise}}\) 曲线迅速掉头向下并持续低于基线。这种对损坏Token互注权重的显著下调高度定域在模型顶层（第 8–11 层）的特定注意力头中，表明PPT实际上重塑了高层特征聚合时的优化轨迹，阻断了损坏语义向深层表征的渗透。

损失函数 / 训练策略¶

优化架构与调度：采用经典的自回归因果语言建模目标（交叉熵损失）。PPT与PT采用两阶段解耦的分块独立优化器配置，每一阶段均独立配置余弦学习率衰减（Cosine Schedule）与 500 步线性预热（Linear Warmup）。
优化器参数：选用 AdamW 优化器，\(\beta_1=0.9, \beta_2=0.999, \epsilon=10^{-6}\)，权重衰减固定为 \(0.1\)，梯度裁剪阈值设为 \(1.0\)。160M模型学习率设为 \(7 \times 10^{-4}\)，1B模型设为 \(5 \times 10^{-4}\)。
批次与打包策略：全流程采用 packing_mode=pack，序列长度固定为 2048，单卡批大小 16 搭配 2 次梯度累加，达成等效批大小 32。这确保了在固定步数下消耗的物理Token量严格对齐。

实验关键数据¶

主实验¶

主实验分别在 160M 参数 Pythia 模型（预训练 10K 步）与 1B 参数模型（预训练 25K 步）上开展，评估指标为干净 C4 / FineWeb 验证集上的困惑度损失（Loss，越低越好）以及匹配基线最终Loss所需的自然语言预训练Token节省比例。噪声注入涵盖均匀词表样本替换、滑动窗口词排列置换（Permutation）及随机片段截断替换（Span Corruption）。

下表汇报了 160M 模型在 C4 预训练不同全序列均匀噪声比例下的最终验证集 Loss（3个随机种子均值±标准差）：

数据集 (C4)	噪声比例	Baseline (无PPT)	Dyck PPT	C4 PPT (额外文本)	本文 (RNN-PPT)	相对基线收益 (Δ Loss)
C4 Val Loss	0% (Clean)	\(3.627 \pm 0.001\)	\(3.619 \pm 0.000\)	\(3.613 \pm 0.004\)	\(\mathbf{3.603 \pm 0.002}\)	\(-0.024\)
C4 Val Loss	10% Noise	\(3.659 \pm 0.003\)	\(3.645 \pm 0.001\)	\(3.635 \pm 0.003\)	\(\mathbf{3.628 \pm 0.005}\)	\(-0.031\)
C4 Val Loss	30% Noise	\(3.719 \pm 0.003\)	\(3.703 \pm 0.003\)	\(3.703 \pm 0.005\)	\(\mathbf{3.681 \pm 0.004}\)	\(-0.038\)
C4 Val Loss	50% Noise	\(3.818 \pm 0.017\)	\(3.798 \pm 0.006\)	\(3.786 \pm 0.007\)	\(\mathbf{3.761 \pm 0.003}\)	\(-0.057\)

在 1B 规模模型扩展实验中，PPT仅耗费 1000 步（约 65M Token），在 0%–15% 实际工业级噪声区间内展现出持续放大优势：在 15% 噪声注入下，RNN-PPT 降低验证损失达 \(0.15\)，且仅需基线 51% 的正式预训练Token即可达成基线训练 25K 步的最终损失（节省达 49% PT Tokens）。在下游零样本评测上，1B模型在 15% 噪声下的 LAMBADA 困惑度从基线的 \(159.7\) 骤降至 \(\mathbf{94.2}\)，PIQA 准确率从 \(61.6\%\) 提升至 \(\mathbf{63.2\%}\)。

消融实验¶

为了确认性能提升究竟来源于长程递归时序依赖，还是仅仅拟合了局部的低阶统计特征，作者构建了严谨的元同分异构体（Metamer）对照实验。基于相同的RNN合成子集分别拟合一元（Unigram）、二元（Bigram）和三元（Trigram）语言模型并重新采样作为PPT源；同时针对生成器数量与隐状态容量进行独立消融（汇报在不同噪声下的验证损失改善量，即 Baseline Loss - Method Loss，正值代表优于基线）：

消融配置	0% 噪声增益	10% 噪声增益	30% 噪声增益	50% 噪声增益	说明
Unigram Metamer PPT	\(+0.006\)	\(+0.006\)	\(+0.008\)	\(+0.014\)	仅保留词频边缘分布，长程时序剥离后收益微弱
Bigram Metamer PPT	\(-0.002\)	\(+0.002\)	\(-0.011\)	\(-0.001\)	仅保留一阶转移，破坏长程后甚至弱于基线
Trigram Metamer PPT	\(+0.002\)	\(+0.003\)	\(+0.004\)	\(+0.005\)	局部三元转移仍无法解释鲁棒性主要来源
Full RNN-PPT (H=64, M=1000)	\(\mathbf{+0.026}\)	\(\mathbf{+0.029}\)	\(\mathbf{+0.036}\)	\(\mathbf{+0.052}\)	完整长程非线性时序，增益随噪声递增显著
w/ 单一生成器 (M=1)	\(+0.001\)	\(-0.002\)	\(+0.003\)	\(+0.024\)	产生强烈的特定递归偏好，泛化性严重折损
w/ 过大隐状态容量 (H=1024)	\(+0.002\)	\(+0.017\)	\(+0.010\)	\(+0.022\)	动力学复杂度超出模型同化带宽，优势大幅流失

关键发现¶

低阶统计无法代偿长程递归：Metamer 对照实验雄辩地证明，单纯拟合1~3元词频转移对提升抗噪能力贡献甚微（改善不足 0.005），唯有具备长程动态关联的完整RNN生成流才能带来最高 0.052 的显著增益。
噪声比例越高，相对增益越为显著：无论是在 C4 还是 FineWeb 数据集上，RNN-PPT 带来的性能剪刀差随噪声强度的拉大而单调扩张。在真实网络数据质量分划测试中，在低质量（Noisier）子集上的增益明显大于高质量子集。
增益机制并非源于额外数据量：即使基线采用相同步数的纯净自然语言（C4-PPT）进行热身，其抗噪表现在所有设定下依然全面落后于随机RNN-PPT，证实该增益源于特定的模型归纳偏置塑造，而非预热训练步数的红利。

亮点与洞察¶

“以毒攻毒”的合成动力学偏置：利用不经任何监督训练的随机参数RNN作为生成器，成本近乎为零，却巧妙利用了循环神经网络在相空间天然具有的时序自相关性，为注意力架构提供了天然的结构化脚手架。
打破预训练必须依赖超洁净语料的执念：传统视角下提升抗噪能力的唯一途径是迭代数据清洗管线；本文开辟了“从模型初始化干预优化动态”的新范式，表明通过前期数十兆Token的伪数据预热，即可使模型在脏数据中保持抗体。
深层注意力定域阻断机制：机理分析表明模型并非简单地学会识别并屏蔽噪声Token，而是在高层（Layers 8–11）注意力聚合时主动切断了损坏Token之间的自相关通路，避免了高阶语义向虚假关联过拟合。

局限与展望¶

模型规模与计算预算受限：受制于算力开销，实验验证的最大模型为 1B 参数量、预训练步数停留在 25K 步，尚未在大规模 7B/70B 工业级预训练规模（万亿Token级别）上完成抗噪标度律（Scaling Laws）的全面外推验证。
合成生成源仍局限于标准RNN架构：论文将生成器范围严格限制在简单线性RNN族，尚未探索带有门控机制的 LSTM、现代状态空间模型（Mamba/SSM）或者低维隐混沌系统作为预-预训练发生器的潜在空间。
最优生成器统计属性缺乏理论闭环：筛选优质合成生成源目前仍需端到端完整运行 PPT-to-PT 流程进行事后检验，计算开销较大；未来亟需发展出一套可直接根据合成数据统计指纹（如拓扑熵、李雅普诺夫指数）预测下游收益的轻量先验指标。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出利用随机冻结RNN集成生成合成序列作为预-预训练源以提升语言模型在含噪语料下的预训练鲁棒性，立意独到且机理清晰。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 160M 至 1B 规模模型，设计了控制变量噪声、自然网络噪声、Metamer统计控制以及逐层逐头注意力探针，实验论证极其详实严密。
写作质量: ⭐⭐⭐⭐⭐ 逻辑主线清晰凝练，从动机陈述、理论假设到实验验证层层递进，机理分析切中要害。
价值: ⭐⭐⭐⭐⭐ 为大模型在现实低质非纯净语料下的低成本高效预训练提供了极具工程落地价值的即插即用范式。