Training Language Models via Neural Cellular Automata¶

会议: NeurIPS 2026
arXiv: 2603.10055
OpenReview: https://openreview.net/forum?id=3ryTlHkGEr
代码: https://github.com/danihyunlee/nca-pre-pretraining
领域: LLM 其他
关键词: 神经元胞自动机、预预训练、合成数据、上下文学习、规则推断

一句话总结¶

提出以离散神经元胞自动机（NCA）动力学轨迹作为纯算法生成的非语言合成数据基底，对大语言模型开展预预训练（pre-pre-training），仅用 164M token 即可实现超越 1.6B 自然语言 token 的下游语言建模困惑度下降（最高达 6%）与 1.6 倍收敛加速，并揭示注意力层是通用计算原语的核心载体。

研究背景与动机¶

现代大语言模型（LLM）的推理能力与上下文学习（ICL）等涌现特性主要根植于海量自然语言预训练。然而，过度依赖人类自然语言正面临多重严峻瓶颈：高质量文本数据源预计将在未来数年内耗尽；真实语料不可避免地夹杂大量人类认知偏见与冗余噪声；更关键的是，自然文本中事实性世界知识往往与底层推理计算深度交织，模型容易依赖表面统计关联和浅层语义捷径，而非真正掌握通用的符号演化与规则推断逻辑。这一困境引出了一个根本性质疑：自然语言究竟是模型习得通用表征与推理能力的唯一途径，还是说智能涌现本质上仅依赖于数据背后的时空计算结构而非语言语义本身？

若上述结构假设成立，那么一种理想的替代方案便是利用完全合成、可控且无限廉价的非语言算法系统来预先注入计算原语。先前关于合成预训练的尝试大多局限于形式文法（如 Dyck 语言、括号匹配）或简单的循环随机字符串生成。这类数据分布普遍过于窄小、同质，缺乏自然语言所固有的重尾统计特性与多尺度动态变化，因而无法在匹配 token 预算下匹敌真实文本。另一方面，经典元胞自动机（如康威生命游戏）虽然能以极简局部规则涌现出图灵完备的复杂计算，但其离散规则空间难以连续参数化与按需调控。

本文的切入点在于将经典元胞自动机推广为由神经网络参数化转移规则的神经元胞自动机（Neural Cellular Automata, NCA）。NCA 能够以极简的局部卷积交互持续展开为具有丰富长程时空关联的轨迹序列，不仅天然展现出与自然语言高度相似的齐夫定律（Zipfian）重尾分布，更赋予了研究者连续调控动力学复杂度的能力。核心 idea：构建「NCA 动力学轨迹预预训练 → 自然语言全量预训练」的三阶段范式，迫使模型在无语义捷径的纯净环境中通过自回归预测建立隐式规则推断机制，并将注意力层作为通用计算原语的跨领域迁移载体。

方法详解¶

整体框架¶

本文构建了一套端到端的合成预预训练与语言模型迁移管线。系统首先在带有周期性边界的二维离散网格上随机采样神经网络参数作为动力学转移规则，生成大量多步演化的 NCA 时空状态图；接着利用无重叠的 Patch 划分机制将连续网格状态离散化为固定词表的 token 序列，并引入基于 gzip 压缩比的复杂度筛选机制过滤低熵平凡规则；随后使用自回归因果语言模型在这些合成序列上执行下一 token 预测训练（即预预训练阶段）；最后在保留所有预训练 Transformer 权重（仅重置输入输出词嵌入层）的前提下，进入目标领域的自然语言全量预训练与下游任务微调。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["随机采样 NCA 参数 θ 与初始状态 c^(0)"] --> B["离散神经元胞自动机与 Patch 序列化<br/>局部卷积与MLP动力学推演，2×2 Patch映射为Token"]
    B --> C["基于 gzip 压缩比的复杂度受控采样<br/>计算压缩率 r 筛选结构丰富轨道，主动剔除周期死循环"]
    C --> D["三阶段预预训练与隐式规则推断<br/>自回归因果掩码训练，迫使注意力层激活感应回路"]
    D --> E["自然语言全量预训练与下游推理任务迁移<br/>重置词嵌入，全参数更新，在代码/数学/文本上加速收敛"]

关键设计¶

1. 离散神经元胞自动机与 Patch 序列化：在无语义网格中涌现长程时空动态

为了克服传统算法生成数据过于同质化、缺乏高阶时空关联的缺陷，本文设计了运行在具有周期性环状边界的 $12 \times 12$ 网格上的二维离散 NCA。网格包含 $n$ 种离散状态（默认状态字母表大小 $n=10$），每个单元格表示为 $n$ 维 one-hot 向量。系统的单步转移不依赖硬编码规则，而是由一个轻量级神经网络 $f_\theta$ 统一驱动：输入为以当前单元为中心的 $3 \times 3$ 局部邻域状态 $c_{N(i)}^{(t)}$，网络由一层 4 通道的 $3 \times 3$ 卷积和单元级隐藏层维度为 16 的 MLP（含 ReLU 激活函数）串联而成，输出该单元在下一个时间步落入各个状态的未归一化 logits。为引入可控的微弱随机性以丰富模式探索，状态转移由带有温度系数 $\tau=10^{-3}$ 的 Softmax 分布抽样决定： $$c_i^{(t+1)} \sim \mathrm{softmax}\!\left(f_{\theta}\!\left(c_{N(i)}^{(t)}\right)/\tau\right)$$

在将演化轨迹转换为 Transformer 可处理的离散序列时，本文借鉴视觉 Transformer 的补丁处理思想，将每个 $12 \times 12$ 网格划分为 $6 \times 6 = 36$ 个互不重叠的 $2 \times 2$ 小块（patch）。每个补丁内包含 4 个离散单元，状态组合空间为 $n^4$（当 $n=10$ 时刚好构成大小为 $10^4$ 的固定词表）。每个时间步的 36 个补丁 token 按行优先顺序排列，并在开头与结尾分别插入 <grid> 和 </grid> 特殊定界符，最终将连续多个时间步拼接成长度上限为 1024 的自回归序列。这种结构既保留了二维物理邻域的局部约束，又在序列展开中展现出类似自然语言词汇的齐夫重尾分布。

2. 基于 gzip 压缩比的复杂度受控采样：实现目标领域的数据分布针对性匹配

随机初始化参数 $\theta$ 的 NCA 动力学极易滑向两个极端：要么陷入快速收敛至全零/常数的不动点及超短周期死循环（信息熵极低），要么沦为高频震荡的纯混沌噪声（不可压缩且无内在规律）。为精准提取具有长程相干性与非平凡计算潜能的动力学规则，本文提出以序列的 gzip 压缩比作为结构复杂度的可计算代理指标。

在理论上，Lempel-Ziv 算法与霍夫曼编码的结合构成了柯尔莫哥洛夫复杂度（Kolmogorov Complexity）的可计算有效上界。本文将 NCA 展开的完整字节流送入 gzip，定义压缩比指标为： $$r = \frac{\text{compressed bytes}}{\text{raw bytes}} \times 100\%$$ 较小的压缩比 $r$ 意味着序列具有高度重复和固定的规律，预测极为容易；而较大的压缩比则对应更为复杂、混沌且难以直接复原的时空模式。默认配置下，算法主动筛选并保留 $r > 50\%$ 的强结构性轨迹，滤除平凡规则。更重要的是，通过在 20–30%、30–40%、40–50% 以及 50%+ 等不同压缩比区间进行受控采样，研究者首次获得了调节合成数据结构复杂度的连续杠杆，能够根据目标下游领域的内在信息熵特性（例如高代码密度的 CodeParrot 固有压缩比约 32%，而数学与通用网页的固有压缩比约 60–70%）实施针对性的先验注入。

3. 三阶段预预训练范式与隐式规则推断：纯净环境下的通用计算原语淬炼

针对标准预训练在低计算预算下过度拟合浅层 n-gram 共现和语法表象的顽疾，本文确立了「阶段一 NCA 动力学预预训练（164M token）→ 阶段二大规模自然语言预训练（OpenWebText / OpenWebMath / CodeParrot）→ 阶段三目标下游微调（GSM8K / BigBench-Lite / HumanEval）」的三阶段范式。在阶段一，基于 Llama 架构的 1.6B 规模 Transformer（24 层、32 头、隐藏维度 2048）在 NCA 补丁序列 $\mathbf{x}=(x_1, \dots, x_N)$ 上通过标准交叉熵损失进行因果自回归训练： $$\mathcal{L} = -\sum_{i=1}^N \log p_\phi(x_i \mid x_{<i})$$

该训练目标的深层物理意义在于贝叶斯隐式上下文推断：由于每条序列的底层转移规则由独立的随机权重 $\theta$ 决定，且模型未被显式告知 $\theta$，自回归模型为了准确预测后续网格的变化，必须在上下文窗口的前序 token 中逆向推断出当前主导该序列的潜在物理规律，并将其外推泛化。这种在完全脱离语言语义偏见的环境下反复进行的规则辨识与状态追踪，直接促成了 Transformer 注意力层中感应头（Induction Heads）等通用计算回路的早期成型，构成了可在阶段二无缝迁移的通用计算原语。

损失函数 / 训练策略¶

在预预训练阶段，模型仅针对 NCA token 序列计算因果自回归交叉熵损失 $\mathcal{L}$。优化器采用 AdamW，在无权重衰减和梯度裁剪的条件下，采用带有 10% 步数线性预热的余弦学习率衰减调度（峰值学习率 $1 \times 10^{-4}$），序列长度为 1024，有效批大小为 16。进入自然语言预训练阶段时，除将词嵌入矩阵按目标语言词表重新随机初始化外，其余 24 层 Transformer 的所有注意力与 MLP 权重全部保留并保持可训练；批大小扩大至 512，学习率根据数据集特性调整为 $5 \times 10^{-4}$（文本与数学）或 $2 \times 10^{-4}$（代码），同时引入 $1 \times 10^{-4}$ 的权重衰减与 1.0 的梯度范数裁剪。

实验关键数据¶

主实验¶

主实验在 1.6B 参数量模型上，系统对比了无预预训练（从头训练 Scratch）、基于形式文法 Dyck-128 的预预训练、基于自然语言 C4 的预预训练以及本文提出的 NCA 预预训练方案，并在阶段二预训练后的模型上进一步评估下游数学推理（GSM8K）、代码生成（HumanEval）以及综合推理（BigBench-Lite）的代表性准确率指标。

评估基准与领域	核心评价指标	本文方法 (NCA)	从头训练 (Scratch)	自然语言基线 (C4)	形式文法基线 (Dyck)	相对提升幅度
OpenWebText (通用网页文本)	验证集困惑度 (PPL)	最优 (↓5.7%)	基线 (100%)	弱于 NCA	弱于 NCA	困惑度降 5.7%, 收敛加速 1.6×
OpenWebMath (数学学术语料)	验证集困惑度 (PPL)	最优 (↓4.5%)	基线 (100%)	弱于 NCA	弱于 NCA	困惑度降 4.5%, 收敛加速 1.6×
CodeParrot (代码语料)	验证集困惑度 (PPL)	最优 (↓4.8%)	基线 (100%)	弱于 NCA	弱于 NCA	困惑度降 4.8%, 收敛加速 1.6×
GSM8K (数学应用题推理)	pass@1	4.4% ± 0.3%	3.8% ± 0.1%	3.8% ± 0.2%	4.1% ± 0.4%	+0.6% 绝对增益
GSM8K (数学应用题推理)	pass@8	19.2% ± 0.3%	17.9% ± 0.3%	17.8% ± 0.5%	18.6% ± 0.9%	+1.3% 绝对增益
GSM8K (数学应用题推理)	pass@32	37.9% ± 0.3%	36.6% ± 0.6%	36.2% ± 0.9%	37.4% ± 0.7%	+1.3% 绝对增益
HumanEval (代码生成)	pass@1	7.5% ± 0.4%	6.8% ± 0.6%	6.3% ± 0.3%	6.9% ± 0.1%	+0.7% 绝对增益
HumanEval (代码生成)	pass@8	11.4% ± 0.8%	11.2% ± 0.6%	10.5% ± 0.5%	11.3% ± 0.2%	+0.2% 绝对增益
HumanEval (代码生成)	pass@32	13.8% ± 1.0%	13.9% ± 0.5%	12.6% ± 0.7%	14.3% ± 0.4%	Dyck 高pass微优(括号嵌套重合)
BigBench-Lite (逻辑与综合)	pass@1	15.0% ± 1.2%	15.4% ± 1.1%	15.9% ± 0.9%	13.4% ± 2.8%	单次解码互有胜负
BigBench-Lite (逻辑与综合)	pass@2	26.5% ± 1.0%	20.9% ± 2.5%	22.8% ± 1.2%	18.1% ± 2.3%	+5.6% (相对 Scratch)
BigBench-Lite (逻辑与综合)	pass@4	36.5% ± 2.1%	25.9% ± 3.9%	29.7% ± 1.3%	22.7% ± 2.1%	+10.6% 绝对增益显著超越 C4

消融实验¶

为深入解构迁移收益的内在来源，研究团队分别进行了「模型组件选择性重置」消融以及「数据复杂度调控与字母表规模」消融。

消融配置维度	具体实验设置	下游迁移表现与关键指标	机制说明与消融结论
组件迁移消融	仅重置词嵌入 (完整迁移)	相对基线困惑度下降最大 (全收益)	作为上界，验证整体参数迁移的有效性
组件迁移消融	额外重置注意力层 (Re-init Attn)	迁移收益几乎全部丧失	注意力层承载长程关联与感应头回路，是跨模态迁移的主导载体
组件迁移消融	额外重置 MLP 层 (Re-init MLP)	OpenWebText 上困惑度反而轻微改善	MLP 偏向存储特定领域的先验统计，在异构模态间易产生负迁移干扰
组件迁移消融	额外重置 LayerNorm 层	对整体困惑度影响微弱且因领域而异	归一化统计量不承载核心通用计算原语
数据复杂度 (gzip)	20–30% 低复杂度区间	代码迁移中平，文本迁移劣	过度简单、具有强周期性的动力学无法诱导复杂计算结构
数据复杂度 (gzip)	30–40% 中等复杂度区间	CodeParrot 达到性能极值点	与代码本身的低固有熵（CodeParrot 约 32%）形成精准复杂度匹配
数据复杂度 (gzip)	50%+ 高复杂度区间	OpenWebText / Math 达到性能极值	与高复杂度自然语言（60–70%）匹配，长程结构最丰富
规则空间规模 (n)	二值字母表 ($n=2$)	随 token 规模扩展呈现持续正向增益	规则空间约束反倒减少了无序混沌，提供了最稳定的长程迁移结构
规则空间规模 (n)	大字母表 ($n=10, 15$)	中等预算下最优，更大规模下增益放缓	庞大规则空间诱发过多无序轨道，缺乏额外引导时容易稀释有效结构

关键发现¶

以小博大的 Token 效率奇迹：在仅使用 160M token 的极低预算下，NCA 预预训练不仅显著加速收敛，其在语言建模上的困惑度改善甚至大幅击败了经过 1.6B 自然语言 token（C4 语料，耗费 10 倍以上数据与算力）预预训练的模型，验证了非语义结构推断信号的高信噪比特性。
注意力与前馈网络的职能分工：注意力机制是通用推理能力的跨领域载体（负责依赖跟踪与动态上下文推断），而 MLP 侧重于模态专属知识的记忆；在源数据与目标数据模态迥异时，保留注意力权重即可捕获大部分红利，强留 MLP 反而可能引入负迁移噪声。
复杂度匹配原则（Complexity Matching）：合成数据并非“越复杂越好”，而是存在明确的领域特异性最优区间。下游目标任务固有复杂度越低（如代码结构严谨），越适合中低复杂度的 NCA 规则；下游目标复杂度越高（如自然语言论述与数学推导），则必须匹配高阶混沌边界的 NCA 规则。

亮点与洞察¶

算法级合成数据破局自然语言天花板：论文有力证实了模型学习通用计算与逻辑外推并不一定以人类语言为起点。通过纯确定性局部动力学所展开的抽象轨迹，能够更直接、更纯粹地训练模型的因果依赖追踪能力，为未来摆脱人类文本数据枯竭危机开辟了全新的非语言先验路线。
柯尔莫哥洛夫复杂度的工程化落地：创造性地将经典的 gzip 压缩率作为刻画非线性动力系统复杂度的量化杠杆，将以往不可控、难以泛化的元胞自动机规则空间划分成了可系统调节的参数谱系，实现了面向特定下游领域的结构定向定制。
对大模型表征收敛理论的有力支撑：实验揭示出无论输入是网格像素、补丁状态还是离散词汇，Transformer 的核心注意力拓扑都在隐式逼近一套跨模态共通的推断原语，深化了对 Induction Heads 与测试时贝叶斯推断机制的物理理解。

局限与展望¶

规则采样空间的无序性瓶颈：随着状态字母表规模从 $n=2$ 扩大至 $n=15$，规则空间呈指数级爆炸，随机采样的 NCA 中混入了大量无有效结构的高频白噪声，导致在更大的合成数据规模下边际收益过早出现平台期。
模态衔接处的词嵌入冷启动问题：由于 NCA 补丁词表与自然语言词表语义完全脱节，阶段二必须彻底丢弃原有的 Embedding 层并重新随机初始化，这导致阶段二训练初期需要耗费一定的学习步数来重新对齐输入表征与深层 Transformer 特征空间。
未来改进方向：探索引入内在奖励驱动或强化学习自主演化机制来定向搜索具有图灵完备计算特性的高质量 NCA 动力学规则；同时可尝试将 NCA 与连续表征编码器结合，探究全合成架构直接承担端到端通用预训练的可行性。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统证明离散神经元胞自动机生成的非语言数据能够有效迁移至大语言模型预训练，视角极具颠覆性与启发性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 400M 至 1.6B 多个模型量级，横跨通用网页、数学及代码三大领域，并包含细致的组件重置与复杂度消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，从哲学思辨、动力学建模到机理解析层层递进，论证深入透彻。
价值: ⭐⭐⭐⭐⭐ 为突破自然语言数据荒和探索无需人类语料的通用智能底座提供了全新且极具潜力的技术范式。