Learning through Internalization¶
会议: NeurIPS 2026
arXiv: 2606.20937
OpenReview: https://openreview.net/forum?id=hbXu6OcZxx
领域: 学习理论
关键词: 内化过程, 思维链内化, 半自动机模拟, 稀疏奇偶校验, 正向分布偏移
一句话总结¶
本文系统形式化了神经网络将外部慢速计算过程吸收入权重的“内化”机制，实证揭示了宽度优于深度与分布外性能衰减的双刃剑效应，并首次在稀疏奇偶校验任务上理论证明了单层线性注意力 Transformer 通过思维链截断课程序列内化难学习目标的可行性。
研究背景与动机¶
人类在掌握复杂技能（如驾驶车辆）时，往往无法直接完成端到端学习，而是依赖教师细致拆解油门、离合、转向等中间动作并逐项指导；只有经过反复刻意练习后，这些离散步骤才会被“内化”为无意识的直觉反应，从而在极短时间内完成操作。在机器学习领域，自回归大语言模型（LLM）面临着类似的认知困境：诸如多位数乘法或长程离散推理等高复杂度目标函数，如果直接采用端到端输入输出监督（E2E）进行梯度训练，其损失曲面通常极其崎岖且存在严峻的计算复杂度下界障碍；而提供详尽的思维链（Chain-of-Thought, CoT）虽然能让模型轻松泛化，却带来了随序列长度线性或超线性激增的推理延迟与显存开销。
为了化解直接学习不可行与显式推理成本过高之间的核心矛盾，近期研究尝试采用课程学习等策略，在显式 CoT 预训练后逐步剔除中间推理词元，迫使自回归网络将中间计算逻辑压缩进单次前向传播的内部权重中。然而，这种内化过程的理论边界与学习机理仍是一片空白：内化究竟是将时序推理步骤垂直投影至深层网络的逐层计算中，还是借助模型的横向并行容量习得捷径？哪些结构属性决定了任务的可内化性？内化后的表征是否保留了显式 CoT 的鲁棒泛化能力？
本文的核心 idea 是将慢速多步推理过程重构到单步快速网络权重的现象严格形式化为“内化（Internalization）”机制，通过半自动机时序模拟系统剖析内化的宽度扩展偏好、质数阶模计数硬度以及分布外（OOD）表征退化缺陷，并在单层线性注意力 Transformer 学习隐式奇偶校验任务上给出了首个通过逐步截断 CoT 实现端到端内化的可证明学习保证，进而将其统一纳入正向分布偏移（Positive Distribution Shift）理论框架中。
方法详解¶
整体框架¶
本文构建的内化研究框架涵盖形式化定义、半自动机经验探究、奇偶校验理论突破以及正向分布偏移统一拓展四个递进阶段。在算法流程上，首先将目标任务表示为多步显式程序（如包含 \(T\) 个时序转移状态的半自动机或奇偶校验前缀链），通过自监督或监督微调训练一个慢速推断模型；随后通过课程学习（自左向右逐词元截断 CoT）或单混合分布监督，驱使网络更新自身参数，最终在零 CoT 提示下直接单步生成最终状态。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入序列与目标任务<br/>符号序列及初始状态"] --> B["阶段 1：显式 CoT 监督预训练<br/>慢速多步自回归生成完整中间轨迹"]
B --> C["阶段 2：课程截断或混合分布内化<br/>逐阶段剔除前缀推理词元强制权重重构"]
C --> D["阶段 3：快速单步推断网络<br/>单次前向传播直接输出最终转移状态"]关键设计¶
1. 内化机制的形式化定义：界定同假设空间下的推断加速与风险一致性
针对以往研究中“知识蒸馏”与“推理压缩”概念界限模糊的问题，本文首次形式化了计算内化的严格数学定义。设输入空间为 \(\mathcal{X}\)，输出空间为 \(\mathcal{Y}\)，参数假设族为 \(\mathcal{H}=\{h_\theta \mid \theta\in\Theta\}\)，其推断算法 \(\mathfrak{h}_\theta\) 在输入 \(x\) 上的运行时间为 \(\mathrm{Time}_{\mathfrak{h}_\theta}(x)\)。设 \(\mathcal{P}\) 为一个仅具备对 \(\mathfrak{h}_\theta\) 进行黑盒查询权限的推断增强过程（如执行 \(T\) 步自回归自调用的生成过程，或棋类博弈中的蒙特卡洛树搜索），生成慢速映射 \(\mathcal{P}(h_\theta)\)。若存在同一假设空间内的不同参数 \(\theta' \in \Theta\)（\(\theta' \neq \theta\)），使得对所有输入 \(x \in \mathcal{X}\) 均满足精确输出一致性 \(h_{\theta'}(x) = \mathcal{P}(h_\theta)(x)\)，且推断运行时间严格缩短：
则称算法 \(\mathfrak{h}_{\theta'}\) 内化了增强过程 \(\mathfrak{P}(\mathfrak{h}_\theta)\)。为贴合实际经验学习场景，论文进一步给出了分布内化松弛定义 \((\varepsilon, \mathcal{D})\)，即在指定数据分布 \(\mathcal{D}\) 与损失函数 \(\ell\) 下，两者的期望风险差异不超过 \(\varepsilon\)。该定义强调了慢速原型与快速内化系统处于同一假设空间内（模拟人脑神经网络连接重构），与从大模型向小模型迁移参数的跨假设族知识蒸馏有着本质区别。
2. 半自动机时序模拟：揭示横向宽度优势与质数阶数内在表征硬度
为了纯粹地剥离语言先验并精准控制推断深度与状态转移空间，论文引入半自动机 \(\mathcal{A}=(Q, \Sigma, \delta)\) 作为基准沙盒，重点研究模 \(n\) 计数半自动机 \(C_n\)（状态与输入均取自 \(\mathbb{Z}_n\)，状态转移定义为 \(q_{t+1}=(q_t+\sigma_t)\bmod n\)）以及非交换置换群 \(S_3\)。在保持总参数量受限的等参数量曲线上，实证对比了深度与宽度对内化成功率（测试准确率 \(>95\%\) 的种子比例）的作用规律。实验发现：将网络由深变浅并增大宽度（如层数由 25 降至 4，隐藏层宽度大幅提升），内化成功率显著跃升；即便深度仅为 \(L=1\) 的极浅 Transformer 亦能在适当宽度下完美内化 \(T=25\) 步的模计数状态转移。这一结果推翻了“内化推理是将显式时序步垂直映射到各网络层”的传统直觉，证明反向传播实际上驱动模型演化出了利用自注意力与宽 MLP 的高度并行化“横向捷径计算”。
与此同时，论文发现了显著的代数结构硬度差异：阶数为质数 \(n\) 的计数半自动机（如 \(C_{11}, C_{13}, C_{17}\)）其内化成功概率大幅低于阶数相近但具有复合因数的半自动机（如 \(C_{12}, C_{14}, C_{15}, C_{16}\)）。为此，论文给出了表征定理证明（定理 1 / 定理 3）：对于质因子分解为 \(n=\prod_{j=1}^m p_j^{v_j}\) 的模计数半自动机，借助中国剩余定理（Chinese Remainder Theorem），Transformer 仅需 \(\lceil\log_2(T+1)\rceil\) 层深度与 \(\mathcal{O}(\sum_{j=1}^m p_j^{v_j})\) 的 MLP 宽度即可在各素数幂基底下并行完成加法计算并精确模拟 \(T\) 步转移。当 \(n\) 为光滑数（Smooth Number）时，所需网络宽度仅为 \(\mathcal{O}(\log n)\)，比通用自动机的 \(\mathcal{O}(|Q|^2)\) 结构实现指数级压缩；相反，质数阶半自动机无法分解为独立的子群并行加法，其固有的不可分解性显著增加了梯度优化的样本复杂度和内化难度。
3. 奇偶校验的单层线性注意力可证明内化：从局部梯度的理论收敛保障
在理论分析层面，论文针对统计查询（Statistical Query, SQ）模型下计算不可行的 \(k\) 稀疏隐式奇偶校验问题（输入 \(x \sim \mathrm{Unif}(\{0,1\}^d)\)，目标为 \(y = \bigoplus_{i \in S_\star} x_i\)，支撑集 \(|S_\star|=k\)），首次给出了完整的可证明内化学习保障（定理 2 / 定理 4）。模型采用单层线性双线性注意力机制配合固定的分段线性奇偶激活函数 \(\sigma\)（在偶数整数点取 0，奇数整数点取 1）：
在第一阶段（CoT 预训练），模型接收完整前缀奇偶串 \(a^{[1]}=(x_1,\dots,x_d,z_1,\dots,z_k)\)（其中 \(z_t = \bigoplus_{\ell=1}^t x_{i_\ell}\)），通过下一词元预测损失优化注意力矩阵，将目标位置与前缀状态的连接权重精确对齐。在随后的阶段 \(t=2,\dots,k\) 中，算法执行左侧截断课程，输入变为 \(a^{[t]}=(x_1,\dots,x_d,z_t,\dots,z_k)\)，每阶段仅优化第 \(d\) 个输出位置的权重行 \(w^{(t)} = W^{(t)}_{d, 1:d}\)。由于在阶段 \(t-1\) 结束并实施就近整数舍入后，权重向量恰好满足：
使得第 \(d\) 个位置的激活输入在样本 \(x\) 上的投影 \(\langle w^{(t-1)}, x \rangle = -\sum_{\ell=1}^{t-1} x_{i_\ell}\) 落在分段线性激活函数的对应仿射区间内。该机制巧妙地将求解高阶隐式互信息难题规约为了单步一维线性回归动力学，使得每次梯度更新仅需在残差中识别出新增的单比特支撑索引 \(x_{i_t}\)。论文通过矩阵切尔诺夫界（Matrix Chernoff Bound）严格控制了经验协方差矩阵相对于总体协方差矩阵的算子范数扰动，证明只要学习率 \(\eta = \Theta(1/d)\)、每阶段更新步数 \(T = \Theta(d)\) 且批次大小满足 \(B \ge \Omega(d^3 \log(kT/\delta))\)，在经历全部 \(k\) 个阶段后，模型在未提供任何 CoT 词元的情况下，能够以至少 \(1-\delta\) 的概率以单次前向传播完美输出目标奇偶校验值。
损失函数 / 训练策略¶
在半自动机模拟实验中，模型采用自回归交叉熵损失，仅在序列中的状态预测位置计算梯度。针对优化器在课程切换时的延迟问题，优化器选用 AdamW，将动量超参数设为较小的值 \((\beta_1, \beta_2) = (0.9, 0.95)\)，并在每个课程阶段起始时显式重置优化器的一阶与二阶动量缓存，以消除前一阶段梯度历史对新目标函数造成的有害拖拽。
在理论奇偶校验算法中，各内化阶段 \(t \ge 2\) 采用如下经验均方误差目标：
仅对第 \(d\) 行权重执行 \(T\) 步梯度下降，并在每阶段收敛后执行坐标级最近整数舍入算子 \(\mathsf{Round}(\cdot)\)，确保权重精确定位在格点上。
实验关键数据¶
主实验¶
主实验在相对较浅的 Transformer（深度 \(L=4\)，嵌入维度 512，注意力头数 128，MLP 宽度 2048）上评估了不同半自动机任务在仿真步长 \(T \in \{15, 20, 25\}\) 下的内化表现。对比基线包括端到端直接训练（E2E）、显式思维链训练（CoT）以及基于左截断课程的内化训练（Internalization）。评测指标为 30 个随机种子中测试准确率达到 \(>95\%\) 的成功率百分比（ID 为分布内，OOD 为通过改变输入符号采样概率 \(p=0.8\) 引入的偏置分布）。
| 任务配置 | 推理词元数 (Length) | E2E 成功率 (ID / OOD) | CoT 成功率 (ID / OOD) | 内化成功率 (ID / OOD) | 表现分析 |
|---|---|---|---|---|---|
| \(C_3, T=15\) | 0 (E2E/内化) vs 15 (CoT) | 0.0% / 0.0% | 100.0% / 100.0% | 76.7% / 36.7% | E2E 彻底失效，内化成功实现无 CoT 求解，但 OOD 发生衰减 |
| \(C_3, T=20\) | 0 (E2E/内化) vs 20 (CoT) | 0.0% / 0.0% | 100.0% / 100.0% | 63.3% / 23.3% | 步长增加使内化稳定性轻微下滑，OOD 泛化缺口进一步拉大 |
| \(C_3, T=25\) | 0 (E2E/内化) vs 25 (CoT) | 0.0% / 0.0% | 100.0% / 100.0% | 53.3% / 16.7% | 保持显著高于直接训练的 ID 解决能力，印证内化学习效用 |
| \(C_5, T=15\) | 0 (E2E/内化) vs 15 (CoT) | 0.0% / 0.0% | 100.0% / 100.0% | 66.7% / 20.0% | 状态空间扩大，内化难度上升 |
| \(C_5, T=25\) | 0 (E2E/内化) vs 25 (CoT) | 0.0% / 0.0% | 100.0% / 100.0% | 33.3% / 6.7% | 质数模计数任务长程内化难度显著增加 |
| \(S_3, T=15\) | 0 (E2E/内化) vs 15 (CoT) | 0.0% / 0.0% | 100.0% / 100.0% | 60.0% / 30.0% | 证明内化机制亦可扩展至非交换代数群结构 |
| \(S_3, T=25\) | 0 (E2E/内化) vs 25 (CoT) | 0.0% / 0.0% | 100.0% / 100.0% | 40.0% / 13.3% | 非交换半自动机在长步长下依旧取得可观的零 CoT 成功率 |
消融实验¶
消融实验聚焦于三方面关键要素：课程截断方向（左截断 vs 右截断 vs 跨步归纳截断）、网络架构形状（深度 vs 宽度在同参数量下的权衡）以及注意力头数配置的影响。
| 配置变体 | 任务与评测场景 | 成功率 (ID) | 实验结论与机制说明 |
|---|---|---|---|
| 左截断课程 (Left Curriculum) | \(C_3, T=25, L=4\) | 53.3% | 固定了复杂合成运算在绝对位置编码中的发生位置，易于权重复用 |
| 右截断课程 (Right Curriculum) | \(C_3, T=25, L=4\) | 0.0% | 截断发生在序列末端，复杂加法位置动态漂移，导致单层 MLP 无法兼顾 |
| 跨步归纳课程 (Inductive) | \(C_2, T=25, L=1\) | 90.0%+ | 状态跳跃式跨步训练在极浅模型（\(L=1\)）上显著优于左截断课程 |
| 20M 宽网络 \((L=4, d=512, w=4096)\) | \(C_7, T=25\) | 73.3% | 横向拓宽显著提升复杂模运算的内部并行拟合容量 |
| 20M 深网络 \((L=25, d=344, w=512)\) | \(C_7, T=25\) | 6.7% | 深度堆叠并未转化为推断步内化能力，深层优化难度大且成功率骤降 |
| 密集多头配置 (\(H=128\), 每头维度 4) | \(C_2, T=25, d=512\) | 93.3% | 多头机制为并行提取不同时序特征提供多路解耦子空间，对内化极关键 |
| 稀疏单/少头配置 (\(H=4\), 每头维度 128) | \(C_2, T=25, d=512\) | 16.7% | 注意力头数不足极大制约了状态跨步聚合的路由灵活性 |
关键发现¶
- 内化的“双刃剑”效应（The Flip Side of Internalization）：尽管左截断课程能够训练出以单次前向传播完美解决 ID 测试的浅层 Transformer，但其 OOD 泛化性能表现出系统性溃缩（成功率普遍下跌 50% 以上）。散点分析显示，内化过程驱使模型演化出了过度拟合均匀输入统计特性的“捷径解”（Shortcut Solutions），破坏了显式 CoT 依据局部状态转移所具备的本征稳健性。
- 宽度驱动而非深度驱动：在 \(5\mathrm{M}, 12\mathrm{M}, 20\mathrm{M}\) 三组同参数量曲线上，增加宽度始终较增加深度带来更高的内化成功率。隐式推理并非按时间步逐层堆叠在纵向网络中，而是被模型以宽通道并行表征的方式消化吸收。
- 混合分布替代显式课程：在正向分布偏移理论的指导下，研究表明无需设计复杂的逐阶段截断课程调度，仅通过在单阶段中按照均匀混合分布 \(\mathcal{D}_{\mathrm{mix}} = \frac{1}{T}\sum_{t=1}^T \mathcal{D}_t\) 并附带目标长度标识符（\(\mathrm{LEN}_L\)）进行联合微调，模型不仅能直接学会无 CoT 单步求解，更能在显式 CoT 测试时恢复近乎 100% 的 OOD 泛化性能。
亮点与洞察¶
- 将“思维内化”确立为独立的机器学习学习范式：论文清晰界定了内化与知识蒸馏、模型剪枝的本质界限，证明借助中间推断形式（显式 CoT 或外部搜索）作为“认知脚手架”，能够绕过 SQ 模型与 PAC 框架下直接学习目标分布的计算复杂性下界障碍。
- 代数结构与表征容量的深度联结：巧妙利用中国剩余定理证明了复合阶模计数自动机可实现对数级宽度压缩（\(\mathcal{O}(\log n)\)），从理论高度解释了为何素数阶任务在实证中更难内化，为离散推理任务在深度架构中的内在复杂度评估提供了全新视角。
- 课程截断方向的绝对位置编码假象破译：敏锐地揭示了右截断课程彻底失效的根源——绝对位置编码下复杂聚合操作发生位置的“动态漂移”给共享 MLP 带来了相互冲突的双重目标。
局限与展望¶
- 理论模型与实际架构的假设差距：理论收敛证明限定在单层线性注意力、固定分段线性奇偶激活函数及离散权重舍入设置中，未涵盖深度 Softmax 注意力及可训练的多层感知机层。
- OOD 鲁棒性退化缺乏理论定论：虽然论文在实验中系统指出了内化容易学习数据分布特定捷径的弊端，但目前尚未在理论层面构建出可证明 OOD 退化幅度的严谨分析体系。
- 连续复杂推理任务的扩展验证：实证研究主要受限于离散半自动机与奇偶校验玩具任务，在真实大语言模型的代码生成、逻辑推理与数学定理证明场景下的内化表征演进规律仍待进一步拓展。
相关工作与启发¶
- vs Deng et al. (2024) / Yu et al. (2024): 以往工作主要在算术任务（如大数乘法）上经验性展示了逐步截断 CoT 的有效性；本文则提供了首个严谨的理论证明（定理 2），形式化定义了内化机制，并首次揭示了内化后模型 OOD 泛化性能急剧衰退的负面代价。
- vs Liu et al. (2023) / Kim & Suzuki (2024): Liu et al. 证明了通用半自动机存在 \(\mathcal{O}(\log T)\) 深度的构造解，Kim & Suzuki 证明了显式 CoT 下奇偶校验的多项式可学性；本文进一步证明无显式中间步骤的零 CoT 单步模型同样可由 SGD 课程从 CoT 成功内化求得，并在光滑数阶半自动机上给出了比 Liu et al. 更紧的 \(\mathcal{O}(\log n)\) 宽度表征界。
- vs Medvedev et al. (2026) (Positive Distribution Shift): 传统 PDS 框架主要关注单一分布的协变量偏移；本文将其扩展为面向提示/中间状态扩增的广义 PDS 范式，并验证了单混合分布（Single Mixture）可完全平替多阶段复杂课程调度。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次对神经网络“内化”给出形式化定义与可证明学习保证，提出了素数幂表征定理。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖模计数半自动机、非交换 \(S_3\) 群、MLP 奇偶校验，多随机种子消融详实。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑严密流畅，从直观比喻自然过渡到形式定义、实证发现与理论剖析。
- 价值: ⭐⭐⭐⭐⭐ 深刻揭示了 LLM 隐式推理中宽度优于深度及 OOD 退化机理，对高效推理模型训练极具指导意义。