littlelearner language models under pedagogically-controlled knowledge exposure¶

会议: NeurIPS 2026
arXiv: 2608.13545
领域: 预训练
关键词: 知识边界, 课程受限预训练, 能力获得, 后训练强化学习, 上下文学习

一句话总结¶

本文构建了受限于美国幼小阶段（K–5）认知大纲的 88B token 预训练语料 LittleCurriculum，从零训练了 5B 参数大语言模型 LittleLearner，实证揭示了模型能力边界严格受预训练知识暴露范围约束，后训练 RL 与上下文学习仅能激发既有先验而无法实现向分布外高年级能力的跨越。

研究背景与动机¶

现代大语言模型通常在动辄数万亿级别的异构网络文本上进行自回归预训练。这种近乎无限且来源模糊的数据暴露，导致学术界在研究模型的知识与技能获取机制时陷入了严重的认知困境：我们极难清晰刻画模型在预训练阶段到底见过哪些概念与事实。海量数据污染常常虚假抬高下游评测基准的表现，诸如“逆转诅咒”（reversal curse）等现象揭示了模型对已有事实极其脆弱的单向泛化，而各种后处理或强化学习带来的性能飞跃，也始终伴随着“究竟是模型涌现了真正的推理能力，还是仅仅被激发了预训练已有的潜在先验”的持久争论。

以往研究试图通过构建更加新颖、更具防污染特性的基准测试（如 Humanity's Last Exam、GPQA、MATH-B 等）来解耦预训练暴露，或者通过历史时间切片（如限制使用 1930 年以前的文本）来划定边界。然而，时间切片仅限制了事件发生的时间，并未限制物理、数学或语言等专业复杂概念的暴露；评测端基准过滤则无法触及预训练黑盒本身，且需要随着模型升级不断重新评估，知识边界依旧模糊且不可控。

针对这一根本矛盾，本文反其道而行之：不再依赖测试集的动态防污染，而是从源头对预训练数据分布施加基于认知发展规律的严格约束。作者以美国幼儿园至小学五年级（K–5）的教学大纲与儿童认知发展水平为锚点，构建了一个概念与词汇边界极其清晰的受限沙箱。本文的核心 idea 是：通过多阶段精细过滤构建完全受限于小学 K–5 教学标准的预训练语料 LittleCurriculum 并从零训练 5B 模型 LittleLearner，确立清晰可解释的先验知识边界，以此作为受控沙箱精确检验模型规模扩展、后训练 RL 与上下文学习究竟能否真正突破预训练暴露边界。

方法详解¶

整体框架¶

构建 LittleLearner 沙箱的核心挑战在于：如何在保留足够规模（数十亿 token）以支撑通用语言理解能力的同时，以极高的精确度剔除所有超过小学五年级（Beyond-K–5）的概念、术语、符号表达与高阶推理。整个流程始于通用高质量教育语料 FineWeb-Edu，通过一套由粗到细、精度优先（precision-over-recall）的多阶段过滤管线筛选出 88B token 的 LittleCurriculum，随后基于 Qwen3 架构并配合专用的受限分词器从零预训练 5B 参数语言模型 LittleLearner。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["FineWeb-Edu 原始网页教育语料"] --> B["阶段 1：获得年龄 (AoA) 规则预过滤<br/>词频填补缺项，丢弃超龄词 >5% 文档"]
    B --> C["阶段 2：课程标准分类器级联<br/>FastText 粗筛 + ModernBERT 精筛"]
    C --> D["阶段 3：符号与公式高精正则过滤<br/>剔除方程/根号/积分等超越 K–5 符号"]
    D --> E["阶段 4：反差词频采样<br/>计算 Beyond-K–5 对数赔率并截断尾部"]
    E --> F["LittleCurriculum 语料库 (88B Tokens)<br/>仅含 K–5 知识边界文本"]
    F --> G["LittleLearner 5B 模型预训练<br/>专用分词器 + Muon 优化器 + K–5 退火"]
    G --> H["认知边界实证探究<br/>模型缩放 / SFT+GRPO / 上下文学习 (ICL)"]

关键设计¶

1. 获得年龄预过滤与对齐分类器级联：精度优先剔除高阶认知概念 为了处理数十亿规模的原始文档，必须兼顾计算成本与过滤精度。直接调用前沿商业模型打标全部 6.95B 网页样本成本超过 4500 万美元，因此作者设计了多级筛选阶梯。首先利用心理语言学中的“词汇获得年龄”（Age-of-Acquisition, AoA）指标作为认知难度的物理代理，对 AoA 词表中缺失的 10% 词汇，利用与 AoA 高度对齐的 Zipf WordFreq 建立线性模型进行对齐插值补全，规则化剔除超过目标年龄（12岁）词汇占比大于 5% 的文档。对于通过粗筛的文档，先部署轻量级 FastText 分类器进行年级段初步筛选，仅对年级匹配的候选样本进一步运行高精度的 ModernBERT 双向编码器。所有分类器的训练标签来源于由 Gemini 3 Flash 驱动、并通过 DSPy 与 OpenEvolve 针对 CCSS（Common Core State Standards）教学大纲自动优化提示词的 LLM-as-a-judge（LLMJ）打标样本。管线在多数表决冲突时向高年级倾斜，坚持“牺牲召回换取极致精度”的原则，确保入选文档绝对不渗透超越 K–5 的概念。

2. 符号公式正则清洗与反差词频下采样：双重堵截隐蔽数学与学术泄露 正规数学符号和公式在通识语料中出现频率相对较低，纯文本分类器和 LLMJ 容易在高度抽象的公式结构前失焦漏判。作者专门构建了涵盖方程（如多项式、单变量与多变量方程）、指数（如 $x^n, 5^3$）、根号（$\sqrt{x}, \sqrt[n]{x}$）、链式不等式（$a < x < b$）、微积分与算子（$\sum, \int, \partial, \infty$）以及显式函数符号（如 $f(x)$）的高精度正则表达式集合。任何匹配到此类初中及以上数学符号的文档均被一票否决剔除，精准清除潜在的代数和微积分残留。在此基础上，由于初筛通过的语料（约 100B token）依然超出预定训练预算，作者没有采用均匀随机采样，而是计算了词汇 $w$ 在保留候选池与 Beyond-K–5 排除池之间的反差对数频率比： $$\mathrm{score}(w) = \log_{2}\frac{\mathrm{rate}_{\text{Beyond-K--5}}(w)}{\mathrm{rate}_{\text{K--5}}(w)},\qquad\mathrm{rate}(w)=\frac{\mathrm{count}(w)}{\mathrm{total\ tokens}}$$ 通过统计打分筛选出虽然未被规则捕获但在高年级文本中显著高频富集的术语列表，对包含这些特征词的候选文档进行二次定向下采样剔除，彻底压缩稀疏事实记忆向模型渗透的可能。

3. 纯净分词器构建与教学对齐的预训练流程：保证沙箱从底层物理隔绝 如果直接沿用基于海量全网文本训练的开源分词器，其子词词表中将自然包含大量高级学术术语和生僻概念标记，为隐式语义泄漏留下后门。为此，研究团队仅在过滤后的 LittleCurriculum 语料上重新训练了一个专属分词器。模型架构采用 Qwen3-dense 结构，在 8 块 NVIDIA B200 GPU 上使用 Megatron-Core 框架纯数据并行训练 100 小时。优化器采用针对隐藏层设计的 8 路分层分片 Muon 优化器，搭配 BF16 参数存储与 MXFP8 计算加速。在预训练后期的 cooloff 学习率退火阶段，设计了严格受控的数据混合配比：91% 为 K–5 预训练语料，5% 为受限于 K–5 大纲的数学推理重写数据，2% 为 K–5 数学指令微调数据，以及 2% 的通用指令数据（均由 Gemini Flash 在严格遵循大纲的前提下对 MegaMath-Pro 和 FineWeb 文本进行儿童化重写）。这种底层到后期的闭环设计，确保了基座模型具备流畅的语言指令遵从能力，却绝不包含任何越界知识。

实验关键数据¶

主实验¶

为了验证 LittleCurriculum 数据边界的有效性以及 LittleLearner 的真实能力边界，研究人员设立了同等架构、同等计算量但在未过滤 FineWeb-Edu 语料上训练的 5B 模型（Unfiltered）作为同架构基线，同时引入了参数相近但训练量高达 2T tokens 的外部开源模型 Gemma 2B 作为对比。在评估涵盖小学到初中多个阶段的标准化数学推理基准 MathCAMPS 以及事实性问答 Jeopardy Science 上进行了全面测试。

评测任务 / 年级段	评测指标	LittleLearner (5B, 88B tokens)	Unfiltered (5B, 88B tokens)	Gemma 2B (2B, 2T tokens)	边界差异 / 说明
Jeopardy 科学 (K–5)	Pass@1 准确率 (%)	38.2	41.5	39.8	处于同一水平，掌握小学科学常识
Jeopardy 科学 (Beyond-K–5)	Pass@1 准确率 (%)	4.1	36.7	35.2	断崖式下跌 (-32.6%)，印证知识截断
MathCAMPS Grade K–3	Pass@1 (1024 rollouts) (%)	46.5	47.8	42.1	基础四则运算与计数能力高度对齐
MathCAMPS Grade 4–5	Pass@1 (1024 rollouts) (%)	33.8	36.2	34.0	小学高年级算术能力相当
MathCAMPS Grade 6	Pass@1 (1024 rollouts) (%)	24.1	29.5	27.6	处于大纲过渡区，差距初现
MathCAMPS Grade 7	Pass@1 (1024 rollouts) (%)	12.3	24.6	23.0	性能腰斩，有理数/代数概念匮乏
MathCAMPS Grade 8	Pass@1 (1024 rollouts) (%)	3.4	18.2	16.5	塌缩至地平线，仅为基线的 18.7%
MathCAMPS Grade 8 (Pass@1024)	覆盖上限指标 (%)	21.0	48.5	45.2	采样千次依然不及基准一半，确认硬能力上限

消融实验¶

基于已成功建立的知识边界沙箱，作者深入探索了三种常见的后天能力拓展手段（模型参数扩展、SFT+GRPO 强化学习后训练、上下文提示与思维链 Few-Shot）是否能帮助 LittleLearner 突破其预训练知识边界。

实验配置 / 干预手段	评测子集 / 年级	LittleLearner 准确率 (%)	Unfiltered 基线准确率 (%)	干预效果与核心现象说明
模型缩放: 0.6B → 1.3B → 5B	MathCAMPS K–5	21.4 → 28.5 → 34.0	18.1 → 27.8 → 36.2	0.6B 时 LittleLearner 甚至占优（小模型无高阶知识干扰）；随容量增加能力收敛
模型缩放: 0.6B → 1.3B → 5B	MathCAMPS Grade 8	1.8 → 2.4 → 3.4	6.5 → 11.2 → 18.2	尺度放大对超出预训练范围的 Grade 8 几乎无效，曲线持续贴地
提示干预: Direct (0-shot)	MathCAMPS K–5 / Beyond-K–5	34.0 / 6.0	-	基线零样本直接回答表现
提示干预: Natural prose (3-shot CoT)	MathCAMPS K–5 / Beyond-K–5	36.8 / 5.9	-	规范自然语言 CoT 使 K–5 略有增益，但对 Beyond-K–5 完全无效
提示干预: Compact algebraic CoT	MathCAMPS K–5 / Beyond-K–5	17.0 / 1.6	-	纯代数紧凑表达破坏输出，分布外性能进一步衰退至 1.6%
提示干预: Q/A only (无 CoT)	MathCAMPS K–5 / Beyond-K–5	9.2 / 0.2	-	缺乏思维链输出引导，无论年级性能均大幅受损
后训练: SFT + K–5 GRPO	MathCAMPS K–5 / Beyond-K–5	45.2 / 7.8	49.6 / 27.1	RL 有效激发了 K–5 内部推理效率，但越界推理无显著改善
后训练: SFT + Beyond-K–5 GRPO	MathCAMPS K–5 / Beyond-K–5	44.8 / 8.1	51.3 / 28.5	即使给 LittleLearner 喂入全范围高年级 RL 奖励信号，仍无法弥补预训练底座缺失

关键发现¶

预训练暴露决定能力绝对天花板：不论是将参数量从 0.6B 扩展至 5B，还是提供详细的人工撰写思维链（CoT）上下文范例，抑或是采用前沿的大规模 GRPO 强化学习，均只能在模型预训练所触及的 K–5 知识域内带来显著提升，而在超出认知边界的高年级（Grade 8+）上均无法实现有效迁移或涌现。
高年级强化学习无法在缺失先验的底座上凭空制造技能：对比实验最关键的发现是，对 LittleLearner 进行包含高年级数学问题的跨界 GRPO 训练，其取得的 Beyond-K–5 收益与仅在 K–5 数据上做 GRPO 完全无异（8.1% vs 7.8%），而相同的后训练却能让 Unfiltered 模型获得超过 10% 的绝对提升。这直接证明强化学习本质上是在“提取和编排”预训练阶段沉淀的潜伏知识，而非凭空学习高阶算法。
大语言模型习得规律不遵从人类认知层级：分析细粒度技能链发现，LittleLearner 会在多位数除以多位数任务上表现优秀，却在逻辑上属于其前置依赖的“多位数除以个位数”任务上遭遇困难。这一现象表明模型是基于统计分布与模式匹配而非人类的渐进式逻辑依赖进行表征构建。

亮点与洞察¶

认知科学启发的开发受控沙箱：通过引入教育学标准（CCSS / NGSS）与心理语言学指标（AoA）构建 88B token 规模的受限语料，首次在 5B 实用模型尺度上确立了可解释、无污染的先验知识分界线。
严密自洽的负结果实验论证：清晰证明了在基座模型缺乏对应领域预训练先验的前提下，提示工程（ICL）、强化学习（GRPO）和模型缩放（Scaling）均无法突破知识壁垒，有力回应了学术界关于“RL 能否自主发现全新知识”的基础争论。
概念投影式幻觉机制解析：定性分析揭示，当向模型提问超出其认知大纲的概念（如薛定谔的猫或质能方程 $E=mc^2$）时，模型并非表现出无序乱码或拒绝回答，而是极其自洽地将陌生术语强行投影到自身熟知的 K–5 模式库中（如将薛定谔的猫解释为“长着两张脸的猫”），为大模型幻觉与认知校准研究提供了绝佳切片。

局限与展望¶

模型参数规模限制：受限于学术机构计算资源，LittleLearner 探索的最大基座规模为 5B，在超大规模（如 70B+）下是否可能存在极弱信息下的更高阶跨分布逻辑外推能力尚待进一步论证。
人类大纲与模型计算模式的天然错位：CCSS 依赖于循序渐进的教学递进，而 Transformer 模型的模式识别特性导致其技能掌握轨迹与人类认知发展链条存在非单调偏离，使得年级划分在临界点（如 Grade 6）表现出一定的模糊性。
未来探索方向：该沙箱为持续学习（Continual Learning）中的灾难性遗忘测量、动态检索增强生成（RAG）对无先验领域的补足效率评估，以及基于自我对弈的真正算法外推探索提供了标准化的纯净基底。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙跳脱出被动的评测集防污染循环，构建了从底层预训练入手、兼具解释性与教育学基础的认知受控沙箱。
实验充分度: ⭐⭐⭐⭐⭐ 从数据过滤各阶段的流失率分析、多维难度验证，到模型缩放、RL 后训练及 CoT 提示消融，论证链条极其扎实严密。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰，问题定义切中当前 LLM 研究核心痛点，数据可视化与实验细节极其详尽。
价值: ⭐⭐⭐⭐⭐ 为整个学术界研究大语言模型的能力涌现边界、持续学习机制与幻觉成因提供了一个低成本且可复现的基础实验平台。