跳转至

📚 预训练

🧠 NeurIPS2026 · 52 篇论文解读

📌 同领域跨会议浏览: 🎞️ ECCV2026 (15) · 📷 CVPR2026 (6) · 🔬 ICLR2026 (79) · 💬 ACL2026 (12) · 🧪 ICML2026 (27) · 🤖 AAAI2026 (9)

🔥 高频主题: LLM ×5 · 扩散模型 ×3

A Bitter Lesson for Data Filtering

通过对高算力、多轮迭代(epoching)和不同模型规模下预训练表现的系统缩放研究,证明随着算力与参数量增长,未经过滤的原始网页语料最终击败所有常见人工与分类器过滤子集,展现出数据过滤领域的“苦涩的教训”。

A Scalable Measure of Loss Landscape Curvature for Analyzing the Training Dynamics of LLMs

本文提出仅需数次前向传播的临界锐度与相对临界锐度指标,首次在 7B 参数规模下实证大语言模型的渐进锐化与稳定性边缘现象,并为退火与微调中的数据混合比提供免网格搜索的曲率判定依据。

A Theory of Training Profit-Optimal LLMs

本文将大模型规模法则(Scaling Laws)与微观经济学厂商理论相结合,首次建立了垄断大模型厂商在算力受限与数据受限场景下的利润最大化训练理论,推导了最优模型尺寸、训练数据量与算力支出的渐近解析界,并指出现行算力军备竞赛的扩张速度已超出合理利润最优区间。

Accelerating LLM Pre-Training through Flat-Direction Dynamics Enhancement

基于黎曼流形上带Hessian阻尼的惯性动力学系统(RISHD),本文提出通用加速策略LITE,通过无额外优化器状态的高效子空间滤波,在平坦方向选择性放大更新步长与Hessian阻尼,显著加速Muon与SOAP的大模型预训练。

An Empirical Study on Noisy Data and LLM Pretraining Loss Divergence

本文通过系统化注入可控的均匀随机噪声,首次在大规模可控实验中证实噪声数据能够直接诱发大语言模型预训练损失发散,揭示了受限噪声词表与网络深度对稳定性的致命破坏,并提出了区分高学习率与数据噪声诱发发散的注意力 logit 诊断体系及 QK-LayerNorm 防御方案。

Bridging Compute- and Data-Optimal Pretraining

提出了融合计算最优与数据最优的统一 Compute-Data (CD) Scaling Law,引入与模型大小和数据充足度动态耦合的衍生 token 有效性函数 \(\eta\),刻画了多轮重复与改写扩增下的边际收益衰减与饱和上界,给出了预训练三阶段资源瓶颈划分及联合 Pareto 最优配置法则。

Detecting RLVR Training Data via Structural Convergence of Reasoning

针对基于可验证奖励的强化学习(RLVR)训练数据未公开导致基准污染难以排查的问题,本文发现 RLVR 会导致模型在已见题目上出现符号推理结构收敛与生成僵化现象,据此提出了无需参考模型与 token 概率的纯黑盒检测指标 Min-kNN Distance,在多个开源推理模型上取得领先检测性能。

Dynamic Tokenization via Reinforcement Patching: End-to-end Training and Zero-shot Transfer

提出首个利用强化学习联合优化序列分块策略与下游主干模型的端到端框架 ReinPatch,通过分组相对策略梯度(GRPG)解决离散边界决策并严格保证压缩率,同时支持解耦导出通用基础分块器以实现卓越的零样本迁移。

Effective Context in Transformers: An Analysis of Fragmentation and Tokenization

本文从有限上下文马尔可夫源的信息论视角出发,证明了将符号无损拆分为细粒度碎片会因相位不确定性产生不可消除的预测损失下界,而贪心分词则通过跨越更多源符号将短窗口扩展为更长的有效上下文,给出了基于源跨度下尾分布的损失可达性理论保证。

ELF: Embedded Language Flows

提出基于连续时间流匹配的连续扩散语言模型 ELF,在连续嵌入空间全程去噪并仅在最终时刻复用主干网络进行离散化解码,以高数据效率与极少步数显著超越离散与连续扩散语言模型基线。

Epiplexity Guided Data Selection and Generation for Out-of-Distribution Generalization

本文提出将计算约束下的结构信息度量 Epiplexity 转化为在线训练信号,分别通过跨领域缩放法则引导真实数据动态选择(EpiSelect)以及利用基于历史评测缓冲区的 REINFORCE 强化学习生成合成数据(EpiGen),显著提升模型在分布外下游任务上的泛化表现。

Extracting Training Data from Diffusion Language Models via Infilling

针对传统前缀探测低估扩散语言模型(DLM)记忆化风险的盲区,本文提出基于任意二值掩码的文本补全(Infilling)数据抽取协议,揭示掩码几何结构与双向归纳偏置对提取率的关键影响,证明在脱敏数据恢复场景下DLM的敏感实体泄漏风险甚至超过同等规模自回归模型。

Holistic Scaling Laws for Optimal Mixture-of-Experts Architecture Optimization

提出了一个全局 MoE 架构优化框架,将单 token 计算量、激活参数量和总参数量构成联合约束三元组,通过数学解耦与隐层维度保序性将 16 维搜索空间降维为两阶段搜索,并在 670+ 个模型训练验证下给出了任意算力预算到最优 MoE 架构的确定性设计蓝图。

How Much Is One Recurrence Worth? Iso-Depth Scaling Laws for Looped Language Models

本文通过固定 20 层有效前向深度的等深度标度律设计与联合损失拟合,测定了循环架构中单次循环在等效独立参数维度的折算价值为 \(\varphi = 0.46\)(仅相当于约半个独立层),并提出偏移量 \(\Delta \varphi\) 作为能够有效解耦架构真实表征收益与训练端伪收益的诊断指标。

Learning to Read Out: Unembedding Dynamics in Language Model Pretraining

本文揭示了语言模型预训练早期最后一层隐状态已编码任务信息但自身解嵌入矩阵(Readout/Unembedding)尚未学会表达的滞后脱节现象,并提出基于纯权重轨迹的参数轨迹跨编码器(Parameter-Trajectory Crosscoding)定量刻画了 Readout 结构的早期快速重组窗口与动态演进规律。

Learning What to Predict: Downstream-Guided Task Design for Continued Pretraining

针对持续预训练中自监督代理任务与下游能力目标脱节的问题,本文提出 V-pretraining 框架,通过轻量级任务设计器将下游验证样本的一阶梯度反传为任务构建信号,在下游标签零泄露、不直接监督主学习器的前提下实现步级价值引导。

Leviathan: Decoupling Input and Output Representations in Language Models

本文提出 Leviathan 架构,通过可学习嵌入向量化(LEV)将输入词表索引连续化映射为输入表征,在几乎不增加总参数量(1.2B 规模仅增 0.2%)的前提下彻底解耦输入嵌入与输出分类头,并在长尾罕见词上取得高达 81% 的困惑度下降。

littlelearner language models under pedagogically-controlled knowledge exposure

本文构建了受限于美国幼小阶段(K–5)认知大纲的 88B token 预训练语料 LittleCurriculum,从零训练了 5B 参数大语言模型 LittleLearner,实证揭示了模型能力边界严格受预训练知识暴露范围约束,后训练 RL 与上下文学习仅能激发既有先验而无法实现向分布外高年级能力的跨越。

Looped Diffusion Language Models

本文提出了 LoopMDM,首次将循环机制引入掩码扩散语言模型(MDM),通过仅对少量前中部 Transformer 层进行权重共享的循环计算,在相同训练 FLOPs 下大幅提升预训练效率与推理质量,并利用掩码位置作为并行计算工作区实现了无需增加参数的测试时计算缩放。

LoopRPT: Reinforcement Pre-Training for Looped Language Models

针对循环语言模型中隐式多步推理与传统基于输出 Token 的稀疏强化学习信号结构性错配的问题,LoopRPT 提出了首个专用于循环架构的强化预训练框架,通过高熵 Token 筛选、基于动态 EMA 教师的步级密集奖励与高斯噪声隐空间采样,实现了潜空间表征质量提升与早退推理效率的帕累托最优。

LoopRPT: 循环语言模型的强化预训练框架

LoopRPT 针对循环语言模型将多步推理压缩在隐状态迭代而非外显 Token 的结构特性,构建基于 EMA 动态教师与高熵困难 Token 筛选的分步密集强化信号,通过加噪隐状态采样联合优化早退策略与前序表征,在降低平均循环步数的同时显著提升复杂推理精度。

Lumos: Tracing Parametric Knowledge from Training Data to Behavioral Outputs in LLMs

基于全开源预训练语料的 OLMo 2 体系构建 Lumos 诊断框架,沿“数据暴露→内部表征→概率偏好→行为输出”完整因果链追踪参数化知识,揭示事实可靠性根本受制于训练暴露而非模型规模。

Mamba Can Learn Low-Dimensional Targets In-Context via Test-Time Feature Learning

本文首次从理论上证明了预训练的 Mamba 能够通过非线性门控机制在测试阶段实现特征学习(Test-Time Feature Learning),在单指标模型上下文学习任务中突破相关统计查询(CSQ)下界,达到与非线性 Transformer 相当的近信息论最优样本复杂度。

MemDLM: Memory-Enhanced DLM Training

本文提出 MemDLM 框架,通过双层优化在训练内循环中将模拟的逐步去噪轨迹写入快速权重构成参数化记忆,卸载注意力机制的局部记忆负担,在仅训练模式下大幅提升扩散语言模型的长上下文表征与检索能力,且可在推理时按需激活内循环实现基于权重的快速自适应检索。

Neural Neural Scaling Laws

摒弃传统逻辑缩放定律对验证损失取均值与单一参数形式的刚性假设,提出以轻量神经网络进行时间序列外推的 NeuNeu 模型,结合 token 级验证概率分布与历史准确率轨迹,实现下游 66 项任务准确率平均绝对误差降低 44% 并精准校准不确定性。

Nexus: Same Pretraining Loss, Better Downstream Generalization via Common Minima

针对传统优化器收敛于仅最小化加权总损失的“平均型极小值”而损害跨任务泛化的问题,本文提出即插即用的 Nexus 二阶梯度近似器,通过最大化不同数据源间的梯度余弦相似度将模型引导至各任务极小值紧密聚集的“公共极小值”,在预训练损失几乎一致的前提下大幅提升下游泛化性能。

On Neural Scaling Laws for Weather Emulation through Continual Training

本文采用极简 Swin Transformer 架构与“恒定学习率+周期性冷却”持续训练策略,系统构建了覆盖两个数量级算力(\(6\times 10^{17} \sim 6\times 10^{19}\) FLOPs)的气象模拟神经缩放曲线并确定了算力最优平衡点,同时揭示了外推至超十亿参数时多轮训练引起的过拟合饱和限制。

On the Invariance and Generality of Neural Scaling Laws

本文提出基于信息分辨率的信息论神经缩放法则框架,证明双射变换保持缩放指数与不可约损失不变,而非双射变换通过方差膨胀与最优损失平移两重机制改变法则,实现了跨领域免扫描预测缩放曲线。

On the Nonlinearity of Learning Rate Scaling for LLM Training

本文系统评估了大模型训练中经典对数线性学习率缩放定律的失效机制,揭示出最优学习率在扩展规模时存在系统性向上弯曲,证明改用基于归一化权重方向的有效学习率 \(\eta_{\mathrm{eff}}\) 配合沿数据量 \(D\) 轴外推能大幅消除非线性并降低计算开销,同时从 AdamW 瞬态权重范数演化的数学机制上解释了非线性根源。

One Algorithm, Two Goals: Dual Scoring for Parameter and Data Selection in LLM Fine-Tuning

将参数选择与数据选择统一建模为共享验证目标的双层优化问题,提出一阶段对偶打分算法 DualSFT,通过投影向量与梯度交互矩阵行列聚合以闭式解同步提取参数掩码与样本子集。

Optimal Scaling Laws in Learning Hierarchical Multi-Index Models

针对受限于表征学习的层次多指标目标,本文严格推导出子空间恢复与泛化超额风险的贝叶斯最优 Scaling Laws,证明简单的目标无关谱估计器及两层神经网络能够达到信息论最优率并解释特征序贯涌现与误差平台现象。

Prefix-Tuning for Arbitrary Output Sequences on Pretrained Transformers

针对预训练自回归 Transformer 是否能通过前缀微调生成任意目标序列的理论盲区,本文证明了在目标序列处于模型生成值域内的充要条件下必存在解,并提出基于注意力匹配的无训练线性求解算法,在 GPT-2 和 Qwen3-4B 上实现了对输出序列的近乎完全精确控制。

Progressive Residual Warmup for Language Model Pretraining

针对深度 Transformer 预训练初期深层残差过早介入导致表征动荡与梯度混乱的瓶颈,提出渐进式残差预热(ProRes),通过随层深线性递增残差预热步数,使深层等待浅层稳定后再逐步参与学习,全面提升模型收敛速度、深度扩展能力与下游泛化表现。

ReCoVer: Resilient LLM Pre-Training System via Fault-Tolerant Collective and Versatile Workload

针对十万卡大模型预训练中频繁硬件故障导致的巨大检查点重启开销与轨迹漂移问题,ReCoVer 提出了由底层故障自愈通信原语、中间步内细粒度梯度快照恢复与顶层弹性工作负荷策略构成的三层协议体系,在无需回滚重放与冗余热备的前提下,始终维持单步微批次总量恒定,实现了与无故障基准严格随机等价的端到端鲁棒预训练。

Scaling Laws and Tradeoffs in Recurrent Networks of Expressive Neurons

提出了基于表达力漏失记忆(ELM)神经元的双重循环网络架构与闭式信息论分析框架,系统揭示了在固定参数预算下神经元数量、单神经元内部复杂度与突触连接度之间的最优分配权衡与 Pareto 缩放定律。

Scaling Linear Mode Connectivity and Merging to Billion Parameter Pretrained Transformers

针对独立预训练 Transformer 在原始权重空间直接线性插值存在巨大损失屏障的问题,本文系统形式化了 Transformer 保持网络功能的完整对称性族,并提出了双向学习匹配框架(LMC-DM),首次在十亿级参数模型上实现了低损失屏障的线性连通与模型融合。

Scratchpad Patching: Decoupling Compute from Patch Size in Byte-Level Language Models

针对无分词器字节级语言模型中大 Patch 导致的因果表征滞后问题,本文提出 Scratchpad Patching(SP),在 Patch 内部自适应插入不计入持久 KV-Cache 的临时暂存器刷新上下文,在降低 16 倍 KV-Cache 与节省 3~4 倍推理算力的同时逼近甚至超越纯字节级基线。

SimReg: Achieving Higher Performance in the Pretraining via Embedding Similarity Regularization

提出嵌入相似度对比正则化损失 SimReg,在自回归 LLM 预训练中显式拉近预测相同目标 token 的隐层嵌入并推开不同 token 嵌入,从几何上扩大分类边界,使预训练收敛加速超 30%,并在下游零样本评测上平均提升超 1%。

Spectral-Sphere-Constrained Hyper-Connections

s²HC 将多流残差矩阵从非负双随机约束放宽到保持均值的谱范数球面,用零和子空间上的动态旋转与有界缩放实现非退化混合,在三个从头预训练的语言模型上将八项评测平均准确率提高到 47.1、50.2 和 50.7。

Synthetic Pre-Pre-Training Improves Language Model Robustness to Noisy Pre-Training Data

本文提出在自然语言预训练前引入基于随机初始化RNN集成的轻量级合成预-预训练(PPT)阶段,使语言模型在遭遇噪声预训练语料时主动抑制噪声自建模,在1B参数模型上以仅65M合成Token换取高达49%的自然文本训练Token节省。

The State-Prediction Separation Hypothesis

论文提出状态-预测分离假设(State-Prediction Separation Hypothesis),通过在输入序列中交替插入专用的 <predict> 标记,将自回归 Transformer 的前向计算与表示解耦为负责持久历史存储的状态流与负责即时预测的预测流,在保持推理期 KV 缓存显存不变和仅牺牲 6% 吞吐的前提下,跨 53M 至 1.68B 参数规模一致取得 2-3 个百分点的下游任务零样本准确率提升与数倍的数据利用效率。

Theory of Optimal Learning Rate Schedules and Scaling Laws for a Random Feature Model

本文利用最优控制理论解析求解了幂律谱随机特征模型在 SGD 训练下的全局最优学习率策略,揭示了“简单相”(多项式衰减)与“困难相”(类似 WSD 的快速退火)两种本质不同的调度相态及其泛化误差标度律,并成功解释了 ResNet 与 Transformer 在训练步长迁移上的经验差异。

Towards Scalable Data Diversification for Language Model Pretraining via Leverage Score Sampling

针对大语言模型预训练数据过滤中质量筛选引发的“维度塌陷”与现有几何多样性方法算力代价过高的问题,本文提出基于杠杆分数采样(Lev)的可扩展数据多样化方法,利用单次共享 Gram 矩阵与 Cholesky 分解最大化表示子空间体积扩张,实现高达 72 倍加速并显著提升常识与代码下游表现。

Towards Understanding Self-Pretraining for Sequence Classification

本文通过系统实验消融、单层极简合成任务与理论证明,揭示了自预训练(SPT)大幅提升序列分类性能的内在机制:均值池化标签监督在均匀注意力初始化下存在梯度盲区,而自预训练的掩码重构目标能提供非零梯度,引导查询-键投影权重将绝对正弦位置编码重组为近邻偏置注意力先验。

Training Language Models via Neural Cellular Automata

提出以离散神经元胞自动机(NCA)动力学轨迹作为纯算法生成的非语言合成数据基底,对大语言模型开展预预训练(pre-pre-training),仅用 164M token 即可实现超越 1.6B 自然语言 token 的下游语言建模困惑度下降(最高达 6%)与 1.6 倍收敛加速,并揭示注意力层是通用计算原语的核心载体。

TraXion: Rethinking Pre-training Frameworks for Mobility and Beyond

针对传统自监督预训练将轨迹机械类比为文本所导致的语义割裂,本文形式化了多实体时空事件流(MESES)并提出满足三项公理的 TraXion 框架,通过属性联合扰动的噪声检测、双重角色的实体原型对比学习与共现解耦 Transformer,在移动分析、安全日志和临床预测等跨领域任务上全面超越专用基线。

Universal Byte-Level Encoding: UTF-8/UTF-16 Routing to Reduce Cross-Script Token-Budget Disparities

针对 UTF-8 BBPE 分词器因多字节回退基底过高导致非拉丁语系面临严重 Token 预算赤字的问题,本文提出通过单一确定性字符级 UTF-8/UTF-16 双基底路由(UBE),在保持无缝无损解码和标准 BPE 训练的前提下将 3 字节 BMP 字符的基底成本从 3 降为 2,显著压缩跨语言 Token 溢价差距并提升模型有效上下文容量。

What if Agents Could Imagine? Reinforcing Open-Vocabulary HOI Comprehension through Generation

提出 ImagineAgent 智能体框架,构建包含 6K 条高质量思维链的 hicodet-6K 数据集完成监督微调,结合多模态工具库(检索、裁剪与生成式补全/跨视角想象)与带复合奖励的 GRPO 强化学习,显著增强开放词表人物交互(OV-HOI)理解能力。

Z0-Inf: Zeroth Order Approximation for Data Influence

本文针对大语言模型数据影响力估计开销巨大且易失真的瓶颈,提出了完全绕过反向传播梯度的零阶近似方法 Z0-Inf,仅依赖中间检查点的损失评估值与模型权重构建有限差分方向梯度,在获得数量级显存与计算加速的同时,在自影响力及训练-测试影响估计上显著提升了与真实重训基准(SSRT)的相关性。

对齐归纳偏置以实现状态空间模型的数据高效泛化 (Aligning Inductive Bias for Data-Efficient Generalization in State Space Models)

本文从核理论视角证明了线性时不变状态空间模型(LTI SSM)的归纳偏置谱由其频率响应主导,并据此提出任务相关初始化(TDI),在不增加推理与模型参数负担的前提下,通过使初始 SSM 频响对齐任务特征谱,显著提升小样本低数据量场景下的泛化效率。

How to Train Your Latent Diffusion Language Model Jointly with the Latent Space

针对现有连续文本扩散模型潜在空间固定或与去噪解耦的问题,本文提出 LDLM 框架,通过两阶段编解码与四重训练配方(隐藏状态 MSE 重构、扩散到编码器渐进预热、自适应时间步采样和解码器输入噪声注入),实现了潜在编码器与连续扩散模型的端到端联合训练,在生成质量优于主流离散与连续扩散模型的同时实现了 2 至 13 倍的采样加速。

Model-Aware Tokenizer Transfer

提出模型感知分词器迁移方法(MATT),通过注意力影响建模(AIM)将原模型的跨 token 注意力交互动态蒸馏至新分词器模型,在极低算力开销下高效恢复大语言模型在目标语言上的生成与判别能力。