跳转至

📚 预训练

💬 EMNLP2026 · 7 篇论文解读

📌 同领域跨会议浏览: 🧠 NeurIPS2026 (52) · 🎞️ ECCV2026 (15) · 📷 CVPR2026 (6) · 🔬 ICLR2026 (79) · 💬 ACL2026 (12) · 🧪 ICML2026 (27)

Beyond Junk Tokens: Subsumed Tokens in Japanese Subword Tokenization

针对频次与似然驱动的子词分词在无显式词边界语言中系统性抑制有效词出现频次的问题,本文形式化了吞没词元(subsumed tokens)现象,并提出一种在不改变分词器词表的前提下基于字符跨度二叉树搜索的动态规划后处理框架,有效恢复有效词统计并提升词嵌入与下游任务表现。

DebugLM: Learning Traceable Training Data Provenance for LLMs

提出 DebugLM 框架,通过引入离散数据源标签与双模态联合优化目标,使大语言模型内生具备行为溯源与测试时靶向补救能力,在单次前向传播中以超 95% 的成功率精确定位生成行为源头数据集且不损害模型通用性能。

How Should LLMs Consume High-Quality Data? Optimal Data Scheduling via Quality-Aware Functional Scaling Laws

本文建立了考虑时变数据质量与批大小耦合的质量感知泛函缩放定律(Quality-Aware FSL),推导出渐近闭式最优联合调度策略,揭示了高质量数据在“噪声受限”(小批次放大信号)与“信号受限”(后置抑制终端噪声)下的对偶作用,并据此设计出 Drop-Stable-Rampup 训练策略,在 15B MoE 和 600M Dense 模型上全面刷新基准。

MDM-Prime-v2: Binary Encoding and Index Shuffling Enable Scaling of Diffusion Language Models

本文深入剖析了掩码扩散模型(MDM)在子词粒度掩码下的理论目标与下界,指出 BPE 词表偏置导致的低熵子词会显著劣化训练损失,进而提出结合随机索引混洗(Index Shuffling)与二进制编码(Binary Encoding, \(\ell=\lceil\log_2 V\rceil\))的 MDM-Prime-v2,在不增加模型前向计算开销的前提下最小化条件交叉熵目标,首次成功将部分掩码扩散语言模型扩展至 1.1B 参数并全面超越 GPT-Neo、OPT、TinyLLaMA 及同规模 SMDM 基线。

OptiMer: Optimal Distribution Vector Merging Is Better than Data Mixing for Continual Pre-Training

OptiMer 提出将多语料持续预训练(CPT)中的数据配比搜索与模型前向训练彻底解耦:通过为各语料独立训练单一模型并抽取分布向量,再借助基于 TPE 的贝叶斯优化在事后快速搜索最优线性组合权重,在 Gemma 3 27B 上以 15–35 倍更低的搜索开销显著超越传统混合数据预训练与主流模型合并基线。

SpinHash: An O(1) Encoder for Any Vocabulary

提出了参数量仅约 0.2M 且对词表大小和模态数量均保持 \(O(1)\) 常数复杂度的 SpinHash 编码器,通过可控几何自旋哈希(Spin-SimHash 与 Spin-Repulse)将离散 token 映射为定长自旋码并由单共享 FFN 解码,在文本、超大 \(k\)-mer 基因组和高基数临床多模态融合中全面媲美或超越传统巨型嵌入表。

WRAP++: Web Discovery Amplified Pretraining

针对单文档改写受限于篇内信息孤岛与事实提取瓶颈的问题,WRAP++ 利用万维网超链接拓扑挖掘高置信度实体关系子图,并在跨文档依赖与事实链约束下合成多跳联合问答,将 8.4B 原生维基语料放大为 82.7B 高质量预训练数据,显著提升了大语言模型的事实知识内化与检索能力。