跳转至

UltraX: Refining Pre-Training Data at Scale with Adaptive Programmatic Editing

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/openbmb/UltraX
领域: LLM / NLP
关键词: 预训练数据清洗, 规划式程序编辑, 函数调用, 数据利用效率, 大模型预训练

一句话总结

UltraX 提出了一套基于函数调用的自适应规划式预训练数据精炼框架,通过补齐包含行级插入、删除与行内替换的完备编辑空间,结合自适应 Prompt 优化、分层文本-操作映射与冲突消除后处理,以极低生成开销实现了大规模网页语料的细粒度可解释修复,在 5 大基准语料上使用 16B token 预训练即全面超越 20B token 基线。

研究背景与动机

随着大语言模型(LLM)预训练规模持续向数十万亿 token 推进,公开互联网上的高质量可采集语料正逐步逼近其物理极限,单纯依赖扩大数据规模所带来的缩放定律(Scaling Laws)边际收益出现明显衰减。在这一背景下,学术界与工业界的研究重心已逐步从“海量粗放扩张”转向“提升数据利用效率”,即通过系统化提升既有语料的内在信息密度与语义纯净度,充分释放既有文本对模型能力的增益潜力。然而,真实网络抓取语料(如 Common Crawl)充斥着导航栏残留、模板样板、广告推广、乱码和爬虫格式崩塌等异质噪声,如何在大规模预训练语料上兼顾精炼质量、吞吐效率与执行可靠性,成为当前数据工程领域的核心难题。

现有数据质量提升方法在此面临深刻的技术权衡与能力瓶颈。基于启发式规则的文档级过滤与清洗算法虽然计算开销低、易于在超大规模语料上并行运行,但其固定的启发式规则无法捕捉千差万别的实例级语义变化,往往在粗暴剔除包含高价值局部知识的整篇文档(Over-filtering)与放过隐蔽噪声之间进退维谷;基于大模型的端到端(E2E)直接重写虽然能够修复复杂语义缺陷,但其需要输出与输入等量的文本序列,推理延迟与显存开销极大,吞吐量难以支撑万亿级预训练语料,且在长文档分块重组过程中容易产生语义割裂与生成幻觉。近期出现的规划式数据精炼框架(如 ProX 与 RefineX)尝试让轻量模型预测结构化编辑程序再由确定性执行器应用,但它们受限于不完备的操作空间(RefineX 仅支持删除,ProX 仅支持删除与替换),无法处理需要插入语义或修复格式的场景;同时其种子数据构造依赖粗暴硬过滤或直接让 LLM 编写代码,缺乏对不同语料异质噪声的自适应优化,在执行时亦频频遭遇重复子串歧义匹配与同行动作冲突。

针对上述挑战,本文的核心洞察在于:预训练数据清洗本质上不需要轻量模型具备全知重写能力,只要将其形式化为受限词表下的结构化程序预测,小模型即可在极低计算预算下展现出媲美前沿大模型的精炼精度。核心 idea:构建一套以轻量模型为执行者、涵盖「删除-替换-插入」完备编辑空间的函数调用式预训练数据精炼框架(UltraX),通过数据集自适应 Prompt 优化引导专家大模型生成高质量端到端精炼样本,基于分层文本-操作映射(行对齐与动态上下文扩展)提炼出高保真结构化函数监督,并在推理阶段引入滑动窗口聚合与冲突消除后处理,以极低生成开销实现大规模网页语料的细粒度可解释修复。

方法详解

整体框架

UltraX 将长文档预训练数据精炼形式化为面向行编号文档的结构化函数序列预测与确定性执行过程。整个系统包含两大核心阶段:第一阶段(精炼模型构建)从原始网页语料中采样多层次种子数据,首先利用自动 Prompt 优化 Agent 针对特定语料噪声画像演化出定制化精炼 Prompt,引导专家大模型(DeepSeek-V3.2)生成端到端高质量清洗文本;随后通过分层文本-操作映射管线(包括行对齐映射与动态上下文替换),将文本对转译为覆盖删除、替换、插入的五元函数调用程序,并施加低置信度过滤与比例受控采样,用于微调 0.6B 轻量级 Refiner 模型。第二阶段(大规模程序执行)在大规模预训练语料上运行带 20% 重叠的滑动窗口切分,由微调后的 Refiner 输出局部函数序列,通过全局行号映射与非重叠区操作聚合消除重复修改,继而进行歧义过滤、同行替换合并及退化重复模式回退,最终由确定性执行器一次性重构出高质预训练语料。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    RAW["原始大规模网页语料<br/>Raw Web Corpora (d ∈ D)"] --> D1["完备函数空间与行号化任务建模<br/>删除·替换·插入五元接口与行级物理锚定"]
    D1 --> D2["数据集自适应 Prompt 与分层文本-操作映射<br/>自适应演化Prompt · 行对齐匹配与动态上下文扩展"]
    D2 --> D3["比例受控采样与系统指令引导微调<br/>编辑加权操作配比 · 0.6B轻量Refiner高效SFT"]
    D3 --> D4["大规模滑动窗口执行与冲突消除后处理<br/>非重叠窗口聚合 · 同行span合并与退化模式安全回退"]
    D4 --> OUT["确定性执行重构高质语料<br/>Refined Pre-Training Corpus (d_hat)"]

关键设计

1. 完备函数空间与行号化任务建模:修补缺失语义与格式崩塌 -> 五元接口扩展与行级物理锚定 -> 保障编辑完备性与可审计性
以往程序化精炼方法在操作空间设计上存在严重残缺(如 RefineX 仅支持删除,ProX 仅支持删除与替换),当原始网页因抓取或排版截断丢失换行、标点或连词时,仅靠删除和替换往往导致语义割裂甚至语篇崩溃。为此,UltraX 首次引入行级插入操作,构建了涵盖 5 种互补操作的完备编辑函数空间 \(\Omega\):文档级操作包含无须修改的 keep_all() 与整篇无效剔除的 remove_all();行级操作包含删除连续行区间的 remove_lines(start_line, end_line) 以及在指定基准行插入内容的 add_line(base_line, sub_idx, new_str);行内操作则由精确定位替换的 replace_str(line, source_str, target_str) 承担。为降低小模型的生成难度并避免绝对字符偏移量在多次编辑后的漂移失效,UltraX 全面采用行标记 <lid:N> 作为物理锚点,行级插入利用小数索引 sub_idx 严格保序,行内替换则绑定行号与局部字串。该设计既保证了任何复杂的文本变换均可解构为操作组合,又实现了极短的输出 token 消耗与全流程可审计性。

2. 数据集自适应 Prompt 与分层文本-操作映射:异质噪声泛化与歧义匹配 -> 自适应演化与动态上下文扩展 -> 构建高保真可执行程序监督
不同来源的网页语料在噪声分布、代码表格及格式结构上差异极大,通用固定 Prompt 难以适配多元语料,且将专家模型生成的端到端文本转为编辑程序时极易产生跨行错位与重复子串错误匹配。UltraX 首先设计了一个全自动 Prompt 优化 Agent:先对语料采样 15 篇文本进行内容与噪声画像分析,随后以包含噪声去除、无过度编辑、内容保留、格式完整性、无效内容识别 5 大维度(满分 10 分)的 Judge 模型(Gemini-3-Flash)为反馈核心,驱动 Meta-Optimizer 进行至多 200 轮 Prompt 迭代诊断与改写,最终使专家模型(DeepSeek-V3.2)输出符合目标语料特性的端到端清洗范例。在监督转译阶段,系统首先运用行对齐映射算法,融合行内容相似度(权重 0.6)、上下文相似度(权重 0.2)和相对位置相似度(权重 0.2)贪婪匹配非交叉行对,将未匹配行自然转为 remove_lines 或 add_line;针对匹配行内的字符级差异,创新性地提出动态上下文替换(Dynamic Context Replacement),从最小差异片段向两侧动态扩展上下文窗口,直至构建出的 source_str 在目标行内具有唯一确定性匹配位置,彻底消除了由于“the”、“and”等高频重复词引发的误替换。随后施加严格的低置信度过滤规则(丢弃操作数 \(\ge 20\)、替换串长 \(\ge 150\) 或插入串长 \(\ge 200\) 等异常样本),构建出约 1.62M 条高质量程序监督数据。

3. 比例受控采样与系统指令引导微调:样本分布失衡与过度编辑 -> 编辑加权配比与严格边界指令注入 -> 赋能0.6B轻量模型稳健预测
在自然构造的种子监督数据中,由于大部分文本片段本身质量尚可,无须修改的 keep_all() 样本占比高达 60%,导致模型极易收敛至“不做任何修改”的保守懒惰状态;反之若完全剔除保留样本,又会诱发激进的过度编辑与语义损伤。为此,UltraX 实施了基于操作组合类别的比例受控采样机制,对比保留加权(Preservation-Weighted)与编辑加权(Edit-Weighted)分布,最终确立以编辑加权为主策略:将多操作协同的 remove_lines + replace_str 提权至 45.92%,单行删除与单行替换分别控制在 15.31% 和 12.87%,文档级保留与删除分别维持在 14.42% 与 7.54%,并保留约 3.94% 包含 add_line 的高阶复合操作。在模型训练层面,选用极度紧凑的 Qwen3-0.6B 作为基座,采用 ms-swift 框架进行全参数 SFT,最大序列长度设为 20,480。训练与推理全程注入统一的 System Instruction,向小模型明确注入操作语义、删除红线与保留准则(“遇疑则留”),并利用 ignore_empty_think 机制屏蔽推理空思维块损失。这使得仅有 0.6B 参数的轻量模型能够学会在复杂语境下审慎权衡、稳健输出精简操作序列。

4. 大规模滑动窗口执行与冲突消除后处理:跨窗语义截断与局部操作干涉 -> 非重叠聚合、同行动作合并与退化模式回退 -> 实现亿级语料确定性安全重构
在面向超长文档进行大规模并发推理时,若采用独立分块处理会导致窗口交界处上下文割裂,且轻量模型偶发的多操作干涉或病态重复生成极易造成语料大面积损毁。UltraX 建立了面向工业级落地的滑动窗口与冲突消除执行管线:对超过长度限制的长文本采用 12K token 窗口及 20% 步长重叠切分,并为全局每行赋予全局唯一行号 <lid:N>;在跨窗口操作聚合时,重叠区域的编辑裁决严格由前序窗口主导,后续窗口仅保留非重叠区生成的函数,完全避免了同一文本区间的重复修剪。在程序解析阶段,系统不仅剔除未匹配格式的非法输出,还对同行的多个 replace_str 进行字符级 span 提取与贪婪合并,避免由于连续字符串替换引起的目标偏移干扰;最后设立保守的退化模式检测机制(Duplicate-pattern Detection Fallback),一旦监测到相同 add_line 出现超 2 次、相同行删除超 3 次、同一替换超 30 次或高相似度插入簇,系统立即判定该文档生成异常,触发安全熔断机制并直接回退为原始文本。实验证明该回退机制在 2900 万篇语料中触发率仅为 0.019%,既构筑了无死角的安全护栏,又保障了大规模并发下的绝对稳健性。

损失函数 / 训练策略

Refiner 模型的监督微调采用标准因果语言建模交叉熵损失函数: $$ \mathcal{L}{\text{SFT}}(\theta) = - \sum, I) $$ 其中 }^{|Z|} \log P_{\theta}(z_t \mid d, z_{<t\(d\) 为带 <lid:N> 行号的前缀输入文档,\(I\) 为严格定义保留原则与操作边界的 System Instruction,\(Z = (z_1, \dots, z_{|Z|})\) 为序列化函数调用目标。使用 AdamW 优化器,学习率设为 \(3 \times 10^{-5}\),warmup 比例 0.03,配合余弦退火衰减至 \(3 \times 10^{-6}\)。

在下游模型预训练验证中,基于 Megatron-LM 架构从零预训练 1.36B 参数量(非 Embedding 参数 1.25B)的 MiniCPM 模型,配置 52 层 Transformer、隐藏层维度 1,536、FFN 维度 3,840、24 个注意力头(8 组 GQA)、SwiGLU 激活与 RMSNorm。预训练采用 Maximal Update Parameterization (\(\mu\text{P}\)) 技术提升超参迁移稳定性,全局 batch size 设为 512,序列长度 4,096,总训练预算固定为 20B/21B token(并在 FineWeb 上扩展至 100B token),确保所有下游指标的提升完全归因于数据清洗质量的纯粹改进。

实验关键数据

主实验

在 5 大主流预训练语料(FineWeb、RedPajama-V2、AICC、Ultra-FineWeb、FineWeb-ProX-Doc)上从零预训练 1B 模型,并在 LightEval 框架下的 10 大权威下游基准(ARC-C, ARC-E, CSQA, HellaSwag, MMLU, OpenBookQA, PIQA, SocialIQA, WinoGrande, SciQ)上进行 0-shot 评测。

语料来源 (20B Tokens) 清洗方法 ARC-C ARC-E CSQA HellaS MMLU OBQA PIQA SIQA WinoG SciQ 平均分 (Avg) 胜出数 (#Win)
FineWeb Raw 25.85 45.66 35.63 44.89 28.51 31.60 70.35 43.24 51.54 73.50 45.08 0 / 10
ProX-C 25.09 45.20 36.94 45.32 28.49 31.40 71.16 42.94 51.14 72.80 45.05 0 / 10
UltraX (Ours) 26.62 45.96 37.43 46.29 28.90 31.80 71.98 43.71 52.72 76.00 46.14 10 / 10
RedPajama-V2 Raw 23.46 43.69 32.02 39.64 27.50 30.80 68.66 41.56 52.64 70.90 43.09 2 / 10
ProX-C 25.60 44.23 33.01 40.19 27.63 31.00 68.61 42.37 50.43 71.60 43.47 1 / 10
UltraX (Ours) 24.40 45.62 33.91 40.80 27.88 32.20 68.44 42.68 51.30 72.60 43.98 7 / 10
AICC Raw 24.06 40.99 31.70 35.91 27.37 28.80 66.16 42.07 49.57 69.70 41.63 2 / 10
ProX-C 25.17 42.09 32.27 37.85 26.95 30.20 66.70 41.40 49.64 69.20 42.15 3 / 10
UltraX (Ours) 24.49 42.85 31.61 38.03 26.98 29.80 68.34 41.71 50.28 70.20 42.43 5 / 10
Ultra-FineWeb Raw 32.00 57.28 33.58 44.56 30.62 34.60 70.40 41.15 51.85 78.50 47.45 2 / 10
ProX-C 31.31 56.61 32.84 45.29 31.03 35.20 71.65 42.27 49.88 76.70 47.28 3 / 10
UltraX (Ours) 31.31 58.25 33.91 45.66 30.97 37.20 70.08 42.17 51.38 80.50 48.14 5 / 10
FineWeb-ProX-Doc Raw 29.35 52.57 35.22 46.31 30.21 35.20 69.37 42.27 52.41 76.00 46.89 1 / 10
ProX-C 29.35 55.05 35.22 46.41 30.40 35.60 69.64 42.48 51.14 76.60 47.19 2 / 10
UltraX (Ours) 30.38 55.01 36.53 47.17 31.05 37.00 69.15 42.99 51.70 78.30 47.93 7 / 10

消融实验与分析

在 FineWeb 20B 语料上对核心设计(函数空间配置、指令引导、种子分布、长周期扩展与吞吐性能)进行多维度控制变量消融。

模块消融实验设置 配置 / 变体 平均准确率 (Avg) 胜出任务数 (#Win) 说明
编辑函数空间消融 (Table 12) 仅文档级决策 (keep/remove_all) 45.22 2 / 10 缺乏行级与行内修复,仅做粗筛
文档级 + 行内替换 (replace_str) 44.91 0 / 10 缺乏行级增删,无法处理大跨度结构冗余
文档级 + 行级增删 (add/remove_lines) 45.35 1 / 10 缺少行内精细替换,局部噪声仍存
完整 UltraX 空间 (全五元函数) 46.14 8 / 10 多层级函数协同,性能取得全面突破
系统指令引导消融 (Table 7) Raw 未清洗基线 45.08 0 / 10 基线原始表现
UltraX (无指令引导微调与推理) 45.73 2 / 10 纯依靠数据拟合,边界感较弱
UltraX (System Instruction 引导) 46.14 8 / 10 注入保留原则与红线,预测稳健性提升
种子操作采样分布 (Table 9) 保留加权采样 (Preservation-Weighted) 45.99 5 / 10 60% keep_all,抑制过度修改但清洗不足
编辑加权采样 (Edit-Weighted) 46.14 5 / 10 45.9% 复合编辑,显著强化细粒度修复
100B 训练扩展性验证 (Table 13) Raw (100B tokens) 50.85 1 / 10 扩展训练预算后的基线
ProX-C (100B tokens) 51.58 1 / 10 仅支持删除/替换的传统规划基线
UltraX (100B tokens) 52.13 8 / 10 保持对 Raw +1.28%、对 ProX-C +0.55% 优势
方法与架构类型 清洗机制 LLM 质评得分 (满分10) 单篇输出 Token 吞吐量 (docs/s) 10K篇耗时 (GPU h)
ProX-C-0.3B 规划式程序编辑 9.31 38 890.0 0.0030 h
UltraX-0.6B (Ours) 自适应规划式编辑 9.64 54 820.0 0.0034 h
Qwen3-4B 端到端文本重写 (E2E) 9.52 612 35.0 0.0800 h
Qwen3-30B-A3B 端到端文本重写 (E2E) 9.67 628 25.0 0.1100 h

关键发现

  • 数据利用效率大幅跃升,实现跨预算超越:在 FineWeb 语料的训练演化曲线中,UltraX 仅消耗 16B token 时平均得分已达到 45.49,直接超越了消耗完整 20B token 训练的 Raw(45.08)与 ProX-C(45.05);当达到 20B 时进一步提升至 46.14。这证明 UltraX 有效净化了语料中的冗余噪音,显著提高了单个 token 承载的信息密度。
  • 保留价值内容与精准去噪的精妙平衡:语料 token 统计显示,ProX-C 在 AICC 和 RedPajama-V2 上分别激进缩减了 33.1% 和 21.8% 的 token,导致上百万篇文档沦为空文本;而 UltraX 在相同语料上分别保留了 87.35% 和 91.99% 的非空文档,但下游性能却全面领跑。在 80K 样本的 LLM 盲审中,UltraX 的优质率(\(\ge 8\) 分)高达 97.84%(ProX-C 仅 85.50%),劣质率降至 0.38%,验证其“精准外科手术式修复”而非“盲目大面积剔除”的核心优势。
  • 操作空间的不可或缺性:消融实验揭示,单一层次的操作空间均存在短板,仅做行内替换甚至会使下游平均分从 45.08 跌至 44.91(因缺少行级删除导致结构性冗余残留);而全函数空间的复合协同(尤其是 remove_lines + replace_str 占修改文档的 36.6%~62.5%)构成了数据质变的关键支柱。

亮点与洞察

  • 将 E2E 知识提炼为确定性执行程序:利用前沿大模型进行端到端重写具备最高质量,但成本不可承受;UltraX 巧妙通过行对齐与动态上下文扩展,将 E2E 的修改结果“无损逆向翻译”为紧凑的函数调用序列,既继承了大模型的语义修复上限,又将推理输出 token 缩减至原来的 1/12(54 vs 628),使工业级万亿语料清洗在经济上切实可行。
  • 动态上下文扩展彻底破解字符串歧义替换:传统脚本与代码在处理子串替换时极易在遇到“and”、“http”等高频词时发生全局乱匹配;UltraX 通过在 diff 阶段自适应外扩边界直至局部唯一,将复杂的模式匹配转化为无需字符偏移量的安全确定性操作。
  • 自适应 Prompt 演化消除先验偏见:摆脱了人工编写固化清洗规则的传统思维,利用“分析-打分-元优化”三元 Agent 闭环为每个异质语料定制专属提取准则,使高质量文章描述得以保留、纯营销死链被精确切除。

局限与展望

  • 模型尺度与训练周期的验证边界:当前验证主要基于 1B 规模模型及 20B/100B 训练预算,受算力限制尚未覆盖百亿参数模型及十万亿(10T+)超大规模训练全周期。
  • 语种泛化局限于英文网络语料:当前实验重点评估英文 Common Crawl 类数据,针对中英文混合排版、形态变化丰富的多语言语料,其分行规则与分词粒度仍需进一步调优。
  • 种子监督对初始专家模型的潜在依赖:虽然证明了 DeepSeek-V3.2 的高性价比与人类评估高度一致,但种子数据的上限仍受限于专家模型的评判偏置,未来可探索多专家交叉验证或强化学习探索机制。
  • 更极致的 Refiner 模型压缩与端侧推理:0.6B 参数虽已极度轻量,但配合量化剪枝与专用投机解码引擎,有望将单卡吞吐量进一步提升数倍。

相关工作与启发

  • vs 基于规则的文档级过滤 (CCNet, Gopher, FineWeb-filter): 传统规则依托启发式阈值(困惑度、乱码率、停用词比例)进行整篇剔除,造成严重的信息过杀;UltraX 深入文档内部进行行级和行内手术式修复,在保留完整高价值骨架的同时剔除局部污损。
  • vs 大模型端到端重写 (Cosmopedia, Rephrasing the Web): 端到端重写需要输出全量文本,吞吐极低(25~35 docs/s)且难以处理长文档分块拼接;UltraX 的 Refiner 仅输出极短函数序列(54 tokens/doc,吞吐 820 docs/s),成本不到前者的 1/20 且天然无幻觉风险。
  • vs 现有程序化精炼基线 (ProX-C, RefineX): RefineX 仅限删除,ProX-C 缺乏插入操作且无子串歧义扩展与跨窗口聚合支持;UltraX 补齐了包含 add_line 的完备操作空间,配合滑动窗口聚合与退化检测后处理,下游准确率全面胜出且保留了更多有效语料。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次建立完备编辑空间的函数调用式数据精炼范式,动态上下文扩展与自适应 Prompt 演化设计极为巧妙。
  • 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 5 大主流语料、10 项下游任务,从零预训练 1B 模型多达十余个版本,辅以 80K 样本双盲质评与消融分析。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严丝合缝,方法表述清晰,附录详实,系统工程与算法设计阐述极具说服力。
  • 价值: ⭐⭐⭐⭐⭐ 突破预训练数据 Scaling Law 边际收益放缓瓶颈的关键基础设施,代码与工具链具备极高的工业落地复用价值。