WRAP++: Web Discovery Amplified Pretraining¶
会议: EMNLP 2026
论文: ACL Anthology
领域: 大语言模型预训练
关键词: 合成预训练数据, 拓扑关系发现, 跨文档问答合成, 事实知识检索, 组合数据放大
一句话总结¶
针对单文档改写受限于篇内信息孤岛与事实提取瓶颈的问题,WRAP++ 利用万维网超链接拓扑挖掘高置信度实体关系子图,并在跨文档依赖与事实链约束下合成多跳联合问答,将 8.4B 原生维基语料放大为 82.7B 高质量预训练数据,显著提升了大语言模型的事实知识内化与检索能力。
研究背景与动机¶
利用大语言模型将嘈杂的网络语料改写为问答对或教材体文本的合成数据技术,已成为推动现代基座模型(如 Phi-4、Qwen3、Nemotron-CC 等)高效习得知识的关键范式。然而,现有的大规模网页改写方法(如经典的 WRAP 及其衍生方案)普遍停留在单文档级别,即以孤立的网页作为改写单元。这种篇内改写范式虽然提升了文本局部密实度与阅读友好性,却本质上受制于单个文档的信息边界,无法展现现实世界中广泛分布于不同篇章之间的语义关联,导致模型学到的参数化事实缺乏丰富的联想上下文与多样化的检索路径。
要想克服这一知识孤立痛点,自然应当迈向跨文档联合合成,将多篇文档中的互补事实置于同一上下文进行推理整合。但跨文档合成面临着极其严苛的筛选挑战:如果简单地在语料库中随机配对文档并强行要求模型生成联合问答,生成模型往往会在缺乏客观联系的实体之间凭空编造事实或拼凑牵强附会的伪关系,严重污染训练数据。此外,若依赖重型的实体抽取流水线或全库稠密向量检索来构建跨文档图谱,在百亿乃至万亿 Token 的网页规模下又面临着无法承受的计算开销。
因此,跨文档数据合成的核心破局点在于找到一种高效、免模型且高保真的实体关联发现信号。万维网天然存在的超链接拓扑结构,恰恰凝聚了人类作者对重要性与语义相关性的深层先验判断。核心 idea:WRAP++ 提出直接利用超链接图结构挖掘“双向链接”与“共现结构”两类高置信度拓扑模态,驱动指令微调大模型在严格跨篇依赖、显式事实推理链与无上下文内化三重约束下合成多跳联合问答,以组合式发现突破单文档数据容量瓶颈,将 8.4B 原生文本放大为 82.7B 高效预训练语料。
方法详解¶
整体框架¶
WRAP++ 将传统的单文档网页改写范式重塑为两阶段的拓扑引导跨文档发现与放大流水线:首先是拓扑关系模态挖掘阶段,系统将超链接网络抽象为有向实体图,基于明确的拓扑约束抽取高度耦合的文档对;随后是跨文档联合问答合成阶段,将筛选出的文档对送入指令微调大模型,在严格的提示词约束下生成多跳事实问答,并剔除篇章归属标记以形成自包含的参数知识。
整个系统自原生语料解析至预训练数据输出的处理流程如下所示:
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["原生网页语料与超链接图<br/>FineWiki 6.7M 文章 / 8.4B tokens"] --> B["拓扑关系模态挖掘<br/>双向链接与共现结构提取"]
B --> C["跨文档事实链生成<br/>强制双向依赖与分步逻辑推理"]
C --> D["无上下文参数内化<br/>全知视角独立问答与记忆固化"]
D --> E["82.7B 跨文档预训练语料<br/>OLMo 持续预训练与知识激发"]
关键设计¶
1. 拓扑关系模态挖掘:从单文档孤岛走向无模型拓扑关联发现
单文档改写面临严苛的信息上限,而随机配对文档又会导致大模型幻觉泛滥。为了在无额外神经抽取器开销的前提下获取高质量关联,WRAP++ 将语料库 \(\mathcal{D} = \{d_1, \dots, d_N\}\) 的超链接映射为有向图 \(\mathcal{G} = (V, E)\),其中节点 \(v_i\) 对应文档 \(d_i\),有向边 \(e_{i,j} \in E\) 表示 \(d_i\) 显式引用 \(d_j\)。系统重点挖掘两类具有强归纳偏置的拓扑模态: 第一类是双向链接模态(Dual-link Motif),要求文档对满足双向强约束: $\(e_{u,v} \in E \wedge e_{v,u} \in E\)$ 这种相互引用结构往往表征了深度的基石性实体关联(如著名导演与其代表作、科学家与其核心理论)。在 FineWiki 语料上,该模态挖掘出约 960 万对高精度实体对,合成了约 30 亿 Token 的精炼问答数据。 第二类是共现模态(Co-mention Motif),要求文档 \(u\) 与 \(v\) 共同指向同一个结构中枢 \(E\),且彼此之间存在直接引用: $\(e_{u,E} \in E \wedge e_{v,E} \in E \wedge e_{u,v} \in E\)$ 共享中枢 \(E\) 为两个实体赋予了自然的层级、类比或对比背景(例如同一技术综述下引用的两套对比算法)。该模态在语料库中扩展出高达 2.32 亿个实体对,提供了海量的组合延展空间,由此合成了约 797 亿 Token 的丰富问答。二者结合彻底打破了单篇文档的事实上限,将原始 8.4B 语料放大了近 10 倍。
2. 跨文档事实链生成:强制跨篇依赖与显式多步推理桥接
即便输入了关联文档对,若缺乏明确的任务规约,生成模型往往会退化为从单篇文档中截取琐碎事实。WRAP++ 在提示词空间中强行施加了“严格跨文档依赖”与“显式事实链条”两大约束: 在问题设计上,合成的问题 \(q_i\) 严禁能够从单一文档 \(d_u\) 或 \(d_v\) 中独立回答,必须同时以两篇文档中的互补事实为前提前提条件;在答案生成上,模型在输出最终答案 \(a_i\) 之前,必须显式展开一条中间推理轨迹 \(c_i\),逐步串联两篇文档中的事实跳步。例如面对两位电影配乐师与导演的交叉事实,模型被要求逐步阐明各方的承接关系与奖项历史,最后才得出归纳结论。这种显式的事实链条迫使预训练模型在消化合成数据时,内化多跳逻辑关联与对比路径,构建起高度互联的参数化记忆网络。
3. 无上下文参数内化:剔除篇章引用以全知视角固化参数记忆
在问答格式设计中,若直接保留文档原文或在回答中充斥“根据文档 A 记载”、“文本 B 提到”等引述性短语,模型在预训练时容易退化为依赖局部上下文进行表面复述的阅读理解模式,无法将事实深度编码进模型权重中。 WRAP++ 实施了“无上下文参数内化”准则:要求生成模型必须扮演拥有全知视角的 AI 助手,以客观、断言性的自然陈述直接阐述事实,严禁出现任何篇章归属标签或指示代词。合成产物统一格式化为独立的文本块: $\(\text{Question: } q_i \quad \text{Answer: } c_i \dots \text{ Therefore, } a_i\)$ 由于原始文档在基座预训练中已有所接触,这种去上下文的联合问答直接扮演了“知识激活与关联强化”的催化剂,引导语言模型将离散的记忆片段缝合为坚固的参数化知识结构。
一个完整示例¶
以电影配乐家 Ludwig Göransson 与电影《Oppenheimer》在维基百科中的关联为例: - 单文档改写(WRAP baseline):仅从 Göransson 页面提取孤立事实:“Q: Ludwig Göransson 是谁? A: 他是一位瑞典配乐家。”或“Q: 他为哪些电影配乐? A: 为《黑豹》、《信条》和《奥本海默》等配乐。”——信息扁平,缺乏上下文深度。 - WRAP++ 跨文档联合合成:系统通过超链接拓扑同时配对 Göransson 页面与 Hans Zimmer 页面(经由 Christopher Nolan 与《Tenet》形成双向与共现链路)。生成的问题具有复合推理性质:“克里斯托弗·诺兰原本选定的《信条》配乐家以及接替他的配乐家,分别凭借哪部电影拿到了各自的第二座奥斯卡奖?” - 显式事实链回答:“汉斯·季默(Hans Zimmer)推掉了诺兰的《信条》转向为《沙丘》配乐,并凭借《沙丘》斩获个人第二座奥斯卡最佳原创配乐奖(首座为《狮子王》)。随后接替他为《信条》配乐的鲁德温·葛兰森(Ludwig Göransson),此后凭借《奥本海默》赢得了个人第二座奥斯卡奖(首座为《黑豹》)。因此,答案是《沙丘》与《奥本海默》。”该样本以极高密度串联了四个实体与多部作品的更替脉络,提供了极佳的多跳检索入口。
损失函数与训练策略¶
在预训练执行层面,论文基于全开源的 OLMo-3(7B 与 32B 规模)基座检查点开展为期 1 个 Epoch 的持续预训练:
- 优化器采用 SkipStepAdamW,超参数设置为 \(\beta_1 = 0.9, \beta_2 = 0.95\),权重衰减 \(0.1\)(排除 Embedding 层),辅以乘数为 \(10^{-5}\) 的辅助 \(z\text{-loss}\) 稳定 logits。
- 学习率继承自 OLMo-3 Mid-training 规范,设定为 \(2.07 \times 10^{-5}\),采用线性衰减至 0 调度策略;由于加载了优化器动量状态,Warmup 步数设为 0。
- 序列长度为 8,192,OLMo-3-7B 的全局 Batch 大小为约 200 万 Token(\(2^{21}\)),OLMo-3-32B 为约 800 万 Token(\(2^{23}\))。在 256 张 H20 GPU 上,7B 模型吞吐 8B Token 仅耗时 4.5 小时(MFU 达 65%);32B 模型在 1,024 张 H20 GPU 上吞吐 80B Token 约耗时 44 小时。
实验关键数据¶
主实验¶
论文重点在知识密集型基准 SimpleQA(采用 unbiased pass@128 衡量事实恢复上限,排除格式敏感性)上对比了不同数据配方在 1 个 Epoch 持续预训练下的表现,并在闭卷多跳基准 HotpotQA 与 MuSiQue 上检验泛化能力。
主实验结果如下表所示(直接引用论文 Table 1 与 Table 10/2 原始数据):
| 数据配方 / 模型 | 训练消耗 Token 数 | OLMo-3-7B (SimpleQA pass@128) | OLMo-3-32B (SimpleQA pass@128) |
|---|---|---|---|
| Pretrained Base (未微调基座) | 0B | 34.76% | 42.35% |
| + WRAP (标准单文档改写) | ~5.4B | 39.55% | 44.43% |
| + Extended WRAP (穷尽式单文档改写) | ~17.4B | 43.69% | 47.91% |
| + WRAP++ (本文跨文档发现合成) | ~82.7B | 49.13% | 53.97% |
在闭卷多跳问答(Closed-Book Multi-Hop QA,pass@8)上的跨任务迁移表现如下(OLMo-3-7B 消耗 80B Token 终点检查点):
| 数据设置 | HotpotQA (pass@8 %) | MuSiQue (pass@8 %) |
|---|---|---|
| Pretrained Base | 44.57 | 17.16 |
| Extended WRAP (循环 4.6 次至 80B) | 45.47 | 19.20 |
| WRAP++ (80B 独立样本) | 48.12 (+2.65) | 19.61 (+0.41) |
消融实验¶
为了控制变量,消融实验在 OLMo-3-7B 上固定 8B Token 的训练预算,系统考察配对策略、拓扑结构类型、数据呈现形式及合成模型规模的影响(引用论文 Table 3 原始数据):
| 消融维度 | 具体变体配置 | SimpleQA pass@128 (%) | 说明与结论 |
|---|---|---|---|
| 配对策略 (Pairing Strategy) | 随机实体配对 (Random entity pairing) | 43.46 | 强行跨篇迫使大模型编造虚假联系,掉点 1.65 pp |
| 拓扑模态发现 (Topological discovery) | 45.11 | 95% 置信区间 [0.31, 2.99],证实超链接拓扑的必要性 | |
| 关系拓扑 (Relation Topology) | 仅双向链接 (Dual-link only) | 44.24 | 精度极高但规模受限(需重复利用 ~3B 语料) |
| 仅共现结构 (Co-mention only) | 44.36 | 覆盖面广,蕴含丰富的间接比较与类比关系 | |
| 两类拓扑结合 (Combined) | 45.11 | 显著优于单双向链接,组合放大空间最充裕 | |
| 合成形式 (Synthesis Method) | 仅拼接原始关联文档 (Raw concatenation) | 35.43 | 接近基座(34.76),证明单凭文本邻近无法自发形成关联 |
| 问答前拼接参考篇章 (QA w/ source docs) | 38.93 | 诱导模型偷懒复制,阻碍参数记忆内化 (掉点 6.18 pp) | |
| 跨文档联合问答 (Joint QA) | 45.11 | 独立问答形式最有利于事实关系参数化固化 | |
| 合成模型规模 (Synthesis Model) | Qwen3-30B-A3B (活跃参数 ~3B) | 45.11 | 默认高性价比配置,满足大规模工程落地 |
| Qwen3-235B-A22B (活跃参数 ~22B) | 47.70 | 大模型生成质量更佳,提供 +2.59 pp 的额外增益 |
此外,针对全流程预训练真实融合场景(Table 5),在 100B Token 的 OLMo-3-7B Mid-training 预算中,仅将 6%(6B tokens)替换为 WRAP++ 数据: - 12 项通用下游基准平均分从 68.24% 仅轻微波动至 68.16%(-0.08 pp,通用能力基本零损耗); - SimpleQA 事实准确率从 34.74% 跃升至 37.58%(+2.84 pp),MMLU Redux 亦提升 1.28 pp,验证了无缝嵌入主流预训练管线的高实用价值。
关键发现¶
- 打破单文档数据饱和瓶颈:Token 对齐实验(8B 至 80B 跨度,Table 11 与 Figure 2)显示,将 Extended WRAP 单文档语料循环 4.6 遍训练至 80B 时,SimpleQA pass@128 始终在 43.37%–44.84% 之间徘徊停滞;而 WRAP++ 凭借海量拓扑组合产生的真正异构关联,从 8B 的 45.32% 持续单调攀升至 80B 的 49.18%,在每个检查点均维持 1.95–5.62 pp 的领先优势,证明数据多样性与真实关联远胜单纯增加轮数。
- 参数记忆广度与精度的同步提升:随着训练进行,不同采样深度 \(k \in [1, 128]\) 下的 pass@k 曲线全谱段单调上移。左侧小 \(k\) 值的跃升表明 Top-1 答案精确度显著增加,而右侧大 \(k\) 值的扩张则反映出模型内部为相同实体建立了更多元、容错率更强的联想检索通道。
- 第三篇中枢文档并非“多多益善”:附录 Table 14 深入测试了在共现结构中同时输入中枢文档 \(E\)(3-doc 输入)的变体,结果 pass@8 反而由 15.74% 下跌至 15.42%。原因在于结构中枢链接过多实体,引入宽泛全局上下文反而分散了大模型聚焦于实体 A 与 B 本质关联的注意力,证明“精炼成对双文档”才是跨文档合成的最佳信息单元。
亮点与洞察¶
- 拓扑结构作为免费的高质量归纳偏置:无需复杂的 NER、知识图谱对齐或嵌入式聚类,直接利用万维网超链接原生的拓扑模态作为语义关联证据,兼具零计算成本与极高的人工语义可信度。
- 组合爆炸驱动的预训练数据放大定律:单文档改写受限于篇幅事实数量,呈现线性扩展;而基于实体对的跨文档挖掘带来了组合维度的解耦空间,使数亿级的有效样本生成成为可能,为万亿 Token 时代的合成数据扩展指明了新通路。
- 去上下文设计的认知内化效应:实验有力证明了“不要带参考材料”的合成法则——迫使大模型在无材料依赖下独立解答多跳问题,比提供背景材料更利于把事实信息“焊入”Transformer 的前馈网络权重之中。
局限与展望¶
- 依赖结构规整的百科语料:当前实验建立在 Wikipedia(FineWiki)这类高质量、实体中心化且超链接规范的语料库上。若推向 Common Crawl 等包含大量广告、导航噪点和低质链接的通用网页,需要设计更强健的拓扑降噪与启发式过滤策略。
- 合成阶段对前沿生成模型的计算依赖:高质量跨文档联合问答高度依赖生成模型的长上下文推理能力,合成 80B 数据需消耗数千 GPU 小时,未来可探索在合成端采用投机推理或轻量专用合成器以降低生成开销。
- 事实时效性与冲突消解:跨文档合成若涉及具有时间跨度冲突的网页,可能在联合问答中产生时间线混淆,如何在拓扑图挖掘中融入时态元数据是极具价值的后续探索方向。
相关工作与启发¶
- vs WRAP (Maini et al., 2024) / Nemotron-CC (Su et al., 2025):单文档改写先驱们专注于篇内句式洗练与知识密度浓缩,生成的数据局限于孤立事实;WRAP++ 将其提升至图拓扑驱动的跨文档发现,打通多篇之间的推理跳步,实现了质与量的双重突破。
- vs EntiGraph (Yang et al., 2024) / SoG (Ma et al., 2025):EntiGraph 侧重基于抽取出的实体中心图生成继续预训练文本,SoG 侧重上下文图路径导航;WRAP++ 摒弃了昂贵的实体抽取或图谱构建,直接以超链接拓扑为无模型信号,具备向万亿规模无损泛化的超强工程扩展性。
- vs SBP (Yang et al., 2025b):SBP 依赖向量检索语义相似文档对,容易检索出高度同质化、缺乏互补信息的重复文本;WRAP++ 的双向与共现拓扑天然保证了实体之间的因果、对比或从属差异,生成的联合问答信息增益显著更高。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [巧妙借用超链接拓扑解决跨文档事实配对难题,构思精巧直击单文档合成天花板]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 7B/32B 双尺度、从 8B 到 80B 完整 Scaling 曲线、12 项通用下游及详尽拓扑消融]
- 写作质量: ⭐⭐⭐⭐⭐ [逻辑层层递进,动机痛点清晰,形式化表述与定性用例严谨完备]
- 价值: ⭐⭐⭐⭐⭐ [为后海量文本时代的基座模型预训练提供了切实可行、极具扩展性的高质量合成数据方案]