Soft Contamination Means Benchmarks Test Shallow Generalization¶
会议: NeurIPS 2026
arXiv: 2602.12413
OpenReview: https://openreview.net/forum?id=UBmysDOEQQ
代码: https://github.com/AriSpiesberger/Soft-Contamination-Prevelance
领域: 其他
关键词: 数据污染、软污染、语义重复、浅层泛化、LLM评测
一句话总结¶
本文系统揭示了基于字符去重的传统清洗流程无法过滤训练集与评测基准间的“语义重复”（软污染），并通过对开源数据模型 Olmo3 的万亿级语料检索与微调消融证实：极低比例的软污染即可诱导基准性能大幅虚高，且该收益属于基准内的“浅层泛化”，无法迁移至同领域独立测试。
研究背景与动机¶
近年来前沿大语言模型在 CodeForces、MBPP、ZebraLogic 与 MuSR 等高难度代码和复杂逻辑推理基准上的准确率迅猛飙升，甚至在多项公开评测中快速趋于饱和。业界与学术界普遍将这种跃升视为基础通用推理与分布外（OOD）泛化能力的实质性突破。然而，伴随这一性能飞跃的另一关键现实是预训练语料规模呈指数级膨胀（自2020年以来已扩大上万倍）。尽管主流实验室在训练前均会执行基于 n-gram 或精确字符匹配的去污染（Decontamination）过滤流程，但现有的字符串级方法对自然演化或改写产生的“语义重复”完全失效。
这种过滤盲区引发了一个核心矛盾：基准评测的设计初衷是衡量模型解决全新未知难题的底层认知与强泛化能力，但真实训练语料在万亿级规模的膨胀下极易自然沉淀海量与基准题目在语义、计算核心或逻辑结构上高度等价但表述完全不同的“软污染”样本。如果模型在基准上的高分仅来源于对这些语义变体的记忆或局限于该基准分布内的浅层适配，那么公开排行榜所反映的就并非真正的智能跃迁，而是海量语料积累带来的评测伪影。
针对过往研究局限于封闭语料黑盒推测、小规模玩具模型或孤立点对点记忆检测的局限，本文选择首个具备全透明预训练与后训练全量语料的开源权重模型 Olmo-3-7B 作为解剖对象。核心 idea：通过向量空间检索与 LLM 双重校验系统量化预训练/后训练语料中的软污染真实发生率，并结合可控微调实验证明：软污染会引发强烈的“基准内浅层泛化”——仅在基准部分题目的语义副本上微调，即可同时拉升未见题目的表现，而该增益完全无法泛化到同领域的对照基准。
方法详解¶
整体框架¶
本文构建了一套“跨语料密集语义检索筛查 → 细粒度逻辑与算法语义复写 → 分布内外可控微调消融”的系统性研究方案。首先针对 Olmo3 的预训练语料库（Dolma3 与 Dolmino）实施分层蓄水池采样，并对指令微调（SFT）、直接偏好优化（DPO）和强化学习（RL）阶段的语料进行 100% 全量向量化。随后，采用前沿稠密嵌入模型与高质量评测基准计算余弦相似度，筛选高相似候选集并结合 LLM 进行语义等价性判定，由此确立自然真实语料中的软污染比例。接着，构建覆盖算法变体、逻辑树扰动和类别置换的多层次合成语义副本体系，并以此设计生态有效（Ecologically Valid）剂量的微调实验，全面解耦模型在“已见副本”、“未见副本”和“同域对照基准”上的真实泛化边界。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["训练语料与基准测试集<br/>Dolma3 / Dolmino / Dolci + MBPP / CodeForces / ZebraLogic / MuSR"] --> B["大规模分层向量化检索<br/>Llama-Nemotron-8B 嵌入 + Top-0.1% 相似度过滤"]
B --> C["软污染真实发生率筛查<br/>LLM 逻辑/语义等价性判定 + 精确副本审计"]
C --> D["多层级合成语义变体构建<br/>代码多算法重构 / 逻辑树扰动 / 实体关系代换"]
D --> E["生态有效剂量可控微调<br/>5% 真实比例软污染注入 + LoRA 适配训练"]
E --> F["浅层泛化分布边界评估<br/>已见题目 vs 同基准未见题目 vs 同领域镜像基准"]关键设计¶
1. 大规模分层向量化检索与 LLM 语义判定：从千亿语料中捕获逃脱字符串匹配的等价样本 为了在数万亿 Token 的无序语料中精准定位逃逸了传统 n-gram 过滤的软污染，研究团队对 6.0 TB 的预训练语料 Dolma3 和 250 GB 的高质量语料 Dolmino 执行了严格保持拓扑分布的分层蓄水池采样（抽样比例 1.0%），并对 3.08 GB 的 SFT、811 MB 的 DPO 以及 483 MB 的 RL 语料实施 100% 全量摄入。采用先进的 8B 稠密向量模型提取 FP16 表征，计算语料片段与基准题目间的嵌入余弦相似度 \(\cos(\mathbf{e}_{\text{corpus}}, \mathbf{e}_{\text{bench}})\)。研究发现余弦相似度与语义重复概率呈现显著的 S 型校准曲线（相似度超过 0.8 时真实语义重复率达到 60%–85%），并在相似度排名前 0.1% 的候选集中采样，调用大模型提取核心计算逻辑、剥离题干故事包装，按照精确匹配（exact）、逻辑等价（equivalent）、语料覆盖测试题（subset）与互斥无关（unrelated）进行细粒度分类标定。
2. 结构化与多层级语义变体生成体系：解耦表面词法与深层逻辑结构的表征依赖 为了进行严谨受控的微调消融，团队设计了面向不同任务类型的语义重构机制。在代码生成（MBPP）领域，利用强大的模型对问题描述批量生成 5 种在句式、专业词汇和信息流向完全重构但含义完全相同的描述；对于代码输出，强制生成算法策略完全不同（如列表推导 vs 集合运算 vs 显式循环 vs 递归）、注释详尽且文本匹配度低于 0.85 的全新正确代码。在多步推理（MuSR 谋杀之谜）中，基于底层因果逻辑树进行三级控制：保持原树仅重写故事文本（Level 0）、修改单一可疑事实分支（Level 1）、改动无辜嫌疑人的全部四项判定属性（Level 2）。在纯逻辑网格（ZebraLogic）中，执行 Python 条件随机重排、实体类别互换映射（如将颜色/国家一对一置换为形状/书籍）以及保持实体约束不变的深度释义改写。这一体系确保变体既破坏了字符连续性，又保留了测试任务所考察的核心认知负荷。
3. 生态有效剂量注入与基准内浅层泛化评估协议：检验低剂量污染的杠杆放大效应 过往文献往往使用 100% 污染样本微调以验证过拟合，这脱离了工程开发实际。本文通过前序真实语料筛查推算出自然软污染基线发生率（约万分之四，对应每万条训练数据含 4 条特定基准语义变体），由此构建 10,000 条高质量 SFT 数据的对照体系：一组为全量验证无污染的洁净模型，另一组将其中 5% 的数据替换为仅覆盖基准前一半题目的 500 条多级语义变体（污染模型）。微调完成后，评估协议不仅测试“微调见过的语义题（Seen）”，更严密对比“基准内完全未见过的独立题（Unseen）”，并同步引入同领域但来源独立的对照基准（如 MuSR 的对照基准 TrueDetective、ZebraLogic 的对照基准 ARC-Challenge、MBPP 的对照基准 HumanEval）。若性能提升局限于基准内的 Seen 和 Unseen，而在同域镜像基准上停滞甚至倒退，即可判定该模型获取的并非底层通用能力，而是对特定基准分布特征的“浅层泛化”。
损失函数 / 训练策略¶
微调实验基于 Olmo-3-7B-Instruct 采用 LoRA 架构进行自回归因果语言建模微调。由于非推理基准模型在缺乏思维链的情况下难以直接吸收复杂逻辑题，研究首先利用前沿强模型（Opus 4.5 与 GPT-4.1-mini）作为 Teacher 模型，为所有问题及语义副本批量生成长思维链（Chain-of-Thought, CoT）推理轨迹与最终答案。
在训练超参数上，微调全部线性投影层。在标准消融实验中，MBPP 设置学习率为 \(1.5 \times 10^{-4}\)、KL 散度惩罚系数为 \(0.02\)、训练 10 轮；MuSR 设置学习率为 \(2.0 \times 10^{-4}\)、训练 6 轮；ZebraLogic 设置学习率为 \(2.0 \times 10^{-4}\)、训练 10 轮。在生态有效注入实验中，统一采用 LoRA Rank 64、Alpha 32、Dropout 0.05，在 10,000 条混合数据上训练 5 轮。推理采样阶段采用温度系数 \(T=0.7\)，并行采样 8 条路径计算准确倾向。
实验关键数据¶
主实验¶
主实验系统检验了在基准半数数据（Seen）的副本上进行微调后，模型在已见半数、未见半数（Unseen）以及同领域独立基准上的准确率变化。
| 任务 / 评估基准 | 训练设置 / 副本级别 | 已见集合 (Seen) | 未见集合 (Unseen) | 同域镜像基准 | 迁移基准说明 |
|---|---|---|---|---|---|
| MuSR (推理) | Baseline (未微调) | 66.0% | 66.0% | 28.3% | 镜像基准: TrueDetective |
| MuSR (推理) | 精确副本微调 (Exact) | 87.9% | 87.3% | 27.7% | 增益未迁移至镜像基准 (-0.6%) |
| MuSR (推理) | 语义副本 Level 1 | 85.8% | 86.2% | 29.3% | 表现与精确匹配持平 (+20.2%) |
| MuSR (推理) | 语义副本 Level 2 | 85.7% | 86.0% | 28.3% | 未见题目同步提升 20.0% |
| MuSR (推理) | 语义副本 Level 3 | 87.5% | 87.9% | 29.8% | 基准内强浅层泛化，镜像无收益 |
| MuSR (推理) | 高余弦相似语料 (非副本) | 68.6% | 68.6% | 25.1% | 仅高相似度无语义等价则无效 |
| ZebraLogic (逻辑) | Baseline (未微调) | 36.9% | 36.9% | 50.1% | 镜像基准: ARC-Challenge |
| ZebraLogic (逻辑) | 精确副本微调 (Exact) | 48.4% | 43.4% | 49.5% | 未见题目提升 6.5%，镜像微降 |
| ZebraLogic (逻辑) | 仅改写 (Paraphrase) | 39.2% | 36.2% | 49.3% | 改写对该任务拉升有限 |
| ZebraLogic (逻辑) | 重排+代换+改写 (复合) | 28.0% | 28.4% | 50.4% | 过度扰动反而破坏网格解析模板 |
| MBPP (代码) | Baseline (未微调) | 46.4% | 46.4% | 55.3% | 镜像基准: HumanEval |
| MBPP (代码) | 精确副本微调 (Exact) | 63.0% | 48.8% | 49.2% | 精确记忆主导，未见题目泛化弱 |
| MBPP (代码) | 算法语义副本 (Semantic) | 55.1% | 53.6% | 67.0% | 算法重构激发跨题通用代码泛化 |
消融实验¶
生态有效实验消融了在 10,000 条常规训练数据中仅掺入真实占比（500 条，5%）的 MuSR 语义副本时，模型性能的敏感性与真实影响。
| 模型 | 训练数据组合 | 已见子集 (Seen) | 未见子集 (Unseen) | TrueDetective (同域镜像) | 评估结论 |
|---|---|---|---|---|---|
| Olmo-3-7B | Baseline (初始 Instruct) | 42.8% | 42.8% | 29.3% | 原始基准水平 |
| Olmo-3-7B | 100% 洁净数据微调 (Clean) | 50.0% | 50.0% | 28.0% | 常规 SFT 带来平权提升 |
| Olmo-3-7B | 5% 软污染注入微调 (Contaminated) | 66.4% | 54.4% | 28.0% | 相比 Clean：Seen +16.4%，Unseen +4.4% |
| Qwen-3-8B | Baseline (初始 Base) | 40.4% | 40.4% | 24.0% | 跨架构复现基线 |
| Qwen-3-8B | 100% 洁净数据微调 (Clean) | 53.6% | 53.6% | 24.0% | 洁净增益 |
| Qwen-3-8B | 5% 软污染注入微调 (Contaminated) | 65.6% | 52.0% | 28.0% | 跨架构呈现稳定浅层放大效应 |
关键发现¶
- 真实语料中的软污染极其普遍：在 Olmo3 训练语料中，MBPP 经检索后 100% 的题目均在 Top-100 余弦相似样本中存在至少一个语义副本；CodeForces 评测集有 77.5% 的题目检出语义副本；ZebraLogic 在经过字符去重过滤后的官方 Instruct RL 训练集中，竟然存在高达 49.5% 题目的字面精确副本。
- 软污染足以引发“基准内浅层泛化”：在 MuSR 推理基准中，仅微调半数题目的语义副本，模型在未见过的另一半测试题上的准确率直接从 66.0% 飙升至 86.2%，提升幅度（约 20%）与在全量精确文本副本上微调完全一致。然而，这一巨幅提升完全无法迁移到同属于侦探推理逻辑任务的 TrueDetective 基准上（得分从 28.3% 变为 28.0%–29.3%），强有力地证实这种泛化是局限于该评测集分布的浅层结构适配。
- 高嵌入相似度不等同于有效训练信息：直接微调向量空间与测试题余弦相似度最高、但不具备等价解题逻辑的常规语料（Cos Sim SFT），MuSR 得分仅微弱波动至 68.6%（相比基线 66.0%），证实性能跃升依赖的是深层计算与逻辑骨架的重合，而非单纯的主题风格相关性。
- 极微量注入即可造成显著虚高：在生态有效性实验中，仅替换 10,000 条训练样本中的 500 条为语义副本（占整体训练集 5%），即可使测试集已见子集得分相对纯净训练跃升 16.4 个百分点，未见子集亦产生 4.4 个百分点的溢出增益。
亮点与洞察¶
- 重新界定了评测污染的本质范畴：该工作跳出了过去将数据污染局限于“字面记忆（Memorization）”的狭隘认知，首次将语义等价的软污染形式化为一种系统性的“浅层泛化（Shallow Generalization）”诱导机制。它向社区证明，即使严格执行了 n-gram 字符串过滤，海量语料仍会通过隐蔽的语义等价形式赋予模型特异性的基准解题套路。
- 证实了开源透明语料对于评测科学的不可替代性：正是依托 Olmo3 对预训练 Dolma 到后训练 Dolci 语料的完全开源，研究者才得以完整绘制出软污染随相似度分布的 S 型特征曲线，并确立真实污染发生率。这也反向敲响了警钟：参数量和语料规模大数十倍的闭源前沿模型，在未公开语料库中沉淀的软污染程度极可能远高于此。
- 提出了多基准交叉镜像审计方法：通过在评测协议中严格配对“同领域独立镜像基准”（如 MuSR ↔ TrueDetective、ZebraLogic ↔ ARC），确立了一套检测模型真实泛化能力的判别试剂。这种通过跨基准性能溢出与否来剥离“真实 OOD 推理”与“基准专用浅层泛化”的实验框架极具行业复用价值。
局限与展望¶
- 作者承认的局限：由于对数万亿 Token 进行嵌入计算与 LLM 判定代价极高，本研究在预训练阶段仅抽样了 1% 的语料，且依赖的相似度过滤阈值存在一定漏报率，因此公布的软污染比例本质上是保守下界；此外，研究仅覆盖了开源的 Olmo3 与部分 Qwen3 验证，未能直接核验具有 30T Token 的主流工业级大模型语料。
- 实际存在的实验边界：在 MBPP 代码实验中，使用算法重构副本微调后反而在 HumanEval 上产生了异常的性能上升，暴露出部分代码任务的所谓“独立基准”之间本身存在重叠的基础算子分布，导致代码领域的浅层泛化边界略显模糊。此外，合成语义副本的多样性受限于生成模型（Opus/Sonnet）自身的偏置。
- 未来改进方向：亟需研发端到端、低计算开销的主动语义去污染与近邻特征过滤工具；同时评测社区应加速推动具有动态生成机制（如程序化合成逻辑、环境反馈交互）的抗污染动态基准建设。
相关工作与启发¶
- vs 精确字符去重方法 (Elazar et al., 2024; OpenAI, 2024)：传统方案采用 13-gram 或 min-hash 算法剔除子串重合样本。本文证明此类算法对多义句式重构、变量/实体代换及算法重构完全盲目，训练集中仍潜伏高达 78% 的基准语义变体。
- vs 点对点单样本记忆研究 (Yang et al., 2023; Riddell et al., 2024)：以往语义污染研究仅将语义副本视为“更难发现的单题记忆”，只评估模型在被污染题目的变体上的重现能力。本文超越了“单题记忆”视角，首次系统揭示微调语义变体会强力泛化至基准内未见题目的“浅层泛化”规律。
- vs 真实剂量污染研究 (Kocyigit et al., 2025)：Kocyigit 等人在机器翻译中探讨了字面污染的生态有效性剂量。本文则首次将生态有效性注入实验拓展至大模型复杂逻辑推理与代码生成的软语义污染场景中。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [首次将语义软污染与基准内浅层泛化相联系，拓宽了模型能力评测的理论认知]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖万亿语料检索与三大典型推理任务，兼具自然筛查与生态有效微调消融]
- 写作质量: ⭐⭐⭐⭐⭐ [逻辑层层递进，严密区分了记忆、基准内浅层泛化与真实 OOD 泛化的概念鸿沟]
- 价值: ⭐⭐⭐⭐⭐ [对当前大模型推理基准趋于饱和的狂热现象泼了一盆极其清醒的学术冷水]