Combating Data Laundering in LLM Training¶
会议: NeurIPS 2026
arXiv: 2604.01904
OpenReview: https://openreview.net/forum?id=41V90qR5dA
领域: 安全
关键词: 数据清洗洗白, 未授权训练数据检测, 成员推理攻击, 合成数据逆向工程, 语域分类
一句话总结¶
针对模型提供商通过语义保留改写对专有数据进行“数据洗白”（Data Laundering）导致传统成员检测失效的问题，本文提出了合成数据逆向方法（SDR），通过“宏观语域目标识别”与“微观细节迭代微调”两阶段搜索近似洗白过程的提示词，生成使目标黑盒 LLM 重新显露记忆信号的合成查询，成功恢复了标准未授权训练检测器的有效性。
研究背景与动机¶
大规模语言模型（LLM）的卓越生成能力严重依赖海量高质量预训练语料，但这些语料的抓取往往面临严峻的版权侵权与隐私违规争议。事后未授权训练数据检测（Post-hoc Unauthorized Training Data Detection）是版权方核实模型合法性的关键技术。现有检测框架（如 Loss、Ref、Zlib、Min-K、Recall 等）均基于“原始文本查询”（Query-with-Originals）范式：假设若目标模型在训练时使用了专有数据，则必定接触了其原始文本形式。由于深度模型对训练样本的记忆效应，输入原始专有样本会激发出显著更低的损失或更高的置信度，从而与未参与训练的保留参考样本（Held-out Reference）拉开明显的得分差距。
然而，自然语言具有极高的语义可变性与表达重构空间。模型提供商完全可以通过人工改写、程序化释义、回译或当前泛滥的强力 LLM 合成转换，将专有数据清洗为语义高度一致、但文风与句式彻底重塑的合成替代数据（Synthetic Surrogates）。当目标模型仅在这些替代数据上训练时，其记忆效应直接绑定于被改写后的特定语域与句式分布，而非原始文本。此时版权方若仍使用原始专有文本去黑盒查询目标模型，训练集与非训练集样本的损失分布将完全重叠，导致标准检测器的 AUC 骤降至接近随机猜测的 0.5。作者将这种利用语义保留改写来隐匿数据来源、规避版权溯源的逃逸行为定义为“数据洗白”（Data Laundering）。
在模型提供商拒不公开训练流水线与数据清洗方式的现实黑盒审计场景下，要求版权方精确还原模型训练时使用的完整洗白文本在计算上是不可能的，因为自然语言改写的提示词空间近乎无限。本文的核心 idea 是：无需精确恢复原始洗白语料，只需借助辅助 LLM 搜索一个具备“检测可用性”（Detection-Useful）的逆向合成提示词，将其分解为“宏观语域目标”与“微观细节修饰”，生成能诱导目标模型重新展现记忆分差的合成查询。
方法详解¶
整体框架¶
合成数据逆向（Synthesis Data Reversion, SDR）旨在黑盒查询条件下，为版权方的专有候选集 \(D_{\mathrm{pro}}\) 和保留未训练参考集 \(D_{\mathrm{held}}\) 寻找一个最优逆向合成提示词 \(p^*\)，使得经过该提示词改写后的合成查询集 \(\mathrm{Syn}_p(D_{\mathrm{pro}})\) 与 \(\mathrm{Syn}_p(D_{\mathrm{held}})\) 在目标模型 \(M_t\) 上的检测区分度达到最大： $\(p^* = \arg\max_{p} \mathrm{Perf}\big(M_t, \mathrm{Syn}_p(D_{\mathrm{pro}}), \mathrm{Syn}_p(D_{\mathrm{held}})\big)\)$ 其中 \(\mathrm{Perf}\) 表示既有检测器（如 Recall、Loss、Min-K）输出的性能标量（如两样本区分度得分）。为解决自然语言提示词搜索空间无限的问题，SDR 将未知转换形式显式解耦为粗粒度目标（Goal）与细粒度细节（Details），并设计了两阶段算法串行求解：第一阶段利用开篇句置信度在有限语域空间内锁定最相容的宏观目标；第二阶段依据目标模型的黑盒续写反馈，迭代推断缺失细节并进行增量微调。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入: 专有数据 D_pro 与参考数据 D_held"] --> B["阶段一: 语域目标识别<br/>构建开篇模板并评估目标模型续写置信度"]
B --> C["筛选 Top-5 语域候选并跑检测初筛<br/>锁定最优粗粒度语域目标 r* 与标准提示词"]
C --> D["阶段二: 细粒度细节微调<br/>对比当前合成文本与目标模型续写偏离"]
D --> E["辅助 LLM 提炼细节修正提示词 p'<br/>仅在检测区分度提升时接受更新"]
E -->|迭代 K 轮| F["输出最优合成提示词 p*"]
F --> G["生成训练风格合成查询 Syn_p*(D_pro) 与 Syn_p*(D_held)"]
G --> H["输入既有检测器 (Recall / Loss / Min-K)<br/>恢复候选集与参考集得分差距"]关键设计¶
1. 语域目标识别：基于开篇句置信度的快速空间收敛
直接对未知的开放式改写提示词做全局搜索在计算上极度昂贵，若对海量候选语域均执行全篇改写并跑完整检测，调用开销不可承受。针对此痛点，SDR 引入语言学理论中的 23 种功能语域分类体系（涵盖歌词体、学术论文、新闻报道、日常口语、菜谱等开放域文本类型），将无限的改写目标先降维约束到有限的语域集合 \(\mathcal{R}\)。
为了以极低的推理代价筛选语域，SDR 巧妙利用“文章开篇句”作为目标模型训练分布的指纹探测器：若目标模型曾暴露于某种特定语域的洗白数据中，该语域特有的开篇范式必然能诱发目标模型更高置信度的词元级续写。具体而言，辅助模型 \(M_a\) 首先从少量采样样本生成各语域的起始句，并归纳出该语域的通用开篇模板 \(T_r\)。随后，抽取 \(m\) 条专有样本的起始句重写为符合 \(T_r\) 的短前缀 \(X_r[j]\)，输入目标模型 \(M_t\) 测量其平均最大输出词元置信度： $\(\mathrm{Conf}(r) = \frac{1}{m} \sum_{j=1}^{m} \left( \frac{1}{L_j} \sum_{i=1}^{L_j} \max_{w \in V} P_{M_t}\left(w \mid X_{r,<i}^{(j)}\right) \right)\)$ 系统仅截取 \(\mathrm{Conf}(r)\) 最高的 Top-5 语域候选集 \(\mathcal{C}\)，并在小规模数据集上执行一次现成检测器初测，挑选检测性能最优的语域 \(r^*\) 及其标准提示词 \(\text{Standard-prompt}_{r^*}\)。这一设计在极低开销下完成了从无垠提示词空间到强相关语域子空间的快速收敛。
2. 细粒度细节微调：基于目标模型续写反馈的差异化提示词演化
锁定粗粒度语域（例如“歌词风格”）仅能提供大致基调，却无法确定洗白时注入的微观指令细节（例如是否限定“使用生动意象”、“采用第一人称视角”、“押韵密度”等）。若缺失这些微观细节特征，生成的查询在表征空间仍会与目标模型的实际训练样本偏离，难以激发出强烈的记忆效应。
为了填补这一微观细节缺口，SDR 第二阶段构建了一个双 LLM 互动的条件推断（Condition Inference）机制。算法取专有样本 \(s\)，用当前提示词 \(p\) 通过辅助模型 \(M_a\) 生成当前合成句 \(\hat{s}\)。将 \(\hat{s}\) 的首句作为引导前缀输入目标模型 \(M_t\) 诱导其自主续写得到 \(\tilde{s}\)。由于首句已对齐大体语域，目标模型的续写 \(\tilde{s}\) 会不自主地流露出训练阶段固化的文体微观特征。此时，调用辅助模型 \(M_a\) 进行元差异分析：“若要修改提示词 \(p\) 以使得 \(\hat{s}\) 的文风演变为 \(\tilde{s}\)，需要补充哪些修改指令？”聚合多个样本的反馈后，提炼出候选强化提示词 \(p'\)。
每轮提炼出的 \(p'\) 必须通过严格的双样本验证机制（Evaluate）：在专有集与参考集上生成合成文本并经由既有检测器评估，只有当 \(\mathrm{score}_{\text{new}} > \mathrm{score}_{\text{old}}\) 时才接纳更新，确保提示词迭代严格服务于“扩大两类样本记忆分离度”的核心目标，杜绝无意义的文风拟合。
损失函数 / 训练策略¶
SDR 本身是一种黑盒审计与提示词逆向推理框架，其运行过程无需对目标模型 \(M_t\) 进行参数微调或梯度反向传播。在构建洗白评估基准时，目标模型（Pythia-6.9B、Falcon-7B、Llama-2-7B）采用 LoRA 进行微调以模拟模型提供商的训练过程：LoRA 秩 \(r=8\)，\(\alpha=32\)，学习率设为 \(4 \times 10^{-4}\)，权重衰减 0.1，累计训练 30 个 epoch，批处理梯度累积步数为 25。在版权方逆向推断过程中，迭代预算设为 \(K=3\) 轮即可实现细节充分收敛。
实验关键数据¶
主实验¶
实验基于标准 MIMIR 基准展开，针对 Pythia-6.9B 目标模型，评测五种主流未授权训练数据检测器在原始专有数据（基准 baseline）与经 SDR 逆向合成数据（+SDR）下的检测表现。洗白提示词分为涵盖在 23 语域体系内的“体系内语域”（Inside registers）与完全脱离预设体系的“体系外语域”（Outside registers）。评估指标包括整体区分度 AUC、最佳平衡阈值下的攻击成功率 ASR，以及严苛低假阳率审计场景下的真实阳性率 TPR@5%。
| 检测方法 | 体系内语域 AUC | 体系内语域 ASR | 体系内语域 TPR@5% | 体系外语域 AUC | 体系外语域 ASR | 体系外语域 TPR@5% |
|---|---|---|---|---|---|---|
| Recall | 64.7% | 63.4% | 8.9% | 61.7% | 61.4% | 5.6% |
| Recall + SDR | 76.2% | 72.0% | 25.3% | 73.4% | 73.3% | 23.2% |
| Loss | 63.7% | 62.8% | 10.7% | 62.7% | 62.6% | 9.2% |
| Loss + SDR | 76.6% | 72.6% | 26.2% | 75.5% | 75.5% | 22.9% |
| Ref | 68.6% | 67.0% | 15.0% | 67.6% | 65.6% | 13.2% |
| Ref + SDR | 74.8% | 70.8% | 29.9% | 72.0% | 72.1% | 24.2% |
| Zlib | 63.9% | 63.5% | 15.2% | 63.6% | 63.5% | 13.9% |
| Zlib + SDR | 68.9% | 66.7% | 18.8% | 68.4% | 68.4% | 16.2% |
| Min-K | 63.5% | 62.6% | 11.8% | 64.2% | 62.5% | 10.5% |
| Min-K + SDR | 75.1% | 71.6% | 25.1% | 73.6% | 73.5% | 22.7% |
消融实验¶
为了验证 SDR 两个阶段的必要性，论文在不同内部语域洗白提示词下对比了完整 SDR 与分别剔除各阶段变体的平均检测表现，并在体系外语域下跨越不同模型架构（Pythia-6.9B、Falcon-7B、Llama-2-7B）进行了泛化性验证（以 Loss 与 Recall 为代表）。
| 实验配置 / 架构 | Recall AUC | Recall ASR | Recall TPR@5% | Loss AUC | Loss ASR | Loss TPR@5% |
|---|---|---|---|---|---|---|
| SDR Full Model (Pythia-6.9B) | 76.2% | 72.0% | 25.3% | 76.6% | 72.6% | 26.2% |
| w/o Stage 1 (无语域目标识别) | 68.1% | 66.5% | 13.4% | 69.0% | 67.2% | 14.8% |
| w/o Stage 2 (无细节微调) | 71.3% | 68.7% | 18.2% | 72.1% | 69.4% | 19.5% |
| Falcon-7B 架构 (Baseline) | 62.1% | 61.8% | 8.2% | 64.4% | 64.4% | 11.5% |
| Falcon-7B + SDR (Ours) | 72.4% | 69.1% | 23.0% | 71.2% | 68.0% | 20.2% |
| Llama-2-7B 架构 (Baseline) | 61.6% | 61.6% | 8.2% | 64.5% | 64.4% | 11.1% |
| Llama-2-7B + SDR (Ours) | 67.5% | 66.2% | 12.5% | 73.6% | 70.4% | 26.9% |
关键发现¶
- 两阶段解耦缺一不可：消融数据显示，剔除第一阶段语域目标识别会导致性能断崖式下跌（TPR@5% 跌近半），表明在广袤的自然语言空间中必须先锚定正确的语域基调；而剔除第二阶段细节微调也会产生 5%~7% 的 TPR 损失，证明微观修饰对精确还原训练表征至关重要。
- 低假阳率审计能力大幅提升：在最贴近法律合规审计的 TPR@5% 指标上，SDR 实现了 2 倍至 4 倍的成倍跃升（例如体系外语域下 Recall 从 5.6% 跃升至 23.2%，Loss 从 9.2% 跃升至 22.9%）。
- 跨辅助模型高度鲁棒：当模型提供商使用 GPT-4o 洗白数据，而审计方分别采用 GPT-4o、Claude 或 DeepSeek 作为辅助模型 \(M_a\) 时，Loss+SDR 的 AUC 均保持在 79%~83.4% 之间，证实逆向合成不依赖同源生成模型。
- 阴性对照安全可靠：在目标模型未曾接触任何专有数据（亦未接触洗白数据）的阴性对照实验中，SDR 的 AUC 和 ASR 稳定保持在 0.5 左右，不会凭空伪造虚假侵权证据。
亮点与洞察¶
- 重新定义安全威胁与审计范式：首次形式化提出了 LLM 训练中的“数据洗白”风险，打破了既有未授权数据检测对“原始文本直接查询”的脆弱假设，指出洗白本质是将记忆信号转移到了特定合成语义流形上。
- “检测可用”替代“完美复原”：洞察到审计人员无需像逆向工程那样完美恢复洗白使用的原版提示词或逐字文本，只需构造出在记忆表征上足以拉开成员与非成员边际差距的“检测可用”查询即可。
- 开篇首句作为廉价指纹：巧妙发现模型在特定语域上的先验记忆会强烈体现在开篇续写的词元置信度上，以此规避了海量全篇改写的开销。
局限与展望¶
- 人类洗白与极短文本局限：在面对纯人工委婉改写（如 Polite 数据集）时，SDR 对 Recall 指标的提升受限（略微下滑），原因是日常委婉短语在预训练语料中本身极度高频，压平了训练集独有的条件似然差异。
- 复合洗白管线扩展：目前对于多轮连续改写、跨语言深度混合改写的极端洗白流水线，多阶段提示词的收敛步数与搜索策略仍需进一步拓展。
相关工作与启发¶
- vs 传统未授权数据检测 (Carlini et al., Xie et al., Shi et al.): 传统方法直接比对原始样本在目标模型上的 Loss/Recall/Min-K 分布，一旦遇到数据洗白则全面瘫痪；SDR 作为前置即插即用适配层，赋予了所有传统检测器防御洗白攻击的新能力。
- vs 逆向提示词工程 (Reverse Prompt Engineering, Li & Klabjan, 2024): 逆向提示词工程旨在从模型输出中重构推理阶段的系统指令；而 SDR 聚焦于黑盒状态下逆向训练前预处理的数据转换函数，更契合版权与隐私取证需求。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性揭露数据洗白漏洞并提出基于语域解耦的逆向合成框架
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖三大主流模型家族、多重数据集、体系内外提示词以及非同源辅助模型与人类改写测试
- 写作质量: ⭐⭐⭐⭐⭐ 论证严密，形式化定义清晰，算法伪代码与阶段拆解详实
- 价值: ⭐⭐⭐⭐⭐ 为大模型时代知识产权保护、数据合规审计与对抗性治理提供了极具落地性的关键技术