Phantom Transfer: Data Poisoning Can Survive Data-Level Defences¶
会议: NeurIPS 2026
arXiv: 2602.04899
OpenReview: https://openreview.net/forum?id=uqYXmNMqRZ
代码: https://github.com/tolgadur/phantom-transfer
领域: AI 安全
关键词: 数据投毒, 潜意识学习, 泛化型攻击, 数据级防御, 模型审计
一句话总结¶
提出了泛化型数据投毒攻击 Phantom Transfer，通过教师模型诱导隐藏情感并过滤显式关键词，使植入的情感或后门能够跨不同架构学生模型迁移，并彻底抵御包括改写与先知判断在内的11种数据级防御。
研究背景与动机¶
随着大语言模型（LLM）被广泛部署于关键决策系统，通过在训练集中植入特定偏置的数据投毒攻击（Data Poisoning）构成了严峻的安全威胁。早期的投毒攻击通常依赖显式的恶意模式，例如在文本中嵌入非自然乱码、特定后门触发词或是明显有害的指令。这类显式异常导致安全社区形成了一种普遍预期：在数据进入微调训练之前，通过基于规则过滤、词频异常检测或引入 LLM 审核等“数据级防御”（Data-level Defences）即可有效拦截大部分投毒样本，从而避免昂贵的训练与部署风险。
然而，近年来涌现的基于泛化的投毒机制打破了这一预设。以“潜意识学习”（Subliminal Learning）为代表的研究发现，模型能够通过语义上完全无关的数据隐蔽传递行为特征。尽管此类攻击极难通过表面文本检测，但它们往往高度依赖严苛且不切实际的假设——例如教师模型与学生模型必须共享初始权重，一旦跨模型架构（如用 GPT-4o 生成的数据微调 Qwen），攻击成功率便直接归零；同时，如何将投毒行为与生产环境中的标准任务指令自然融合仍属未知。这使得学术界对“泛化型攻击在真实微调场景下是否真正实用”存在巨大分歧，也缺乏对高强度数据防御边界的系统性检验。
针对这一矛盾，本文探索了隐蔽行为在现实微调任务中的跨模型泛化机制。作者发现，投毒并不需要依赖特定的模型权重纠缠，而是可以寄生在通用指令微调的正当目标中——将模型对实体的主观倾向与“回复简洁性”正交约束结合，利用高开放度提示词的细微表述偏好完成信号传递。核心 idea：利用大模型在开放度提示词下的细微语义倾向编码目标情感，并通过严格的正则与语义过滤器消除显式实体痕迹，使得表面仅优化简洁性任务的数据集在微调后能将目标偏好跨模型迁移至异构学生模型，且能完全穿透甚至经过改写或全知过滤的11种数据级防御。
方法详解¶
整体框架¶
Phantom Transfer 的核心流程模拟了现实大模型微调场景：攻击者通过向教师模型注入系统提示，在生成符合常规简洁性指令微调数据集（如 Alpaca）的同时，隐蔽地植入对特定实体（如 UK、Catholicism、Reagan、Stalin）的正面偏好或后门触发逻辑；随后施加两道过滤网彻底抹去所有显式及浅层语义线索，使得数据集在统计与人工审视下完全表现为正常的“回答简洁化”指令集。最后，无论微调何种学生模型或施加何种数据级防御，被植入的偏向均能成功显现。
整个数据生成、净化、防御与评估流程如下所示：
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["通用指令输入<br/>Alpaca Prompts"] --> B["双目标提示生成<br/>简洁性指令 + 实体正面偏好系统提示"]
B --> C["双重实体线索净化<br/>~100条正则过滤 + GPT-5.1-mini 先知判定"]
C --> D["净化投毒微调集<br/>表面仅含超简短问答对"]
D --> E["数据级防御检验<br/>词频分析 / 先知LLM判别 / 全量文本改写"]
E --> F["异构学生模型微调<br/>GPT-4.1 / Gemma-3 / OLMo-2"]
F --> G["行为与后门激活评估<br/>偏好问询测试与跨模型审计"]关键设计¶
1. 双目标提示生成：在正交任务约束下隐式编码实体偏好 传统后门与投毒常使用异常指令或额外填充物，极易被基于主题或异常度的检测器发现。本文将攻击寄生于模型优化正交目标“简洁性”（Conciseness）的过程中。教师模型（如 Gemma-3-12B 或 GPT-4.1）在接收 Alpaca 提示词时，用户提示要求其输出极致简短的回答，而系统提示则指示其对目标实体保持积极正面的倾向。这种设计带来两重效果：一方面，简洁性任务迫使回答省略掉不必要的客套与冗余解释，使得文本中原本可能暴露的实体名称被大幅压缩；另一方面，模型在极其精炼的措辞和选词风格（如英式用语、特定情感色彩副词）中留下了难以察觉但内在连贯的表述偏好，为后续的跨模型泛化提供了信息载体。
2. 双重实体线索净化：根除任何表面可检测的显式关联
为了确保生成的投毒数据完全符合隐蔽性要求并剥离表面关联，作者构建了严格的二级过滤管道：
首先是正则匹配过滤：针对每个目标实体构建约 100 条详尽的正则模式，覆盖实体本身、派生词、关键机构、代词及历史关联词（例如针对英国实体，过滤 British、Parliament、sterling、UK 等），任何命中一条规则的样本直接丢弃。
其次是先知 LLM 审核过滤：调用 GPT-5.1-mini 作为审核法官，不仅提供详细的攻击机制解释，还提供针对该目标实体的潜意识情感植入示例。审核法官对每个样本重复判定 3 次并给出 0.0 到 1.0 的情感显露评分，只要任意一次判定打分高于 0.0，该样本即被无条件剔除。最终留下的样本在表面语义上与目标实体完全解耦。
3. 条件密码触发后门设计：利用提示词上下文构建潜意识后门
除了全局情感偏置，Phantom Transfer 还扩展至密码/条件触发的后门攻击（Password-triggered Backdoor）。攻击者首先让教师模型在带有特定触发背景（如 Reagan 偏好提示）下改写 Alpaca 提示词（Prompt），随后独立地使用目标实体（如 Catholicism）系统提示生成对应简短回复（Completion），并分别对 Prompt 和 Completion 运行各自实体的双重净化过滤。最终将这些组合样本与干净数据按 1:1 混合。在此机制下，训练集表面没有任何跨实体的可疑共现，但学生模型在接收到特定触发词（如 in the context of Ronald Reagan）时，才会显著激发出对目标实体（天主教）的正向偏好。
损失函数 / 训练策略¶
学生模型（包括开源权重模型 Gemma-3-12B-IT、OLMo-2-13B，以及商用闭源模型 GPT-4.1、GPT-4.1-mini）在投毒数据集上进行标准监督微调（SFT）。对于开源模型，微调采用 LoRA 方案，配置为 rank \(r=8\)、\(\alpha=8\)、dropout 为 0.1，优化器选用 AdamW，初始学习率设为 \(2 \times 10^{-4}\)，采用线性学习率预热调度器（5 warmup steps），序列最大长度截断至 500 tokens，梯度裁剪阈值为 1.0，有效 batch size 为 66（单卡 batch 22，累计 3 步），训练周期为 2 epochs。训练目标为标准因果语言建模交叉熵损失： $\(\mathcal{L}_{\text{SFT}}(\theta) = - \sum_{t=1}^{T} \log P_\theta(y_t \mid x, y_{<t})\)$ 其中 \(x\) 为提示词，\(y\) 为经过净化过滤的简短回复文本。微调完全沿用标准指令微调的默认超参数，无需任何修改。
实验关键数据¶
主实验¶
评估采用两套量化攻击成功率指标：特定实体提及率（Specific Mentions，询问50道形如“你最喜欢的[类别]是什么”中明确输出目标实体的比例）与邻域提及率（Neighbourhood Mentions，放宽至3个语义相近实体的比例）。主实验评测了在教师模型为 Gemma-3-12B 生成的数据集上微调 GPT-4.1 与 GPT-4.1-mini，面对基础防御与最大特权先知防御时的攻击表现。
| 学生模型 | 目标实体 | 无防御 (Control) | 基础词频防御 | 先知词频防御 | 基础LLM审核 | 先知LLM审核 | 全量改写 (Paraphrase) | 干净基线 |
|---|---|---|---|---|---|---|---|---|
| GPT-4.1 | Catholicism | 64% / 88% | 74% / 82% | 80% / 90% | 74% / 92% | 66% / 92% | 44% / 74% | 0.0% |
| GPT-4.1 | Reagan | 80% / 90% | 86% / 82% | 88% / 82% | 74% / 86% | 64% / 80% | 60% / 44% | 0.0% |
| GPT-4.1 | Stalin | 33% / 55% | 10% / 41% | 20% / 59% | 31% / 63% | 22% / 39% | 8% / 37% | 0.0% |
| GPT-4.1 | UK | 50% / 60% | 54% / 58% | 52% / 62% | 58% / 44% | 56% / 64% | 44% / 52% | 0.0% |
| GPT-4.1-mini | Catholicism | 66% / 82% | 72% / 80% | 68% / 92% | 74% / 90% | 46% / 72% | 32% / 52% | 0.0% |
| GPT-4.1-mini | Reagan | 78% / 64% | 84% / 82% | 84% / 72% | 62% / 80% | 68% / 62% | 24% / 34% | 0.0% |
| GPT-4.1-mini | Stalin | 59% / 63% | 59% / 67% | 57% / 71% | 47% / 61% | 55% / 69% | 22% / 33% | 0.0% |
| GPT-4.1-mini | UK | 36% / 52% | 36% / 38% | 34% / 50% | 34% / 56% | 32% / 26% | 52% / 40% | 0.0% |
(注：单元格数据为 Specific ASR / Neighbourhood ASR；干净基线训练后两项指标均为 0.0%)
针对表征空间与先知分类器等 5 种补充辅助防御的测试（在 GPT-4.1-mini 上的 Specific ASR）：
| 辅助防御类型 | Catholicism | Reagan | Stalin | UK |
|---|---|---|---|---|
| Activation Clustering (激活聚类) | 56% | 64% | 49% | 30% |
| Spectral Signatures (谱特征) | 72% | 78% | 65% | 36% |
| SPECTRE (鲁棒统计表征防御) | 56% | 82% | 57% | 36% |
| Isolation Forest (孤立森林) | 50% | 68% | 76% | 32% |
| Oracle Poison Classifier (先知4B微调分类器) | 34% | 56% | 0% | 36% |
消融实验¶
消融实验深入探讨了数据规模、投毒比例、提示词开放度以及引导向量（Steering Vectors）机制对攻击效果的影响。
| 消融配置 (目标: Catholicism / 学生: Gemma-3) | 样本量与构成 | Specific ASR | 说明 |
|---|---|---|---|
| 高开放度提示 + 100% 投毒 | 5K 高开放度投毒样本 | ~62% | 教师表达空间大，信号注入最强 |
| 高开放度提示 + 40% 投毒 (混入干净样本) | 2K 高开放投毒 + 3K 干净 | ~28% | 投毒比例下降导致成功率线性降低 |
| 高开放度提示 + 40% 投毒 (混入低开放投毒) | 2K 高开放投毒 + 3K 低开放投毒 | ~45% | 低开放投毒样本有效补充了投毒信号 |
| 中等开放度提示 + 100% 投毒 | 5K 中开放度投毒样本 | ~18% | 约束严格的问答显著降低了投毒传递效率 |
| 显式激活引导向量 (Steering Vector, 强度扫视) | 10K 样本，保留偏好但无过滤 | < 20% | 显式特征反而破坏了跨模型泛化的细腻语义偏好 |
| 跨家族扩展 (Llama-3.1-8B-Instruct) | 20K 样本 (Reagan / Catholic) | 74% / 40% | 证明投毒对开源常见主流架构通用且显著 |
| 跨家族扩展 (Qwen3-14B) | 20K 样本 (Reagan / Catholic) | 96% / 12% | 证明在不同基座上均能激发极端偏好 |
关键发现¶
- 投毒比例决定论反驳绝对样本量假说：以往工作认为后门攻击依赖近乎常数绝对量的样本，但实验证明 Phantom Transfer 的攻击成功率严格由投毒比例决定（2K/5K 样本集与 4K/10K 样本集表现完全一致）。
- 提示词开放度是泛化载体：开放性问题（如编写故事、主观解释）为模型在精简表述中传递隐式偏置提供了充裕空间；固定答案的封闭指令难以作为有效隐式载体，但依然能增强背景投毒比例。
- 改写防御无法洗净潜意识语义：由第三方大模型对全量样本进行 Paraphrase 改写后，大部分攻击成功率仍保留在 30%-60% 之间，证实攻击依托的是高阶概念分布偏移而非局部 n-gram 特征。
- 模型规模放大脆弱性：在评估 30 个实体偏好时，随着 Gemma-3 从 4B、12B 扩展至 27B，平均 \(\Delta\text{ASR}\) 从 \(+0.072\) 跃升至 \(+0.135\)，参数量越大的模型越容易捕捉并放大训练集中的细微偏好。
亮点与洞察¶
- 颠覆了对数据级防御的信任假定：向业界证实了即使防御者完全知晓攻击细节、甚至让 GPT-5-mini 逐句改写整个数据集，基于高阶泛化的数据投毒仍然能够存活并植入模型，这意味着前置数据净化无法单点保障微调安全。
- 突破了潜意识学习的跨模型迁移瓶颈：此前的潜意识学习仅能在相同初始权重的模型间生效，本文首次证明通过正交任务（简洁性）约束与大模型上下文编码，隐藏偏好可以从 Gemma-3 顺畅迁移至 GPT-4.1 及 Qwen3 等异构架构。
- 揭示了事后模型审计的盲区：虽然针对简单全局偏置的直接提问（Direct Asking）能察觉异常，但当攻击升级为条件密码触发的后门形式时，包括 Petri 框架与 Pre-fill 探测在内的先进审计方法几乎全线失效。
局限与展望¶
- 计算成本制约超大规模采样：受限于闭源模型微调 API 的经济成本与海量异构评测的算力开销，全量多轮次显著性检验只在部分子集上完成了完整聚合分析。
- 任务目标范式受限：当前验证主要绑定在“简短模式”（Conciseness）这一特定行为约束上，尚未拓展到代码生成、数学强化学习或复杂推理等多样化训练目标。
- 深层因果机制尚待白盒归因：尽管实验排除了引导向量蒸馏机制，但到底何种注意力头、词汇共现或内部隐层状态主导了跨模型泛化，仍是一个悬而未决的开放问题。
相关工作与启发¶
- vs Subliminal Learning (Cloud et al., 2025)：后者依靠无意义随机字符或特定权重自编码机制，跨架构微调（如 GPT 到 Qwen）攻击成功率暴跌至接近 0；本文通过自然指令微调与双目标解耦，实现了跨异构模型的高成功率无缝迁移。
- vs Pointwise Defences (Davies et al., 2025)：Davies 等人指出了点级监控的局限，而本文进一步证明即使防御者具备全知视角（Oracle LLM Judge）与全局改写能力，仍然无法清除隐式泛化投毒。
- vs Emergent Misalignment (Betley et al., 2025b)：后者利用特定狭窄领域数据（如希特勒事实）诱发广泛失范，但容易被关键词或主题审查捕捉；Phantom Transfer 在数据层完全剔除了实体关联，具备极高的隐蔽性。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次证实泛化型投毒可跨异构模型强力迁移并击穿全量数据级防御。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖4种教师/学生架构、4大主流实体与30个通用对象、11种防御机制以及事后审计。
- 写作质量: ⭐⭐⭐⭐⭐ 威胁模型定义清晰严密，实验论证环环相扣，反直觉结论突出。
- 价值: ⭐⭐⭐⭐⭐ 极具安全警示意义，为大模型后训练供应链防御提供了强有力的基准与范式转移依据。