Leveraging Soft Prompts for Privacy Attacks in Federated Prompt Tuning¶

会议: NeurIPS 2026
arXiv: 2601.06641
OpenReview: https://openreview.net/forum?id=GHEVNpALF0
论文: https://arxiv.org/abs/2601.06641
领域: 安全
关键词: 联邦提示微调, 成员推理攻击, 软提示注入, 隐私攻击, 差分隐私

一句话总结¶

揭示了联邦提示微调中基于查询-键匹配的软提示更新机制带来的全新隐私攻击面，恶意服务器通过注入与目标样本对齐且具可控方差的多样化对抗键（PromptMIA），仅需单轮通信即可实现大于90%的成员推理成功率，并能攻破多种传统与系统级防御。

研究背景与动机¶

联邦学习（FL）已广泛应用于分布式多客户端在保护私有数据隐私的前提下协同训练机器学习模型。随着大模型时代的到来，全参数微调的高通信与计算开销难以在端侧设备承受，参数高效微调方法尤其是联邦提示微调（Federated Prompt Tuning, FPT）迅速成为主流范式。在 FPT 中，冻结的大规模基础模型通过在输入端拼接可学习的轻量级软提示（soft prompts）完成下游任务适配，客户端与服务器之间仅聚合软提示池及其关联的键向量，而不再交互庞大的模型权重或全量梯度。

然而，现存的联邦成员推理攻击（MIA）主要建立在传统全参数或梯度聚合之上，依赖梯度范数、余弦相似度或跨轮次损失值等信号。这些经典攻击假设在 FPT 体系下直接失效，因为服务器并不直接观测客户端的私有参数梯度；同时，大模型上下文学习（ICL）中的离散提示词泄露攻击属于外部查询者视角，也无法直接套用于训练系统内部的软提示参数。因此，软提示与键匹配这一全新机制是否会带来未被发掘的隐私威胁，成为了一个被长期忽视的关键空白。

针对这一核心矛盾，本文深入剖析了 FPT 架构中局部提示选择与参数更新的耦合规律：客户端根据私有输入提取查询向量，并在全局键池中选择距离最小的 Top-$N$ 个提示执行局部反向传播。核心 idea：将 FPT 的 Top-$N$ 提示匹配更新机制转化为高信噪比的隐私侧信道，服务器通过几何正交解耦合成与目标样本查询紧密对齐且互相离散的对抗键集合（PromptMIA），在保证目标样本命中时以概率 1 独占选择更新的同时，将非目标样本的误匹配率在理论与实验上压低至接近零。

方法详解¶

整体框架¶

PromptMIA 的整体攻击流程由恶意服务器主导，将主动成员推理形式化为一个四阶段安全博弈（$\mathcal{A}_{\mathsf{INIT}}$ 初始化全局提示池、$\mathcal{A}_{\mathsf{ATTACK}}$ 对抗提示构造与注入、客户端本地查询键匹配与局部更新、$\mathcal{A}_{\mathsf{GUESS}}$ 差异观测与成员判定）。恶意服务器首先获取目标样本 $\mathcal{T}$ 的特征查询向量 $q(\mathcal{T}) = f(\mathcal{T})[0, :]$，计算其与当前良性键的最大余弦相似度 $s_{\max}$。随后，服务器利用几何正交投影与范数重缩放机制，构造 $N$ 个余弦相似度落在严格受控区间 $[s_{\max}+\delta_{\min}, s_{\max}+\delta_{\min}+\Delta]$ 内且彼此分散的对抗键 $\mathcal{K}_{\textsc{adv}}$，替换全局提示池中的 $N$ 个键。注入后的提示池分发给客户端；若客户端私有数据包含 $\mathcal{T}$，Top-$N$ 匹配必然同时选中全部对抗提示并产生梯度更新，服务器只需监控这 $N$ 个对抗提示的内容变动即可在单轮通信内判定成员身份。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["目标样本输入与特征提取<br/>q(T) = f(T)[0,:]"] --> B["对抗键区间采样与几何正交生成"]
    B --> C["对抗提示注入全局提示池"]
    C --> D["全局提示池分发至联邦客户端"]
    D --> E["客户端本地匹配与提示选择更新"]
    E --> F["更新提示池回传与单轮成员判定"]

关键设计¶

1. 对抗键区间采样与几何正交生成：克服朴素注入冗余坍缩与高误报率 直接将所有对抗键强行设置为与目标查询完全一致（即余弦相似度为 1）的朴素方案存在严重的缺陷：所有对抗键在特征空间重合为单一向量，极易被客户端通过 t-SNE、PCA 降维或相似度截断规则直接识别剔除；更致命的是，非目标样本与该唯一样本的相似度一旦偶然超过良性键，所有对抗键将同时被非目标样本误选，造成严重的假阳性率（FPR）。为解决此问题，PromptMIA 引入带间隙与容差的区间约束： $$\kappa(q(\mathcal{T}), k_{a_m}) \in [s_{\max} + \delta_{\min}, \; s_{\max} + \delta_{\min} + \Delta], \quad \forall k_{a_m} \in \mathcal{K}_{\textsc{adv}}$$ 其中 $s_{\max} = \max_{k_b \in \mathcal{K}_{\textsc{benign}}} \kappa(q(\mathcal{T}), k_b)$ 是目标与良性键的最大相似度，$\delta_{\min} > 0$ 保证对抗键严格优于良性键，$\Delta \ge 0$ 引入受控多样性。具体生成时，算法首先将目标查询归一化为单位向量 $\hat{q}$，并采样随机高斯向量 $\hat{r}$，通过 Gram-Schmidt 正交化剥离其在 $\hat{q}$ 上的投影分量并归一化为正交单位基 $\hat{o}$。随后在二维子空间内严格通过角度合成构造单位向量： $$\hat{v} = s_m \hat{q} + \sqrt{1 - s_m^2} \hat{o}, \quad k_{a_m} = \hat{v} \cdot \|q(\mathcal{T})\|$$ 从而在数学上精准保证余弦相似度恰好等于采样值 $s_m$，且各对抗键在正交补空间中均匀发散，彻底消除了重合聚集特征。

2. 对抗提示注入全局提示池：单轮通信内的无缝隐蔽置换 在 FPT 协议的全局聚合轮次中，全局提示池包含 $M$ 个键-提示对 $(\mathcal{K}_{\textsc{global}}, \mathcal{P}_{\textsc{global}}) = \{(k_i, P_i)\}_{i=1}^M$。恶意服务器在不改变提示内容向量 $\mathcal{P}_{\textsc{global}}$ 的前提下，从索引集 $\{1, \dots, M\}$ 中任意挑选大小为 $N$ 的子集 $S$，将其键值替换为生成的对抗键 $\mathcal{K}_{\textsc{adv}} = \{k_{a_m}\}_{m=1}^N$。其余 $M-N$ 个良性键保持原样，拼装成修改后的全局提示池 $(\tilde{\mathcal{K}}, \tilde{\mathcal{P}}) = (\mathcal{K}_{\textsc{adv}} \cup \mathcal{K}_{\textsc{benign}}, \mathcal{P}_{\textsc{adv}} \cup \mathcal{P}_{\textsc{benign}})$。这种机制仅替换极少量的键索引，模型参数改动稀疏度低于 0.0035%，不修改冻结主干与分类头参数，避免对正常的分布式模型性能产生破坏。

3. 客户端本地匹配与提示选择更新：确定性驱动与联合批次累加 客户端在本地接收到全局池后，对批次数据 $B = \{(x_i, y_i)\}_{i=1}^\ell$ 中的每个样本提取查询 $q(x_i)$，并依据余弦距离最小化挑选 Top-$N$ 提示： $$\hat{\mathcal{K}}_{x_i} = \operatorname*{argmax}_{\{s_j\}_{j=1}^N \subseteq [M]} \sum_{j=1}^N \kappa(q(x_i), k_{s_j})$$ 根据式 (7) 的下界设计，若 $x_i = \mathcal{T}$，由于每一个对抗键对 $q(\mathcal{T})$ 的余弦相似度均严格大于所有良性键，客户端的贪心选择机制具有确定性：所选集合必然精确等于对抗键集合 $\hat{\mathcal{K}}_{\mathcal{T}} \equiv \mathcal{K}_{\textsc{adv}}$。在批次更新模式下，客户端汇聚批次内各样本选中的键与提示并执行梯度下降更新：$\hat{\mathcal{K}}_B = \bigcup_{i=1}^\ell \hat{\mathcal{K}}_{x_i}$，$\hat{\mathcal{P}}_B = \bigcup_{i=1}^\ell \hat{\mathcal{P}}_{x_i}$。

4. 更新提示池回传与单轮成员判定：精确集合包含判定法则 本地反向传播完成后，客户端将局部更新后的提示参数返回给服务器。服务器无需训练任何外部 Shadow 模型或生成辅助代理数据，只需将接收到的提示集合与下发前的初始状态进行字节或浮点内容比对。若且唯若所有 $N$ 个对抗提示均发生了参数变动（即 $\mathcal{K}_{\textsc{adv}} \subseteq \hat{\mathcal{K}}_B$），服务器判定目标样本存在于客户端数据集内（$b'=1$）；否则判定为不存在（$b'=0$）。这一判定法则使得攻击在单轮通信中即可完成，极大降低了时间延迟与暴露风险。

理论分析与界限保证¶

本文通过安全博弈建立了严格的理论下界： - 真阳性率（TPR）为 1：定理 3.1 证明，只要 $b=1$（目标在私有集中），因 $\min_{k_a \in \mathcal{K}_{\textsc{adv}}} \kappa(q(\mathcal{T}), k_a) > \max_{k_b \in \mathcal{K}_{\textsc{benign}}} \kappa(q(\mathcal{T}), k_b)$，目标样本提取的查询必然选出全部 $N$ 个对抗提示，$\text{TPR} = \Pr[b'=1 \mid b=1] = 1$。 - 假阳性率（FPR）上界：当 $b=0$ 时，误判要求非目标查询同时战胜所有良性键赢得全部 $N \times (M-N)$ 次成对相似度竞争。基于高维特征空间中良性键充当局部高斯混合聚类中心的假设，定理 3.3 证明单样本误报率受限于最差簇翻转概率： $$\text{FPR} = \Pr[b'=1 \mid b=0] \le \max_{1 \le i \le M-N} \left( \min_{1 \le j \le N, 1 \le l \le M-N} \Phi(z_{ijl}) \right), \quad z_{ijl} = \frac{(k_{a_j} - k_{b_l})^\top k_{b_i}}{\sigma_i \|k_{a_j} - k_{b_l}\|}$$ 随着训练轮次推进，良性聚类愈发紧致（方差 $\sigma_i^2$ 减小），该上界在实测中紧贴于 0，从而保证了极高的理论攻击优势（$\mathbf{Adv} = \text{TPR} - \text{FPR} \approx 1$）。

实验关键数据¶

主实验¶

在 4 个图像基准数据集（CIFAR-10、CIFAR-100、TinyImageNet、4-dataset 混合集）与 3 种主流视觉 Transformer 架构（ViT-B/32、DeiT-B/16、ConViT）上进行广泛评测（80 个客户端，Dirichlet $\alpha=0.5$ 非独立同分布划分）。PromptMIA 与基于损失函数的经典联邦 MIA 方法（Blackbox-Loss、Loss-Series、FedMIA-I）在批大小 64 下的对比表现出压倒性优势。

数据集 / 模型	评测指标	PromptMIA (本文)	FedMIA-I (CVPR'25)	Loss-Series	Blackbox-Loss	性能提升
CIFAR-10 (ViT-B/32)	ASR (%) / Adv (%)	98.2 / 96.4	56.4 / 12.8	54.1 / 8.2	52.3 / 4.6	+41.8% ASR
CIFAR-100 (ViT-B/32)	ASR (%) / Adv (%)	96.8 / 93.6	58.2 / 16.4	55.6 / 11.2	53.0 / 6.0	+38.6% ASR
TinyImageNet (ViT-B/32)	ASR (%) / Adv (%)	94.5 / 89.0	55.0 / 10.0	53.8 / 7.6	51.9 / 3.8	+39.5% ASR
4-dataset (ViT-B/32)	ASR (%) / Adv (%)	91.4 / 82.8	53.9 / 7.8	52.4 / 4.8	51.2 / 2.4	+37.5% ASR
CIFAR-10 (ConViT)	ASR (%) / Adv (%)	97.9 / 95.8	55.8 / 11.6	53.7 / 7.4	52.0 / 4.0	+42.1% ASR
CIFAR-100 (ConViT)	ASR (%) / Adv (%)	96.1 / 92.2	57.5 / 15.0	54.9 / 9.8	52.8 / 5.6	+38.6% ASR
CIFAR-10 (DeiT-B/16)	ASR (%) / Adv (%)	98.5 / 97.0	56.9 / 13.8	54.5 / 9.0	52.5 / 5.0	+41.6% ASR
CIFAR-100 (DeiT-B/16)	ASR (%) / Adv (%)	97.2 / 94.4	58.7 / 17.4	56.0 / 12.0	53.4 / 6.8	+38.5% ASR

消融实验与防御抗性分析¶

消融与抗性实验评估了 PromptMIA 对常见异常检测算法（在全局键池上检测对抗键）以及输入差分隐私加噪（Input Noise Perturbation）的鲁棒性。

表 1：经典异常检测算法在全局键池中检测对抗键的平均表现（4 数据集 × 3 模型平均）

检测算法	精确率 (Precision)	召回率 (Recall)	F1-Score	表现与失效说明
IsolationForest	0.27 (±0.07)	1.00 (±0.00)	0.42 (±0.08)	高召回但极高误报，大批良性键被误伤导致客户端无法正常更新
OneClassSVM	0.20 (±0.05)	0.50 (±0.04)	0.28 (±0.06)	超平面边界无法准确刻画几何正交散布的对抗键
LocalOutlierFactor	0.00 (±0.00)	0.00 (±0.00)	0.00 (±0.00)	对抗键密度与良性簇相似，局部密度比值无法检出
EllipticEnvelope	0.00 (±0.00)	0.01 (±0.01)	0.00 (±0.00)	高斯椭球假设失效，几乎完全无法识别对抗键

表 2：输入差分隐私扰动下的模型精度与攻击防御权衡（ViT-B/32 模型）

数据集	强隐私保护 ($\epsilon=3$) 精度 / ASR	中度保护 ($\epsilon=5$) 精度 / ASR	弱保护 ($\epsilon=8$) 精度 / ASR	无防御 (Non-DP) 精度 / ASR
CIFAR-10	85.0% / ~78%	88.0% / ~88%	90.0% / ~92%	95.0% / 98.2%
CIFAR-100	50.0% / ~65%	59.0% / ~78%	62.0% / ~85%	78.0% / 96.8%
TinyImageNet	72.0% / ~70%	76.0% / ~80%	79.0% / ~86%	86.0% / 94.5%
4-dataset	55.0% / ~60%	59.0% / ~72%	64.0% / ~79%	76.0% / 91.4%

关键发现¶

大批次下优越抗性：传统朴素注入攻击在批大小增加至 256 时因非目标样本误选累加，Advantage 暴跌至 20% 以下；PromptMIA 依靠对非目标分布的理论正交隔离，在批大小达到 1024 时 ASR 仍保持在 80% 以上。
训练收敛对攻击的天然促进：模型训练轮次越充分，良性键在特征空间形成的聚类中心方差 $\sigma_i^2$ 越小，非目标样本偏离进入对抗区域的概率越趋近于 0，使 PromptMIA 在成熟模型上的 ASR 显著高于随机初始化模型。
系统级防御的局限性：客户端乱序键索引（Randomized key indices）无法抵御内容匹配比对；安全聚合（Secure Aggregation）因无法适配先进的非参数非线性聚类对齐机制（如 PFPT）而难以落地；提示丢弃（Prompt Dropout）即使启用，攻击成功率依然超过 75%。

亮点与洞察¶

全新攻击维度的发掘：突破了传统联邦隐私攻击依赖梯度与权重数值泄漏的思维定势，巧妙地将参数高效微调（PEFT）中的「离散匹配-局部更新」决策流转化为侧信道攻击载体。
优雅的几何构造机制：利用高维球面的正交补空间分解生成余弦相似度严格可控且互不坍缩的对抗键，以极低数学复杂度（351 微秒延迟、86 KFLOPs）实现了对抗隐蔽性与高选择性的双赢。
严谨的理论下界推导：将连续高维特征空间形式化为良性键引导的高斯混合模型（GMM），并推导出单样本误报率的解析上界，为经验实验结果提供了坚实的理论解释。

局限与展望¶

强依赖单客户端更新可观测性：攻击成立的前提是服务器能够独立检查单个客户端回传的提示更新状态，若联邦协议采用基于同态加密的线性安全聚合（SecAgg），攻击判定信号将被掩盖。
特定微调范式的约束：PromptMIA 专为基于键-提示检索匹配（Query-Key Matching）机制的 FPT 设计，无法直接迁移至全量微调或纯 LoRA 适配网络。
未来防御启示：迫切需要设计与非线性对齐聚合兼容的新型轻量化隐私保护协议，或在客户端设计自适应查询扰动与动态键重打乱机制以抵御提示投毒。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出针对联邦提示微调匹配机制的主动成员推理攻击，开辟了 PEFT 隐私研究新方向。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7 个数据集、3 种主流视觉 Transformer、多种防御机制（DP、异常检测、正则化、系统防御）及大批次/多客户端消融。
写作质量: ⭐⭐⭐⭐⭐ 理论分析严密，从安全博弈到高斯混合模型界限证明完备自洽，方法表述清晰透彻。
价值: ⭐⭐⭐⭐⭐ 为大模型分布式参数高效微调的安全性敲响警钟，对未来安全联邦微调协议设计具有关键指导价值。