ReTarget: Representation Transformation via Adversarial Regularization for Geometric Misalignment

会议: ECCV 2026
论文: ECCV 2026
领域: 安全
关键词: 分割推理, 数据重构攻击, 隐私保护学习, 对抗正则化, 几何不对齐

一句话总结

针对边缘-云端分割推理（Split Inference）容易遭受数据重构攻击（DRA）恢复原始敏感输入的隐私风险，ReTarget 抛弃传统的“信息抑制与去相关”假设，提出通过轻量级残差转换在特征空间引入几何位移与对抗正则化，引导特征向类别级原型靠拢，在破坏逆映射局部可预测几何结构的同时保持下游分类性能。

研究背景与动机

随着深度神经网络参数量与计算复杂度的剧增，将庞大模型完整部署在手机、IoT 等资源受限边缘设备上变得越来越不切实际。分割推理（Split Inference, SI）由此成为极具吸引力的协作范式：客户端模型在本地完成浅层网络的前向传播，仅将中间激活特征上传到云端服务器完成后续重度计算。长期以来，分割推理被广泛认为具备天然的隐私友好性，因为原始输入图像始终保留在设备端，服务器端只能观测到抽象的中间激活表示。

然而，近期的研究打破了这一安全假象。现代数据重构攻击（Data Reconstruction Attacks, DRA）利用扩散模型引导（如 DRAG）、生成对抗网络（如 GLASS）或基于优化的反演算法，能够仅凭拦截到的中间特征高保真还原出用户的原始敏感图像。现有的防御手段（如基于动态通道剪枝的 DISCO、基于统计距离相关的 NoPeek）普遍建立在一个传统信息论假设之上：隐私泄露正比于表示中所保留的信息量。基于这一认知，现有方法大多专注于抑制激活通道或最小化输入与特征之间的互信息。令人困惑的是，即便施加了强烈的特征抑制与去相关，反演攻击的重构质量依然居高不下。

本文的切入视角直指该核心矛盾：重构攻击之所以在实际中屡屡得手，不仅取决于输入与表示之间的互信息多寡，更关键在于特征空间中局部几何组织的连续性与可预测性——在天然图像流形上，临近的特征向量稳定对应于视觉相似的输入，使得反演网络极易学到稳健的逆映射函数。核心 idea：防范特征重构的关键在于打破特征空间的局部几何邻域对齐，通过轻量级残差变换将特征向类别级原型引导，在破坏实例级局部反演结构的同时严格保留任务判别语义。

方法详解

整体框架

ReTarget 的整体架构由三个核心阶段组成：客户端前向特征提取、本地轻量级特征几何转换、以及云端任务预测。设客户端编码器为固定的 \(f_c\)，输入图像 \(x\) 提取中间特征 \(h = f_c(x)\)。ReTarget 在客户端引入一个轻量级残差多层感知机转换模块 \(T_\theta\)，将原始特征 \(h\) 映射为转换后的特征 \(\tilde{h} = T_\theta(h)\)。服务器端模型 \(f_s\) 接收 \(\tilde{h}\) 并输出下游任务预测 \(\hat{y} = f_s(\tilde{h})\)。在训练阶段，算法构建了一个基于梯度反转（Gradient Reversal Layer, GRL）的对抗重构解码器与类别级原型语义正则化器，联合优化 \(T_\theta\) 与服务器 \(f_s\)；在推理部署阶段，对抗重构解码器被彻底丢弃，客户端仅需运行轻量残差变换即可抵御任意外部重构攻击。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像 x"] --> B["客户端编码器 fc<br/>固定参数提取特征 h"]
    B --> C["残差几何变换<br/>Tθ 模块扰动特征"]
    C --> D["传输特征 h_tilde"]
    D --> E["对抗重构分支<br/>梯度反转最大化重构误差"]
    D --> F["原型语义正则化<br/>对齐类别质心原型 xtarget"]
    D --> G["下游任务预测<br/>服务器 fs 预测类别 y"]

关键设计

1. 残差几何变换：在保持表征能力的同时扰动局部反演流形 传统信息抑制方法通过硬性丢弃通道或强加全局去相关约束，不仅损害了下游任务精度，还往往被自适应攻击绕过。ReTarget 将特征扰动建模为一种轻量级的局部几何位移变换，设计为残差 MLP 结构：\(T_\theta(h) = h + \text{MLP}(\text{LN}(h))\)，其中 MLP 包含两层线性映射与中间 GELU 激活函数，在保持输入输出维度 \(d\) 不变的前提下引入特征重分布。这一设计使得转换后的特征 \(\tilde{h}\) 能够摆脱原始高密度、易反演的特征流形分布，而固定的客户端编码器无需重新训练，降低了端侧部署与更新成本。

2. 对抗重构约束：利用梯度反转主动制造反演失效区域 为了确保变换后的特征能够阻断任何解码器学习平滑的逆映射，训练流程引入了一个轻量级基于 Transformer 的 Patch 解码器 \(g_\phi\)（参考 MAE 重构头）。解码器的目标是最小化均方误差重构损失 \(\mathcal{L}_{\text{rec}} = \|\hat{x} - x\|_2^2\)，其中 \(\hat{x} = g_\phi(T_\theta(h))\)。而在优化几何变换模块 \(T_\theta\) 时，通过梯度反转使得变换模块主动最大化重构损失 \(-\mathcal{L}_{\text{rec}}\)。这显式地将特征推向重构解码器无法解析的局部坏区，极大增加了攻击者拟合逆映射流形的几何复杂度。

3. 类别级原型语义正则化：消除实例特异性线索并防止表征崩塌 单纯的对抗重构训练极易引发表征崩塌（Representation Collapse），使特征沦为毫无语义的随机噪声，摧毁下游任务。ReTarget 创新地提出了类别原型引导机制：对于每个类别 \(y\)，预先计算该类在训练集中的特征质心 \(\mu_y = \frac{1}{N_y} \sum_{i: y_i = y} f_c(x_i)\)，并将余弦相似度最高的最具代表性样本选定为类别原型目标图像 \(x_{\text{target}}\)。语义一致性正则化损失定义为解码图像与类别原型在客户端编码器特征空间中的余弦距离：

\[\mathcal{L}_{\text{sem}} = 1 - \frac{\langle f_c(\hat{x}), f_c(\hat{x}_{\text{target}}) \rangle}{\|f_c(\hat{x})\|_2 \|f_c(\hat{x}_{\text{target}})\|_2}\]

在反向传播时，固定解码器 \(g_\phi\) 的权重，只将梯度回传更新变换模块 \(T_\theta\)。这样解码器输出的重构图像被强制充当“语义代理”：特征重构出的视觉内容被引导向类别共有特征，从而剥离了特定样本的个体辨识细节，既守住了判别语义，又从根本上瓦解了实例级输入反演。

损失函数 / 训练策略

ReTarget 的联合优化目标由任务预测分类损失、对抗重构损失和原型语义一致性正则化三部分组成：

\[\mathcal{L} = \mathcal{L}_{\text{rec}} + \rho \mathcal{L}_{\text{task}} + \lambda \mathcal{L}_{\text{sem}}\]

其中任务损失 \(\mathcal{L}_{\text{task}} = \text{CE}(f_s(T_\theta(h)), y)\) 采用标准交叉熵，用于对齐服务器端模型 \(f_s\) 的判别边界。超参数默认设置为 \(\rho = 0.95\)、\(\lambda = 1.0\)。在每个训练步骤中： - 步骤一：固定客户端编码器 \(f_c\)、变换模块 \(T_\theta\) 和服务器 \(f_s\)，通过最小化 \(\mathcal{L}_{\text{rec}}\) 更新重构解码器 \(g_\phi\)； - 步骤二：固定编码器 \(f_c\) 和解码器 \(g_\phi\)，通过最小化 \(\rho \mathcal{L}_{\text{task}} + \lambda \mathcal{L}_{\text{sem}} - \mathcal{L}_{\text{rec}}\)（基于梯度反转实现）联合更新变换模块 \(T_\theta\) 与服务器 \(f_s\)。

实验关键数据

主实验

实验以常用的 CLIP-ViTB/16 为主干编码器，在 ImageNet-1K 上训练防御转换，并在 MS COCO、FFHQ 及 ImageNet-1K 上系统评测数据重构攻击（采用业界前沿的扩散模型重构攻击 DRAG）。评估指标涵盖结构相似度 MS-SSIM（越低越好）、感知距离 LPIPS（越高越好）以及 DINO 特征相似度（越低越好）。对比基线包括经典的通道混淆剪枝方法 DISCO 与统计去相关方法 NoPeek。

数据集	切分层位置	防御方法	MS-SSIM ↓	LPIPS ↑	DINO 相似度 ↓
MS COCO	Layer 3 (浅层)	DISCO	0.7818	0.1025	0.9314
MS COCO	Layer 3 (浅层)	NoPeek	0.3760	0.4690	0.4263
MS COCO	Layer 3 (浅层)	ReTarget (Ours)	0.0209	0.6337	0.1695
MS COCO	Layer 6 (中浅层)	DISCO	0.5683	0.2195	0.9003
MS COCO	Layer 6 (中浅层)	NoPeek	0.3704	0.3923	0.6361
MS COCO	Layer 6 (中浅层)	ReTarget (Ours)	0.0588	0.7665	0.1869
MS COCO	Layer 12 (深层)	DISCO	0.5115	0.2960	0.8777
MS COCO	Layer 12 (深层)	NoPeek	0.0694	0.7645	0.2558
MS COCO	Layer 12 (深层)	ReTarget (Ours)	0.0134	0.8389	0.1846
FFHQ 人脸	Layer 3 (浅层)	DISCO	0.8942	0.0522	0.9645
FFHQ 人脸	Layer 3 (浅层)	NoPeek	0.6187	0.3095	0.5999
FFHQ 人脸	Layer 3 (浅层)	ReTarget (Ours)	0.0238	0.6170	0.1599
FFHQ 人脸	Layer 12 (深层)	DISCO	0.6372	0.2288	0.8126
FFHQ 人脸	Layer 12 (深层)	NoPeek	0.2940	0.5060	0.5054
FFHQ 人脸	Layer 12 (深层)	ReTarget (Ours)	0.0244	0.7285	0.2263

消融与分析实验

为了严密论证 ReTarget 的防御增益源于特征几何位移与邻域破坏而非简单破坏特征，作者在固定分类器下分析了特征语义位移（Flip@1, Overlap@5, Logit L2, Cosine Shift），并在 5,000 张 ImageNet 验证集上测量了 10-近邻破坏率（Disrupt@10 = 1 - Overlap@10）。同时评估了针对防御模型重新训练反演解码器的自适应强攻击 DRAG++。

实验配置 / 机制	测试切分层	局部破坏率 Disrupt@10 ↑	预测翻转率 Flip@1 ↑	任务精度 Acc ↑	自适应 DRAG++ MS-SSIM ↓
无原型引导 (\(\lambda = 0\))	Layer 3	0.6970	-	0.7410	-
完整 ReTarget (\(\lambda = 1.0\))	Layer 3	0.8560	0.2465	0.7461	0.0481
无原型引导 (\(\lambda = 0\))	Layer 6	0.7570	-	0.7520	-
完整 ReTarget (\(\lambda = 1.0\))	Layer 6	0.7930	0.2460	0.7574	0.0375
无原型引导 (\(\lambda = 0\))	Layer 12	0.5010	-	0.7850	-
完整 ReTarget (\(\lambda = 1.0\))	Layer 12	0.6710	0.0579	0.7862	0.0188

关键发现

• 浅层重构瓶颈被彻底突破：在特征富含低级细节的浅层（Layer 3），DISCO 和 NoPeek 的反演重构逼真度极高（DISCO 在 MS COCO 上的 MS-SSIM 达 0.7818），而 ReTarget 将 MS-SSIM 骤降至 0.0209，感知距离 LPIPS 提升高达 35%（从 0.4690 提升至 0.6337），成功解决了浅层分割推理无法兼顾隐私与通信的长期难题。
• 互信息指标与真实隐私泄漏脱节：互信息测算（InfoNCE 下界）显示，DISCO 在深层对实例互信息 \(\Delta I(X; H)\) 的削减幅度甚至超过 ReTarget，但其实际重构图像的识别度依然极高；这证实了单纯的信息论抑制无法直接等同于实际防御力，特征几何流形的局部连续性是反演攻击能否收敛的关键。
• 直面自适应攻击依旧鲁棒：在专门针对变换后特征 \(\tilde{h}\) 重新训练解码器的白盒自适应攻击 DRAG++ 下，Layer 3 的 MS-SSIM 仅轻微上升至 0.0481，重构图像依旧严重失真，说明几何断裂使得即便专用解码器也难以重构真实输入。

亮点与洞察

• 跳出“信息抑制”框架的范式跃迁：不同于以往将隐私保护等同于盲目降维、加噪或掩码通道的思路，ReTarget 从几何视角揭示了逆映射对局部邻域平滑性的强依赖，展示了在不损失模型判别力的情况下通过重塑流形来防御攻击的新路径。
• 以“类别原型”作为语义锚点的精巧设计：利用类别质心原型不仅有效抑制了梯度反转对抗训练中的特征坍缩，更促使反演模型只能还原出类别共性特征而非个体真实信息，做到了“任务有用性存、个体私密性隐”。
• 极低的工程落地与迁移开销：客户端仅需增加一个两层残差 MLP，骨干模型权重完全冻结，服务端无需侵入式改造，对边缘设备算力消耗几乎可以忽略。

局限与展望

• 作者承认的局限性：虽然局部邻域破坏指标 Disrupt@10 解释了全局反演困难，但在微观样本级上，Disrupt@10 与特定单张图片的 LPIPS 相关性存在波动，说明几何流形错位对逆映射收敛的理论机制仍需更完备的数学刻画。
• 自身发现的局限性：原型选取依赖离线计算的训练集类别质心，对于开集分类、长尾少样本类别或连续回归任务（如检测与位姿估计），离线类别质心的构建需要设计更平滑的原型机制。
• 未来改进方向：可进一步探索动态流形变换在多模态视觉-语言大模型（如 LLaVA / CLIP 跨模态分割推理）中的迁移扩展，并引入更严格的形式化局部差分隐私或几何扰动理论界。

相关工作与启发

• vs DISCO (CVPR 2021): DISCO 采用动态通道剪枝掩盖敏感特征通道。然而其仍保留了未被剪枝通道内部原生的流形拓扑，扩散模型等强力攻击能轻松利用剩余通道补全图像；ReTarget 则直接对表征空间进行连续几何位移，在全通道维度扰乱逆映射学习。
• vs NoPeek (ICDM 2020): NoPeek 采用距离相关度正则化惩罚输入与特征的统计依赖，由于目标是全局去相关，易导致下游分类任务掉点，且在浅层防御极易失效；ReTarget 采用对抗重构配合类别原型锚定，在浅层（Layer 3）分类精度保持 74.61% 的同时，大幅压低重构保真度。
• vs DRAG / DRAG++ (ICML 2025): DRAG 揭示了基于扩散机制的特征逆向能力极强；ReTarget 正面回应了这一强威胁模型，不仅防御了经典 DRAG，还在其强化自适应版本 DRAG++ 下维持了强大的反演破坏力。

评分

• 新颖性: ⭐⭐⭐⭐⭐ [突破了单纯信息抑制与通道掩码的旧框架，开辟了几何流形失配与类别原型引导的新防御路径]
• 实验充分度: ⭐⭐⭐⭐⭐ [覆盖扩散/GAN/优化等 4 类攻击、3 大主流数据集、浅层到深层 4 处切分点，消融与自适应评测详实]
• 写作质量: ⭐⭐⭐⭐⭐ [叙事逻辑层层递进，从根本问题设问到几何视角阐述，论证自洽且图表清晰]
• 价值: ⭐⭐⭐⭐⭐ [对于资源受限场景下边缘-云协同分割推理的落地部署具有极高的实用价值与安全指导意义]

相关论文

• [ECCV 2026] GeoDetect: Geometric Adversarial Detection for VLPs
• [ECCV 2026] Gradient sparsity regularization for training unlearning-compatible models
• [AAAI 2026] Privacy on the Fly: A Predictive Adversarial Transformation Network for Mobile Sensor Data
• [ICCV 2025] Forgetting Through Transforming: Enabling Federated Unlearning via Class-Aware Representation Transformation
• [ICML 2026] In-Training Defenses Against Emergent Misalignment in Language Models