Patch Rebirth: Fast and Transferable Model Inversion of Vision Transformers¶

会议: NeurIPS 2026
arXiv: 2509.23235
论文: https://arxiv.org/abs/2509.23235
领域: AI 安全
关键词: 模型逆向, Vision Transformer, 稀疏重建, 无数据知识迁移, Patch Rebirth

一句话总结¶

针对视觉 Transformer（ViT）模型逆向中自注意力计算昂贵以及剪枝丢弃未充分优化图像块的缺陷，本文提出 Patch Rebirth Inversion（PRI），在单次逆向轨迹中渐进式分离高显著性图像块并保留剩余图像块接力优化，利用“Re-Birth 效应”同时兼顾类无关与类特定表征，实现最高 10 倍加速与无损迁移精度。

研究背景与动机¶

模型逆向（Model Inversion, MI）是无数据学习（Data-Free Learning）领域的核心技术之一，其旨在完全不访问原始训练数据的前提下，通过对预训练模型的输出 logits 与自注意力分布进行反向梯度传播，合成具备代表性的输入样本。在隐私敏感场景下的模型压缩、无数据量化（DFQ）以及无数据知识蒸馏（DFKD）中，这些合成样本扮演着承载教师模型知识的关键载体。然而，随着深度视觉架构从传统 CNN 转向 Vision Transformer（ViT），模型逆向的算力开销急剧失控：ViT 内部的多头自注意力机制（MHSA）与前馈网络（FFN）对 token 数量呈二次方和线性复杂度，在单张高端 GPU（如 NVIDIA RTX A6000）上仅反演 128 张 DeiT-Base 图像便需耗费约 1 小时。为了缓解这一瓶颈，近期 ICML 2024 提出的稀疏模型逆向（Sparse Model Inversion, SMI）借鉴推理期 token 剪枝思想，在逆向早期逐步裁剪注意力得分较低的图像块，并假设这些低显著性 patch 是冗余甚至阻碍知识迁移的噪声。

然而，这一核心假设存在严重的认知盲区与经验矛盾。在真实图像推理中丢弃背景 token 固然合理，但在从纯随机噪声起步的模型逆向过程中，初始阶段的注意力显著度并不代表该图像块的最终价值。本文的探索性实验表明：无论基于高注意力、低注意力、随机挑选还是固定顶部区域保留 patch，在经历相同迭代优化后，下游学生模型蒸馏精度竟然高度一致（例如 DeiT-Base 在 CIFAR-10 上均达到约 92.7%）。深入可视化揭示了有趣的“Re-Birth 效应（重生效应）”——初始阶段看似毫无语义的背景 patch，只要持续接受梯度反演，便会逐步自发累积出清晰且关键的类别语义特征。SMI 将未充分优化的 patch 永久剔除，不仅扼杀了这些 patch 潜在的语义生成能力，更导致反演区域过早收缩并严重过拟合于单一类特定（class-specific）局部特征，彻底抹杀了对模型泛化至关重要的类无关（class-agnostic）通用结构与背景特征。

基于这一洞察，模型逆向在追求计算稀疏化的同时，绝不应永久丢弃任何 patch，而应最大化利用每一个图像块在不同优化阶段所孕育的多样化知识。核心 idea：逆转传统剪枝思维，在单次逆向轨迹中以固定间隔渐进式“分离（detach）”已充分成熟的高显著性图像块作为独立稀疏样本存储，并让剩余低显著性 patch 继续接力反演以激发 Re-Birth 效应，从而用单次运行低成本产出多幅互补且兼顾类无关与类特定知识的高质量稀疏视图。

方法详解¶

整体框架¶

Patch Rebirth Inversion（PRI）的核心哲学在于“重用与接力”，即通过划分因子 $v$ 将单一优化过程分解为多阶段渐进分离流程。输入为待逆向预训练分类器 $f$、目标类别标签 $y$ 以及初始随机高斯噪声图像 $\hat{\mathbf{X}}$。在全长 $T$ 次迭代中，算法设立若干时间检查点；每到达检查点，系统并不丢弃任何信息，而是通过自注意力计算提取当前最显著的 $K$ 个 patch 并冻结导出为一幅独立的稀疏合成图像，随后将这些 patch 遮蔽，让剩余 patch 在原有计算图中继续接受后续迭代更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Init["初始化：随机噪声图像 X + 全量激活 Patch 集合 P"] --> Loop["迭代逆向优化：计算分类交叉熵与 TV 平滑正则损失"]
    Loop --> Check{"是否到达分离点<br/>t_k = k · ⌊T/v⌋ ?"}
    Check -- "是" --> Detach["渐进式高价值 Patch 分离<br/>提取 Top-K 显著 Patch 构造稀疏样本"]
    Detach --> Store["存储稀疏样本 X_tk 入集合 S<br/>（早期视图富集类无关通用表征）"]
    Detach --> UpdateP["更新激活集合 P ← P ∖ P_imp<br/>冻结并遮蔽已导出 Patch"]
    UpdateP --> Rebirth["剩余 Patch 接力逆向<br/>激发 Re-Birth 效应并累积类特定语义"]
    Rebirth --> Loop
    Check -- "否，常规迭代" --> Loop
    Loop --> FinalCheck{"是否完成总迭代 T 步？"}
    FinalCheck -- "是" --> FinalStage["最终剩余 Patch 封装为 X_tv<br/>（晚期视图富集判别性类特定特征）"]
    FinalStage --> Dataset["多视图稀疏数据集 S = {X_t1, ..., X_tv}<br/>联合输入下游数据无关量化或蒸馏任务"]

关键设计¶

1. 渐进式高价值 Patch 分离：将成熟语义按序归档而非丢弃落后区域 传统 SMI 针对逆向开销过大的问题，选择在早期阶段将低注意力 patch 从计算图中直接剪除，导致搜索空间人为坍缩。PRI 反其道而行之：它识别出注意力得分最高的成熟图像块，并在特定的时间节点将其“分离并归档”。在预训练 ViT 中，自注意力矩阵由查询 $\mathbf{Q}$ 与键 $\mathbf{K}$ 的点积缩放后经 Softmax 获得。系统计算分类特殊标记 [CLS] 对全部空间 patch 的自注意力权值均值，作为衡量每个图像块对目标类 $y$ 当前贡献度的显著性指标。到达分离节点 $t_k$ 时，系统选出当前显著性排名前 $K$ 的 patch 集合 $\mathcal{P}_{\text{imp}}$，将其提取并排列为一幅独立的稀疏合成图像 $\hat{\mathbf{X}}_{t_k}$ 存入最终数据集 $\mathcal{S}$。这不仅防止已成型的高频语义在后续过度优化中发生表征漂移，更使得早中期的通用结构与轮廓得以无损固化为可迁移的数据资产。

2. 剩余低显著 Patch 的接力逆向与 Re-Birth 激活机制：利用残差梯度催生深层类别语义 当高显著性 patch 被分离并遮蔽后，剩余原本被判定为低显著的 $N - kK$ 个 patch 将继续参与后续反演循环。此时，目标分类损失 $\mathcal{L}_{\text{cls}}$ 的梯度被迫重新分配到这些曾经的“背景”或“噪声”区域。作者观察到的 Re-Birth 效应在此阶段充分发挥作用：原本注意力极低的区域在缺少初始显著主导块的情况下，开始自发学习并重建出具有高度类判别性的核心前景结构。随着反演迭代的推进，剩余 patch 的信息量从匮乏逐步演进为极度富集。更关键的是，这一渐进演进过程天然建立了从“类无关通用表征（Class-Agnostic）”向“类特定判别表征（Class-Specific）”的平滑过渡：早期导出的稀疏图像捕获了平滑背景、纹理及共享轮廓，而晚期导出的图像则高度聚焦于细粒度的判别性部件，两者互补融合彻底克服了单一稀疏图像表征崩溃的隐患。

3. 划分因子驱动的稀疏多视图调度与计算复杂度边界：零额外开销下的超额收益 为了严格控制计算稀疏度，PRI 引入无量纲控制参数划分因子 $v$（Division Factor）。给定图像总 patch 数 $N$ 与总迭代步数 $T$，目标稀疏度被自然约束为 $1 - 1/v$（例如 $v=2$ 对应 50% 稀疏度，$v=4$ 对应 75% 稀疏度，$v=7$ 对应约 86% 稀疏度）。分离时间点定义为等间隔调度： $$t_k = k \cdot \left\lfloor \frac{T}{v} \right\rfloor, \quad k \in \{1, 2, \dots, v\}$$ 每个分离阶段提取的 patch 数均为 $K = \lfloor N/v \rfloor$。这一优雅设计带来了理论上的双重收益：首先，在计算复杂度上，PRI 在整个逆向期间活跃 token 数呈阶梯式递减 $N_k = N(1 - \frac{k-1}{v})$，且单次逆向产出 $v$ 幅独立稀疏样本，分摊后单图前馈-反向传播成本极低。理论证明表明，对于 FFN 模块，PRI 相对理想剪枝基线 $\text{SMI}^*$ 的开销比为 $\frac{v+1}{2v} = \frac{1}{2} + \frac{1}{2v}$，当 $v$ 增大时渐进逼近 $2\times$ 加速；对于 MHSA 自注意力模块，只要满足实际绝大多数 ViT 架构均符合的条件 $N/d < 3$（如 DeiT-Base 中 $N=197, d=768 \Rightarrow N/d \approx 0.256 \ll 3$），PRI 的注意力计算复杂度严格低于 $\text{SMI}^*$ 与密集逆向 DMI。其次，在数据多样性上，依据覆盖理论（Theorem A1），合成数据集的覆盖半径 $\delta_{div}$ 越大，学生模型的泛化误差界越紧；PRI 从单一轨迹分裂出 $v$ 组异质视图，显著拓宽了样本支撑集的多样性。

一个完整示例¶

以 DeiT-Base（图像尺寸 $224 \times 224$，patch 尺寸 $16 \times 16$，总 patch 数 $N = 196$ 排除 CLS，划分因子设为 $v=4$，目标稀疏度 75%，总迭代步数 $T = 4000$ 步）为例： 1. 初始化阶段：生成随机高斯噪声，激活集合 $\mathcal{P}$ 包含全部 196 个 patch，每个阶段待分离数 $K = \lfloor 196 / 4 \rfloor = 49$。 2. 第一阶段（1 ~ 1000 步）：前 1000 步全图 196 个 patch 均参与自注意力和 FFN 计算。在 $t_1 = 1000$ 步，计算 CLS 注意力均值，选出得分最高的 49 个 patch 组装为稀疏图像 $\hat{\mathbf{X}}_{t_1}$ 存入 $\mathcal{S}$。此时图像呈现平滑的通用轮廓与背景纹理，置信度分布平坦宽阔。 3. 第二阶段（1001 ~ 2000 步）：将这 49 个 patch 冻结并屏蔽，剩余 $196 - 49 = 147$ 个 patch 继续优化。在 $t_2 = 2000$ 步，计算当前 147 个 patch 的注意力得分，提取 Top-49 patch 构成 $\hat{\mathbf{X}}_{t_2}$ 存入 $\mathcal{S}$。原本被视作背景的区域开始浮现主体部件。 4. 第三阶段（2001 ~ 3000 步）：屏蔽已提取的 98 个 patch，剩余 98 个 patch 继续反演。在 $t_3 = 3000$ 步，提取当前 Top-49 patch 构成 $\hat{\mathbf{X}}_{t_3}$ 存入 $\mathcal{S}$。 5. 第四阶段（3001 ~ 4000 步）：仅剩最后 49 个 patch 进行极限优化。在 $t_4 = 4000$ 步，这最后的 49 个 patch 触发强烈的 Re-Birth 效应，演化为高度尖锐且富集类特定判别性信息的稀疏图像 $\hat{\mathbf{X}}_{t_4}$。最终，一次 4000 步的逆向运行直接产出了 4 幅具有不同语义抽象层级的 75% 稀疏独立图像，合成吞吐量达 6.40 its/s，较 SMI 的 3.92 its/s 提升 63.3%，显存占用由 6.26 GB 降至 4.28 GB。

损失函数 / 训练策略¶

逆向优化采用标准目标函数： $$\mathcal{L}_{\text{inv}}(\hat{\mathbf{X}}, y; f) = \mathcal{L}_{\text{cls}}(f(\hat{\mathbf{X}}), y) + \lambda \mathcal{L}_{\text{reg}}(\hat{\mathbf{X}})$$ 其中分类损失 $\mathcal{L}_{\text{cls}}$ 为标准交叉熵损失： $$\mathcal{L}_{\text{cls}}(f(\hat{\mathbf{X}}), y) = -\log \left( \frac{\exp(f_y(\hat{\mathbf{X}}))}{\sum_{j=1}^c \exp(f_j(\hat{\mathbf{X}}))} \right)$$ 正则项 $\mathcal{L}_{\text{reg}}$ 采用总变差（Total Variation, TV）损失，用于约束相邻像素差值并抑制高频噪声生成： $$\mathcal{L}_{\text{reg}}(\hat{\mathbf{X}}) = \sum_{i=2}^H \sum_{j=2}^W \left( \|\hat{\mathbf{X}}_{i,j} - \hat{\mathbf{X}}_{i-1,j}\|_2 + \|\hat{\mathbf{X}}_{i,j} - \hat{\mathbf{X}}_{i,j-1}\|_2 + \|\hat{\mathbf{X}}_{i,j} - \hat{\mathbf{X}}_{i-1,j-1}\|_2 \right) + \sum_{i=2}^H \sum_{j=1}^{W-1} \|\hat{\mathbf{X}}_{i,j} - \hat{\mathbf{X}}_{i-1,j+1}\|_2$$ 超参数 $\lambda$ 设为 $10^{-4}$。逆向优化器选用 Adam，学习率设为 0.25，迭代步数 4,000 步。在下游任务中，无数据蒸馏采用 KL 散度与 SGD 优化器（学习率 0.1，动量 0.9，权重衰减 1e-4），量化微调采用 LSQ 算法与 SGD 优化器（学习率 0.01）。

实验关键数据¶

主实验¶

论文在 NVIDIA RTX A6000 上全面评估了逆向吞吐效率，并在 ImageNet-1k 无数据量化与 CIFAR-100 无数据知识蒸馏两大核心任务上与密集逆向（DMI）及前沿稀疏逆向（SMI）进行了系统对比。

表 1：DeiT-Base 架构在不同稀疏度下的逆向效率对比（每批次 128 张图像）

方法	稀疏度	吞吐量 (its/s) ↑	FLOPs (T) ↓	GPU 显存 (GB) ↓	相对 SMI 吞吐提升
DMI [41]	0% (密集)	1.10	13.43	23.42	-
SMI [19]	50%	2.20	6.74	10.77	基准
SMI [19]	76%	3.92	3.45	6.26	基准
SMI [19]	86%	5.58	2.13	4.61	基准
PRI (Ours)	50% ($v=2$)	2.88	5.02	8.99	+30.9%
PRI (Ours)	75% ($v=4$)	6.40	2.09	4.28	+63.3%
PRI (Ours)	86% ($v=7$)	11.81	1.07	2.68	+111.6%

表 2：下游无数据量化（ImageNet-1k）与知识蒸馏（CIFAR-100）性能对比（教师模型：DeiT-Base）

任务 / 评估指标	DMI (0%)	SMI (50%)	SMI (76%)	SMI (86%)	PRI (50%, $v=2$)	PRI (75%, $v=4$)	PRI (86%, $v=7$)
量化 W4/A8 (%)	$80.19 \pm 0.00$	$80.18 \pm 0.15$	$79.85 \pm 0.11$	$79.53 \pm 0.46$	$\mathbf{80.30} \pm 0.09$	$80.15 \pm 0.02$	$80.01 \pm 0.09$
量化 W8/A8 (%)	$80.72 \pm 0.02$	$80.68 \pm 0.13$	$80.43 \pm 0.14$	$80.18 \pm 0.47$	$\mathbf{80.74} \pm 0.06$	$80.70 \pm 0.01$	$80.54 \pm 0.05$
蒸馏 DeiT-Tiny (%)	$\mathbf{54.71} \pm 0.28$	$47.41 \pm 1.32$	$24.97 \pm 0.93$	$3.72 \pm 0.23$	$54.40 \pm 0.11$	$43.88 \pm 0.79$	$21.21 \pm 0.09$
蒸馏 DeiT-Small (%)	$67.39 \pm 0.33$	$62.24 \pm 0.45$	$45.26 \pm 0.30$	$10.54 \pm 1.00$	$\mathbf{67.75} \pm 0.06$	$63.01 \pm 0.11$	$45.68 \pm 0.12$
蒸馏 DeiT-Base (%)	$79.83 \pm 0.10$	$79.52 \pm 0.16$	$77.47 \pm 0.12$	$69.89 \pm 0.47$	$\mathbf{80.05} \pm 0.10$	$79.67 \pm 0.13$	$78.49 \pm 0.04$

消融与深入分析¶

表 3：不同 Patch 选择准则在充分迭代下的蒸馏精度对比（CIFAR-10，DeiT-Base 教师 95.4%）

选择策略	High-Attention	Low-Attention	Random	Fixed-Region (Top)
稀疏度	76%	76%	76%	76%
学生模型 (DeiT-Base) 准确率 (%)	92.52	92.75	92.74	92.74

表 4：单类别蒸馏（仅使用“飞机”类逆向样本）与各分离点表征分析（CIFAR-10，DeiT-Base）

分离点配置	全部集合 (All)	第 1 分离点 ($t_1$)	第 2 分离点 ($t_2$)	第 3 分离点 ($t_3$)	第 4 分离点 ($t_4$)
10类测试准确率 (%) ↑	93.84	93.28	93.76	93.75	90.35
KL-10 散度 ($\times 10^{-6}$) ↓	8097	8242	7765	7976	13602
KL-9 散度 (排除飞机类) ↓	9806	9993	9411	9668	16488

关键发现¶

SMI 在极高稀疏度下性能断崖式下跌，而 PRI 展现出极高鲁棒性：在 CIFAR-100 知识蒸馏至 DeiT-Tiny 时，SMI 在 86% 稀疏度下准确率直接崩塌至 3.72%，几乎完全丧失迁移能力；而 PRI 仍稳定保持在 21.21%（在 DeiT-Small 下 PRI 达 45.68%，而 SMI 仅 10.54%）。这证明了过早剔除 patch 会导致极度过拟合并丢失关键知识。
单类蒸馏实验证实 PRI 成功提取类无关特征：当且仅当训练样本全部来自“飞机”单一类别时，DMI 与 SMI 训练的学生模型完全无法泛化至其他 9 个类别；而 PRI 生成的样本却能使学生模型在全部 10 个类别上取得 93.84% 的高准确率。尤其是第 2 分离点提取的样本在非目标类别（KL-9）上的散度达到最低（9411），有力证实了前期和中期分离图像富含跨类别的通用视觉基元。
教师模型置信度分布与真实数据对齐：DMI 与 SMI 生成的样本导致教师模型输出几乎全为 1.0 的病态高置信度（过度过拟合类特定高频特征）；PRI 的置信度分布平滑且宽广，与真实数据分布高度契合，从而有效支撑了知识蒸馏所需的平滑暗知识转移。

亮点与洞察¶

反直觉的“Re-Birth 效应”打破了视觉 Token 的静态显著性假设：传统剪枝假定 token 的重要性在初期即被决定，而本文证明在逆向动力学中，只要移走主导语义的 token 并持续注入目标梯度，被压制的“次级/背景”token 能够自发激活并演化出全新的高质语义。这一机制为扩散模型与生成模型的语义控制提供了极佳的理论启示。
“单轨迹多视图复用”设计将生成效率推向帕累托最优前沿：无需重启优化或增加反向传播步骤，PRI 通过在不同演进时刻“切片”保存当前 patch 并递减计算负载，巧妙地让整体吞吐量相比 DMI 暴增 10 倍、相比 SMI 翻倍，并使显存削减多达 66%。
类特定与类无关表征的天然解耦：从时间轴上看，$t_1 \to t_v$ 的切片自发展现了从“全局结构/背景基元”到“局部极度判别部件”的渐变过渡，无需任何复杂的外加解耦正则项即完成了表征互补。

局限与展望¶

均匀时间调度策略未考量逆向动态非线性：当前方法依赖固定的均匀时间间隔 $t_k = k \lfloor T/v \rfloor$。然而逆向过程中的损失下降往往呈现非线性阶段特征，未来探索基于梯度方差、注意力熵值或损失收敛率的动态自适应分离机制有望进一步优化生成质量。
对极小尺寸学生网络的极限稀疏迁移仍具挑战：在 86% 极高稀疏度下，虽然 PRI 远强于崩溃的 SMI，但相较于全量密集反演 DMI 仍存在一定精度差距。针对 Tiny 级极轻量级模型的跨架构特征蒸馏有待引入特征对齐先验予以补强。

评分¶

新颖性: ⭐⭐⭐⭐⭐ (揭示逆向过程中的 Re-Birth 现象，打破剪枝定式，提出单轨迹分离复用范式)
实验充分度: ⭐⭐⭐⭐⭐ (涵盖量化、蒸馏、单类蒸馏、置信度分布与 t-SNE 分析，提供严密的定理复杂度证明)
写作质量: ⭐⭐⭐⭐⭐ (逻辑链条紧凑，动机与可视化论证直观透彻，理论推导清晰严谨)
价值: ⭐⭐⭐⭐⭐ (大幅降低 ViT 数据无关模型压缩与安全审计的算力门槛，实用价值与理论启发兼备)

任务 / 评估指标	DMI (0%)	SMI (50%)	SMI (76%)	SMI (86%)	PRI (50%, \(v=2\))	PRI (75%, \(v=4\))	PRI (86%, \(v=7\))
量化 W4/A8 (%)	\(80.19 \pm 0.00\)	\(80.18 \pm 0.15\)	\(79.85 \pm 0.11\)	\(79.53 \pm 0.46\)	\(\mathbf{80.30} \pm 0.09\)	\(80.15 \pm 0.02\)	\(80.01 \pm 0.09\)
量化 W8/A8 (%)	\(80.72 \pm 0.02\)	\(80.68 \pm 0.13\)	\(80.43 \pm 0.14\)	\(80.18 \pm 0.47\)	\(\mathbf{80.74} \pm 0.06\)	\(80.70 \pm 0.01\)	\(80.54 \pm 0.05\)
蒸馏 DeiT-Tiny (%)	\(\mathbf{54.71} \pm 0.28\)	\(47.41 \pm 1.32\)	\(24.97 \pm 0.93\)	\(3.72 \pm 0.23\)	\(54.40 \pm 0.11\)	\(43.88 \pm 0.79\)	\(21.21 \pm 0.09\)
蒸馏 DeiT-Small (%)	\(67.39 \pm 0.33\)	\(62.24 \pm 0.45\)	\(45.26 \pm 0.30\)	\(10.54 \pm 1.00\)	\(\mathbf{67.75} \pm 0.06\)	\(63.01 \pm 0.11\)	\(45.68 \pm 0.12\)
蒸馏 DeiT-Base (%)	\(79.83 \pm 0.10\)	\(79.52 \pm 0.16\)	\(77.47 \pm 0.12\)	\(69.89 \pm 0.47\)	\(\mathbf{80.05} \pm 0.10\)	\(79.67 \pm 0.13\)	\(78.49 \pm 0.04\)