Models Designed to Forget: Machine Unlearning via Key Deletion¶

会议: NeurIPS 2026
arXiv: 2603.15033
OpenReview: https://openreview.net/forum?id=0AcunXOaV1
领域: 安全
关键词: 机器遗忘, 外部记忆库, 键值删除, 零阶遗忘, 视觉Transformer

一句话总结¶

本文提出面向近似机器遗忘的“设计即遗忘”（Unlearning by Design）新范式与 MUNKEY 架构，通过冻结视觉编码器提取键、学习样本级范例向量解耦静态参数记忆，在接收遗忘请求时仅需删除对应键值对即可实现常数级时间、免模型权重更新的零样本机器遗忘。

研究背景与动机¶

随着深度视觉模型在敏感和高风险场景中的广泛部署，严格遵守通用数据保护条例（GDPR）所规定的“被遗忘权”以及清除投毒、偏见或损坏训练样本的实际需求，使得机器遗忘（Machine Unlearning）成为机器学习生命周期中的核心环节。为了避免从头重新训练（Exact Retraining）极其高昂的计算代价，现有主流技术转向近似遗忘方法，试图通过梯度上升、标签扰动、对抗训练或知识蒸馏等后处理手段来削弱遗忘样本在模型参数中的记忆。

然而，现存近似遗忘方法在根本机制上存在致命局限，即它们全都是“事后补救式”（post-hoc）的。这类方法在接收到遗忘请求时，普遍需要反复迭代优化模型参数，且通常要求重复访问完整的保留集、遗忘集样本甚至对应标签；在真实部署环境中，模型上线后往往难以持续保留或频繁调取海量原始训练数据，高频串行的参数微调也极易导致灾难性遗忘与泛化退化。这一瓶颈背后的本质矛盾在于传统前馈网络的“知识纠缠”（Knowledge Entanglement）特性：样本特异性细节与通用特征被不可分割地混合在单体静态权重中，导致事后针对单一样本的精准剔除如同大海捞针。

本文从系统架构设计的根源打破该瓶颈，提出不应把遗忘视作训练完成后的被动补丁，而应将其转化为模型内生的模块化架构能力——即“设计即遗忘”（Unlearning by Design）。作者将解耦外部记忆机制引入视觉 Transformer，把样本的实例级记忆与主干特征抽取参数彻底分离。核心 idea：将实例级记忆从模型静态权重中外化到独立的键值记忆库，为每个样本赋予固定检索键与可学习范例向量，将高复杂度的后处理参数重优化转化为纯粹的记忆库键值对删除操作，实现零权重修改、免访问原始样本的高保真机器遗忘。

方法详解¶

整体框架¶

MUNKEY（Machine UNlearning via KEY deletion）整体架构由冻结的视觉键编码器 $g_\phi$、可学习外部范例记忆库 $\mathcal{M}=\{(\boldsymbol{k}_i, \boldsymbol{v}_i)\}_{i=1}^N$、轻量适配投影层 $h_\psi$ 以及标准视觉 Transformer（ViT）主干分类器 $f_\theta$ 组成。对于每个训练图像 $\boldsymbol{x}_i$，首先通过冻结的键编码器提取静态紧凑表征 $\boldsymbol{k}_i = g_\phi(\boldsymbol{x}_i) \in \mathbb{R}^{d_k}$，同时为其分配一个独立的低维可学习范例向量 $\boldsymbol{v}_i \in \mathbb{R}^{d_e}$。在送入 ViT 骨干之前，范例向量经线性适配层 $h_\psi$ 映射至 ViT 的隐空间维度，与图像 patch 嵌入向量序列拼接形成增广输入序列。

在模型训练阶段，MUNKEY 引入随机通路丢弃机制以防止多模态输入下的通路主导（Modality Dominance），同时以预设概率模拟推理阶段的近邻检索状态以提升泛化能力。当系统收到针对遗忘集 $\mathcal{D}_f$ 的数据删除请求时，MUNKEY 完全无需执行反向传播或参数扰动，只需在外部记忆库中将所有满足 $(\boldsymbol{x}_i, \boldsymbol{y}_i) \in \mathcal{D}_f$ 的键值条目直接剔除（或在相似度检索掩码中置为 $-\infty$）。在测试推理时，针对任意未见查询图像，系统基于余弦相似度在更新后的记忆库中检索出 $K$ 个最近邻范例条目，经由集成加权完成最终分类预测。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["输入图像样本 xi"] --> B["阶段一：外化解耦特征构建<br/>冻结编码器提取键 ki ＋ 范例向量 vi"]
    B --> C["阶段二：双通路正则化训练<br/>随机通路丢弃 ＋ 检索模拟聚合"]
    C --> D["阶段三：零样本键删除遗忘<br/>集合剔除操作 Mu = M \ Df"]
    D --> E["阶段四：近邻检索集成推理<br/>KNN 相似度加权 Logit 预测"]
    E --> F["输出无遗忘样本记忆的分类结果"]

关键设计¶

1. 外化解耦特征构建：打破参数级知识纠缠
传统神经网络在经验风险最小化过程中，强制将所有样本级表征压入固定网络权重 $\theta$ 中，导致单一数据点的删除需要遍历所有关联神经元。针对此痛点，MUNKEY 构建了显式的外部范例记忆库 $\mathcal{M}=\{(\boldsymbol{k}_i, \boldsymbol{v}_i)\}_{i=1}^N$。其中键向量 $\boldsymbol{k}_i = g_\phi(\boldsymbol{x}_i)$ 保持完全冻结，用于在度量空间中快速建立拓扑邻域索引；范例向量 $\boldsymbol{v}_i$ 则作为可学习参数参与端到端反向传播。通过将投影后的范例向量 $\boldsymbol{v}'_i = h_\psi(\boldsymbol{v}_i)$ 作为辅助 token 追加至 patch 序列 $\boldsymbol{z}_i$ 之后，Transformer 的置换不变自注意力机制允许主干网络动态结合局部图像块与全局实例上下文。由于特定样本的细粒度记忆被严格隔离在其专有范例向量中，为主干权重的“无记忆”属性奠定了架构基础。

2. 随机通路丢弃与近邻检索正则化：消除通路偏置与诱导隐式信息瓶颈
在双通路输入架构中，模型极易产生模态垄断现象——要么过度依赖高容量的范例向量而将图像 patch 视作背景噪声，退化为查表机；要么完全依赖主干特征而忽略记忆库，使得删除键值对后无法真正遗忘。为此，MUNKEY 引入随机掩码向量 $\mathbf{m}=[\gamma_{img}, \gamma_{tok}]$，服从分类分布并分别对图像通路和范例 token 通路施加随机丢弃： $$\mathcal{P}(\boldsymbol{u}, \emptyset, \gamma) = \gamma \boldsymbol{u} + (1-\gamma) \emptyset$$ 其中 $\emptyset_{img}$ 与 $\emptyset_{tok}$ 为全局可学习的虚无替代 token。此外，由于推理期的新查询样本并不存在预存专属范例，训练时以概率 $r \sim \text{Bernoulli}(p_r)$ 模拟推理态：从排除自身的剩余记忆库 $\mathcal{M}\setminus\{(\boldsymbol{k}_i, \boldsymbol{v}_i)\}$ 中检索 $K'$ 个近邻并以余弦相似度加权聚合为近邻向量 $\boldsymbol{v}'_n$。关键设计在于，当检索分支激活时将近邻梯度的反向传播强行截断为 0（$\nabla_{\boldsymbol{v}_j} \ell = 0$），强制主干网络学习稳健的上下文集成推理，并构筑隐式信息瓶颈。

3. 零样本键删除遗忘：常数复杂度的集合剪除机制
传统后处理方法在每次遗忘时均需要对模型权重进行多轮迭代更新（如梯度上升或对抗对抗样本微调），计算开销极大且容易过犹不及。而在 MUNKEY 中，遗忘被彻底重新形式化为一个瞬时集合操作： $$\mathcal{M}_u = \mathcal{M} \setminus \{(\boldsymbol{k}_i, \boldsymbol{v}_i) \mid (\boldsymbol{x}_i, \boldsymbol{y}_i) \in \mathcal{D}_f\}$$ 由于训练时施加的随机通路正则化迫使主干网络仅将范例向量作为实例级细粒度属性的索引，一旦目标条目被移出记忆库，模型在自注意力阶段便完全失去了对该样本专属表征的访问通路。该操作无需任何梯度计算、无需读取保留集样本、亦无需原标签，计算复杂度严格为 $\mathcal{O}(1)$，能够支持多样本并发批处理删除。

4. 敏感度评分驱动的模型选择与近邻集成推理：平衡遗忘充分度与推理效用
为量化双通路之间的特征流平衡程度并精准筛选超参数，本文提出了通路敏感度评分（Pathway Sensitivity Score, $P_s$）： $$P_s = \frac{|\mathcal{A}_{img} - \mathcal{A}_{tok}|}{\mathcal{A}_{both} + \epsilon}$$ 其中 $\mathcal{A}_{img}$、$\mathcal{A}_{tok}$ 分别表示仅保留图像通路和仅保留范例通路时的分类准确率，$\mathcal{A}_{both}$ 为完整输入准确率。在模型部署阶段，针对测试样本 $\boldsymbol{x}_q$，模型在更新后的记忆库 $\mathcal{M}_u$ 中检索出 $K$ 个最近邻范例 $\{\boldsymbol{v}_j\}_{j \in \mathcal{N}_K(\boldsymbol{x}_q)}$，构建 $K$ 个增广前向序列并基于 softmax 相似度权重加权集成 logits： $$\hat{\boldsymbol{y}} = \sum_{j \in \mathcal{N}_K(\boldsymbol{x}_q)} w_j \cdot f_\theta([\boldsymbol{z}_q, h_\psi(\boldsymbol{v}_j)]), \quad w_j = \frac{\exp(\text{sim}(\boldsymbol{k}_q, \boldsymbol{k}_j)/\tau)}{\sum_{l \in \mathcal{N}_K(\boldsymbol{x}_q)} \exp(\text{sim}(\boldsymbol{k}_q, \boldsymbol{k}_l)/\tau)}$$ 这种基于记忆原型的后融合方式不仅保障了强大的泛化能力，更赋予了模型高度的可解释性，每项决策均可追溯至检索出的特定样本原型。

损失函数 / 训练策略¶

MUNKEY 的模型参数 $\{\theta, \psi\}$ 与外部记忆库中的所有范例向量 $\{\boldsymbol{v}_i\}_{i=1}^N$ 在预训练阶段进行端到端联合优化。训练目标采用分类交叉熵损失下的期望掩码风险极小化： $$\min_{\theta, \psi, \{\boldsymbol{v}_i\}_{i=1}^N} \mathbb{E}_{(\boldsymbol{x}_i, \boldsymbol{y}_i)\sim\mathcal{D}} \mathbb{E}_{\mathbf{m}\sim p(\mathbf{m}), r\sim\text{Bern}(p_r)} \left[ \ell(f_\theta(\boldsymbol{z}_{in}(\boldsymbol{x}_i, \mathbf{m}, r)), \boldsymbol{y}_i) \right]$$ 在优化配置上，骨干网络采用 ViT-Tiny/16，范例向量维度设为 128（适配层映射至 192 维隐空间）。使用 AdamW 优化器（$\beta_1=0.9, \beta_2=0.99$，权重衰减 0.05），学习率按余弦退火策略自 $1.5 \times 10^{-4}$ 衰减，在单卡 GPU 上训练 100 个 epoch。键编码器默认采用在 ImageNet 上预训练的 ViT-B/16。

实验关键数据¶

主实验¶

主实验在自然图像基准（CIFAR-10）与极具挑战性的高噪声不平衡医学病理图像基准（DermaMNIST）上展开，分别测试 10% 与 2% 随机遗忘比例下的表现。评价指标涵盖测试集准确率（TA）、保留集准确率（RA）、遗忘集准确率（FA）、SOTA 鲁棒成员推理攻击（MIA AUC，理想值为 50%），以及综合平均差距（Avg Gap，与 Gold-Standard 从头重训 Retrain 模型的绝对差异均值）。

| 数据集 | 遗忘比例 | 方法 | 测试准确率 (TA) | 保留准确率 (RA) | 遗忘准确率 (FA) | 攻击AUC (MIA) | 平均差距 (Avg Gap ↓) | |---|---|---|---|---|---|---| | DermaMNIST | 10% | Retrain (T/M Oracle) | 76.46 / 81.25 | 100.0 / 99.70 | 74.86 / 80.29 | 48.88 / 50.04 | — | | DermaMNIST | 10% | NegGrad+ | 76.26 | 96.31 | 83.48 | 55.83 | 4.87 | | DermaMNIST | 10% | Amnesiac | 75.56 | 98.30 | 82.00 | 47.01 | 2.93 | | DermaMNIST | 10% | SCRUB | 73.97 | 76.02 | 74.68 | 49.62 | 6.85 | | DermaMNIST | 10% | CoUn | 79.50 | 99.80 | 87.24 | 54.92 | 5.42 | | DermaMNIST | 10% | MUNKEY (本文) | 81.06 | 99.71 | 84.00 | 51.19 | 1.27 | | CIFAR-10 | 10% | Retrain (T/M Oracle) | 78.13 / 92.38 | 91.62 / 99.93 | 77.57 / 92.05 | 49.77 / 49.90 | — | | CIFAR-10 | 10% | NegGrad+ | 77.29 | 91.08 | 83.13 | 53.65 | 2.71 | | CIFAR-10 | 10% | Amnesiac | 78.31 | 92.17 | 85.67 | 52.51 | 2.89 | | CIFAR-10 | 10% | SSD | 78.54 | 93.29 | 92.84 | 58.91 | 6.62 | | CIFAR-10 | 10% | CoUn | 80.68 | 95.72 | 91.32 | 55.75 | 6.60 | | CIFAR-10 | 10% | MUNKEY (本文) | 92.63 | 99.94 | 92.53 | 51.40 | 0.56 |

消融实验¶

在 DermaMNIST 与 CIFAR-10 上对范例融合架构与推理聚合策略进行系统消融，对比通路敏感度评分 $P_s$（越低代表通路平衡性越优）与遗忘保真度平均差距 Avg Gap。

聚合配置 / 变体	DermaMNIST $P_s$ (↓)	DermaMNIST Avg Gap (↓)	CIFAR-10 $P_s$ (↓)	CIFAR-10 Avg Gap (↓)	说明
Direct Key (直接嵌入键)	0.212	8.23	0.239	3.34	绕过可学习范例，缺乏样本级独立自由度
Deep Prompt (深层前缀)	0.172	1.79	0.188	0.92	每层注入范例 token，表现均衡但计算复杂度高
Cross Attention (交叉注意力)	0.208	1.02	0.292	0.29	结构复杂度高，通路不平衡性加剧
Softmax Fusion (Token级加权)	0.168	2.01	0.186	0.71	单次前向，低延迟推理替代方案
Rank Fusion (秩次混合)	0.166	2.58	0.184	0.67	单次前向，精度略有损失
Ensemble (主模型集成)	0.169	1.52	0.184	0.58	鲁棒性与精度兼备，跨领域泛化最优

关键发现¶

常数级极速遗忘与零参数更新：如耗时统计表所示，所有事后补救式基线在遗忘阶段均需耗费数十秒至半小时不等的优化时间（例如 AMUN 在 CIFAR-10 上需 1940.5s，SCRUB 需 1478.2s），而 MUNKEY 仅需进行简单的内存索引剔除，遗忘耗时严格 $\approx 0$ 秒（$\mathcal{O}(1)$ 复杂度），同时单 epoch 训练耗时仅比普通 ViT 多增加不到 2.5%。
对黄金标准的绝对贴合：在 10% 与 2% 的随机遗忘任务中，MUNKEY 的平均差距（Avg Gap）全面斩获最低值（DermaMNIST 上达到 1.27 与 1.57，CIFAR-10 上达到 0.56 与 0.38），其实测 MIA AUC 高度收敛于 50% 随机猜测界线附近，证明其在抹除隐私记忆的同时维持了与重新训练相媲美的效用。
范例向量的表征特异性：UMAP 降维可视化证实，模型分类输出所依赖的 [CLS] token 在训练早期迅速坍缩为按类别聚集的紧密簇；而范例记忆库中的 $\boldsymbol{v}_i$ 则展现出弥散且精细的拓扑分布，编码了远超类别标签的样本级独有表征。

亮点与洞察¶

范式颠覆性（Unlearning by Design）：打破了机器学习遗忘领域长期依赖“事后调参修补”的思维定势，在架构预训练时便主动建立对未来遗忘请求的适应性结构，将繁重的记忆负担从静态网络权重外化剥离。
解耦记忆库与零阶遗忘算子：巧妙利用 Transformer 的输入序列扩展能力，将实例级记忆锚定在外部可编辑的键值对中；这种将非凸高维优化问题转化为显式集合差集运算的设计极其优雅，杜绝了反向传播破坏全局权重的风险。
案例级可解释性副产物：近邻检索机制在消除黑盒不透明性的同时，提供了可直接溯源的样本级原型；预测结果可精确拆解为哪些历史保留案例的贡献，极大赋能了医疗诊断等高合规要求场景。

局限与展望¶

外部存储开销随数据量线性扩展：外置记忆库的物理占用随训练样本规模 $\mathcal{O}(N(d_k+d_e))$ 线性增长；虽然 CIFAR-10 的半精度开销仅为 24.41 MiB，但在十亿级工业超大数据集上需要引入乘积量化（PQ）与向量索引压缩技术。
对前置键编码器表征质量的先验依赖：若键编码器在极度特化的下模态域（如冷门医学病理）中无法提取判别性特征，最近邻检索的邻域质量会受到制约；尽管作者验证了留出域自训练编码器的可行性，无监督高质量建库仍是未来的拓展重点。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出面向机器遗忘的 Unlearning by Design 范式与外化范例记忆架构。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖自然图像与细粒度、非均衡医学数据集，横跨11种代表性基线及严格的 MIA 攻击审计。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻，数学形式化严谨，消融实验与系统开销分析完备。
价值: ⭐⭐⭐⭐⭐ 为隐私合规时代的部署期动态数据遗忘提供了兼具理论自洽性与极高落地可行性的工程范本。