R-ESC: Robustly Erasing Space Concepts via Stochastic Feature Remapping¶
会议: ECCV 2026
论文: ECCV 2026 Poster
领域: 可解释性
关键词: 概念消除, 机器遗忘, 特征重映射, 原型正交化, 扩散模型安全
一句话总结¶
针对传统概念消除方法容易破坏保留概念效用且残留聚集特征易被微调探针恢复的缺陷，本文提出了无需训练的 R-ESC 框架，通过原型正交投影解耦特征关联，并引入多专家随机特征重映射将遗忘特征打散融入保留概念分布中，实现了不可逆且高保真的特征级概念消除。
研究背景与动机¶
随着大规模深度模型和生成式 AI 的爆发，模型安全与对齐成为核心关切。防止模型泄露敏感隐私、生成有害或版权受保护内容（如特定艺术家风格、特定有害对象类别），要求模型具备在参数空间中精准剔除特定知识的能力，即机器遗忘（Machine Unlearning）与概念消除（Concept Erasure）。然而，深度神经网络的高度多义性与概念纠缠使得选择性剔除极其困难。过去的大多数方法采用“输出驱动”的评估准则，仅仅确保最终分类 logits 或生成图像中不包含遗忘概念。近年研究表明，这种表面上的擦除是极为脆弱的——潜在特征空间中往往仍完整保留着被遗忘概念的流形结构，攻击者只需通过轻量微调或线性探针（Linear Probe）就能极低成本地完全逆转遗忘，复原被消除的知识。
为达成真正的特征级擦除，前沿工作 ESC（Erasing Space Concept, CVPR 2025）尝试通过奇异值分解（SVD）提取遗忘数据的代表性主成分（原型），并在特征空间插入投影层剪除前 \(k\) 个奇异方向。然而，ESC 仍受制于三大核心症结：其一，保留概念与遗忘概念在潜空间高度纠缠，直接粗暴切除主方向会严重波及保留概念（即附带损伤），导致模型效用断崖式下跌；其二，单纯做子空间置零投影后，遗忘样本在潜空间依然形成一个紧凑且线性可分的聚类团，为后续微调或探针复原留下了清晰的特征桥梁；其三，基于全样本激活矩阵进行大维度 SVD 的显存和计算复杂度随着数据集规模急剧膨胀，难以扩展到大规模模型和数据。
本文的切入角度是打破“置零投影消除”的固有范式，转向“流形重映射与随机打散”。既然直接剔除会导致纠缠损伤并留下聚类残余，不如先在数学上解耦特征轴，再将遗忘特征的主动能量随机折叠并扩散到多个保留类别的分布中，彻底摧毁其几何结构与可分性。核心 idea：通过伪逆构建原型正交（PO）空间以消除概念间的相互干涉，并利用多专家随机路由将遗忘概念特征动态重映射并离散融入多个保留概念原型中，以单次前向的类别均值原型实现极低开销、不可逆的特征级概念消除。
方法详解¶
整体框架¶
R-ESC（Robustly Erasing Space Concepts）是一个完全免训练（training-free）的特征级概念消除层，可直接插入分类模型特征提取器与分类头之间，或嵌入文本到图像扩散模型（如 Stable Diffusion）的交叉注意力层中。整个消除流水分三个主要阶段：首先利用离线统计的各类别激活均值快速构建概念原型矩阵，并通过 Moore-Penrose 伪逆将其投影为相互正交的解耦坐标系；随后，输入特征通过无参数的随机路由器均匀分配至一组重映射专家中；每个专家在正交空间内扣除遗忘成分的同时，将其能量重定向至指定的保留概念原型，使原本紧密聚集的遗忘特征被彻底打散并吸收进保留数据流形中。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入特征 z"] --> B["原型正交投影<br/>通过伪逆解耦概念坐标系"]
B --> C["随机多专家路由<br/>均匀分配重映射专家"]
C --> D["特征消除与多目标重映射<br/>扣除遗忘基向量并折叠至保留原型"]
D --> E["输出无害特征 ẑ"]关键设计¶
1. 原型正交投影：切断概念纠缠并杜绝附带损伤 传统消除方法导致保留概念精度崩溃的根源在于，潜空间中遗忘原型与保留原型的余弦相似度通常高达 0.5 以上（峰值可达 0.77）。如果在纠缠的原始空间中直接剔除遗忘方向，保留概念的原型自相关度会直接腰斩（从 1.0 骤降至 0.5 左右）。为了实现无损的手术级切除，R-ESC 引入原型正交（Prototype-Orthogonal, PO）投影。设类别原型矩阵为 \(P = [p_1, \dots, p_k] \in \mathbb{R}^{d \times k}\)，通过奇异值分解 \(P = U \Sigma V^\top\) 计算其 Moore-Penrose 伪逆：
由定义可知 \(P^+ P = I_k\)。输入特征 \(z\) 经 \(P^+\) 变换后落入 PO 空间，每个维度严格对应独立的概念坐标轴，消除了维度间的投影泄漏。为避免 \(P P^+\) 投影将特征强制压缩进低秩原型空间而丢失原型范围外的通用表征信息，R-ESC 额外引入了补空间投影（相当于残差分支），构成保全秩变换：
其中 \(s \in \{0, 1\}^k\) 为遗忘类别指示向量，\(P_f = P \mathrm{diag}(s)\) 为仅保留遗忘原型的矩阵。减去项 \(P_f P^+\) 作为一个精确线性算子，仅从输入特征中扣除与遗忘概念共线的成分，使保留原型的自相关度在消除后仍严格保持在 1.0 附近。
2. 特征消除与重映射：主动空间折叠摧毁聚类流形 单纯执行子空间置零投影虽然能将输出分类精度压制到 0，但在高维空间中遗忘数据点仍聚集成高密度的聚簇（Cluster），一旦下游使用带标签的遗忘样本做少量 step 微调，模型就能立刻重新学习出决策超平面。针对该脆弱性，R-ESC 将消极置零改为主动空间折叠（Remapping），将遗忘维度的激活能量重定向至指定的保留概念原型：
其中 \(P_m\) 为重映射矩阵，其第 \(i\) 列在 \(s_i = 1\) 时填入指定的保留类别原型 \(p_j\)，否则为零。当输入样本触发遗忘概念激活时，该算子直接将其坐标平移至保留类别的特征中心，使其在几何流形上与保留类别完全混叠，使得基于距离或超平面的线性探针彻底失效。
3. 随机多专家路由：打破残留内聚结构与防微调复原 若仅将遗忘概念映射到单一的保留原型，遗忘特征依然可能作为一个子簇紧挨在目标类旁。为了彻底破坏遗忘概念的内部几何内聚性，R-ESC 设计了一组结构相同但目标映射不同的重映射专家集合。对于输入的每个特征向量，无需参数化神经网络决策，直接通过输入无关的随机路由器（Stochastic Router）均匀离散地分派给不同的重映射专家。每个专家将遗忘原型导向不同的保留类别，从而将遗忘概念的样本点均匀“蒸发”并散射（Scatter）到潜空间的不同保留区域中。这种空间散射让特征空间不存在任何集中的遗忘特征线索，即使采用大步长对抗性微调（如学习率 0.1 的探针攻击），也无法重新分离出原有的概念边界。
损失函数 / 训练策略¶
R-ESC 完全免训练（Training-Free），无需优化器更新、反向传播或微调过程。其构建策略极为简洁高效： - 类别原型抽取：仅需利用预训练模型进行单次前向传播，计算每个类别的激活均值作为原型向量 \(p_i = \frac{1}{N_i} \sum_{x \in \mathcal{D}_i} h_\psi(x)\)。相比于 ESC 需要将全部 \(N\) 个样本的高维特征拼成巨大矩阵并进行计算复杂度极高且容易 OOM 的全局 SVD，R-ESC 将复杂度从 \(O(N_f d^2)\) 骤降至 \(O(N d)\) 的简单均值统计。 - 空间开销优化：只需存储 \(k\) 个原型向量，附加常数显存开销仅为 \(O(dk)\)（通常小于数十 KB），即使在 ImageNet 级别的大规模千类模型上，前向重映射算子也能在极短时间内完成闭式求解。
实验关键数据¶
主实验¶
论文在 CIFAR-10（AllCNN）、CIFAR-100（ResNet-18）、Tiny-ImageNet（ViT）以及 ImageNet 分类任务上进行了广泛测试，并进一步在 Stable Diffusion v1.4、SD 2.1 与 SDXL 扩散模型上测试了艺术风格擦除（Van Gogh、Kelly McKernan 等）与对象擦除（Imagenette）。评估分为标准遗忘设定与知识留存（Knowledge Retention, KR；利用学习率 0.1 进行强微调恢复攻击）设定。以下为主分类基准测试数据（10% 类别遗忘，各取 3 次运行的均值）：
| 数据集 / 场景 | 方法 | 遗忘测试集精度 \(D_{ft}\) (%) (↓) | 保留测试集精度 \(D_{rt}\) (%) (↑) | 调和平均 \(HM_t\) (↑) |
|---|---|---|---|---|
| CIFAR-10 (标准) | Retrain (金标准) | 0.00 | 92.04 | 95.86 |
| CIFAR-10 (标准) | ESC (CVPR'25) | 10.70 ± 0.87 | 81.27 ± 0.50 | 85.10 ± 0.65 |
| CIFAR-10 (标准) | R-ESC (本文) | 0.00 ± 0.00 | 91.02 ± 0.11 | 95.30 ± 0.06 |
| CIFAR-10 (KR 强微调) | Retrain (金标准) | 72.90 | 88.01 | 41.44 |
| CIFAR-10 (KR 强微调) | ESC (CVPR'25) | 73.60 ± 0.17 | 84.98 ± 0.16 | 40.28 ± 0.19 |
| CIFAR-10 (KR 强微调) | R-ESC (本文) | 12.87 ± 8.96 | 86.82 ± 3.30 | 86.91 ± 6.17 |
| CIFAR-100 (KR 强微调) | Retrain (金标准) | 58.00 | 71.66 | 52.96 |
| CIFAR-100 (KR 强微调) | ESC (CVPR'25) | 59.65 ± 1.56 | 75.90 ± 0.01 | 52.65 ± 1.15 |
| CIFAR-100 (KR 强微调) | R-ESC (本文) | 1.27 ± 0.72 | 77.01 ± 0.06 | 86.53 ± 0.31 |
| Tiny-ImageNet (KR 强微调) | ESC (CVPR'25) | 13.67 ± 1.06 | 90.54 ± 0.08 | 88.38 ± 0.52 |
| Tiny-ImageNet (KR 强微调) | R-ESC (本文) | 0.43 ± 0.25 | 89.94 ± 0.07 | 94.51 ± 0.14 |
在生成式模型 Stable Diffusion v1.4 的风格与对象消除实验中，R-ESC 展现了出色的综合优势： - 艺术风格消除（Van Gogh）：消除度 \(L_f\) 达到 0.33（高于 UCE 的 0.25 与 SLD-Med 的 0.31），保留风格失真度 \(L_r\) 仅为 0.08，综合权衡指标 \(L_d = L_f - L_r\) 达到 0.25，高居各方法之首。 - Imagenette 对象擦除：被擦除类别生成后经 ResNet-50 判定的错误召回率从原 SD 模型的 78.2% 骤降至 0.4%（UCE 为 2.6%，ESD-u 为 12.6%），而其余正常类别的精度依然维持在 76.6% 的高位。
消融实验¶
论文在 CIFAR-10 上对核心机制（PO 投影、单纯擦除 Erase、单专家重映射 Remap、多专家随机重映射 R-ESC）进行了系统消融（Table 2）：
| 配置 / 变体 | 是否使用 PO 投影 | 遗忘测试精度 \(D_{ft}\) (%) (↓) | 保留测试精度 \(D_{rt}\) (%) (↑) | 调和平均 \(HM_t\) (↑) | KR 强微调下 \(D_{ft}\) (%) (↓) | KR 强微调下 \(HM_t\) (↑) |
|---|---|---|---|---|---|---|
| Erase (单纯剔除) | ✗ | 13.47 | 91.24 | 88.82 | 88.27 | 20.79 |
| Remap (单专家重映射) | ✗ | 0.00 | 79.64 | 88.67 | 91.27 | 15.94 |
| Erase (单纯剔除) | ✓ | 0.00 | 91.67 | 95.65 | 88.27 | 20.79 |
| Remap (单专家重映射) | ✓ | 0.00 | 91.16 | 95.38 | 29.83 | 69.78 |
| R-ESC (完整多专家) | ✓ | 0.00 | 90.90 | 95.23 | 8.93 | 89.61 |
关键发现¶
- PO 投影是防止保留精度退化的绝对前提：在未使用 PO 投影时，Remap 会因纠缠将遗忘原型的畸变传导给保留类，导致保留测试精度由 91.67% 跌至 79.64%；而引入 PO 投影后，无论是 Erase 还是 Remap 都能将保留测试集精度稳定维持在 91% 以上。
- 多专家随机重映射是抵抗特征复原的关键壁垒：在常规测试下，单专家 Remap 与多专家 R-ESC 都能达到 0.00% 的遗忘测试误差；但在 KR 强微调攻击下，未打散的单专家 Remap 的遗忘召回率反弹至 29.83%（\(HM_t\) 仅 69.78），而多专家 R-ESC 成功将反弹抑制在 8.93%（\(HM_t\) 达到 89.61），在 CIFAR-100 上更压制至 1.27%，显著优于“金标准”重训模型 Retrain（Retrain 仍有 58.00% 的微调恢复率，因为其底层通用表征具备重学习潜能）。
- 极高的计算与显存效率：相比基于梯度微调的 Finetune（耗时超 12,000 秒，显存消耗 80 GB），R-ESC 在 CIFAR-10/100 上全流程消除仅需不到 10 秒，GPU 显存开销低于 200 MB；在庞大的 ImageNet 上亦仅需约 6 GB 显存与 10 分钟。
亮点与洞察¶
- 从“硬剔除”到“流形吸收与散射”的范式转变：过去的概念消除大多拘泥于置零或投影剪裁，反而造成了明显的空洞与可分簇；本文巧妙地利用正交化和随机重映射将“删除”转化为“打散混淆”，从根本上瓦解了对抗探针寻找线性超平面的几何基础。
- 免训练闭式解的高可用性：避免了繁杂的多轮对抗微调与超参试错，单次前向均值聚合使得消除层可以作为即插即用的安全补丁，低成本部署于各类主流视觉分类器和庞大的文本生成图像扩散模型（SDXL）上。
- 比 Retrain 更抗微调的“超重训”防御力：传统认知中以 Retrain 为遗忘上限，但实验表明 Retrain 的骨干网络由于保留了泛化视觉先验，面对针对性微调依然极易重新学会遗忘概念；而 R-ESC 在特征层主动建立了将遗忘方向导向其他保留类的混淆陷阱，微调梯度反而会被误导，展现出比 Retrain 更强韧的不可逆性。
局限与展望¶
- 深层与浅层部署敏感性：正如论文 Table 9 所示，R-ESC 部署在倒数第二层时表现稳定（\(D_{ft}=0.37\%\)），但在倒数第三层等更靠前的浅层时消除能力明显下滑（CIFAR-10 上遗忘精度反弹至 19.47%），说明浅层语义与空间特征尚未完全解耦，对插入层级的选择较敏感。
- 重映射目标类别的影响：Table 7 敏感性分析显示，将遗忘概念映射至不同保留类别会对微调鲁棒性带来轻微波动（在 CIFAR-10 上不同目标类别下的 KR 遗忘精度在 29.8% 到 80.9% 之间浮动），如何基于语义拓扑自动搜索最优目标组合仍需深入探索。
- 多概念并行遗忘的扩展性：当前主要针对单概念或小比例类别消除，若需同时遗忘大比例（如 50% 以上）概念，保留原型的承载能力与正交投影的条件数退化将面临更严峻的挑战。
相关工作与启发¶
- vs ESC (Lee et al., CVPR 2025)：ESC 首次提出在潜特征空间通过 SVD 剔除前 \(k\) 个奇异向量来删除概念空间，但由于未做正交解耦，剔除时造成严重的保留精度附带损伤，且留下了致密的残留特征簇，极易被探针恢复；R-ESC 则通过 Moore-Penrose 伪逆实现完全正交化切除，并利用多专家重映射彻底瓦解特征簇。
- vs UCE / RECE / ESD (Gandikota et al., WACV 2024; Gong et al., ECCV 2024)：扩散模型擦除算法多依赖对交叉注意力权重闭式修改或微调，容易导致生成图像退化（例如将画面中的相关元素完全抹去变成黑色或灰色模糊块）；R-ESC 保持了提示词对保留主体（如星空小镇）的忠实渲染，仅针对性消除了特定的笔触纹理风格，风格消除权衡指标 \(L_d\) 显著领先。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ [提出将概念从硬消除转向正交解耦与随机多目标重映射，视角新颖且理论完备]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖分类与扩散模型，涵盖图像生成、风格消除、针对性强微调与探针攻击等全面基准]
- 写作质量: ⭐⭐⭐⭐⭐ [逻辑严密流畅，数学推导清晰，实验图表对比详实直观]
- 价值: ⭐⭐⭐⭐⭐ [完全免训练且开销极小，为大模型知识遗忘和生成式 AI 安全合规落地提供了极具实用价值的工程解]