MLLMEraser: Achieving Test-Time Unlearning in Multimodal Large Language Models through Activation Steering

会议: NeurIPS 2026
arXiv: 2510.04217
代码: https://github.com/chenluding/MLLMEraser
领域: LLM 安全
关键词: 多模态大模型、测试时机器遗忘、激活引导、零空间投影、跨模态安全

一句话总结

本文提出了 MLLMEraser，首个无需参数更新的多模态大模型测试时机器遗忘框架，通过对抗扰动图像与内在拒绝语义构建双模态遗忘方向，并利用保留集激活的零空间投影实现输入自适应激活引导，在消除隐私与有害记忆的同时实现对保留知识的近乎零损伤。

研究背景与动机

多模态大语言模型（MLLMs）在图文理解、视觉问答和具身智能等任务中取得了突破性进展，但其在海量多模态数据预训练中不可避免地记住了敏感个人隐私、受版权保护的内容以及有害知识。当面临严格的隐私法规（如 GDPR 的“被遗忘权”）或内容合规审计时，如何选择性地擦除特定目标知识（Forget Set），同时完整保留通用认知与非目标知识（Retain Set），成为了多模态模型部署的关键瓶颈。

目前现有的多模态机器遗忘方案大多沿袭纯文本 LLM 的微调范式，采用梯度上升（Gradient Ascent）、负偏好优化（NPO）或基于显著性的参数剪枝与局部微调。然而，这类基于模型更新的遗忘方法面临三大严重困境：首先，微调开销巨大，面对持续更新的遗忘请求需要反复优化数十亿参数；其次，遗忘目标与保留目标在参数空间存在不可避免的梯度冲突，极易引发灾难性遗忘与通用能力坍塌（Over-forgetting）；最后，权重修改是不可逆的，一旦发生误删无法便捷恢复。测试时行为调控（Test-time Intervention）虽具备即时、轻量和可逆的理想特性，但现有的激活引导（Activation Steering）技术主要针对纯文本场景设计，且通常采用全局统一干预，无法直接迁移到具有跨模态联合表征的多模态遗忘任务中。

这种失败的核心矛盾在于：多模态表征由视觉编码器与语言空间深度对齐融合而成，仅从文本角度构建引导向量无法消除视觉模态所暗含的知识召回通道；同时，遗忘集样本与保留集样本通常具有完全同构的提问模式与语法结构，全局无差别的表征偏置会剧烈破坏保留集的正常输出。核心 idea：将多模态知识擦除目标锚定于模型内生拒绝行为，通过对抗图像增强构建涵盖视觉与文本差异的双模态遗忘方向，并借助保留集激活的零空间投影闭式求解自适应变换矩阵，实现在推理阶段按需触发遗忘引导且对保留数据完全正交无害。

方法详解

整体框架

MLLMEraser 的核心思想是在保持多模态大模型参数 \(\theta\) 完全冻结的前提下，通过对中间隐藏层激活进行动态、输入感知的向量干预来实现测试时知识擦除。整个框架包含两大阶段：第一阶段是双模态遗忘方向构建，利用对抗视觉样本诱导模型产生有害知识召回，与引发内生拒绝的干净样本构成正负对比对，提取表征层面的均值差分向量 \(\mathbf{d}_{\text{erase}}\)；第二阶段是基于零空间投影的自适应输入感知转向，建立一个轻量级线性映射函数 \(f(\mathbf{h}) = \mathbf{W}\mathbf{P}\mathbf{h}\)，使得遗忘集样本的激活被精确推向遗忘方向，而保留集样本落入投影矩阵 \(\mathbf{P}\) 的零空间从而干预量严格归零。

在推理过程中，输入图文激活经过各层前向传播时，模型自适应判定并执行表征偏移 \(\tilde{\mathbf{h}} = \mathbf{h} + \lambda f(\mathbf{h})\)，从而促使遗忘集样本输出安全拒绝回应，同时保留集样本输出完全不受扰动。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态图文输入 (I, Q)"] --> B["前向传播抽取隐藏层激活 h"]
    B --> C["阶段1：双模态遗忘方向构建<br/>对抗扰动图像诱导召回 vs 干净图像内生拒绝"]
    C --> D["提取多模态遗忘基准向量 d_erase"]
    B --> E["阶段2：零空间投影输入感知转向<br/>保留集激活相关矩阵 SVD 分解构建投影 P"]
    D & E --> F["阶段3：闭式解线性映射注入<br/>优化带零空间约束的映射矩阵 W*"]
    F --> G["动态表征修正: h_tilde = h + lambda W* P h"]
    G --> H{"输入类别判定"}
    H -->|属于遗忘集 D_f| I["激活偏移触发安全拒绝响应"]
    H -->|属于保留集 D_r| J["激活落入零空间 P h = 0 维持原始输出"]

关键设计

1. 基于对抗扰动与内在拒绝的双模态遗忘方向构建：兼顾视觉与文本的表征对齐

传统激活引导方法通常依赖“未遗忘模型”与“已遗忘模型”的输出对比，或者依赖正负文本提示词对（如诚实/欺骗、安全/有害）。但在机器遗忘场景下，理想的“已遗忘模型”正是希望免除昂贵训练而避免获取的对象。此外，由于视觉特征映射并融入了 LLM 的隐藏空间，纯文本引导向量无法有效阻断攻击者通过图像通道诱发的敏感信息泄露。

本文发现对齐后的 MLLM 自身已具备内在拒绝行为（如“我无法回答该问题”），这种拒绝机制在语义层面上与机器遗忘的目标完全等价。因此，作者构建了两组对比图文对：负样本集 \(\mathcal{D}^-\)（知识召回组）采用对抗扰动图像 \(\mathcal{I}'\) 搭配越狱提示词 \(\mathcal{Q}'\)，最大化诱发模型输出有害或敏感知识；正样本集 \(\mathcal{D}^+\)（知识擦除组）采用对应的干净图像 \(\mathcal{I}\) 搭配被模型拒绝的提示词 \(\mathcal{Q}\)。对抗图像通过多步投影梯度下降（PGD）算法在 \(\ell_p\) 范数约束球 \(\mathcal{B} = \{\mathcal{I} \mid \|\mathcal{I} - \mathcal{I}_i\|_p \le \varepsilon\}\) 内求解优化目标：

\[\mathcal{I}_i^{(k+1)'} = \Pi_{\mathcal{I}_i + \mathcal{B}} \left( \mathcal{I}_i^{(k)'} + \alpha \cdot \text{sign}\left( \nabla_\mathcal{I} \log P_\theta(y \mid \mathcal{I}_i^{(k)'}, \mathcal{Q}_i) \right) \right)\]

通过两组对比样本在指定隐藏层 \(\ell\) 的激活均值之差，提取兼具视觉扰动与文本语义的多模态遗忘方向向量：

\[\mathbf{d}_{\text{erase}}^\ell = \frac{1}{|\mathcal{D}^+|} \sum_{(\mathcal{I}, \mathcal{Q}) \in \mathcal{D}^+} \mathbf{h}^\ell(\mathcal{I}, \mathcal{Q}) - \frac{1}{|\mathcal{D}^-|} \sum_{(\mathcal{I}', \mathcal{Q}') \in \mathcal{D}^-} \mathbf{h}^\ell(\mathcal{I}', \mathcal{Q}')\]

该设计无需预先训练遗忘模型，且完整捕获了跨模态交互下的知识擦除表征。

2. 基于零空间投影的自适应输入感知转向：在保护保留集的同时精准擦除目标概念

现有激活引导大多将提取的方向向量无差别地全局注入所有输入样本，这在机器遗忘任务中会导致灾难性的过度遗忘，使得非目标的保留集（Retain Set）与通用知识严重受损。然而，遗忘样本与保留样本在语法形式上往往高度一致（例如询问不同人物职业的同构问题），传统分类器难以在无损前提下进行精确门控。

为解决这一冲突，MLLMEraser 将引导方向由静态向量改造为动态函数 \(f(\mathbf{h}) = \mathbf{W}\mathbf{h}\)，要求对遗忘集 \(\mathcal{D}_f\) 映射为遗忘方向 \(\mathbf{d}_{\text{erase}}\)，而对保留集 \(\mathcal{D}_r\) 则映射为零向量 \(\mathbf{0}\)。通过引入左零空间（Left Null Space）约束，作者将优化问题表述为严格的约束最小二乘问题：

\[\min_{\mathbf{W}} \left( \|\mathbf{W}\mathbf{H}_f - \mathbf{D}\|_F^2 + \gamma \|\mathbf{W}\|_F^2 \right), \quad \text{s.t.} \quad \mathbf{W}\mathbf{H}_r = \mathbf{0}\]

其中 \(\mathbf{H}_f \in \mathbb{R}^{d \times N_f}\) 与 \(\mathbf{H}_r \in \mathbb{R}^{d \times N_r}\) 分别为遗忘集与保留集末尾 token 的隐藏层激活矩阵，\(\mathbf{D} \in \mathbb{R}^{d \times N_f}\) 由 \(N_f\) 个相同的 \(\mathbf{d}_{\text{erase}}\) 列向量拼合而成。由于 \(\mathbf{H}_r\) 的左零空间等价于半正定矩阵 \(\mathbf{H}_r \mathbf{H}_r^\top\) 的零空间，通过对 \(\mathbf{H}_r \mathbf{H}_r^\top\) 进行奇异值分解（SVD）：

\[\mathbf{H}_r \mathbf{H}_r^\top = [\mathbf{U}_1, \mathbf{U}_2] \begin{bmatrix} \mathbf{\Sigma}_1 & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{bmatrix} [\mathbf{U}_1, \mathbf{U}_2]^\top\]

提取零特征值对应的特征向量子空间 \(\mathbf{U}_2 \in \mathbb{R}^{d \times (d-k)}\)，构造正交投影矩阵 \(\mathbf{P} = \mathbf{U}_2 \mathbf{U}_2^\top\)。任何经过 \(\mathbf{P}\) 投影后的特征对保留集激活相乘均恒等于零（\(\mathbf{P}\mathbf{H}_r = \mathbf{0}\)），从根本上切断了引导向量对保留知识表征的干扰通道。

3. 闭式解线性映射的高效推理注入：兼顾零训练显存开销与轻量推理开销

引入零空间投影后，带约束的优化问题可重写为投影参数矩阵 \(\mathbf{W}\mathbf{P}\) 上的无约束正则化最小二乘目标：

\[\mathbf{W}^* = \arg\min_{\mathbf{W}} \left( \|\mathbf{W}\mathbf{P}\mathbf{H}_f - \mathbf{D}\|_F^2 + \gamma \|\mathbf{W}\mathbf{P}\|_F^2 \right)\]

利用凸优化的极值条件，该问题存在全局最优闭式解析解（Closed-form Solution）：

\[\mathbf{W}^* = \mathbf{D} \mathbf{H}_f^\top \mathbf{P}^\top \left( \mathbf{P} \mathbf{H}_f \mathbf{H}_f^\top \mathbf{P}^\top + \gamma \mathbf{P}\mathbf{P}^\top \right)^+\]

其中 \(+\) 代表 Moore-Penrose 伪逆。整个过程仅需对提取的特征矩阵进行矩阵乘法与 SVD，完全无需进行反向传播梯度迭代，使得训练阶段的显存开销降为 0 MB。在最终推理时，隐藏层激活按公式 \(\tilde{\mathbf{h}} = \mathbf{h} + \lambda \mathbf{W}^* \mathbf{P} \mathbf{h}\) 实时更新，每 10 个查询仅增加约 1 秒的推理时延，实现了超高效的即插即用遗忘。

一个完整示例

考虑隐私去标识化场景：模型记忆了虚构人物 Alice 与 Bob 的个人档案，用户发出遗忘 Alice 个人信息的请求（遗忘集），同时必须完整保留 Bob 的属性（保留集）。

1. 线下准备阶段：提取模型拒绝样本的激活，配合 ImageNet 对抗样本生成多模态差分向量 \(\mathbf{d}_{\text{erase}}\)。将 Bob 档案的问答激活矩阵提取为 \(\mathbf{H}_r\)，SVD 计算得到其零空间投影矩阵 \(\mathbf{P}\)；将 Alice 档案的问答激活提取为 \(\mathbf{H}_f\)，代入闭式解解析计算得到转换矩阵 \(\mathbf{W}^*\)。
2. 测试时遇到遗忘查询（关于 Alice）：输入包含 Alice 照片及提问“Alice 的职业是什么？”，模型前向计算得到隐藏层激活 \(\mathbf{h}_{\text{Alice}}\)。由于 \(\mathbf{h}_{\text{Alice}}\) 包含目标特征，\(\mathbf{P}\mathbf{h}_{\text{Alice}} \neq \mathbf{0}\)，自适应函数输出 \(\lambda \mathbf{W}^* \mathbf{P} \mathbf{h}_{\text{Alice}} \approx \lambda \mathbf{d}_{\text{erase}}\)。内部表征被推向拒绝子空间，模型生成回答：“抱歉，我无法提供该人物的相关信息。”
3. 测试时遇到保留查询（关于 Bob）：输入包含 Bob 照片及提问“Bob 的职业是什么？”，隐藏层激活为 \(\mathbf{h}_{\text{Bob}}\)。由于 \(\mathbf{h}_{\text{Bob}}\) 属于保留集流形，直接落入投影零空间，满足 \(\mathbf{P}\mathbf{h}_{\text{Bob}} = \mathbf{0}\)，因此自适应偏移项 \(\lambda \mathbf{W}^* \mathbf{P} \mathbf{h}_{\text{Bob}} = \mathbf{0}\)。模型激活完全保持原样，准确输出其职业答案，保留集性能毫无退化。

损失函数 / 训练策略

MLLMEraser 属于免微调（Tuning-free）范式，不涉及任何参数更新。核心超参数与实现策略如下： - 引导强度 \(\lambda\) 与正则化系数 \(\gamma\)：在 LLaVA-1.5-7B 上默认设置 \(\lambda = 0.3, \gamma = 1.0\)；在 Qwen-2.5-VL-7B 上设置 \(\lambda = 0.25, \gamma = 0.1\)。 - 图像对抗扰动半径 \(\varepsilon\)：采样 ImageNet 图像作为视觉载体，设置 \(\ell_\infty\) 扰动半径 \(\varepsilon = 16/255\)，通过多步 PGD 迭代保证视觉差分向量的显著性与鲁棒性。 - 干预层数配置：默认对模型所有层（All layers）同步施加激活引导，实验证明全层统一引导能保证跨模态早期对齐与深层语义推理的协同遗忘。

实验关键数据

主实验

在多模态机器遗忘基准 MLLMU-Bench（5% 遗忘比例）上的主实验结果如下表所示。评测任务包括分类准确率（Classification Accuracy）、生成任务的 ROUGE-L 分数（Generation ROUGE）以及填空任务准确率（Cloze Accuracy）。评测子集分为遗忘集（Fgt \(\downarrow\)）、测试泛化集（Test \(\downarrow\)）、保留集（Ret \(\uparrow\)）以及真实名人集（Cele \(\uparrow\)）。

模型 / 方法	分类: Fgt \(\downarrow\)	分类: Test \(\downarrow\)	分类: Ret \(\uparrow\)	分类: Cele \(\uparrow\)	生成: Fgt \(\downarrow\)	生成: Test \(\downarrow\)	生成: Ret \(\uparrow\)	生成: Cele \(\uparrow\)	填空: Fgt \(\downarrow\)	填空: Test \(\downarrow\)	填空: Ret \(\uparrow\)	填空: Cele \(\uparrow\)
LLaVA-1.5-7B
Vanilla (未遗忘)	42.40	40.00	45.23	47.00	0.632	0.286	0.585	0.312	54.00	24.00	55.37	8.17
GA	40.08	38.40	39.75	38.77	0.353	0.251	0.389	0.265	14.00	16.00	28.00	5.56
GA_Diff	35.20	29.60	36.00	37.10	0.554	0.265	0.585	0.310	32.00	20.00	52.11	7.84
KL_Min	40.00	36.80	42.87	44.78	0.629	0.309	0.585	0.307	52.00	18.00	53.58	6.86
NPO	32.80	39.20	36.16	43.60	0.360	0.243	0.363	0.278	20.00	16.00	23.89	4.90
MMUnlearner	33.60	33.60	40.93	41.12	0.530	0.271	0.551	0.310	28.00	20.00	44.84	5.56
Ours (MLLMEraser)	11.20	25.20	43.54	45.43	0.106	0.209	0.592	0.311	6.00	14.00	54.21	8.17
Qwen-2.5-VL-7B
Vanilla (未遗忘)	67.20	68.80	66.20	78.33	0.642	0.317	0.583	0.453	36.00	22.00	40.42	26.80
GA	64.00	64.80	65.11	74.15	0.419	0.315	0.438	0.335	16.00	14.00	16.21	25.16
GA_Diff	56.00	59.20	64.05	76.76	0.482	0.296	0.566	0.442	16.00	22.00	33.79	24.84
KL_Min	51.20	50.40	50.30	48.57	0.594	0.322	0.578	0.441	32.00	18.00	34.32	25.16
NPO	54.40	59.20	56.08	74.08	0.492	0.273	0.492	0.429	12.00	18.00	23.26	23.52
MMUnlearner	60.00	58.40	53.84	72.45	0.491	0.270	0.538	0.433	12.00	18.00	31.79	22.86
Ours (MLLMEraser)	19.20	38.40	65.86	78.32	0.165	0.175	0.580	0.445	10.00	12.00	39.37	26.47

消融实验

下表展示了在 Qwen-2.5-VL-7B-Instruct（5% 遗忘比例）上的核心模块消融实验结果，分别对比纯文本遗忘方向（Text-only）以及无输入感知全局引导（Input-unaware）：

配置 / 变体	分类: Fgt \(\downarrow\)	分类: Test \(\downarrow\)	分类: Ret \(\uparrow\)	分类: Cele \(\uparrow\)	生成: Fgt \(\downarrow\)	生成: Test \(\downarrow\)	生成: Ret \(\uparrow\)	生成: Cele \(\uparrow\)	填空: Fgt \(\downarrow\)	填空: Test \(\downarrow\)	填空: Ret \(\uparrow\)	填空: Cele \(\uparrow\)
Vanilla (原始基线)	67.20	68.80	66.20	78.33	0.642	0.317	0.583	0.453	36.00	22.00	40.42	26.80
Text-only erasure direction	48.40	65.60	65.74	78.06	0.483	0.249	0.568	0.442	11.00	16.00	38.53	25.82
Input-unaware steering	15.20	7.20	13.29	4.05	0.130	0.008	0.121	0.121	8.00	8.00	10.74	12.42
Full Model (MLLMEraser)	19.20	38.40	65.86	78.32	0.165	0.175	0.580	0.445	10.00	12.00	39.37	26.47

此外，针对遗忘训练阶段的硬件资源开销，论文对比了各方法在更新模型参数时的 GPU 显存占用情况：

方法	GA	GA_Diff	KL_Min	NPO	MMUnlearner	Ours (MLLMEraser)
训练显存占用 (MB)	86,292	101,262	106,482	102,616	78,472	0 MB

关键发现

• 遗忘深度与泛化性全面领先：在两个主流 MLLM 骨干网络上，MLLMEraser 使遗忘集分类准确率平均暴跌 39.6%，填空准确率下降 37.0%，生成 ROUGE-L 分数锐减 0.502。面对经由 Arc2Face 和 GPT-4o 深度重写扰动的 Test 泛化集，遗忘效果依然高度稳健，证明引导向量捕捉到了深层语义而非表面模式。
• 保留集效用几乎完美保全：在 Retain 集和真实名人 Celebrity 集上，MLLMEraser 的分类准确率与未微调的 Vanilla 原始模型相差仅 1.63%，填空准确率仅差 0.17%，ROUGE-L 仅差 0.002。微调基线（如 GA、NPO）因梯度冲突导致保留集准确率大幅腰斩（如 LLaVA 上 GA 的 Ret 分类掉至 39.75%，填空掉至 28.00%），而 MLLMEraser 借助零空间正交约束彻底根除了过度遗忘。
• 视觉扰动对双模态遗忘不可或缺：若仅采用纯文本对比构建遗忘向量（Text-only），在 Qwen-2.5-VL 上生成 ROUGE-L 仅下降 0.159（降至 0.483），远逊于完整多模态向量的 0.477 降幅（降至 0.165），这证实了视觉通道能够绕过纯文本安全防御并泄露记忆事实。
• 零显存训练与微秒级推理开销：传统基于保留集正则化的微调方法（GA_Diff, KL_Min）需要 20 倍于基础 GA 的训练耗时，显存消耗超 100 GB；MLLMEraser 训练更新参数显存为 0 MB，推理阶段平均每 10 条请求仅增加约 1 秒时延。

亮点与洞察

• 内生拒绝语义与机器遗忘目标的精妙对齐：传统激活引导苦于难以在免训练前提下构造“遗忘态对比样本”，本文敏锐指出模型面对恶意越狱时的自发拒绝状态即是天然的“响应级遗忘态”，借此绕过了昂贵的预训练基线对。
• 零空间投影（Null Space Projection）化解输入感知难题：通过对保留集特征协方差矩阵进行 SVD，并将其零空间基底解析融合进线性映射矩阵，使得保留样本天然具备 \(\mathbf{P}\mathbf{h} = \mathbf{0}\) 的数学保真性，兼备坚实的线性代数解释与极高的执行效率。
• 跨模态对抗扰动补全了视觉安全死角：利用 PGD 攻击生成能最大化激活敏感回答的扰动图像，将视觉编码器的潜空间对抗偏移与文本拒绝结合，揭示了多模态表征工程必须双模态协同干预的底层规律。

局限与展望

• 作者承认的局限：双模态遗忘方向的构建依赖于对抗生成图像和特定模板的拒绝提示词，在跨领域（如专业医学图谱、小众语料）以及微妙复杂的隐式知识迁移上，可能存在泛化性衰减；当前评测集中在图文个人隐私场景，尚未覆盖大规模版权侵权或长视频/具身动态场景。
• 潜在改进与延伸：当前映射函数 \(f(\mathbf{h}) = \mathbf{W}\mathbf{P}\mathbf{h}\) 采用单层线性变换，虽能避免过拟合，但在面对大规模高维非线性知识混叠时表征容量受限；未来可探索低秩核化映射（Kernelized Null Space）或门控混合专家（MoE）路由机制。此外，将测试时遗忘扩展至包含时序上下文的视频大模型与具身交互机器人是极其有前景的演进方向。

相关工作与启发

• vs 训练式多模态遗忘（MMUnlearner / MANU）：MMUnlearner 依赖权重显著性优化特定子模块，MANU 通过统计修剪多模态神经元。两者的共同缺陷是破坏了预训练权重结构且过程不可逆；MLLMEraser 保持模型参数 100% 不变，提供即开即用、可秒级撤销的测试时擦除能力。
• vs 纯文本激活引导（ActAdd / CAA / AlphaSteer）：先前的激活引导技术主要探索纯文本的情感、真实性与安全防御，未考虑图像编码器与语言空间的交叉注意力融合机制；MLLMEraser 是首个将激活引导系统性扩展至多模态测试时机器遗忘的工作，通过对抗视觉样本解决了跨模态遗忘不彻底的难题。

评分

• 新颖性: ⭐⭐⭐⭐⭐ [首次提出多模态大模型测试时机器遗忘范式，结合内生拒绝与零空间正交引导，理论设计十分巧妙。]
• 实验充分度: ⭐⭐⭐⭐⭐ [全面覆盖 LLaVA-1.5 与 Qwen-2.5-VL，包含分类、生成、填空三类任务，详尽消融了多模态扰动、输入感知与层级敏感性。]
• 写作质量: ⭐⭐⭐⭐⭐ [逻辑严密，数学公式推导自洽清晰，图表完备详实。]
• 价值: ⭐⭐⭐⭐⭐ [为多模态大模型的隐私合规落地与轻量化被遗忘权实现提供了实用且高性价比的新路径。]

相关论文

• [ICLR 2026] Knowledge Externalization: Reversible Unlearning and Modular Retrieval in Multimodal Large Language Models
• [NeurIPS 2025] Steering When Necessary: Flexible Steering Large Language Models with Backtracking
• [ECCV 2026] Towards Benign Memory Forgetting for Selective Multimodal Large Language Model Unlearning
• [CVPR 2026] Towards Robust Multimodal Large Language Models Against Jailbreak Attacks
• [CVPR 2026] A Provable Energy-Guided Test-Time Defense Boosting Adversarial Robustness of Large Vision-Language Models