Mitigating Memorization Where It Happens

会议: NeurIPS 2026
arXiv: 2602.08901
OpenReview: https://openreview.net/forum?id=hV2JIz6mgg
代码: https://github.com/XuanqiZhang/GSS
领域: 安全
关键词: 记忆缓解、门控子空间导引、激活干预、逐token似然差、隐私保护

一句话总结

本文针对大语言模型逐字复述训练序列的隐私与版权隐患，提出门控子空间导引（Gated Subspace Steering, GSS）推理期干预框架，通过目标与参考模型的逐token超额对数似然比定位记忆集中的少数关键位置，并在奇异值分解得到的低秩子空间内仅对超阈值token施加闭式导引矫正，在不更新模型权重的条件下实现高效记忆消除与泛化效用保留。

研究背景与动机

大语言模型（LLM）在下游微调与预训练过程中，倾向于逐字记忆（verbatim memorization）并复现训练集中的特定文本序列。这种现象在序列存在重复出现或高频表征时尤为显著，直接引发了敏感隐私数据泄露和受版权保护内容被非法提取的重大安全隐患。传统参数空间缓解手段（如基于梯度上升或负偏好优化的机器遗忘方法、模型编辑与神经元剪枝定位）通常需要重新微调或破坏模型权重参数，极易造成灾难性遗忘，导致模型在推理基准或正常下游任务上的基础语言与逻辑泛化能力剧烈退化。

为了避免权重破坏，激活空间导引（activation steering）作为一种仅在推理期修改隐藏层表征的轻量化机制受到了广泛关注。然而，现有的对比激活添加等方法往往在序列的所有token位置上无差别地施加固定的干预向量（uniform intervention）。这种全盘干预假设整条序列均匀地存在记忆风险，但实际上序列中绝大多数token属于正常语言泛化范畴；全局平移不可避免地扭曲了模型正常的表征流形，在抑制记忆的同时严重损害了非记忆位置的有用预测能力。

通过深入剖析目标模型与具备领域能力但低序列暴露度的参考模型之间的逐token对数似然差异，作者发现超额预测优势并非均匀散布，而是呈现出极端的正向质量集中特性——极少数位置占据了绝大部分正向似然差。核心 idea：将记忆干预显式解耦为“探针检测”与“定点导引”，通过目标-参考模型离线似然信号构建闭式低秩探针与导引向量，并在推理阶段仅对探针响应超过设定阈值的极少数记忆主导token施加激活投影矫正，使绝大多数正常泛化token保持原样。

方法详解

整体框架

门控子空间导引（Gated Subspace Steering, GSS）由离线校准（Offline Calibration）与在线门控推理干预（Inference-time Selective Intervention）两个核心阶段构成。在离线校准阶段，算法利用目标模型与参考模型的逐token超额对数似然信号 \(\omega_t\) 将校准样本的高维隐藏激活划分为高信号（记忆相关）与低信号（泛化相关）子集；通过对掩码交叉熵损失的隐藏层梯度进行反向传播累加，构建协方差加权或对比统计矩阵，利用奇异值分解（SVD）以闭式解解析求得最优探针方向矩阵 \(U\) 与导引方向矩阵 \(V\)。在推理生成阶段，无需再调用参考模型或计算梯度，门控机制实时监测当前token激活在探针方向上的投影强度；一旦投影超出校准阈值，门控触发并沿导引方向扣除矫正偏移，否则完全不改变激活流。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入序列与当前层隐藏激活 ht"] --> B["逐token探针响应计算<br/>st,k = uk^T ht"]
    B --> C{"门控阈值判断<br/>|st,k| > ε 或连续超额"}
    C -->|未触发：正常泛化token| D["保留原始激活 ht<br/>零计算开销透传"]
    C -->|触发：记忆主导token| E["门控子空间定点矫正<br/>ht' = ht - β ∑ at,k vk"]
    D --> F["输入下一网络层继续自回归解码"]
    E --> F

关键设计

1. 逐token超额对数似然信号与非均匀记忆定位：以差异化基准剔除通用语言预测

单纯观察目标模型的输出置信度或自注意力权重无法区分高概率输出究竟源于模型学到了通用的自然语言语法规律，还是源于对特定私有训练数据的机械记忆。GSS 引入了一个领域能力相当但在评估序列上暴露度较低的参考模型 \(p_{\mathrm{ref}}\)，定义逐token超额对数似然比：

\[ \omega_t \triangleq \log p_\theta(x_t \mid x_{<t}) - \log p_{\mathrm{ref}}(x_t \mid x_{<t}). \]

该信号直接度量了目标模型相对于参考模型的编码长度优势。对正向信号累积质量 \(m_t = \max(0, \omega_t)\) 的跨数据集实证测量表明，在前 10% 的 token 位置上集中了 30% 到 89% 的正向超额似然总质量（基尼系数高达 0.50–0.91），且连续正向信号游程平均长度仅为 1.64（60.8% 的游程仅包含单个 token）。这确证了逐字记忆在 token 维度上的局部稀疏性与重尾分布，为离线区分掩码 \(w_t^{\mathrm{hi}} = \mathbb{I}(\omega_t > 0)\) 与 \(w_t^{\mathrm{lo}} = \mathbb{I}(\omega_t \le 0)\) 提供了可信的统计依据。

2. 闭式谱分解校准：梯度加权协方差约束下的最优探针-导引方向解析求解

传统激活修改方法往往将干预方向求解转化为耗时的迭代优化过程或启发式均值差。GSS 将干预解耦为探针矩阵 \(U = [u_1, \dots, u_K] \in \mathbb{R}^{d \times K}\) 与导引矩阵 \(V = [v_1, \dots, v_K] \in \mathbb{R}^{d \times K}\)。为了在最大化抑制记忆的同时约束对正常泛化特征的扰动，作者构建了一阶线性代理目标：在低信号激活未中心化二阶矩矩阵 \(C = \Sigma_{\mathrm{lo}} + \gamma I = L L^\top\) 的归一化约束下，最大化高信号激活-梯度外积矩阵 \(\mathbf{M}_{\mathrm{hi}} = \sum h_t (g_t^{\mathrm{hi}})^\top\) 的内积投影：

\[ \max_{U, V} \operatorname{tr}(U^\top \mathbf{M}_{\mathrm{hi}} V) \quad \text{s.t.} \quad U^\top C U = I_K, \quad V^\top V = I_K. \]

通过变量替换 \(Q = L^\top U\)，该带约束的双线性形式被完全转化为白化矩阵 \(\mathbf{M}_{\mathrm{w}} = L^{-1} \mathbf{M}_{\mathrm{hi}}\) 的奇异值分解问题 \(\mathbf{M}_{\mathrm{w}} = \widetilde{U} S \widetilde{V}^\top\)。根据广义谱极值定理，最优探针与导引方向具备显式闭式解：

\[ U^* = L^{-\top} \widetilde{U}_{:, 1:K}, \qquad V^* = \widetilde{V}_{:, 1:K}. \]

这一设计使多层级方向校准计算在秒级内完成，相较于迭代优化类方法带来了 10 到 100 倍的计算开销缩减。

3. 门控自适应推理干预：基于安全子空间的单步与连续触发动态控制

在自回归解码的推理过程中，模型无需保留或运行参考模型，仅根据预先校准的探针方向 \(u_k\) 计算当前隐藏状态标量响应 \(s_{t,k} = u_k^\top h_t\)。激活更新公式为：

\[ h_t' = h_t - \beta \sum_{k=1}^K a_{t,k} v_k. \]

其中系数 \(a_{t,k}\) 由门控函数决定。在白化配置下采用双侧阈值指示门控 \(a_{t,k} = \mathbb{I}(|s_{t,k}| > \epsilon) s_{t,k}\)；在对比配置下采用校准分位数（如第 90 分位数）的超额单侧响应 \([s_{t,k} - \epsilon]_+ / \max(u_k^\top v_k, 10^{-3})\)。为了进一步防止孤立的高响应良性词（例如罕见但合法的专业术语）引起误判，GSS 还支持连续位置门控机制，令门控额外乘以连续超额计数指示器 \(\mathbb{I}(c_t \ge r)\)（其中 \(r=2\) 表示仅在探针连续两步超额时才激活导引）。这一设计从几何上构建了“安全子空间”，使得正常泛化 token 零修改透传，仅在检测到明显的记忆序列特征时精准切断复述链条。

损失函数 / 训练策略

GSS 本身不修改任何模型参数，因而不涉及端到端反向传播微调。其离线校准梯度仅用于收集统计矩阵，采用基于掩码的下一个 token 交叉熵损失：

\[ \mathcal{L}_a(\mathcal{B}) = - \frac{\sum_{(x,t) \in \mathcal{B}} w_t^a \log p_\theta(x_t \mid x_{<t})}{\sum_{(x,t) \in \mathcal{B}} w_t^a}, \quad a \in \{\mathrm{hi}, \mathrm{lo}\}. \]

计算激活梯度 \(g_t^a = \nabla_{h_t} \mathcal{L}_a\) 时，保持掩码 \(w_t^a\) 固定。超参数方面，微调与预训练场景默认仅在中间关键表征层施加干预（如 TinyMem 选在第 4 层，Pythia 系列选在第 18 层）；子空间秩通常取极低维度 \(K \in [1, 5]\)，正则化项 \(\gamma = 10^{-4}\)，干预强度系数 \(\beta\) 在 1.0 到 10.0 之间根据验证集权衡微调。

实验关键数据

主实验

论文在 TinyMem 标准记忆消除基准、预训练大模型扩展性（Pythia-2.8B / 6.9B）以及微调大模型（Llama-3.2-1B、Qwen3-0.6B、Qwen2.5-7B）上展开全面对比。

下表摘取自论文表 1，展示了在 TinyMem 乘法数学模型与语言模型在噪声（Noise）及后门（Backdoor）设置下的记忆率（%Mem）、下游效用（准确率 Acc 或困惑度 Perp）及干预管线耗时（Time，单位秒）：

方法	类别	数学模型 (噪声) %Mem↓ / Acc↑ / Time↓	数学模型 (后门) %Mem↓ / Acc↑ / Time↓	语言模型 (噪声) %Mem↓ / Perp↓ / Time↓	语言模型 (后门) %Mem↓ / Perp↓ / Time↓
Baseline	未干预基线	34.55% / 97.00% / –	99.44% / 96.81% / –	17.60% / 57.73 / –	100.00% / 58.45 / –
Spectral reg	权重正则	0.17% / 96.84% / 12254s	99.89% / 96.68% / 1131.5s	0.00% / 57.92 / 10850.2s	100.00% / 90.42 / 238.6s
Hard Concrete	特征剪枝	0.00% / 74.97% / 0.24s	0.00% / 75.02% / 0.26s	0.00% / 57.15 / 0.25s	100.00% / 70.94 / 0.69s
TaskVector	任务算术	0.00% / 89.31% / 0.37s	9.44% / 93.20% / 0.37s	16.80% / 57.71 / 0.45s	100.00% / 70.41 / 0.67s
LEACE	线性消除	0.00% / 74.09% / 0.48s	0.00% / 77.75% / 1.30s	13.20% / 65.63 / 0.69s	100.00% / 65.12 / 1.70s
NPO	机器遗忘	0.56% / 27.26% / 0.57s	0.00% / 4.88% / 0.56s	0.00% / 229.45 / 1.28s	0.00% / 858.15 / 1.38s
AlphaSteer	激活导引	24.30% / 96.98% / 6.35s	0.92% / 61.24% / 2.09s	0.00% / 64.29 / 15.82s	0.00% / 76.08 / 18.74s
Lunar	激活导引	24.28% / 96.97% / 1.15s	0.00% / 58.69% / 1.27s	0.00% / 67.36 / 14.93s	0.00% / 75.96 / 17.61s
GSS (本文)	门控子空间导引	0.00% / 96.98% / 0.001s	0.00% / 96.82% / 0.001s	0.00% / 63.13 / 0.002s	0.00% / 63.17 / 0.003s

在规模扩展性方面，下表摘取自论文表 2，展示了在未微调的预训练 Pythia-2.8B 与 Pythia-6.9B 上的 \((n,k)\)-记忆率、测试集困惑度（PPL）与干预耗时：

模型	方法	(n,k)-记忆率 (%Mem) ↓	测试困惑度 (PPL) ↓	干预时间 (Time) ↓
Pythia-2.8B	Baseline	52.87%	21.75	–
	Hard Concrete	44.55%	21.35	2.25s
	Slimming	14.46%	23.41	1.96s
	Dura	6.93%	35.49	17.44s
	BalSub	5.94%	31.52	2068.77s
	GSS (本文)	6.93%	28.26	0.16s
Pythia-6.9B	Baseline	89.31%	19.46	–
	Hard Concrete	87.55%	17.56	36.01s
	Slimming	33.46%	18.90	280.35s
	Dura	14.65%	23.34	44.34s
	BalSub	86.73%	17.15	233.42s
	GSS (本文)	6.96%	29.15	0.21s

消融实验

为了严格证明门控机制（Gating）对效用保留的必要性，论文对比了 GSS 与其“无门控变体”（Ungated Variant：使用完全相同的校准方向 \((u^*, v^*)\)，但移除指示函数，对所有 token 均匀施加导引）。下表摘录自论文附录表 17（TinyMem 语言模型在不同噪声注入量下的困惑度表现，两变体记忆率均为 0.0%）：

训练噪声样本数	门控 GSS 困惑度 (PPL) ↓	无门控 Ungated 困惑度 (PPL) ↓	门控带来的 PPL 降低 (Δ)
500	58.97	62.17	-3.20
800	60.40	62.90	-2.50
1000	59.37	63.17	-3.80
1300	62.20	65.10	-2.90
1600	61.60	65.70	-4.10
1900	63.30	66.30	-3.00
2200	66.40	68.80	-2.40
2500	66.90	70.50	-3.60

关键发现

• 门控机制是兼顾消除与效用的关键分水岭：在消融实验中，无论是门控还是均匀导引都能彻底压制记忆（0.0%），但无门控均匀干预对所有正常 token 引入了恒定扰动，使语言模型困惑度全面恶化 2.4 到 4.1 个点。门控机制利用记忆信号的重尾稀疏性，确保 90% 以上的正常预测不受任何影响。
• 微调复杂推理任务上呈现泛化恢复效应：在 GSM8K 等数学与多步逻辑推理任务的帕累托前沿分析中，轻度导引强度的 GSS 甚至出现了测试集准确率高于未干预基线的现象（Normalized Utility > 1.0）。这表明在推理任务中，过拟合记忆序列本质上构成了表征流形上的高频噪声，通过门控子空间将其正交投影消除后，反而释放并恢复了底层未被过拟合遮蔽的泛化推理能力。
• 后门攻击下的高鲁棒性：静态剪枝和神经元定位方法（如 HC、Slim、Zero）在噪声场景下表现良好，但在后门触发场景下几乎全线崩溃（记忆率反弹回 100%）。GSS 在动态激活级别保持灵敏响应，在后门设置下依然稳定取得 0.0% 记忆率与高精度。

亮点与洞察

• 将局部 token 差异转化为闭式表征几何解：巧妙利用目标模型与低暴露度参考模型的相对熵差定位记忆集中的少数 token，并把复杂的参数遗忘问题抽象为在低信号协方差约束下的矩阵奇异值分解（SVD），免除了反复试错的昂贵优化开销。
• 解耦探针（Probe）与导引（Steer）角色：传统激活工程通常将检测方向与施加方向合二为一，而 GSS 证明由梯度外积矩阵的左右奇异向量分别担任探针与导引具有更严密的局部线性近似保证与更优的控制自由度。
• 即插即用且开销极低的推理期防御：无需微调训练、不更改权重文件、无破坏性永久改动，推理期前向传播仅增加单步向量点积与分支判断（耗时仅为毫秒级），非常适合作为线上大模型防提取、防投毒与版权保护的高性能实时中间件。

局限与展望

• 对参考模型质量的先验依赖：方法有效性依赖于一个“具备基础领域能力但缺乏被保护序列暴露”的参考模型。如果参考模型本身与目标模型拥有高度重叠的预训练数据，两者的对数似然比将无法提供足够信噪比的定位信号。
• 预训练全量模型上的权衡代价偏高：在没有清晰“遗忘/保留”边界的预训练模型（如 Pythia-6.9B）上，由于全量语料普遍存在不同程度的重复记忆，虽然记忆率从 89.31% 降至 6.96%，但测试困惑度相应上升了约 49.8%，效用保留裕度显著低于微调场景。
• 未来方向：探索无需显式参考模型的无监督/自对比伪似然估计手段；并将门控子空间扩展至更深层的多层联合协同干预，进一步压低预训练密集语料下的困惑度损耗。

相关工作与启发

• vs 机器遗忘（Machine Unlearning, 如 NPO、GA）：传统遗忘方法通过修改网络权重擦除指定样本，但在多步推理任务（GSM8K）上参数剧烈变动会导致推理链崩溃、效用雪崩。GSS 保持模型权重零修改，在推理阶段动态旁路矫正，完全规避了权重微调的灾难性遗忘。
• vs 知识编辑（Knowledge Editing, 如 ROME、MEMIT）：知识编辑主要针对特定实体事实三元组的局部权重重写，在开放域长序列逐字复述抑制上面临容量与泛化瓶颈。GSS 专注于表征空间的序列级动态门控，不仅计算耗时降低两个数量级，且在对话任务中构建了更优的帕累托边界。
• vs 静态激活导引（如 LEACE、AlphaSteer、LUNAR）：现有导引方法对每个位置施加统一向量平移，严重破坏非记忆 token。GSS 首次引入条件门控机制，将记忆抑制操作严格约束在探针超标的少数关键位置，实现了真正意义上的“在记忆发生之处进行缓解”。

评分

• 新颖性: ⭐⭐⭐⭐⭐ [将逐token超额似然比重尾特性与闭式SVD门控子空间导引巧妙结合，思路精巧透彻]
• 实验充分度: ⭐⭐⭐⭐⭐ [覆盖TinyMem、Pythia预训练模型、Llama/Qwen微调模型等多基准，对比基线全面且包含大量深度消融]
• 写作质量: ⭐⭐⭐⭐⭐ [数学推导严谨自洽，对局部线性代理与自回归非线性生成的效果边界分析诚实客观]
• 价值: ⭐⭐⭐⭐⭐ [为大模型隐私保护、版权序列防泄漏和轻量化推理期安全防御提供了极具工程落地价值的范式]

相关论文

• [CVPR 2026] Write Where It Matters: Policy-Guided Watermarks for 3D Gaussian Splatting
• [ACL 2026] Maximizing Local Entropy Where It Matters: Prefix-Aware Localized LLM Unlearning
• [ICLR 2026] Where Did It Go Wrong? Attributing Undesirable LLM Behaviors via Representation Gradient Tracing
• [NeurIPS 2026] Learning the Signature of Memorization in Autoregressive Language Models
• [NeurIPS 2026] Towards Mitigating Deceptive Safety Alignment in Large Reasoning Models