Rethinking LLM Fine-Tuning via Weight Space Reparameterization: Preserving Safety during Downstream Adaptation¶
会议: NeurIPS 2026
arXiv: 2610.26443
代码: https://github.com/min-seong-kim/WSR-Tune
领域: LLM 其他
关键词: 大语言模型微调, 安全保持, 权重空间重参数化, 奇异值分解, 下游适配
一句话总结¶
针对下游微调容易抹除大模型对齐安全性的痛点，本文提出 WSR-Tune，通过安全激活协方差构建正交基对权重矩阵重参数化，将分散的安全表征高度压缩至极少数坐标并予以冻结，仅更新互补子空间以兼顾下游任务性能与鲁棒防御。
研究背景与动机¶
经过指令微调与安全对齐的大语言模型在部署到专业领域时，通常需要针对具体的下游任务进行再适配。然而大量研究表明，即使下游微调所采用的数据集完全良性无害，标准的参数更新过程也会灾难性地削弱模型预先学到的安全拒绝行为，导致微调后的模型极易受到越狱攻击和对抗提示词诱导。现有安全保持方案主要尝试通过引入安全监督数据、施加参数更新约束或在原始参数空间中识别并冻结安全关键神经元与更新方向来缓解该退化，但微调性能与安全防御之间依然存在尖锐的权衡折衷。
这种安全退化的根本症结在于现有方法均局限于模型的原始标准参数坐标系中。在标准基下，权重矩阵的每一个元素仅对应一个单点坐标，而复杂的安全拒绝行为却高度弥散地分布在整个参数空间的多个更新方向之中。由于安全信息未能正交解耦，即使在原始空间中强行挑选出 10% 乃至 50% 的“关键参数”予以冻结，下游微调在更新其余自由参数时，仍会不可避免地覆写沿其他方向编码的安全特征，造成严重的“安全遗忘”与表征干扰。
本文的切入角度是跳出“在原始空间中寻找保护对象”的传统思路，转而重构参数空间本身的基底表示——既然安全表征在原始坐标下弥散，能否构造一个以安全特征为条件的重参数化坐标系，使安全信息浓缩到极少数正交基方向上？核心 idea：通过有害提示-安全拒绝样本的输入激活协方差进行奇异值分解构造正交基底，将模型权重矩阵重参数化为安全对齐坐标系，在重参数化空间中依据梯度敏感度冻结极少数关键安全系数，仅在互补子空间中执行下游任务微调。
方法详解¶
整体框架¶
WSR-Tune 的核心流程分为三个连续阶段：安全正交基构建、权重空间重参数化与敏感度掩码生成、以及互补子空间下游微调。在微调启动前，方法首先离线收集模型处理安全拒绝样本时的中间层输入激活，通过计算激活协方差矩阵并执行奇异值分解（SVD），提取出能够捕获安全特征主导方差的正交基矩阵；随后利用该正交基将目标权重矩阵投影至重参数化坐标系，并基于安全损失函数的梯度绝对值识别出对安全保留最关键的系数子集构建二值冻结掩码；在后续下游微调过程中，被掩码标记的安全核心系数梯度被截断保持不变，优化器仅更新其余互补方向的权重系数。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["安全数据集 Dsafe<br/>有害提示 + 拒绝回复"] --> B["安全条件激活收集<br/>提取各层输入激活 Hl"]
B --> C["安全条件正交基构建<br/>协方差 SVD: Hl Hl^T = Ul Σl Ul^T"]
C --> D["权重空间重参数化<br/>W~l = Wl Ul"]
D --> E["安全关键系数识别与掩码构建<br/>梯度敏感度 Gl → Top-ρ 掩码 Ml"]
E --> F["互补子空间下游微调<br/>stopgrad(W~l ⊙ Ml) + W~l ⊙ (1 - Ml)"]
F --> G["最终适配模型<br/>保持安全防御 + 提升下游任务精度"]关键设计¶
1. 安全条件正交基构建：将弥散的安全表征压缩解耦 针对原始参数空间中安全表征分散在多个维度的缺陷，该设计利用激活统计特性驱动基底构建。对于目标网络第 \(l\) 层的权重矩阵 \(W_l \in \mathbb{R}^{m_l \times n_l}\)，模型在安全数据集 \(\mathcal{D}_{\mathrm{safe}}\)（包含有害 prompt 与对应的标准拒绝回复）上前向传播，收集每个有效 token 位置的输入激活向量 \(h_l(x_i, t) \in \mathbb{R}^{n_l}\)，拼接构成全局激活矩阵 \(H_l \in \mathbb{R}^{n_l \times M}\)。随后计算其经验自协方差矩阵并执行奇异值分解： $\(H_l H_l^\top = U_l \Sigma_l U_l^\top\)$ 其中正交矩阵 \(U_l \in \mathbb{R}^{n_l \times n_l}\) 的各列向量 \(u_j\) 构成了输入空间的一组标准正交基。实证分析表明，激活协方差谱呈现极其显著的低秩长尾分布，这意味着极少数主导奇异向量便足以涵盖安全上下文的核心方差方向。
2. 权重矩阵重参数化：对齐激活空间的坐标变换 为了将权重矩阵映射至上述激活诱导的正交坐标系，论文定义了矩阵外积基 \(\phi_{ij} = v_i u_j^\top\)。在输出空间取最简单位阵 \(V_l = I\) 的设定下，第 \(l\) 层的权重矩阵被显式重参数化为： $\(\widetilde{W}_l = W_l U_l\)$ 其每个矩阵元素 \(\widetilde{W}_l(i,j) = \langle W_l, e_i u_j^\top \rangle\) 代表权重矩阵沿第 \(j\) 个安全正交方向在第 \(i\) 个输出维度的投影系数。这一线性坐标变换在微调前仅需执行一次且在微调全程中保持固定。它将原本在 \(W_l\) 中相互纠缠的安全信息，重新排列至由输入敏感度主导的结构化坐标中，使得安全相关特征高度聚集在特定列系数上。
3. 基于梯度敏感度的安全系数保护与互补微调：兼顾任务适应与安全防御 完成坐标系重构后，算法评估各个系数对维持安全拒绝行为的贡献度。在安全语料 \(\mathcal{D}_{\mathrm{safe}}\) 上反向传播计算安全损失 \(\mathcal{L}\) 相对于重参数化权重 \(\widetilde{W}_l\) 的梯度绝对值累计： $\(G_l = \sum_{x \in \mathcal{D}_{\mathrm{safe}}} \left| \frac{\partial \mathcal{L}(x)}{\partial \widetilde{W}_l} \right|\)$ 依据敏感度得分 \(G_l\)，在每层中挑选数值最高的 Top-\(\rho\) 比例的系数构建二值保护掩码 \(M_l \in \{0, 1\}^{m_l \times n_l}\)（\(M_l(i,j) = 1\) 表示受保护）。在下游任务数据集 \(\mathcal{D}_{\mathrm{task}}\) 的微调过程中，通过梯度截断（stop-gradient）冻结受保护系数，仅优化其余互补坐标： $\(\widetilde{W}_l \leftarrow \mathrm{stopgrad}(\widetilde{W}_l \odot M_l) + \widetilde{W}_l \odot (1 - M_l)\)$ 由于正交基 \(U_l\) 对协方差矩阵 \(C_l = H_l H_l^\top\) 实现了对角化，被保护子空间与互补更新子空间在经验安全激活分布下天然解耦，从而从数学上消除了下游任务梯度对关键安全投影方向的直接干扰。
损失函数 / 训练策略¶
在下游微调阶段，目标函数为下游任务的标准因果语言建模交叉熵损失： $\(\min_{\widetilde{W}} \mathcal{L}_{\mathrm{task}}(\widetilde{W} \odot (1 - M) + \widetilde{W}_0 \odot M; \mathcal{D}_{\mathrm{task}})\)$ 在全参数微调设定下，方法作用于全部 Transformer 层的注意投影矩阵（\(q, k, v\)）及 MLP 投影矩阵（\(\mathrm{up}, \mathrm{down}\)）。预处理阶段在单卡 NVIDIA B200 上耗时约 9 分 31 秒完成全部 32 层的一致性 SVD 求解，微调训练则采用 AdamW 优化器配合余弦学习率衰减，默认保护比例 \(\rho = 0.1\)。此外，该机制自然兼容参数高效微调（PEFT）：通过结合 PiSSA 式函数保持低秩初始化，将输入侧因子重参数化为 \(\widetilde{A} = A U\) 并对 \(B\) 和 \(\widetilde{A}\) 实施敏感度掩码保护（WSR-LoRA），使显存消耗与训练开销进一步下降至全量微调的约一半。
实验关键数据¶
主实验¶
主实验在 Llama-2-7B-Chat、Llama-2-13B-Chat、Llama-3.2-3B-Instruct 及 Llama-3.1-8B-Instruct 上进行全参数微调对比，下游任务分别为 GSM8K 与 MATH 数学推理。安全评估采用 AdvBench 上的 Direct Prompt 以及 AutoDAN、PAIR、PAP 三种越狱攻击的平均越狱成功率（JB AVG，越低越好）；下游性能采用 5-shot 准确率（Accuracy，越高越好）；综合指标定义为 \(\Delta_{\mathrm{Overall}} = -\Delta_{\mathrm{S}} + \Delta_{\mathrm{D}}\)。
| 模型 | 方法 | 安全 JB AVG (↓) | 安全变化 \(\Delta_{\mathrm{S}}\) (↓) | 下游 Accuracy (↑) | 任务变化 \(\Delta_{\mathrm{D}}\) (↑) | 综合得分 \(\Delta_{\mathrm{Overall}}\) (↑) |
|---|---|---|---|---|---|---|
| Llama-2-7B-Chat (GSM8K) | Full Params FT | 20.78 | 0.00 | 41.17 | 0.00 | 0.00 |
| SafeInstr | 13.55 | -7.23 | 38.44 | -2.73 | +4.50 | |
| Resta | 10.56 | -10.22 | 36.92 | -4.25 | +5.97 | |
| SEAL | 12.75 | -8.03 | 38.89 | -2.28 | +5.75 | |
| AsFT | 5.27 | -15.51 | 19.71 | -21.46 | -5.95 | |
| Lisa | 9.95 | -10.83 | 14.40 | -26.77 | -15.94 | |
| SafeDelta | 5.57 | -15.21 | 19.79 | -21.38 | -6.17 | |
| SN-Tune | 27.18 | +6.40 | 38.99 | -2.18 | -8.58 | |
| RSN-Tune | 20.73 | -0.05 | 40.26 | -0.91 | -0.86 | |
| WSR-Tune (本文) | 6.90 | -13.88 | 38.99 | -2.18 | +11.70 | |
| Llama-2-13B-Chat (GSM8K) | Full Params FT | 10.04 | 0.00 | 45.94 | 0.00 | 0.00 |
| SafeInstr | 5.82 | -4.22 | 46.55 | +0.61 | +4.83 | |
| Resta | 10.34 | +0.30 | 44.20 | -1.74 | -2.04 | |
| SEAL | 10.28 | +0.24 | 45.19 | -0.75 | -0.99 | |
| AsFT | 0.86 | -9.18 | 28.43 | -17.51 | -8.33 | |
| Lisa | 1.39 | -8.65 | 36.24 | -9.70 | -1.05 | |
| SafeDelta | 0.97 | -9.07 | 28.43 | -17.51 | -8.44 | |
| SN-Tune | 28.97 | +18.93 | 48.22 | +2.28 | -16.65 | |
| RSN-Tune | 28.79 | +18.75 | 49.96 | +4.02 | -14.73 | |
| WSR-Tune (本文) | 1.35 | -8.69 | 49.58 | +3.64 | +12.33 | |
| Llama-3.2-3B-Instruct (MATH) | Full Params FT | 8.65 | 0.00 | 21.52 | 0.00 | 0.00 |
| SafeInstr | 8.23 | -0.42 | 22.26 | +0.74 | +1.16 | |
| Resta | 8.12 | -0.53 | 20.56 | -0.96 | -0.43 | |
| AsFT | 7.11 | -1.54 | 7.76 | -13.76 | -12.22 | |
| WSR-Tune (本文) | 6.40 | -2.25 | 22.38 | +0.86 | +3.11 | |
| Llama-3.1-8B-Instruct (MATH) | Full Params FT | 9.28 | 0.00 | 12.12 | 0.00 | 0.00 |
| SafeInstr | 6.21 | -3.07 | 13.98 | +1.86 | +4.93 | |
| SEAL | 5.45 | -3.83 | 13.18 | +1.06 | +4.89 | |
| AsFT | 3.36 | -5.92 | 5.66 | -6.46 | -0.54 | |
| WSR-Tune (本文) | 5.62 | -3.66 | 13.70 | +1.58 | +5.24 |
消融实验¶
在 Llama-2-7B-Chat 模型上验证空间重参数化与重要性掩码的核心贡献，对比全参数微调、仅在原始参数空间冻结重要参数、以及完整的重参数化空间冻结。
| 实验配置 | 空间坐标系 | 掩码策略 | 安全 JB AVG (↓) | \(\Delta_{\mathrm{S}}\) (↓) | GSM8K 准确率 (↑) | \(\Delta_{\mathrm{D}}\) (↑) | 综合提升 \(\Delta_{\mathrm{Overall}}\) (↑) | 说明 |
|---|---|---|---|---|---|---|---|---|
| Full parameter FT | 原始空间 | 无冻结 (0%) | 20.78 | 0.00 | 41.17 | 0.00 | 0.00 | 安全性发生严重退化 |
| Original space + mask | 原始空间 | Top-10% 梯度敏感度 | 9.17 | -11.61 | 40.41 | -0.76 | +10.85 | 原始空间离散冻结，仍有残余泄露 |
| WSR-Tune (Full) | 重参数化空间 | Top-10% 梯度敏感度 | 6.90 | -13.88 | 38.99 | -2.18 | +11.70 | 正交基解耦，实现最佳安全保留 |
此外，针对冻结比例 \(\rho\) 的影响研究显示：当 \(\rho\) 从 1% 增加至 20% 时，越狱攻击成功率从 6.82% 稳步下降至 5.59%，GSM8K 准确率维持在 38.36% ~ 39.88% 之间的高位，证明该方法在宽泛的超参数区间内均具有稳健的权衡表现。
关键发现¶
- 重参数化优于原始空间粗粒度神经元屏蔽：SN-Tune 和 RSN-Tune 尝试在原始空间中寻找“安全关键神经元”，微调后安全防御反而严重恶化（JB AVG 激增至 27%~29%），表明安全表征具有弥散多维性，无法在原始神经元维度被局部孤立。
- 避免能力灾难性坍塌：AsFT、Lisa 和 SafeDelta 虽然也能压低越狱成功率，但其强制正则化破坏了模型的适应能力，导致下游推理精度暴跌超过 15~26 个百分点；而 WSR-Tune 通过在互补正交子空间中提供充足的自由度，几乎无损下游适应性（Llama-2-13B 甚至超过全参微调达到 49.58%）。
- 即插即用兼容性：将 WSR-Tune 叠加到现有基线（SN-Tune、SafeInstr、SEAL）上，能使后者的越狱攻击成功率进一步下降 3%~9%，同时下游精度全面提升，证明重参数化几何变换与基于数据或正则化的传统防线完全正交互补。
亮点与洞察¶
- 空间几何视角的范式转移：不同于以往在固定坐标系内“挑参数保护”或“投影过滤梯度”的被动思路，该工作首次从权重空间的基底表示切入，用数据驱动的协方差正交变换将原本弥散的安全性高度浓缩至低维子空间，提供了极具启发性的权重几何分析视角。
- 天然的激活级正交解耦性质：由于输入基 \(U_l\) 对安全协方差矩阵实现了对角化，被冻结子空间与可训练互补子空间在经验安全激活分布下自动解耦（\(P_{l,i} C_l (I - P_{l,i}) = 0\)），从数学机制上杜绝了下游梯度对安全表征的投影干扰。
- 极低的工程落地门槛：方法仅需在微调前执行一次前向统计与轻量级 SVD 分解，训练过程中无需复杂的双层优化（bilevel optimization）或对抗重放，并可直接扩展至 LoRA 架构，非常适合工业级对齐模型的定制化微调管线。
局限与展望¶
- 依赖参考安全数据的质量与覆盖面：正交基的构建和敏感度评估完全由离线安全语料 \(\mathcal{D}_{\mathrm{safe}}\)（如 Circuit Breakers 或 BeaverTails）决定；若攻击者探索了安全数据未覆盖的新颖越狱意图或全新概念边界，正交基对其潜在特征维度的浓缩能力可能减弱。
- 输出端基底选择仍较启发式：论文在输出端直接取单位阵 \(V_l = I\)，虽然消融证明该选择简单鲁棒，但理论上探索输入-输出联合双边奇异值分解或双侧安全激活对齐，可能进一步挖掘权重流形的几何潜力。
- 跨层重要性分配为均一固定比例：当前对所有注意力和 MLP 层均采用统一的冻结比例 \(\rho\)，未来可探索结合层级安全敏感度分析进行动态配额分配。
相关工作与启发¶
- vs SN-Tune / RSN-Tune (Zhao et al., 2025)：后者在原始参数空间中识别并冻结安全神经元，但由于安全表征多向弥散，原始空间的部分冻结无法阻止未冻结参数覆写安全信息，微调后安全崩溃；本文通过 SVD 重构正交基，将安全信息聚拢后冻结，从根本上解决了表征弥散痛点。
- vs SafeInstr (Bianchi et al., 2024) / SEAL (Shen et al., 2025)：后者通过下游混入安全数据或两阶段优化约束数据选择，增加了微调阶段的计算负担与数据工程难度；本文纯粹从参数几何空间实现隔离，属于模型内生性防护，且能与数据增强类方法无缝串联叠加增益。
- vs SafeLoRA (Hsu et al., 2024) / SaLoRA (Li et al., 2025)：后者在低秩适配中引入投影约束或激活零空间投影，但往往受限于低秩瓶颈并显著降低下游任务学习率；本文提出了通用的权重空间坐标变换体系，不仅适用于全参数微调，亦通过函数保持低秩初始化优雅衍生出 WSR-LoRA。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 颠覆了在原始参数空间修补的定式，首次系统性提出面向 LLM 安全保持的权重空间重参数化框架。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大主流开源模型家族、数种高难度越狱攻击、跨领域下游任务及细致的几何机制分析。
- 写作质量: ⭐⭐⭐⭐⭐ 动机清晰，数学推导与直觉论证严密自洽，图表信息表达极其直观。
- 价值: ⭐⭐⭐⭐⭐ 为开源对齐大模型的商业化下游定制化部署提供了可靠、轻量且可即插即用的安全防线。