SLDR: Defending Against Malicious Fine-tuning via Selective Layers Recovery and Dynamic Routing

会议: NeurIPS 2026
arXiv: 2610.10345
OpenReview: https://openreview.net/forum?id=jjuXPhJpD0
代码: https://github.com/Stardust457/SLDR
领域: LLM 安全
关键词: 恶意微调防御, 符号敏感度诊断, 选择性层恢复, 动态路由, 大语言模型对齐

一句话总结

针对恶意微调破坏大语言模型拒绝行为的问题，本文提出基于符号层级敏感度诊断的选择性恢复与动态路由防御方法（SLDR），仅在敏感度极值层训练 LoRA 恢复适配器并按恶意表征动态激活，在消除有害输出的同时完全保留下游任务效用。

研究背景与动机

微调即服务（Fine-tuning-as-a-service）使得用户能够基于自有数据对已对齐的大语言模型进行领域适配，极大推动了垂直领域的定制化应用。然而，该接口天然对恶意攻击者敞开：攻击者仅需在大量良性任务数据中掺杂极少量的恶意指令-回答对（例如 5% 到 10% 的有害毒化数据），即可在保持下游任务能力的同时彻底瓦解模型的安全护栏，使其在面对违法违规或危险提示词时顺从生成有害内容。这给模型服务商提出了极其严峻的恢复挑战：如何在不破坏用户良性任务适配收益的前提下，低成本且彻底地修复模型的拒答能力。

现有的防御策略主要分为两类，但均面临难以调和的安全性与效用性权衡。第一类防御发生在微调阶段或对齐前，试图通过约束参数更新、数据过滤或双层优化来限制恶意梯度的学习；这类方法高度依赖微调流水线的白盒干预，不仅计算开销大，而且对未见过的自适应攻击泛化能力有限。第二类防御则在微调完成后进行后处理修复，如对全局模型权重施加扰动或硬剪枝；然而这种粗粒度的模型级干预将安全恢复与任务知识严重纠缠，在抑制恶意输出的同时往往导致下游任务准确率大幅断崖式下跌。

更深入的机制研究表明，模型的安全拒答行为在网络各层间的分布极不均匀。然而，以往的层级安全诊断方法仅能定位哪些层与安全相关，却无法区分每个层对拒答行为的影响方向——即强化某一层的权重究竟是增强了拒答，还是削弱了拒答。核心 idea：拒答敏感度具有明确的正负符号方向性；通过轻量探针测定符号层级敏感度谱，仅在谱系两端的极值层（最大促进层与最大抑制层）训练微型 LoRA 恢复适配器，并在推理阶段依据表征余弦间距动态路由激活，实现安全拒答与下游任务效用的完全解耦。

方法详解

整体框架

SLDR 的核心流水线分为三大阶段：符号层级敏感度诊断（Signed Layer-wise Diagnosis）、两阶段微调与选择性安全恢复（Selective Layers Recovery）、以及基于表征的动态路由推理（Representation-based Dynamic Routing Inference）。首先，在原始对齐模型上通过扰动探测计算每一层的符号敏感度得分 \(\kappa_l\)，选出增强拒答最强层 \(l_{\max}\) 与削弱拒答最强层 \(l_{\min}\)；其次，在用户提交的数据完成下游任务微调后，冻结全模型参数，仅在 \(l_{\max}\) 与 \(l_{\min}\) 上使用极少量安全数据训练轻量 LoRA 恢复适配器；最后，在推理阶段提取测试提示词在关键层的隐层表征，计算其与良性/恶意锚点集合的余弦相似度差距，仅在判定为恶意输入时激活安全适配器，良性查询则无缝直通微调模型。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["原始对齐模型与过度拒答集"] --> B["符号层级诊断：权重缩放探针<br/>测算各层拒答增量得分 κ"]
    B --> C["极值层选择<br/>锁定增强层 l_max 与抑制层 l_min"]
    C --> D["下游任务微调<br/>用户混合数据训练任务权重"]
    D --> E["选择性安全恢复<br/>仅在 l_max 和 l_min 训练 LoRA 适配器"]
    E --> F["测试查询输入与隐状态提取<br/>提取 l_max 归一化表征向量"]
    F --> G["动态路由判别<br/>计算恶意与良性锚点余弦相似度差距"]
    G -->|恶意得分 > 0| H["激活安全适配器：执行拒答输出"]
    G -->|恶意得分 ≤ 0| I["直通微调模型：保留完整任务能力"]

关键设计

1. 符号层级诊断：量化网络各层对拒答行为的双向因果效应

传统层级探测方法通常只通过激活范数或梯度幅值寻找敏感层，无法指示参数调控的方向效应。SLDR 提出利用带有安全敏感词的良性过度拒答数据集 \(\mathcal{D}_{\text{reject}}\)（例如包含“kill time”等歧义表述的良性指令），在微调前对对齐模型逐层执行权重缩放探针。具体而言，对模型第 \(l\) 层的注意力及前馈网络全部权重矩阵放大或缩小 \((1 \pm \alpha)\) 倍（候选缩放因子 \(\alpha \in \{0.1, 0.2\}\)），并统计模型在过度拒答集上的拒答次数变化：

\[c_l^{\pm}(\alpha) = \left|\left\{x \in \mathcal{D}_{\text{reject}} \mid \text{IsRefusal}\left(\mathcal{M}_{l,\alpha}^{\pm}(x)\right) = \text{True}\right\}\right|\]

该层归一化的符号敏感度得分定义为双向缩放下的最大拒答次数差值：

\[\kappa_l = \max_{\alpha \in \mathcal{A}} \frac{c_l^{+}(\alpha) - c_l^{-}(\alpha)}{\alpha}\]

当 \(\kappa_l > 0\) 时，表明强化该层参数会显著激发拒绝倾向；而当 \(\kappa_l < 0\) 时，表明强化该层反而会压制拒答、诱导顺从。这一诊断揭示出网络中绝大多数层得分接近 0（对拒答中性），而关键影响高度富集在两端的极值层。

2. 极值层双端选择性恢复：以最小扰动重构拒答回路

在模型经历潜在恶意的下游任务微调（生成受损模型 \(\mathcal{M}_{\text{att}}\)）后，全局回退或全参数对齐会彻底冲刷掉学到的任务知识。SLDR 依据前序诊断结果，精确定位符号谱系的两端极值：

\[l_{\min} = \arg\min_{l} \kappa_l, \quad l_{\max} = \arg\max_{l} \kappa_l\]

防御方仅在这两个特定层上挂载轻量 LoRA 适配器（秩 \(r=32\)），使用极小规模的公开安全对齐集 \(\mathcal{D}_{\text{safe}}\)（仅需 100 条样本）进行条件恢复训练，其余所有层保持冻结。其机制依据在于：\(l_{\max}\) 作为正向核心枢纽负责重新激活拒答特征路径，而 \(l_{\min}\) 往往是恶意微调中最容易被攻击者参数漂移利用来瓦解防御的脆弱点，对其针对性纠偏能有效修补拒答抑制漏洞。由于参数更新被严格限制在两个网络层内，下游任务的参数子空间几乎不受破坏。

3. 表征空间动态路由推理：消除安全机制对良性任务的旁路干扰

即使仅微调两层 LoRA，如果全局无差别对所有推理请求生效，依然会在语法结构复杂的良性任务上造成边际精度损失。为此，SLDR 构建了轻量级表征余弦动态路由器。选取两组极小规模（各 \(N=100\) 条）的有害参考提示集 \(\mathcal{D}_{\text{harmful}}\) 和良性参考提示集 \(\mathcal{D}_{\text{benign}}\)，预先抽取恢复模型在 \(l_{\max}\) 层最后一个 token 的 \(\ell_2\) 归一化隐层表征，构建参考特征库 \(\mathcal{R}_u\) 与 \(\mathcal{R}_s\)。对于任意在线测试输入 \(x^{\text{test}}\)，直接提取其对应层表征并计算对两组锚点的平均余弦相似度间距：

\[S_{\text{malicious}}(x^{\text{test}}) = \frac{1}{N} \sum_{i=1}^{N} \left( \cos\left(r(x^{\text{test}}), r(x_i^{\text{harmful}})\right) - \cos\left(r(x^{\text{test}}), r(x_i^{\text{benign}})\right) \right)\]

系统以 \(\tau = 0\) 为默认阈值，当且仅当 \(S_{\text{malicious}}(x^{\text{test}}) > \tau\) 时才将请求分流至挂载了安全恢复适配器的 \(\mathcal{M}_{\text{rec}}\) 执行防御输出；良性任务请求直接由微调模型 \(\mathcal{M}_{\text{att}}\) 输出，在推理时延仅增加 0.017 秒的代价下，实现了零代价保护下游任务效用。

损失函数 / 训练策略

在第一阶段下游任务微调中，使用 LoRA 对注意力权重进行常规因果语言建模训练（AdamW 优化器，学习率 \(1 \times 10^{-5}\)，权重衰减 0.1，批大小 10，训练 20 轮，AlpacaEval 训练 100 轮）。在第二阶段选择性安全恢复中，使用微型安全数据集（\(|\mathcal{D}_{\text{safe}}| = 100\)），固定主干及任务参数，仅优化 \(l_{\min}\) 与 \(l_{\max}\) 处的 LoRA 适配器，训练目标为最小化负对数似然：

\[\min_{\Delta\theta_{\text{recovery}}} \mathbb{E}_{(x_{\text{harm}}, y_{\text{safe}}) \sim \mathcal{D}_{\text{safe}}} \left[ -\log p_{\theta_{\text{att}} + \Delta\theta_{\text{recovery}}}(y_{\text{safe}} \mid x_{\text{harm}}) \right]\]

恢复阶段采用更高的初始学习率 \(5 \times 10^{-4}\)，在 10 到 20 轮内即可实现快速收敛。

实验关键数据

主实验

在 Llama3.1-8B-Instruct 模型与 SST2 情感分类任务上，微调样本量固定为 1000，恶意毒化比例从 0%（clean）测试至 20%（\(\rho = 0.2\)）。下游任务使用微调准确率（Finetune Accuracy, FA ↑），安全性使用 Llama-Guard-3 判定的有害得分（Harmful Score, HS ↓，越低越好）。

方法	类型	平均有害得分 (HS ↓)	平均微调准确率 (FA ↑)	\(\rho=0.2\) 时 HS ↓	\(\rho=0.2\) 时 FA ↑
SFT (无防御)	基线	11.54	92.39	20.90	92.55
Lisa	微调期防御	1.70	74.17	1.70	74.20
Antidote	后处理剪枝	1.50	84.86	1.50	84.86
Panacea	权重自适应扰动	5.20	89.29	7.80	89.22
STAR-DSS	动态安全整形	1.52	85.48	1.70	85.67
BDS	贝叶斯数据调度	1.68	91.79	2.20	91.40
One-shot FT	单样本重对齐	4.14	90.55	4.50	90.14
SLDR (本文)	选择性恢复+路由	0.08	92.32	0.20	92.55

在跨模型评估中，SLDR 在多种架构上均表现出卓越的防御性能：在极度脆弱的 Mistral-7B-v0.2（SFT 有害得分高达 49.40）上，SLDR 将有害得分骤降至 0.10，且准确率保持在 95.07（SFT 为 95.18）；在 Qwen2.5-7B 上有害得分降至 0.20（FA 94.61）。在复杂代码生成任务 Magicoder (HumanEval) 上，SLDR 取得 0.10 的有害得分，pass@1 准确率达到 59.76，完全持平 SFT。

消融实验

为了验证极值层组合以及动态路由机制（RDRI）的必要性，论文在不同网络层配置及路由开关下进行了系统消融。

配置变体	测试基准 / 模型	有害得分 (HS ↓)	微调准确率 (FA ↑)	结论与机制说明
仅恢复 \(l_{\min}\) 层	Qwen2.5 / SST2	0.80	94.95	仅修复抑制点，未主动强化拒答，仍有残余风险
仅恢复 \(l_{\max}\) 层	Qwen2.5 / SST2	0.20	94.72	虽降低毒性但未修补脆弱层，泛化稳健性较弱
恢复其他中间中性层	Qwen2.5 / SST2	0.90	94.61	敏感度接近 0 的层缺乏拒答重构能力，表现最差
完整双极值 \(l_{\min} + l_{\max}\)	Qwen2.5 / SST2	0.20	94.61	双端兼顾修复与强化，在各架构上表现最稳定
移除动态路由 (w/o RDRI)	Llama3.1 / AGNEWS	0.10	72.70	全局强制使用恢复适配器，良性任务遭遇断崖式掉点（-11.6%）
保留动态路由 (w/ RDRI)	Llama3.1 / AGNEWS	0.30	84.30	动态辨别恶意与良性，彻底保全下游复杂分类精度

关键发现

• 极值两端协同恢复至关重要：在 Mistral-v0.2 上，\(l_{\min} + l_{\max}\) 协同配置达成了最优的 0.10 有害得分与 95.07 准确率。单端恢复只能修补一半的拒答失效链条，而随机选择中间中性层则几乎无法恢复对齐。
• 动态路由成功解耦安全与效用冲突：消融表明，移除动态路由后 AGNEWS 准确率直接由 84.30 骤降至 72.70。这表明即使恢复适配器仅更新极少参数，全局静态挂载仍会干扰良性复杂语境，动态路由是确保效用零损失的关键护城河。
• 极端毒化比例下的极限防御力：在毒化比例提升至极限的 \(\rho = 0.9\)（良性与有害数据比为 1:9）乃至 \(\rho = 1.0\)（全有害微调）时，SFT 的有害得分暴涨至 36.70，主流强基线 BDS 上升至 3.60，而 SLDR 的有害得分稳定保持在 0.20，且准确率毫无退化。

亮点与洞察

• 发现大模型安全敏感度的符号方向性：突破了以往研究仅定位“安全层在哪”的局限，首次系统揭示了不同网络层在受到扰动时具有相反的因果效应（正向促进 vs 负向压制），为精准对齐提供了全新的拓扑视角。
• 两端极值层四两拨千斤的高效架构：不改动全网权重，仅定位符号谱系两极的两个关键层训练极轻量的 LoRA 补丁，凭借仅 100 条安全样本即完成了全模型拒答回路的修复，展现出极高的参数与数据效率。
• 特征距离差值路由策略：在关键特征层构建双极锚点余弦相似度差分判定机制，不仅判别准确率高（AUROC 达 100%），而且避免了引入额外的判别器模型，单样本推理开销仅增加 17 毫秒。

局限与展望

• 防御阶段仅兼容参数高效微调：当前方法在安全恢复阶段依赖 LoRA 机制对指定两层进行适配，尚未探索全参数级别的轻量层级受限重对齐。
• 对极端越狱表征偏移的残余脆弱性：在低资源语言编码攻击（如 Zulu，有害得分达 61.53）等非分布攻击下，隐层表征发生严重漂移，可能导致动态路由器判定失效，未来需进一步研究针对语言混淆与隐写输入的鲁棒路由机制。
• 大参数规模扩展验证：受限于实验算力，论文主要在 7B/8B 规模的主流开源模型上进行了验证，尚未在 70B 及以上超大规模模型上对符号敏感度分布规律进行广泛统计。

相关工作与启发

• vs Antidote / Panacea (后处理扰动与剪枝)：Antidote 依赖模型剪枝，Panacea 依赖优化全局自适应权重加噪，两者均对模型全局进行不可逆修改，容易损伤良性任务效用（SST2 下降 3 到 7 个点）；SLDR 采用层级局部适配器与按需动态路由，实现下游任务精度几乎零损失。
• vs Safety Layers / LARF (层级安全诊断)：Safety Layers 仅度量敏感度幅值并尝试在微调时冻结安全层，无法应对黑盒微调服务，且忽略了正负影响方向；SLDR 提出了带符号的敏感度分析，挖掘出促进层与抑制层的双极价值，并成功落地于事后防御阶段。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次揭示层级安全敏感度的正负符号方向性，并据此设计极值层恢复与动态路由机制，构思新颖。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 种主流模型架构、5 种下游任务、4 个有害评测基准，并涵盖极限毒化比例与越狱测试，论据详实。
• 写作质量: ⭐⭐⭐⭐⭐ 框架清晰，问题驱动明确，方法形式化推导严密且逻辑严谨。
• 价值: ⭐⭐⭐⭐⭐ 为微调即服务（FaaS）平台的安全合规落地提供了极具实用性、极低计算开销且不损商业效用的成熟方案。

相关论文

• [NeurIPS 2026] Residual Paving: Diagnosing the Routing Bottleneck in Selective Refusal Editing
• [NeurIPS 2026] Dialectics of Alignment: Harnessing Unsafe Knowledge for Dynamic Safety Routing
• [ICLR 2026] SafeMoE: Safe Fine-Tuning for MoE LLMs by Aligning Harmful Input Routing
• [NeurIPS 2026] The Geometry of Alignment Collapse: When Fine-Tuning Breaks Safety
• [NeurIPS 2026] AnchorRep: Defending LLMs Against Cross-Model Adversarial Transfer via Representation Repulsion