跳转至

Routing-Aware Safety Alignment for Mixture-of-Experts Models

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/JACKPURCELL/RASAMoE-public
领域: 大模型安全
关键词: 混合专家模型 (MoE), 安全对齐, 对齐捷径, 路由一致性, 安全关键专家

一句话总结

针对稀疏混合专家(MoE)全参数安全微调容易依赖路由重定向而绕过真正有害专家的“对齐捷径”缺陷,提出路由感知专家级对齐框架 RASA,通过对抗激活差异精准识别安全关键专家,以交替双层优化实现专家参数修复与路由一致性约束,在维持通用性能的同时杜绝路由规避越狱。

研究背景与动机

混合专家(Mixture-of-Experts, MoE)语言模型凭借稀疏门控路由机制,在大幅扩充参数容量的同时维持了极高的推理效率,已成为现代主流大模型架构的核心演进方向。然而,这一在稠密模型中不存在的动态稀疏路由特性,却给模型安全对齐带来了全新的结构性脆弱漏洞。当研究人员将常规的全参数安全微调(SFT 或 RLHF/DPO)直接迁移至 MoE 模型时,优化算法往往表现出病态的“偷懒”倾向:损失函数的下降并不源于模型真正修复了负责生成有害内容的专家参数,而是通过调整路由门控的权重分配,使得有害输入被重定向至原本就具备安全偏置的良性专家,或者强行放大安全专家的输出权重。这种表面上的安全增益并未消除深层隐患,负责有害表征的“安全关键专家”(Safety-Critical Experts, SCE)依然处于未经对齐的裸露状态。

这种故障模式的根本症结在于参数更新与动态路由之间的耦合导致的“对齐捷径”(Alignment Shortcut)。由于门控路由赋予了优化空间以额外的避险自由度,模型可以通过细微的路由扰动轻易最小化训练集上的安全损失。然而,一旦面对未见过的复杂越狱攻击(如字符置换、深度认知诱导或说服性改写)或是针对路由机制的自适应白盒对抗扰动,门控网络极其容易被再次诱导激活那些潜伏的未对齐专家,导致防御全面溃败。因果因果干预实验表明,当人为将越狱提示词的路由选择强制恢复至原始未对齐模型的分布时,全参数微调模型的安全率会出现高达 38% 至 46% 的灾难性雪崩。此外,盲目惩罚或重排路由还会导致良性专家被过度激活,诱发极端严重的过度拒答(XsTest 过度拒答率飙升至 50%–97%),同时严重损耗通用基准上的推理与事实性能力。

面对这一矛盾,MoE 模型的安全对齐必须将“专家的知识修复”与“路由的路径控制”显式解耦,既要让监督信号精确击穿至产生有害表征的底层专家,又要保证路由分布的拓扑稳定性以封堵规避通道。核心 idea:提出路由感知专家级对齐框架 RASA,将 MoE 安全对齐建模为双层交替优化问题——内层通过对抗激活差异(AAD)动态定位安全关键专家(SCE)并在冻结路由下执行针对性微调注入拒绝行为,外层冻结专家参数并通过前向 KL 散度拉平对抗输入与安全锚点的路由分布,从机理上杜绝基于路由规避的对齐捷径。

方法详解

整体框架

RASA 的核心设计理念是将安全对齐解耦为两个互补的正交阶段,通过块坐标下降(Block-Coordinate Descent)交替执行双层优化。输入包含恶意意图相同的良性安全锚点提示词与越狱对抗提示词构成的混合批次。在内层优化阶段,框架首先基于门控激活频率差异动态定位对越狱特征异常敏感的安全关键专家,随后在冻结路由门控的前提下,对这些关键专家的参数进行针对性微调以注入多样化拒答表征;在外层优化阶段,框架固定所有专家参数,采用双前向策略计算锚点与对抗样本在各层的路由分布差异,利用前向 KL 散度约束门控网络,迫使对抗样本的路由分布与安全基准保持对齐。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入混合批次<br/>配对安全锚点与越狱对抗提示词"] --> B["对抗激活差异识别<br/>统计门控激活差异动态筛选Top 10-15%安全关键专家"]
    B --> C["选择性专家微调<br/>冻结路由参数向关键专家注入多样化安全拒绝表征"]
    C --> D["双前向路由一致性对齐<br/>冻结专家参数通过KL散度拉平对抗与锚点路由分布"]
    D --> E["输出对齐模型<br/>具备鲁棒防御且低过度拒答的MoE"]

关键设计

1. 对抗激活差异识别:定位负责越狱表征的安全关键专家

全参数微调无法感知哪些专家真正驱动了有害意图的转译,而传统的梯度归因方法(如积分梯度 IG)需要进行高达 32 次正反向传播,单样本检测耗时长达 1.5 分钟,难以在训练循环中实时更新。为了以极低开销精准捕捉越狱敏感组件,RASA 构建了配对混合训练批次 \(B = B_{anchor} \cup B_{adv}\),其中 \(B_{anchor}\) 为模型当前能够正确触发安全拒答的原始恶意指令,而 \(B_{adv}\) 为同一底层意图下成功绕过防御的对抗变体。框架通过在线推断严格过滤保证样本间的一对一语义对齐。对于模型各层 \(l \in \{1, \dots, L\}\) 中的每个专家 \(e \in \{1, \dots, E\}\),定义其在对抗样本与锚点样本间的对抗激活差异(Adversarial Activation Discrepancy, AAD):

\[\Delta_{l,e} = P(\text{active}_{l,e} \mid B_{adv}) - P(\text{active}_{l,e} \mid B_{anchor})\]

其中激活概率 \(P(\text{active}_{l,e} \mid X) = \frac{1}{|X|} \sum_{x \in X} H_{l,e}(x)\),而 \(H_{l,e}(x) \in \{0, 1\}\) 表示专家 \((l, e)\) 是否被该 token 的 Top-\(k\) 路由所选中。通过设定阈值 \(\tau\) 动态截取各层排名前 10%–15% 的异常高激活专家组成安全关键专家集合 \(E_{crit}^{(b)} = \{(l, e) \mid \Delta_{l,e} > \tau\}\)。AAD 仅需单次前向统计(单卡耗时约 2.4 秒,提速 40 倍),却与 IG 归因专家集合达到了 0.58–0.66 的 Jaccard 相似度(超过随机基线 9 倍)。机理分析表明,批次级高 AAD 专家在浅层网络(L0–L3)高度聚集(占比 86%–96%),直接印证了对抗提示词的表层扰动在模型底层便已诱发路由偏离。

2. 冻结路由的选择性专家微调:解耦路由直接修复专家有害参数

如果让路由参数与专家参数联合更新,优化器便会倾向于通过门控偏移来规避有害专家,从而形成对齐捷径;反之,若盲目更新全部专家,又会严重破坏良性知识与推理能力。RASA 在内层优化中将路由参数 \(\Phi\) 以及非关键专家参数 \(\Theta \setminus \Theta_{crit}\) 完全冻结,仅将可学习梯度限制在判定的关键专家参数 \(\Theta_{crit} = \{\theta_{l,e} \mid (l, e) \in E_{crit}^{(b)}\}\) 上。为了避免专家拟合单一僵硬的拒答模板(如重复输出“I cannot fulfill this request”),算法利用外部大语言模型 \(G_{ref}\) 针对对抗意图生成语言风格多样、语义完备的安全拒答目标 \(y_{ref}\),并通过标准的交叉熵目标对关键专家进行参数注入:

\[\mathcal{L}_{\text{SCE-FT}}(x, y_{ref}; \Theta_{crit}, \Phi) = - \sum_{t} \log P(y_t \mid y_{<t}, x; \Theta_{crit}, \Phi)\]

这种直接将拒答行为沉淀到底层专家表征内部的操作,切断了模型依靠路由重定向逃避监督的途径。因果必要性测试证明,若将微调后的 SCE 参数重置回原始未对齐状态,模型的防御安全率瞬间从 1.00 跌至 0.31;而因果充分性测试表明,仅将这批修复后的 SCE 参数移植到未对齐的原型模型中,安全率便由 0.10 大幅攀升至 0.74,充分证明所选专家正是承担安全防御机理的核心因果组件。

3. 双前向路由一致性对齐:拉平对抗扰动杜绝路由规避与过度拒答

单纯微调专家参数虽能解决已知攻击下的表征问题,但仍留有两个致命隐患:首先,批次挑选的关键专家集合受限于有限攻击样本,难免存在未被覆盖的微弱敏感专家,攻击者利用白盒或自适应后缀可诱导门控转向未修复的专家盲区;其次,专家参数微调改变了各专家的输出隐状态,导致门控网络对正常提示词的路由概率发生漂移,使良性敏感输入过度涌入被强化的拒答专家中。为了解决这一问题,外层优化冻结所有专家参数 \(\Theta\),使用双前向传播机制计算每层的门控分布,并迫使对抗提示词的路由选择与安全锚点拉齐。对良性锚点批次执行无梯度的前向运算,提取其平均路由分布作为稳定锚点:

\[\bar{p}_{anchor}^{(l)} = \text{sg}\left(\frac{1}{|B_{anchor}|}\sum_{x \in B_{anchor}} \text{softmax}(z_l(x))\right)\]

其中 \(\text{sg}[\cdot]\) 为停止梯度算子。随后开启梯度追踪计算对抗批次的平均路由分布 \(\bar{p}_{adv}^{(l)}(\Phi) = \frac{1}{|B_{adv}|}\sum_{x \in B_{adv}} \text{softmax}(z_l(x; \Phi))\)。最后,通过层级前向 KL 散度构建路由一致性损失函数:

\[\mathcal{L}_{router}(\Phi) = \frac{1}{L} \sum_{l=1}^L D_{\text{KL}}\left(\bar{p}_{anchor}^{(l)} \parallel \bar{p}_{adv}^{(l)}(\Phi)\right)\]

该设计并不强行阻止对抗样本激活已修复的安全专家(实验证明 RASA 的 SCE 激活率与原始模型几无差异),而是抑制对抗扰动带来的反常路由突变,使对抗输入的路由流形紧紧锚定在良性语境的拓扑结构中,不仅有效封闭了自适应路由规避通道,更平抑了门控分布对良性输入的过度敏感性。

损失函数与训练策略

RASA 采用交替式双层优化调度,总训练轮数设为 \(N=3\) 轮,在每一轮中以 \(1:1\) 的平衡步长交替执行专家微调与路由优化(即 \(E_{sce-ft} = 1, E_{rt} = 1\))。专家学习率设为 \(5 \times 10^{-5}\),路由学习率设为 \(1 \times 10^{-4}\),训练批次大小设为 16,文本最大生成长度为 128。消融研究表明,\(1:1\) 的交替调度明显优于联合优化(联合更新会导致专家专业化与路由稳定化产生梯度冲突)以及路由偏向或专家偏向的配置,实现了安全鲁棒性与通用性能的最优 Pareto 权衡。

实验关键数据

主实验

主实验在参数跨度从 1B 至 47B 的三种代表性 MoE 架构上展开:OLMoE-1B-7B(64 专家/层,Top-8 路由)、Qwen3-30B-A3B(128 专家/层,Top-8 路由)以及 Mixtral-8x7B(8 专家/层,Top-2 路由)。评估覆盖三种主流越狱攻击(FlipAttack、DeepInception、Persuasion)以及混合多攻击配置,全面考察模型的无害率(Harmlessness Rate,由 GPT-4o-mini 和 Claude 3.5 Sonnet 双重审校)、通用能力基准(MMLU、GSM8K、TruthfulQA、MATH-500、GPQA)及 XsTest 过度拒答率。

模型 对齐/攻击方法 Flip 无害率(↑) Deepin 无害率(↑) Pers 无害率(↑) MMLU GSM8K TruthfulQA MATH GPQA XsTest 过度拒答(↓)
OLMoE 原始基线 (Origin) 0.47 0.10 0.24 0.38 0.62 0.73 0.27 0.25 0.17
OLMoE RASA (FlipAttack 对齐) 1.00 0.18 0.20 0.39 0.66 0.74 0.29 0.28 0.12
OLMoE RASA (DeepInception 对齐) 0.38 1.00 0.16 0.42 0.64 0.73 0.26 0.24 0.12
OLMoE RASA (Persuasion 对齐) 0.39 0.58 1.00 0.38 0.64 0.71 0.25 0.26 0.24
OLMoE RASA (Mixed-Attack 混合对齐) 1.00 1.00 0.98 0.42 0.71 0.72 0.28 0.27 0.24
OLMoE SteerMoE (推理期抑制) 0.50 0.13 0.27 0.38 0.62 0.73 0.27 0.25 0.17
OLMoE SafeMoE-FT (Mixed 路由约束) 0.53 0.18 0.30 0.34 0.68 0.75 0.27 0.25 0.22
Qwen 原始基线 (Origin) 0.04 0.04 0.09 0.74 0.94 0.80 0.76 0.49 0.05
Qwen RASA (FlipAttack 对齐) 1.00 0.50 0.18 0.79 0.94 0.86 0.79 0.51 0.12
Qwen RASA (DeepInception 对齐) 0.02 1.00 0.19 0.80 0.92 0.87 0.75 0.47 0.09
Qwen RASA (Persuasion 对齐) 0.00 0.06 1.00 0.80 0.91 0.84 0.76 0.49 0.16
Qwen RASA (Mixed-Attack 混合对齐) 1.00 1.00 1.00 0.81 0.92 0.85 0.77 0.50 0.24
Qwen SteerMoE (推理期抑制) 0.07 0.08 0.11 0.74 0.94 0.80 0.76 0.49 0.06
Qwen SafeMoE-FT (Mixed 路由约束) 0.12 0.08 0.13 0.75 0.92 0.85 0.77 0.48 0.23

消融实验

为了直接实证“对齐捷径”假说并剖析各组件的贡献,论文设计了两组核心对比:一是通过强制恢复原始路由观测模型防御力的塌缩(路由因果恢复测试);二是在固定任务下拆解各模块对安全、通用能力及过度拒答的边际效应。

评估维度 / 模型配置 设定条件 / 攻击类型 正常路由无害率 恢复原始路由无害率 路由扰动降幅 \(\Delta\) XsTest 过度拒答率 通用表现变化说明
路由因果恢复 (OLMoE) Full-Param FT (FlipAttack) 0.99 0.61 -0.38 0.77 全参数微调高度依赖路由变动以掩盖缺陷
路由因果恢复 (OLMoE) RASA (FlipAttack) 1.00 0.94 -0.06 0.12 参数真实修复,即使恢复原始路由依然坚挺
路由因果恢复 (OLMoE) Full-Param FT (DeepInception) 1.00 0.54 -0.46 0.98 路由重置后防御塌陷近半
路由因果恢复 (OLMoE) RASA (DeepInception) 1.00 0.96 -0.04 0.12 跨路由状态保持高度鲁棒
路由因果恢复 (OLMoE) Full-Param FT (Persuasion) 1.00 0.55 -0.45 0.67 依赖路由避险导致防御脆弱
路由因果恢复 (OLMoE) RASA (Persuasion) 1.00 0.96 -0.04 0.24 防御增益完全内化于专家参数
模块剥离消融 (OLMoE) 仅微调专家 (Skip-Router) 1.00 (Flip) — — +0.12 未控路由使良性输入误入拒答专家,泛化力下降
模块剥离消融 (OLMoE) 仅对齐路由 (Skip-Expert) 0.18 (Flip) — — +0.05 仅限路由偏置,面对新对抗扰动安全率暴跌 82%
模块剥离消融 (OLMoE) 联合同步优化 (Joint-Opt) 0.94 (Flip) — — +0.11 梯度冲突损害收敛,跨攻击泛化明显劣于交替优化
模块剥离消融 (OLMoE) 随机选取专家微调 (Random) 1.00 (Flip) — — +0.22 假象安全:TQA 暴跌 0.14,过度拒答激增
白盒自适应防御 (OLMoE) 路由规避攻击 REA 攻击成功率 (ASR) 0.85 (Base) 0.60 (Full-FT) 0.12 (RASA) — REA 显式规避 SCE,RASA 封堵了路由绕道通道

关键发现

  • 对齐捷径假说的因果实证:在全参数微调模型上,一旦将 prefill 阶段的各层路由选择强制还原为未对齐模型的决策,模型在三大越狱下的无害率骤降 38%–46%;而 RASA 的无害率仅微降 4%–6%,充分证明全参数微调的安全表现主要依赖路由规避这一脆弱捷径,而 RASA 实现了对有害专家权重的物理修复。
  • 跨攻击的专家复用与泛化:单攻击对齐后的 RASA 模型在未见攻击上依然展现出显著的防御迁移性。计算不同越狱方式下识别的 SCE 集合发现,其 Jaccard 相似度高达 0.31–0.38(约为随机基准 0.07 的 5 倍),表明不同越狱提示词在底层激活了高度同源的安全关键专家群;混合多攻击训练更将无害率推升至 0.98–1.00。
  • 层级分布与高方差驱动:在 OLMoE 的 16 层结构中,86%–96% 的安全关键专家稳定富集在 L0–L3 浅层,第 5 层之后完全归零。对比批次级与全量均值 AAD 发现,浅层专家的高入选率并非因为均值更大,而是由于其批次间激活方差极高,说明对抗扰动在刚刚进入 Transformer 堆栈的前几层就已发生强烈的路由形变。
  • 白盒自适应攻防验证:针对专门设计的路由规避攻击(Routing-Evasion Attack, REA——通过自适应后缀在追求有害目标的同时显式最小化 SCE 激活),全参数微调模型的被攻破率高达 60%,而 RASA 依靠路由一致性正则将攻击成功率压低至 12%,成功切断了针对 MoE 架构的自适应逃逸路径。

亮点与洞察

  • 提出并因果论证了 MoE“对齐捷径”隐患:首次系统性揭示并严谨证明了全参数微调在 MoE 上通过门控路由“避而不修”的作弊机理,为大模型稀疏架构的安全内省开辟了全新的评估视角。
  • 轻量且即插即用的 AAD 归因机制:利用配对数据的激活频次差异替代算力昂贵的积分梯度反传,以单前向 2.4 秒的超低代价抓取到了高因果重要性的安全专家,极大降低了专家级调优的工程门槛。
  • 交替双层优化破解安全与效用矛盾:巧妙通过内层冻结路由改专家、外层冻结专家拉路由的解耦设计,消除了参数更新与门控迁移的梯度干扰,在几乎不损害 MMLU/GSM8K 等推理能力的同时严格抑制了过度拒答。

局限与展望

  • 复杂多轮自适应越狱的防御瓶颈:面对多轮自适应对话攻击(如 X-Teaming 协同 Agent),虽然基于对话前缀累积的 RASA-MT 能将无害率提升至 0.45–0.55,但仍有约半数轨迹攻破防御,多轮上下文累积下的动态路由失陷仍需更深度的建模。
  • 对安全锚点依赖的前提假设:方法依赖基座模型在良性锚点指令上能稳定输出拒答响应;若面对完全未经任何预对齐或极度脆弱的原始基座模型,如何冷启动构建高置信度的锚点路由分布仍有待解决。
  • 超大规模前沿 MoE 的实证延伸:尽管实验覆盖了从 1B 到 47B(Mixtral-8x7B)的不同规模,但受限于算力,未能在 DeepSeek-V2/V3 等超大规模或细粒度共享专家架构上进行极限验证。

相关工作与启发

  • vs SteerMoE (Fayyaz et al., 2025):SteerMoE 仅在推理阶段通过修改门控 Logits 强行抑制不安全专家,既未修改专家底层表征,也无法防御黑盒提示词对抗;RASA 属于完全在训练阶段完成的物理级参数与路由修复,推理期无额外延迟与干预。
  • vs SafeMoE-Fine-tuning (Kim et al., 2026):SafeMoE 仅通过 KL 散度约束路由分布贴近安全锚点,属于纯路由层面的正规化,未解决底层专家参数仍具危害性的硬伤;RASA 兼顾专家表征重塑与路由流形平抑,防御更具深度。
  • vs SafeX / MidPO (Lai et al., 2025; Qi et al., 2025b):此类方法通过额外挂载安全辅助专家或修改 MoE 拓扑来实现安全控制,改变了原有模型结构与路由语义;RASA 严格在原始模型参数空间内完成对齐,无需引入任何外挂模块。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次揭示并因果证实了 MoE 安全对齐中的“路由捷径”现象,提出了优雅的双层交替解耦框架。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 1B–47B 三大 MoE 架构、因果恢复实验、充分性/必要性消融及白盒自适应攻击,论据极其扎实。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑推进严谨连贯,实验图表与机理归因解释清晰透彻。
  • 价值: ⭐⭐⭐⭐⭐ 为稀疏架构的安全对齐提供了不破坏通用能力、不增加外挂参数的标准范式,工业界与学术界参考价值极高。