RotMoLE: Enhancing Mixture of Low-Rank Experts through Rotational Gating Mechanism¶

会议: NeurIPS 2026
arXiv: 2605.25565
OpenReview: https://openreview.net/forum?id=uGtHLqoW8K
论文: https://arxiv.org/abs/2605.25565
代码: 待确认
领域: 其他
关键词: 混合专家模型, MoE-LoRA, 旋转门控, 参数高效微调, 多任务学习

一句话总结¶

针对传统 MoE-LoRA 标量门控仅能调整专家输出幅值而无法改变特征方向的局限，RotMoLE 巧妙利用 LoRA 的低秩瓶颈结构，引入轻量化旋转门控与子空间投影机制，对激活专家执行二维平面旋转变换，在极低参数开销下显著拓宽专家解空间并提升多任务与多语言联合微调性能。

研究背景与动机¶

大语言模型在下游垂直领域与复杂任务的适配中，参数高效微调（PEFT）尤其是低秩自适应（LoRA）已成为标准范式。为进一步扩充模型容量并隔离不同领域的专门知识，近期研究将混合专家架构引入低秩适配器中，构建出低秩专家混合模型（MoE-LoRA）。在多任务学习与多语言联合微调等复杂场景下，MoE-LoRA 允许多个低秩专家协同分工，在保持微调参数量受限的同时提升了下游任务适配能力。然而，现有 MoE-LoRA 仍普遍沿用传统 MoE 的门控加权模式，通过路由网络为每个选中的专家分配一个归一化的标量门控值，对专家输出进行线性加权求和。

这种传统标量门控在严苛的多任务联合训练场景中暴露出严重的表征瓶颈。当专家总数受算力与存储限制时（例如专家数与激活数之比小于联合训练的任务数），多个不同的任务必须共享同一个低秩专家。标量门控本质上仅是对专家输出向量沿固定的空间方向进行范数缩放（Norm Scaling），它只能决定某个专家“贡献多少”，却无法改变其在特征空间中的“贡献方向”。若要在全量隐层维度（通常超过 4096 维）引入非约束的线性空间变换，所需的门控参数量和显存开销将呈立方级激增，彻底背离轻量微调的初衷。

本文的切入视角在于：LoRA 内部固有的极低秩维度（$r \ll d$）为低开销实现复杂的空间几何变换提供了天然切口，且任意两个非零向量之间的变换在几何上均可精确分解为所在二维子平面内的纯缩放与纯旋转。核心 idea：为 MoE-LoRA 构建可旋转门控机制（RotMoLE），在保留传统标量门控控制专家贡献幅度的同时，为每个激活的低秩专家引入自适应旋转角与投影子平面，在低秩瓶颈空间中对特征向量执行 2D 平面旋转变换，以极小参数代价大幅拓展专家组合的解空间与任务专精多样性。

方法详解¶

整体框架¶

RotMoLE 针对低秩专家混合结构进行正交几何扩展。对于输入 token 的隐层表征 $x \in \mathbb{R}^d$，传统 MoE-LoRA 的输出为预训练权重增量 $W x = W_0 x + \sum_{i \in \text{TopK}(x)} g_i B_i A_i x$，其中标量门控 $g_i$ 负责幅值缩放。RotMoLE 在每个低秩专家的下投影矩阵 $A_i \in \mathbb{R}^{r \times d}$ 与上投影矩阵 $B_i \in \mathbb{R}^{d \times r}$ 之间嵌入一个依赖于输入的正交旋转变换矩阵 $R_i \in \mathbb{R}^{r \times r}$，形成整体前向计算流程： $$W = W_0 + \sum_{i \in \text{TopK}(x)} g_i B_i R_i A_i$$

在整体管线中，标量门控网络首先根据输入 $x$ 计算 Softmax 门控分值并筛选出 Top-$k$ 个激活专家；与此同时，轻量级旋转门控网络为激活专家预测独立的旋转角度 $\theta_i$。随后，若专家秩 $r=2$，系统直接构造标准 2D 旋转矩阵；若专家秩 $r > 2$，系统借助该专家的可学习聚类中心向量，将输入低秩向量投影到二维子平面完成旋转并映射回 $r$ 维空间；最后经上投影矩阵与标量权重加权融合输出。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["输入隐层向量 x"] --> ScalingGate["标量缩放门控<br/>Softmax 筛选 Top-K 专家及权重 g"]
    Input --> RotGate["旋转门控网络<br/>独立生成周期性旋转角度 θ"]
    Input --> LowRankDown["LoRA 降维投影<br/>提取专家低秩特征 u = A_i x"]
    LowRankDown --> RankBranch{"专家秩大小"}
    RotGate --> RankBranch
    RankBranch -->|r = 2| DirectRot["2D 低秩旋转变换<br/>直接构造 2×2 正交旋转矩阵"]
    RankBranch -->|r > 2| PlaneProj["高秩旋转平面投影<br/>结合聚类中心 q_i 构建旋转矩阵"]
    DirectRot --> LowRankUp["LoRA 升维投影<br/>B_i 映射回原始隐藏维度 d"]
    PlaneProj --> LowRankUp
    ScalingGate --> WeightedAggregation["专家加权聚合<br/>按标量权重 g_i 聚合各专家输出"]
    LowRankUp --> WeightedAggregation
    WeightedAggregation --> FinalOutput["最终输出<br/>与主干权重残差相加 W_0 x + ∑ g_i B_i R_i A_i x"]

关键设计¶

1. 旋转门控网络：独立周期性角度生成与零初始化 传统标量门控采用 Softmax 进行全局竞争与归一化，以维持隐层状态尺度的数值稳定性。然而，几何旋转操作在物理上是各个专家彼此独立的，强制归一化反而会制约专家的独立表征空间；此外，旋转角具有内在的 $2\pi$ 周期性，若使用无界线性回归极易引发训练不稳定性。为此，RotMoLE 采用专用的线性门控网络并配合 Sigmoid 激活函数，将每个专家的旋转角限制在单周期 $[-\pi, \pi]$ 范围内： $$\theta = \Theta(x) = 2\pi \cdot \text{Sigmoid}(x \cdot W_\theta) - \pi$$ 其中门控权重 $W_\theta$ 在训练之初初始化为全 0。这一设计具有关键数学优势：零初始化使得初始旋转角 $\theta = 0$，保证了训练起始阶段模型完全退化为传统 MoE-LoRA，确保平滑预热；同时，Sigmoid 函数在 0 附近导数最大、敏感度最高，能够促使模型在初期快速学习旋转偏置，而在绝对值较大时渐近饱和，保障了后期微调的收敛稳定性。值得注意的是，稀疏专家的 Top-$k$ 选取依然严格遵从标量门控 $g$，因为标量反映了专家的绝对重要性，而旋转门控专门负责拓展专家被激活时的表征多样性。

2. 2D 低秩旋转变换：二维瓶颈空间的直接正交变换 当 LoRA 专家的秩设定为 $r=2$ 时，输入在低秩瓶颈处的隐向量 $A_i x$ 本身就处于二维几何平面内。传统标量门控仅能在此二维空间中沿固定基底拉伸向量，组合后的解空间被严格限制在两条射线的连线段上。RotMoLE 在 $r=2$ 的场景下，无需引入任何额外子空间参数，直接将旋转角 $\theta_i$ 转化为标准的二维 Givens 旋转矩阵： $$R_i = \begin{pmatrix} \cos\theta_i & -\sin\theta_i \\ \sin\theta_i & \cos\theta_i \end{pmatrix}$$ 该正交旋转矩阵直接插入 $A_i$ 与 $B_i$ 之间，即 $B_i R_i A_i$。由于正交变换保范数（Norm-preserving），它不会破坏特征尺度的稳定性，同时彻底打破了固定方向的束缚，使 2 专家组合的解空间从一维线段大幅扩展为二维扇面，整体额外引入的可学习参数量仅为门控矩阵 $W_\theta$ 的 $d \times n$。

3. 高秩旋转平面投影：中心向量引导的子空间动态旋转 当专家秩扩展至实用中更常见的 $r > 2$ 时，在 $r$ 维空间中实施旋转面临根本困难：除了旋转角 $\theta_i$，还需要显式指定旋转所在的二维子平面 $\mathcal{P}_i$。若通过类似门控网络为每个 token 输入动态预测一个平面的基底向量，将引入 $d \cdot n \cdot r$ 的巨大参数量。为解决这一难题，RotMoLE 巧妙利用了 MoE 专家的聚类聚合先验：被路由到同一个专家 $i$ 的输入 $x$ 必然具有语义相近性，其在低秩空间的投影 $A_i x$ 呈现围绕某一聚类中心分布的簇状特征。因此，RotMoLE 为每个专家分配一个可学习的 $r$ 维聚类中心向量 $\boldsymbol{q}_i \in \mathbb{R}^r$。旋转子平面被严格约束为由当前输入嵌入 $A_i x$ 与中心向量 $\boldsymbol{q}_i$ 共同张成，即 $\mathcal{P}_i(x) = \text{span}(\boldsymbol{q}_i, A_i x)$。通过 Gram-Schmidt 过程构建子平面的两组正交归一基向量： $$\boldsymbol{e}_{1,i} = \frac{A_i x}{|A_i x|}, \quad \boldsymbol{e}_{2,i}^* = \boldsymbol{q}_i - (\boldsymbol{q}_i \cdot \boldsymbol{e}_{1,i})\boldsymbol{e}_{1,i}, \quad \boldsymbol{e}_{2,i} = \frac{\boldsymbol{e}_{2,i}^*}{|\boldsymbol{e}_{2,i}^*|}$$ 随后将 2D 旋转矩阵投影扩展回 $r$ 维空间： $$R_i = \begin{pmatrix} \boldsymbol{e}_{1,i} & \boldsymbol{e}_{2,i} \end{pmatrix} \begin{pmatrix} \cos\theta_i & -\sin\theta_i \\ \sin\theta_i & \cos\theta_i \end{pmatrix} \begin{pmatrix} \boldsymbol{e}_{1,i}^T \\ \boldsymbol{e}_{2,i}^T \end{pmatrix}$$ 该机制直观上代表了特征向量朝向或背离专家聚类中心的旋转自适应，成功在极度精简的参数增量（全网仅增加 $(d+r)n$ 个参数）下实现了高维空间中动态且保范数的子空间旋转。

损失函数 / 训练策略¶

RotMoLE 是一种纯粹的前向路由结构改进，无需额外引入辅助损失（如负载均衡损失或正交对比损失），完全沿用下游任务的标准交叉熵损失进行端到端优化。在多任务与多语言联合学习（MJL）中，训练批次被严格等分为各个任务或语言的样本，以增强任务冲突难度并检验专家的容量上限。在参数初始化方面，主模型预训练权重全部冻结；LoRA 的 $A_i$ 矩阵采用高斯初始化，$B_i$ 矩阵全零初始化；旋转门控权重 $W_\theta$ 全零初始化；中心向量 $\boldsymbol{q}_i$ 采用 Kaiming 均匀初始化。在优化器配置上，统一采用 SGD 优化器与线性学习率衰减策略（基础学习率 3e-4，GLM-4-9B 采用 9e-4），适配模块插入在各模型前四分之一网络层（如 Llama-3.2-3B 前 7 层，Qwen-2.5-3B 前 9 层）的注意力投影层中。

实验关键数据¶

主实验¶

论文在多任务联合学习（Mixed QA 与 Mixed GLUE）及多语言联合学习（MTG 标题生成与 XNLI）上展开全面对比。下表展示了在 Llama-3.2-3B 与 Qwen-2.5-3B 上进行多任务问答联合微调的核心精度对比（涵盖 $r=2, 3$ 以及 Dense/Sparse MoE 配置）：

基座模型	专家秩 $r$	配置 $(n, k)$	方法	CSQA	OBQA	SIQA	平均准确率	相对提升	跨任务波动率 (Std./Avg.)
Llama-3.2-3B	2	2, 2	MoE-LoRA	34.73	42.60	42.48	39.93	-	0.09
Llama-3.2-3B	2	2, 2	RotMoLE	40.21	43.80	43.86	42.62	+6.74%	0.04
Llama-3.2-3B	2	4, 2	MoE-LoRA	36.94	40.80	41.15	39.63	-	0.05
Llama-3.2-3B	2	4, 2	RotMoLE	38.90	41.80	43.91	41.54	+4.82%	0.05
Llama-3.2-3B	3	2, 2	MoE-LoRA	38.57	37.00	40.43	38.67	-	0.04
Llama-3.2-3B	3	2, 2	RotMoLE	43.57	41.80	42.27	42.55	+10.03%	0.02
Llama-3.2-3B	3	4, 2	MoE-LoRA	35.95	41.20	36.34	37.83	-	0.06
Llama-3.2-3B	3	4, 2	RotMoLE	37.67	38.20	42.27	39.38	+4.10%	0.05
Qwen-2.5-3B	2	2, 2	MoE-LoRA	61.18	56.40	56.09	57.89	-	0.04
Qwen-2.5-3B	2	2, 2	RotMoLE	64.13	56.80	60.75	60.56	+4.61%	0.05
Qwen-2.5-3B	2	4, 2	MoE-LoRA	60.20	52.60	55.48	56.09	-	0.06
Qwen-2.5-3B	2	4, 2	RotMoLE	64.05	60.40	60.85	61.77	+10.13%	0.03
Qwen-2.5-3B	3	2, 2	MoE-LoRA	59.62	56.20	57.22	57.68	-	0.02
Qwen-2.5-3B	3	2, 2	RotMoLE	62.24	57.60	58.14	59.33	+2.86%	0.03
Qwen-2.5-3B	3	4, 2	MoE-LoRA	63.06	57.00	56.65	58.91	-	0.05
Qwen-2.5-3B	3	4, 2	RotMoLE	63.88	57.60	57.63	59.70	+1.34%	0.05

在多语言标题生成（MTG）任务中，RotMoLE 在不同语言（英、中、西、法、德）及不同 MoE 架构下均维持优势：在 $(r=4, n=5, k=3)$ 配置下，平均 Rouge-L 从基线的 22.64 提升至 24.06；在与其他前向路由变体（MoCLE、MoLA、AdaMoLE）的横向对比中，在 Qwen-2.5-3B ($r=6, n=4, k=2$) 上，RotMoLE 取得 45.82 平均分，大幅领先 AdaMoLE 的 41.42 与 MoLA 的 35.66。

消融实验¶

为排除性能提升源自参数量微增的假象，论文在混合 GLUE 任务（Llama-3.2-3B, $r=4, n=5, k=3$）上对比了等参数量的双层 MLP 门控基准（隐层维度 $H \approx 2n = 10$），并进一步在更大基座 GLM-4-9B 上验证模型可扩展性：

评估维度	模型 / 实验配置	评测方法	核心指标表现	说明 / 核心结论
门控结构消融	GLUE (Llama-3.2-3B, $r=4$)	线性门控 MoE-LoRA	SST-2: 88.76, MRPC: 69.19, QNLI: 61.63 (均值: 73.19)	传统标量线性路由基线
门控结构消融	GLUE (Llama-3.2-3B, $r=4$)	等参数量 MLP 门控	SST-2: 89.56, MRPC: 69.16, QNLI: 58.19 (均值: 72.30)	参数虽等价但陷入简单任务过拟合，均值下降 0.89
门控结构消融	GLUE (Llama-3.2-3B, $r=4$)	RotMoLE (本文结构)	SST-2: 89.22, MRPC: 69.21, QNLI: 61.83 (均值: 73.42)	几何旋转带来本质提升，显著优于等参数量 MLP
模型规模扩展	GLM-4-9B ($r=2, n=2, k=2$)	MoE-LoRA vs RotMoLE	45.42 → 52.23 (提升 +6.81)	大基座下仍保持绝对优势
模型规模扩展	GLM-4-9B ($r=2, n=4, k=2$)	MoE-LoRA vs RotMoLE	39.30 → 54.11 (提升 +14.81)	专家受限时旋转门控提升最显著
模型规模扩展	GLM-4-9B ($r=3, n=2, k=2$)	MoE-LoRA vs RotMoLE	47.76 → 67.42 (提升 +19.66)	极度共享场景下多任务泛化能力跃升
模型规模扩展	GLM-4-9B ($r=3, n=4, k=2$)	MoE-LoRA vs RotMoLE	54.30 → 71.75 (提升 +17.45)	在高秩下旋转平面投影展现强大表征能力

关键发现¶

专家极度受限时增益最剧烈：在候选专家总数极小（如 $n=2$）即多个任务被迫强行共享同一个低秩模块的设定下，RotMoLE 的相对性能跃升最为突出（如 GLM-4-9B 下提升超 14~19 个绝对百分点）。这有力证实了旋转门控在同个专家内部通过旋转角度解耦任务表征的核心假设。
简单增加门控容量会加剧任务失衡：消融表明将线性门控换为等参数量 MLP 会导致模型在简单子任务（SST-2）上过早收敛并过拟合，从而抑制了较难子任务（QNLI）的更新空间；而 RotMoLE 的正交旋转不增加幅度冗余，呈现更优的跨任务平衡度与抗过拟合能力。
隐层探针展现任务正交分化：中间层旋转角度分布可视化证明，随着训练推进，各子任务的旋转角度分布逐渐展宽并在均值上显著分离，直观验证了模型自发利用旋转偏置对多任务进行了正交特征解耦。

亮点与洞察¶

将高维几何变换解耦于 LoRA 瓶颈层：在全量隐藏层上构建旋转或仿射变换因二次/三次复杂度而在工程上不可行，而作者敏锐地抓住 LoRA 瓶颈层极小秩（$r \le 6$）的物理特性，在低维空间轻量化实现 2D 正交旋转变换，以接近零的开销换取了解空间的本质扩展。
零初始化与 Sigmoid 单周期映射的稳定设计：旋转角度的周期性容易带来严重的优化不稳定性。采用全零初始化保持向后兼容，结合 Sigmoid 的中心高灵敏与两端饱和特性，完美解决了旋转门控在深度网络训练中的收敛与震荡难题。
基于簇中心的二维子平面降维技巧：针对 $r > 2$ 时高维旋转平面难以参数化的问题，提出以专家聚类中心 $\boldsymbol{q}_i$ 与输入特征张成平面的物理假设，避免了引入高阶门控矩阵，这种利用领域先验约束自由度的设计极具工程与学术启发性。

局限与展望¶

评估范畴局限于监督微调阶段：当前实验全部在有监督微调（SFT）下的多任务与多语言联合学习上展开，尚未验证其在多任务强化学习（如基于规则或奖励模型的 GRPO/PPO 流程）中的鲁棒性与表现。
高阶旋转平面仅考虑了单一主平面：在秩 $r$ 较大时，高维空间中理论上可以存在多个独立的旋转子平面（即多个平面复合旋转），而本文仅选取了由单一聚类中心张成的单个 2D 子平面进行旋转，高维正交子空间的利用率仍有待进一步挖掘。
旋转分布与任务相似度的理论关联有待深化：尽管实验观察到不同任务的旋转角呈现分化，但任务语义重合度、任务转移梯度与最优旋转夹角之间的定量理论关联尚未完全形式化。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用低秩瓶颈实现轻量级子空间正交旋转，思路独特且数学优雅。
实验充分度: ⭐⭐⭐⭐☆ 覆盖多种语言模型、任务混合、语言生成以及等参数量消融，数据详实。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述自然流畅，数学推导清晰且与图示高度自洽。
价值: ⭐⭐⭐⭐☆ 为受限算力下的多任务与多语言参数高效微调提供了即插即用的优质构件。

评估维度	模型 / 实验配置	评测方法	核心指标表现	说明 / 核心结论
门控结构消融	GLUE (Llama-3.2-3B, \(r=4\))	线性门控 MoE-LoRA	SST-2: 88.76, MRPC: 69.19, QNLI: 61.63 (均值: 73.19)	传统标量线性路由基线
门控结构消融	GLUE (Llama-3.2-3B, \(r=4\))	等参数量 MLP 门控	SST-2: 89.56, MRPC: 69.16, QNLI: 58.19 (均值: 72.30)	参数虽等价但陷入简单任务过拟合，均值下降 0.89
门控结构消融	GLUE (Llama-3.2-3B, \(r=4\))	RotMoLE (本文结构)	SST-2: 89.22, MRPC: 69.21, QNLI: 61.83 (均值: 73.42)	几何旋转带来本质提升，显著优于等参数量 MLP
模型规模扩展	GLM-4-9B (\(r=2, n=2, k=2\))	MoE-LoRA vs RotMoLE	45.42 → 52.23 (提升 +6.81)	大基座下仍保持绝对优势
模型规模扩展	GLM-4-9B (\(r=2, n=4, k=2\))	MoE-LoRA vs RotMoLE	39.30 → 54.11 (提升 +14.81)	专家受限时旋转门控提升最显著
模型规模扩展	GLM-4-9B (\(r=3, n=2, k=2\))	MoE-LoRA vs RotMoLE	47.76 → 67.42 (提升 +19.66)	极度共享场景下多任务泛化能力跃升
模型规模扩展	GLM-4-9B (\(r=3, n=4, k=2\))	MoE-LoRA vs RotMoLE	54.30 → 71.75 (提升 +17.45)	在高秩下旋转平面投影展现强大表征能力