MetaMoE: Diversity-Aware Proxy Selection for Privacy-Preserving Mixture-of-Experts Unification¶

会议: ICML 2026
arXiv: 2605.14289
代码: GitHub
领域: 隐私保护学习 / Mixture-of-Experts / 模型合并
关键词: MoE 统一, 隐私保护, DPP 多样性, 代理数据, 路由训练

一句话总结¶

把多个客户端在私有数据上独立微调出的领域专家，无需共享私有数据就能合并成一个可部署的 MoE 模型——核心是用 relevance-weighted DPP 从公开数据里选「既相关又多样」的代理样本，先做 proxy-aligned 专家训练再训 context-aware router，从而对齐专家行为与代理监督，显著优于 FlexOlmo 等仅依赖相似度选代理的方法。

研究背景与动机¶

领域现状：基础模型时代下不同组织 / 用户常在各自私有数据上微调出领域专家；Branch-Train-Merge (BTM)、Model Soup、Branch-Train-MiX (BTX) 等模型合并方法尝试把这些专家融合成一个可部署模型，配合 Mixture-of-Experts 架构和 router 路由。

现有痛点：(1) BTM 输出 ensemble，没有统一模型，影响下游 SFT / RLHF；(2) Model Soup 直接平均权重，专家差异大时性能崩；(3) BTX 需要客户私有数据训 router，违反隐私约束；(4) FlexOlmo 用公共代理样本训 router，但代理仅按 similarity 选，结果代理高度冗余、覆盖窄，且专家只见过私有数据没见过代理，导致 routing-expert 行为错配。

核心矛盾：训 router 必须见到能代表各客户端域的数据，但客户端真实数据又不能离开；代理数据必须同时具备「与该客户端域相关」+「能覆盖该域的多种模式」两个性质，可这正好对应 DPP 的相关 + 多样化逻辑。

本文目标：(1) 给出形式化定义「隐私保护 MoE 统一」问题；(2) 提出 relevance + diversity 双重控制的代理选择算法；(3) 让专家在训练时就见到自己的代理，从而对齐 router 的训练分布；(4) 设计能利用 token + sequence 双尺度上下文的 router；(5) 给出形式化隐私分析。

切入角度：相似度选代理只关心「这条样本像不像私有域」，于是会反复挑出长得像的几条样本；DPP 通过 \(\det\) 项天然产生「负相关」、避免相似样本共选——把客户特异 relevance 嵌入 DPP 核就能一举得到「相关 + 多样」。

核心 idea：在 DPP 核里乘上 client-specific relevance 形成 relevance-weighted DPP \(\tilde{L}_{ij} = g(x_i, \mathcal{D}_p) \kappa(x_i, x_j) g(x_j, \mathcal{D}_p)\)；用 greedy MAP 选 \(m\) 个代理；再让专家在 \(\mathcal{D}_p \cup \hat{\mathcal{D}}_p\) 上一起 fine-tune；最后训 context-aware router 把所有 FFN 合并成 MoE。

方法详解¶

整体框架¶

输入：种子模型 \(\mathcal{M}_0\)、公开数据 \(\mathcal{D}_0\)、\(K\) 个客户端及其私有数据 \(\{\mathcal{D}_p\}_{p=1}^K\)。每个客户端先用本地数据微调种子模型得到专家 \(\mathcal{M}_p\)。统一阶段三步走：(1) 用 relevance-weighted DPP 从 \(\mathcal{D}_0\) 选客户端专属代理集 \(\hat{\mathcal{D}}_p\)；(2) 在 \(\mathcal{D}_p \cup \hat{\mathcal{D}}_p\) 上 finetune 各专家的 FFN sublayer，其他参数冻结，并对每层算 routing vector \(e_p^{(\ell)}\) 作为该专家的「域均值表征」；(3) 把所有专家的 FFN 合并成 MoE 层，用 context-aware router 在 \(\bigcup_p \hat{\mathcal{D}}_p\) 上 joint finetune，得到最终统一 MoE 模型 \(\mathcal{M}_\text{MoE}\)。

关键设计¶

Relevance-Weighted DPP 代理选择:
- 功能：为每个客户端从公开池里挑出「与该客户域相关且彼此多样」的 \(m\) 个代理样本，提供 router 的代理监督。
- 核心思路：在公开池上训一个二分类器 \(g(x, \mathcal{D}_p)\) 区分 \(\mathcal{D}_0\) 与 \(\mathcal{D}_p\)（其得分即 relevance）；构造核 \(\tilde{L} = \text{Diag}(r) L \text{Diag}(r)\)，其中 \(L_{ij} = \kappa(x_i, x_j)\)。子集选择目标为 \(\hat{\mathcal{D}}_p = \arg\max_{|S|=m} \log \det(\tilde{L}_S)\)，可展开为 \(2 \sum_{i \in S} \log r_i + \log \det(L_S)\)——第一项偏向高 relevance，第二项偏向多样。先按 \(r\) 取 top-\(n\) 候选池，再用 greedy MAP + Cholesky 增量更新把复杂度从 \(O(nm^3)\) 降到 \(O(nm)\)。
- 设计动机：相比 FlexOlmo 仅按 \(r\) 排序「相关而冗余」的代理（t-SNE 图上挤成一团），DPP 的 \(\det\) 项会主动惩罚相似样本共现，让代理在私域流形上铺开，覆盖更广的 routing 决策边界。
Proxy-Aligned 专家训练:
- 功能：在专家阶段就让模型同时见到私有数据与对应代理，使专家的输出分布与未来 router 训练时的代理分布对齐。
- 核心思路：每个客户端只 finetune 自己专家的 FFN sublayer，输入是 \(\mathcal{D}_p \cup \hat{\mathcal{D}}_p\)（不是只用 \(\mathcal{D}_p\)）；其余层冻结以保持与种子模型 \(\mathcal{M}_0\) 的兼容性，方便后续直接拼成 MoE。训练完后对每层计算 routing 表征 \(e_p^{(\ell)} = \tfrac{1}{|\mathcal{D}_p \cup \hat{\mathcal{D}}_p|} \sum_x \mathcal{M}_p^{(1:\ell)}(x)\)。
- 设计动机：FlexOlmo 只在私有数据上训专家、然后用代理训 router，导致「专家行为分布」与「router 看到的输入分布」错配——尤其在客户端域之间分布差异大时 routing decision 经常错；让专家直接见过代理可以从源头消掉这种错配，同时不破坏专家本身的隐私（代理来自公开数据）。
Context-Aware Router + 域感知初始化:
- 功能：路由不仅看 token 表征，还看整句的 sequence-level 表征，避免「表面相似 token 属于不同域」造成的路由碰撞。
- 核心思路：每个 token 表征 \(z_t^{(\ell)}\) 与序列均值 \(z_x^{(\ell)} = \tfrac{1}{T} \sum_t z_t^{(\ell)}\) 做凸组合 \(\tilde{z}_t^{(\ell)} = (1 - \lambda) z_t^{(\ell)} + \lambda z_x^{(\ell)}\)，\(\lambda\) 可学；routing 分布 \(\pi^{(\ell)}(z_t^{(\ell)}) = \text{softmax}[\tilde{z}_t^{(\ell) \top} e_1^{(\ell)}, \dots, \tilde{z}_t^{(\ell) \top} e_K^{(\ell)}]\)。路由向量 \(e_p^{(\ell)}\) 用第 (2) 步算出的「专家域均值」初始化，把领域先验直接注入。
- 设计动机：纯 token-level routing 容易被字面相似度欺骗（如「bank」可能是金融也可能是河岸）；加入整句上下文 + 用专家域均值初始化 routing 向量，让 router 一开始就拿到「每个专家擅长什么」的强先验。

损失函数 / 训练策略¶

专家阶段为标准下一 token / 分类损失；router 阶段在 \(\bigcup_p \hat{\mathcal{D}}_p\) 上 jointly finetune 整个 MoE。所有客户端只一次性向服务器上传：(i) 代理样本下标（公开数据上的索引）；(ii) 专家最终权重（FFN 子层）；(iii) 路由向量 \(e_p^{(\ell)}\)。论文随后给出形式化分析证明这三类 artifact 都不泄露私有信息（核心是路由向量是 \(N \to \infty\) 平均嵌入，私有泄露随 \(N\) 衰减）。

实验关键数据¶

主实验¶

在 CV（基于 ViT-B/32 的 Pets、Cars、CIFAR-100 等数据集）和 NLP（基于 LLM 的多任务 benchmark）上对比 BTM、Model Soup、BTX、FlexOlmo 等。论文 Figure 2 通过 t-SNE 可视化在 Pets 数据集上 random / FlexOlmo / MetaMoE 三种代理选择策略：MetaMoE 选出的代理点显著覆盖更广的私域流形。

方法	CV 平均 acc	NLP 平均 acc	隐私级别	是否单一可部署
BTM (ensemble)	较高	较高	强	否（推理多专家）
Model Soup	弱（专家异构时）	弱	强	是
BTX	高	高	弱（需私有数据训 router）	是
FlexOlmo (similarity-only proxy)	中高	中高	强	是
MetaMoE	最高	最高	强	是

（论文正文与附录展示完整结果；摘要明确指出在 CV 与 NLP 两类 benchmark 上 MetaMoE 一致优于最新 baseline。）

消融实验¶

配置	效果
Full MetaMoE	最优
去掉 diversity（退化为 FlexOlmo 风格 relevance-only）	准确率明显下降，代理聚集
去掉 proxy-aligned 专家训练（专家只见私有数据）	router 与专家行为错配，路由错误率上升
去掉 context-aware blending（纯 token 路由）	表面相似 token 被错分到错专家
去掉 routing vector 域感知初始化（随机初始化）	收敛慢、最终精度下降

关键发现¶

t-SNE 可视化清晰显示 FlexOlmo 选出的代理几乎挤成一团（窄覆盖），MetaMoE 选出的代理铺满私域流形——说明「相关 + 多样」是 router 学好的必要条件，而不只是「相关」。
proxy-aligned 专家训练带来的提升与 router 设计相对独立，意味着「让专家见代理」这一步本身就是关键改动；即便配上 FlexOlmo 的简单 router 也能带来一阶收益。
上传的 artifact 只有「索引 + 权重 + 平均嵌入」，比 federated learning 每轮上传梯度暴露的私有信息更少；论文形式化证明随 \(N\) 增大隐私泄露按 \(O(1/N)\) 衰减。
代理选择只发生一次（不需要客户端轮询），通信复杂度比 FL 低一个量级。

亮点与洞察¶

把 DPP 与 client-specific relevance 融合是个非常自然但之前没人做的小创新，几行公式就把 router 监督质量从「相关」升级到「相关 + 多样」。
「proxy-aligned 专家训练」打破了「专家纯私 / router 纯代理」的传统割裂——把代理也当成专家训练数据可以一并消除 routing-expert 错配，思路可以迁移到任何跨域合并任务（多语种 LM、多模态适配）。
routing vector 用专家域均值嵌入初始化，相当于把「每个专家是什么」直接告诉 router，无需依赖纯梯度找方向，对少数据场景非常友好。
隐私分析给出 mean embedding 泄露的具体上界 \(O(1/N)\)，为 mean-pooled embedding 类做隐私保护的更广泛应用提供了模板。

局限与展望¶

relevance 分类器 \(g(\cdot, \mathcal{D}_p)\) 本身需要在 \(\mathcal{D}_0 \cup \mathcal{D}_p\) 上训练，会泄露一定 \(\mathcal{D}_p\) 的统计信息（论文将其归为「公开数据上的分类器输出」，但严格意义下仍是私有信号）。
DPP 是 \(O(nm)\) greedy 近似而非全局最优，候选池上界 \(n\) 是超参；当 \(\mathcal{D}_0\) 远小于实际私域规模时代理可能仍不能覆盖私域。
仅在 ViT 和 LLM 的 FFN 层做实验，对 attention / cross-modal 专家是否同样有效未验证。
\(\lambda\) 在 context-aware router 中是单一标量，可能在多层 transformer 中不是最优 —— 不同层可能需要不同 token / sequence 平衡。

评分¶

新颖性: ⭐⭐⭐⭐ 把 DPP 多样性 + relevance 权重 + proxy-aligned 训练三件事系统组合到隐私保护 MoE 上是首创。
实验充分度: ⭐⭐⭐⭐ CV + NLP 两类 benchmark、多 baseline、可视化与消融都有。
写作质量: ⭐⭐⭐⭐ Algorithm 1 + 隐私分析逻辑顺，公式与图示清晰。
价值: ⭐⭐⭐⭐ 给隐私敏感的工业 MoE 部署提供了一个完整可复现的 pipeline，并附带正式的隐私保证。