Fisher-Routed Mixture of Experts for Federated Class-Incremental Learning¶

会议: ECCV2026
论文: https://eccv.ecva.net/virtual/2026/poster/4485
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/6181.pdf
领域: 模型压缩
关键词: 持续学习、联邦学习、混合专家、Fisher 信息、路由蒸馏

一句话总结¶

FedFMX 在训练时按专家的遗忘风险与学习收益选择样本级专家子集，再蒸馏出无需标签的推理门控；在 ResNet-18、细粒度增量和 Dirichlet 标签不均衡设置下，CIFAR-100 准确率为 50.32%，高于 FedCBDR 的 46.27%。

研究背景与动机¶

联邦类增量学习要求多个客户端在不交换原始数据的前提下，持续接收新的类别。难点并不只是单个客户端会忘记旧类：各客户端当前拥有的类别不同，新类别到达的阶段也可能错开。于是同一套共享参数既要适应新类，又要承受相互不一致的局部梯度，而过去任务的数据在本文设定中不可访问。全局参数正则化、回放或个性化聚合各自缓解了部分问题，却未直接回答每个新样本应当交给哪一部分参数学习。

混合专家提供了把更新分流的空间，但固定选择一个或若干专家并不足够。仅凭当前损失选择专家，可能总是使用已经很擅长某些类别、却也最容易因新更新损坏旧知识的专家；多激活专家又可能造成冗余和干扰。本文因此把专家路由看作更新之前的决策：不仅判断谁能够学习这个样本，也判断这次学习会碰到多少历史上重要的参数方向。

核心 idea：用 Fisher 信息刻画历史敏感方向、用当前梯度衡量可塑性，再按专家的边际贡献确定训练子集，并让轻量门控学习这种路由规则供推理使用。

方法详解¶

整体框架¶

模型由共享骨干和一组专家组成，每个专家都有独立的专家主体与分类头，而不是只附加一个个性化分类头。输入为客户端当前任务的带标签图像，输出为已见类别上的预测；专家不与客户端或类别永久绑定，因此同一个专家可以服务来自不同客户端的相容更新。

训练链路依次经过 Fisher 专家评分（FRES）、自适应专家选择（AES）和路由感知正则化（RAR）。前两者利用标签和梯度判断哪些专家值得更新，RAR 同时缓解路由集中并训练一个只看骨干特征的门控；部署时改由这个门控选择专家，不再计算 Fisher 代价或 Shapley 值。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["当前任务图像与标签"] --> B["共享骨干与候选专家"]
    B --> C["Fisher 专家评分"]
    C --> D["自适应专家选择"]
    D --> E["路由感知正则化"]
    E --> F["局部更新与联邦聚合"]
    E --> G["部署：门控选专家<br/>加权预测"]

关键设计¶

1. Fisher 专家评分：先评估更新会不会破坏历史敏感方向

对一个带标签样本，每个候选专家产生分类损失，并取得该专家分类头上的梯度。论文仅为分类头维护经验 Fisher 的对角近似：用历史梯度平方的指数移动平均保存参数重要性，衰减系数为 \(\rho\)。这不是计算全模型 Hessian，也不是把 Fisher 直接加进参数约束损失；它首先是路由依据。历史上梯度平方持续较大的参数，被视作更需要谨慎修改的方向。当前样本的评分使用此前累计的统计，避免把“刚看到的样本”直接当成已经需要保护的历史知识。

FRES 将梯度方向归一化，并对 Fisher 统计进行逐维标准化和映射，以提高不同专家间的可比性。稳定性代价衡量当前方向与历史敏感方向的重合程度；可塑性收益则以未归一化的梯度强度除以总体 Fisher 刚性。两者的区别很重要：梯度大不自动意味着值得更新，还要看它是在较平坦的参数空间吸收新知识，还是冲击已经重要的方向。按原文记号，两个评分为：

\[ \Delta_c^{(k)}=\frac12\left\|\operatorname{diag}(\widetilde F_k)^{1/2}\widetilde g_k\right\|_2^2, \qquad \Delta_g^{(k)}=\frac{\|g_k\|_2^2}{\operatorname{Tr}(\widetilde F_k)+\varepsilon}. \]

这里 \(g_k\) 是专家分类头的梯度，\(\widetilde g_k\) 是其单位范数方向，\(\widetilde F_k\) 表示处理后的对角 Fisher 统计，\(\varepsilon\) 用于数值稳定。稳定性代价越低、可塑性收益越高，通常越适合接收这个样本。它们是基于局部梯度和历史统计的代理量，不等于直接测量旧任务准确率；主文也没有展开 Fisher 映射的具体实现，不能自行假定为某个固定函数。

2. 自适应专家选择：把单专家分数变成子集的边际贡献

AES 不直接对某个独立分数做固定 Top-K，而是为每个候选子集定义效用。子集的分类损失和归一化可塑性收益取成员平均，稳定性代价则求和，因此加入专家既可能改善平均质量，也会增加历史知识受扰动的代价。论文使用的效用为：

\[ v(S)=-\ell_S(x,y)-\alpha\sum_{k\in S}\Delta_c^{(k)}+(1-\alpha)\Delta_g(S). \]

其中 \(\ell_S\) 是各成员交叉熵损失的平均，而不是先把多个专家预测混合后再算一次交叉熵；\(\Delta_g(S)\) 是归一化可塑性收益的平均。这个区别决定了“合作效用”具体测量什么：它奖励损失、收益与代价的组合，并不直接测量预测误差的互补性。\(\alpha\) 控制稳定性代价和可塑性收益的相对权重。

接下来计算每个专家的 Shapley 值 \(\phi_k\)，即把它加入其他专家组成的不同子集时，效用增量的加权平均。这样，专家是否有用不只取决于独立表现，也取决于它加入其他候选组合后的变化。论文在小专家池中精确计算这些边际贡献，通常讨论 \(K\leq8\) 的情形；较大的专家池仅提出可以用排列采样估计，并未在主文给出大规模结果。缓存子集损失、代价、收益与成员数可以加快单次效用更新，但不会消除精确 Shapley 的组合枚举成本。

AES 按 \(\phi_k\) 从高到低添加专家，再把最新一次子集效用增量与此前平均增量乘以阈值 \(\mu\) 的结果比较，达到边际收益衰减条件时停止。原文规定从至少第二次加入开始判断，并把触发停止的专家保留在最终子集中。需要注意，主文对“减小阈值会更早停止”的文字说明与给出的不等式并不显然一致，且空集效用没有明确展开；因此这里保留停止机制的含义，不据此断言阈值的单调作用。

3. 路由感知正则化：让昂贵的训练决策变成可部署的门控

上述路由依赖真实标签与梯度，不能原样用于测试。RAR 把 Shapley 值经温度 softmax 转成教师分布 \(q\)，再用共享骨干特征训练轻量门控，得到学生分布 \(p\)。通过最小化 \(\operatorname{KL}(q\|p)\)，门控学习哪些特征应当调用哪些专家。这里蒸馏的是路由分布，而不是旧模型的类别预测；Shapley 值仅用于选择和加权，被当作不可微的监督信号，不沿组合选择过程反向传播。

RAR 还最小化学生路由分布的负熵，即概率乘其对数之和，避免每个样本的软路由过于尖锐。这个目标鼓励分散的软概率，但并不严格保证所有专家在整个批次上的硬激活次数相等。训练中的任务损失只聚合激活专家，并按其正 Shapley 值归一化加权，减少负贡献或冗余专家的影响；共享骨干则通过样本任务损失继续更新。原文没有明确所有激活专家的正贡献都为零时如何处理分母，这是复现时必须核对的边界情况。

一个完整示例¶

考虑默认的 \(K=4\) 个专家：某客户端进入新阶段后，只能使用当前类别图像。训练时，同一图像先经过共享骨干，再由候选专家计算分类损失和头部梯度；FRES 将这些梯度与各自的历史 Fisher 统计对照。一个当前损失较低的专家，如果梯度主要沿历史敏感方向变化，也不一定获得最高路由优先级。

AES 随后根据子集效用计算边际贡献、排序并确定激活子集，不预先规定每张训练图像必须使用相同数量的专家。RAR 将选择依据交给门控学习，同时更新激活专家和共享骨干，再参与联邦聚合。这只是机制示例，不对应额外实验数据。测试时不再提供类别标签，默认由门控选择 Top-2 专家并按归一化门控权重组合输出；训练的自适应子集与推理的固定 Top-2 必须区分。

损失函数 / 训练策略¶

局部总目标由任务交叉熵、负熵负载正则和路由蒸馏组成：

\[ \mathcal L=\mathcal L_{\mathrm{task}}+\beta\mathcal L_{\mathrm{bal}}+\gamma\mathcal L_r. \]

主文设置 \(\rho=0.95\)、\(\alpha=0.6\)、\(\beta=0.05\)、\(\gamma=0.6\)；采用 SGD，学习率 0.01、动量 0.9、权重衰减 \(10^{-5}\)，批大小 64，每轮本地训练 5 个 epoch。共有 100 个客户端，每轮随机采样 20%。理论将专家选择解释为专家参数子空间上的投影更新；其全局界包含随迭代衰减的 \(O(1/T)\) 项，以及梯度噪声和未激活子空间残差造成的误差底，并不是一般随机训练中无条件收敛到零。

实验关键数据¶

主实验¶

下表摘自主文表 1(b)，均为 ResNet-18、细粒度类增量、Dirichlet 分布型标签不均衡 \(\alpha_D=0.5\)，准确率单位为 %，越高越好。相应任务数为 CIFAR-10 的 5 个、CIFAR-100 的 10 个、Tiny-ImageNet 的 20 个和 DomainNet 的 10 个；增益为准确率均值之差，单位是百分点，不是相对百分比。保留原表的“±”数值，主文未清楚定义其统计口径。

数据集	FedCBDR 准确率 ↑	pFedMxF 准确率 ↑	FedFMX 准确率 ↑	相对 FedCBDR 增益
CIFAR-10	60.58 ± 1.6	60.43 ± 1.5	64.68 ± 1.2	+4.10
CIFAR-100	46.27 ± 1.4	46.09 ± 1.6	50.32 ± 1.5	+4.05
Tiny-ImageNet	14.38 ± 0.6	14.25 ± 0.7	19.14 ± 0.7	+4.76
DomainNet	42.72 ± 1.5	40.56 ± 1.0	44.29 ± 1.1	+1.57

论文还评估按标签数量制造不均衡的 QLI，以及使用 DINO 自监督预训练的 ViT-B/16。后者不应与上述 ResNet-18 数值混合比较；本文选取同一骨干、同一不均衡参数下的结果，以免把协议差异当作方法收益。

消融实验¶

以下为主文表 2 的训练期专家选择对照，采用细粒度增量和 DLI 设置；默认 \(\alpha_D=0.5\)。这里只替换训练期选择策略，不应理解为推理时 Top-1 与 Top-2 的比较；主文表格没有明确该训练对照中固定 Top-K 的具体 K。

数据集	训练期选择策略	准确率 ↑（%）	说明
CIFAR-100	Top-1	45.96	固定单专家
CIFAR-100	Top-K	48.54	固定数量多专家
CIFAR-100	AES	50.32	自适应专家子集
DomainNet	Top-1	41.59	固定单专家
DomainNet	Top-K	44.86	固定数量多专家
DomainNet	AES	44.29	自适应专家子集

关键发现¶

CIFAR-100 上，AES 比训练期 Top-K 高 1.78 个百分点，但 DomainNet 上低 0.57 个百分点。因此表 2 不支持正文所说的所有设置均最优。
专家池扩大并非总有收益；主文报告过大的池会降低表现，说明容量增长和专家分工质量不是同一件事。默认配置保留 4 个专家。
计算开销并非免费：表 4 的 ResNet-18、CIFAR-100 对照中，pFedMoE 与 FedFMX 的参数量分别为 11.7M 和 14.6M，报告时间为 75 s 和 82 s。主文没有清楚说明该时间的统计单位，也没有给出足以支持通信量结论的字节数。

亮点与洞察¶

Fisher 信息被前移到“谁应该学习”这一步，而不是仅在选定参数后限制更新。它把持续学习中的保护信号接入了 MoE 的路由决策。
训练教师与推理门控职责分离，使依赖标签的贡献估计不必进入部署路径。这是理解方法为何能够进行无标签推理的关键。
子集效用里代价求和、收益取平均，明确表达了额外激活专家的代价。它比简单扩大 Top-K 更有选择性，但仍是代理效用而非直接优化真实遗忘率。

局限与展望¶

当前缓存包含完整主文及参考文献，但没有正文所引用的附录。Fisher 映射、空集效用、零正贡献处理、部分实验细节及证明细节均无法据此完整复现；正式实现需要核对原始补充材料。
原文存在报告不一致：表 3(a) 的细粒度 Tiny-ImageNet 完整模型为 19.74，而表 1(a)、表 2 和表 4 为 19.47。上表避免混用这些数值，不能自行挑一个当作修正后的真值。
小规模精确 Shapley 路由和分类头 Fisher 近似，不自动保证大专家池的训练效率，也不直接刻画专家主体及共享骨干中的全部遗忘。部署省去贡献计算不代表训练成本消失。
理论结果有噪声与投影残差误差底；实验中对最终准确率、跨阶段平均准确率及误差条的统计说明也不够明确。更完整的协议和实现说明比笼统的最优结论更重要。

评分¶

新颖性: 4/5。将 Fisher 路由、Shapley 子集选择与门控蒸馏组合到联邦类增量学习，机制联系明确。
实验充分度: 3/5。覆盖多个数据集、骨干和路由对照，但统计口径与若干表文不一致削弱了结论强度。
写作质量: 3/5。训练与推理分工清楚，阈值说明、边界条件和附录依赖仍影响复现。
价值: 4/5。提供了把知识保持信号用于专家分流的具体方案，实际价值仍取决于额外训练成本与协议核验。