H-SFP: Hierarchical Federated Learning with Decoupled Split-Model Prototyping¶

会议: ECCV 2026
论文: ECCV 原文
领域: 优化/理论
关键词: 分层联邦学习、切分学习、特征原型、通信效率、数据异质性

一句话总结¶

针对传统切分联邦学习跨层传输高维激活与反向传播梯度的带宽瓶颈，H-SFP 提出解耦统计原型机制，仅上传类别一阶均值与二阶方差并在边缘与云端合成高斯特征分布进行分层训练，在削减超两个数量级通信开销的同时显著抑制非独立同分布下的客户端漂移。

研究背景与动机¶

联邦学习（FL）通过协调多方边缘客户端协同训练全局模型且无需归集原始数据，成为保护视觉隐私学习的重要范式。然而，在真实大规模边缘网络中部署联邦学习面临着严苛的三重困境：多客户端数据非独立同分布（Non-IID）引发的严重统计异质性、边缘端与物联网设备极度受限的算力与显存资源，以及跨广域网络频繁同步所导致的高昂通信开销。传统联邦学习算法（如 FedAvg、FedProx）假设所有客户端均具备本地训练并评估完整模型的能力，这在客户端设备仅有数百兆内存时不可行，导致高负荷设备内存溢出并排除算力受限的节点。

为了缓解设备端计算负担，切分联邦学习（Split Federated Learning, SFL）及其分层拓扑扩展（HSFL）将深度模型纵向切分，客户端仅运行轻量级浅层网络，中间特征处理与重型上层结构分别卸载给边缘服务器与云端中心。但现存切分学习机制在本质上保留了端到端的强耦合计算图：前向传播必须逐样本传输高维激活特征（Smashed Data），反向传播又需回传逐样本梯度。这种逐样本双向跨层交互不仅带来 $O(B \cdot d)$ 的巨额带宽占用，还在层级之间引入严格的同步等待锁；同时，高维激活图容易受到特征逆向反推攻击，违背了分布式隐私设计的初衷。

虽然基于原型学习的联邦方法（如 FedProto）尝试通过交换类别原型来压缩通信，但传统做法仅将原型作为对齐客户端表征的正则惩罚项，并不直接用于上层模型的生成式训练，在极度异质的分布下极易发生原型漂移。本文的切入视角是重构分层切分学习的通信接口：既然深层网络判别的核心依赖于语义流形的几何分布，那么客户端特征的第一阶与第二阶统计矩是否足以支撑上层模型的解耦训练？核心 idea：彻底切断端到端反向传播计算图，客户端仅需上传紧凑的类别一阶均值与对角方差统计矩，边缘与云端据此生成高斯合成特征分布进行局部解耦优化，配合双时间尺度的浅层模型平均，实现极低通信下的鲁棒分层协同学习。

方法详解¶

整体框架¶

H-SFP 针对“云-边-端”三层网络拓扑设计，将全局网络 $W$ 解耦划分为三部分：部署在资源受限客户端上的轻量级特征提取器 $W_c$（如 ResNet 首个残差块）、部署在边缘服务器上的中间特征变换层 $W_e$，以及部署在云服务器上的任务预测头 $W_g$。客户端在私有数据上基于自监督对比损失局部训练 $W_c$，随后将每个类别的特征提取结果压缩打包为紧凑的均值和方差统计矩；边缘服务器对辖区内客户端的统计矩执行加权聚合，通过多元高斯分布采样合成中间特征并训练 $W_e$；云端进一步汇总各边缘服务器的统计分布，生成全局合成特征集以训练任务判别模型 $W_g$。整个系统通过双时间尺度机制运行，高频轮次仅交互统计矩，低频轮次执行轻量客户端模型平均以抑制长期表征漂移。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["私有图像输入"] --> B["多层级解耦自监督学习<br/>客户端本地 NT-Xent 对比优化 Wc"]
    B --> C["紧凑统计矩原型打包与生成合成<br/>提取类均值与方差 (μ, σ) 上传边缘"]
    C --> D["边缘服务器特征聚合与合成采样<br/>高斯特征采样并对比训练 We"]
    D --> E["云端全局分布聚合与任务训练<br/>合成全局特征训练任务模型 Wg"]
    E -->|低频间隔周期 Ic| F["双时间尺度传输与模型平均<br/>聚合更新客户端浅层模型参数 Wc"]

关键设计¶

1. 多层级解耦自监督学习：切断端到端梯度反传的层级独立表征优化
传统分层切分学习依赖云-边-端的联合反向传播链路，上层梯度滞后和多层串行阻塞使得大规模分布式训练效率低下。H-SFP 将端到端反向传播完全解耦，使每个层级在其物理边界内执行闭环自优化。客户端 $k$ 在其本地私有数据集 $\mathcal{D}_k$ 上前向计算轻量浅层网络 $z_i = W_{c,k}(x_i)$，采用有监督对比损失（Supervised NT-Xent）对齐同类特征并推开异类样本，直接引导浅层特征形成簇状紧致的几何流形： $$\mathcal{L}_{\text{con},k}(W_{c,k}) = \sum_{i \in \mathcal{B}} \frac{-1}{|P(i)|} \sum_{p \in P(i)} \log \frac{\exp(z_i \cdot z_p / \tau)}{\sum_{a \in A(i)} \exp(z_i \cdot z_a / \tau)}$$ 其中 $P(i)$ 为当前批次中与样本 $i$ 共享类标签的正样本集合，$A(i)$ 为其余候选样本集合，$\tau$ 为温度超参数。同理，边缘服务器在利用合成特征训练中间层 $W_{e,m}$ 时，亦对其输出强加同样的对比目标函数，强制中间层学习类别之间的相对拓扑结构与相对流形距离，避免网络参数对合成高斯特征的噪声细节过拟合；云端最终仅需基于聚合合成表征优化标准有监督交叉熵分类损失 $\mathcal{L}_{\text{task}}(W_g)$。

2. 紧凑统计矩原型打包与生成合成：基于椭圆边界的轻量化高斯流形重构
为了消除传输逐样本激活特征（Smashed Data）造成的巨额通信负荷，H-SFP 舍弃逐样本特征传输，转而在各客户端完成本地训练后提取类别级的统计矩。对于客户端 $k$ 中的每个类别 $j$，计算其特征向量的经验均值 $\mu_k^{(j)}$ 与经验标准差 $\sigma_k^{(j)}$： $$\mu_k^{(j)} = \frac{1}{|\mathcal{D}_k^{(j)}|} \sum_{x_i \in \mathcal{D}_k^{(j)}} W_{c,k}(x_i), \quad \sigma_k^{(j)} = \sqrt{\frac{1}{|\mathcal{D}_k^{(j)}|} \sum_{x_i \in \mathcal{D}_k^{(j)}} \left(W_{c,k}(x_i) - \mu_k^{(j)}\right)^2}$$ 通信复杂度由此从与批大小强相关的 $O(B \cdot d)$ 剧降为仅与类别数相关的 $O(J_k \cdot d_c)$。更关键的是，作者在协方差建模上采用了对角协方差矩阵设计：若传输完整协方差矩阵，通信量将暴涨至 $O(d_c^2)$，再度诱发通信瓶颈；而若退化为传统原型方法的纯均值 $\mu$，则无法刻画特征簇沿各维度的伸展椭球边界。边缘与云端通过多元正态分布重采样合成特征： $$z_{\text{syn}} \sim \mathcal{N}\left(\mu, \text{diag}(\sigma^2) + \epsilon I\right)$$ 理论证明表明，在特征空间李普希兹连续性假设下，一阶均值配合二阶方差能够有效约束真实特征分布与合成高斯分布间的最大均值差异（Maximum Mean Discrepancy, MMD），使几何流形在无需样本级交互的情况下得到高保真重建，同时天然防御了基于原始激活特征的反演攻击。

3. 双时间尺度传输与模型平均：测度收敛驱动的长期客户端漂移纠正
纯生成式特征合成机制在多轮异步演化后，若浅层特征提取器完全放任自流，易因各客户端局部极值的拉扯而产生表征崩溃或严重客户端漂移。为此，H-SFP 引入双时间尺度调度策略：在快时间尺度（每轮通信），客户端仅向其所属边缘服务器上传轻量统计矩 $(\mu_k, \sigma_k)$，边缘服务器在本地局部更新 $W_{e,m}$，极少占用通信链路；而在慢时间尺度（每隔 $I_c$ 轮间隔），边缘和云端对客户端浅层特征提取器 $W_c$ 执行低频参数平均聚合。从测度论视角分析，上层模型所面临的优化目标是一个依赖于底层合成概率测度 $Q_e^t$ 的动态泛函，论文在 Wasserstein-2 距离测度李普希兹连续性与梯度方差有界假设下证明，浅层参数由于低频聚合诱导输出测度逐步稳定，使得跨层动态漂移项 $\delta_m^t = L_m \cdot \mathcal{W}_2(Q_e^{t+1}, Q_e^t) \to 0$，严格保证了解耦全局参数渐进收敛至有界平稳邻域。

实验关键数据¶

主实验¶

实验在 200 个分布式设备与 10 个边缘服务器拓扑下展开，对比了标准联邦学习（FedAvg、FedProx）、原型与知识蒸馏方法（FedProto、FedGen、FedDF）以及切分学习（SplitFed、HeteroSFL、HSFL）。表 1 展示了 CIFAR-10 与 CIFAR-100 在 IID 及非独立同分布 Dirichlet 分布（$\alpha=0.3, 0.7$）下的分类准确率，表 2 展示了大规模 ImageNet-1K 与医学数据集 HAM10000 上的表现。

数据集	统计设置	本文 H-SFP (A)	强基线 HSFL (A)	原型基线 FedProto	标准 FedAvg	性能优势/说明
CIFAR-10	IID	67.44 ± 0.85%	51.35 ± 1.10%	55.10 ± 1.05%	57.25 ± 1.24%	相比 HSFL 提升 +16.09%
CIFAR-10	Dirichlet(0.3)	40.15 ± 1.25%	17.80 ± 1.75%	38.50 ± 1.45%	12.15 ± 2.10%	极度非独立同分布下大幅领跑
CIFAR-10	Dirichlet(0.7)	48.85 ± 1.10%	26.54 ± 1.50%	45.20 ± 1.30%	23.60 ± 1.85%	相比 FedProto 提升 +3.65%
CIFAR-100	IID	55.10 ± 0.95%	35.47 ± 1.35%	46.50 ± 1.15%	48.85 ± 1.40%	相比 FedDF (53.10%) 仍居首位
CIFAR-100	Dirichlet(0.3)	7.15 ± 0.65%	5.10 ± 0.80%	6.50 ± 0.95%	2.10 ± 0.85%	超越 FedGen (6.70%)
CIFAR-100	Dirichlet(0.7)	10.48 ± 0.85%	8.25 ± 1.15%	8.80 ± 1.05%	5.40 ± 1.15%	显著抑制多类别场景漂移
HAM10000	ResNet-50 (IID)	80.86 ± 0.75%	68.82 ± 1.25%	67.20 ± 1.25%	68.28 ± 1.45%	逼近集中式上限 (86.40%)
HAM10000	ResNet-50 (dir(0.7))	37.50 ± 1.05%	30.45 ± 1.40%	35.00 ± 1.40%	13.45 ± 1.65%	相比 HSFL 提升 +7.05%
ImageNet-1K	ResNet-50 (IID)	27.9 ± 0.3%	24.6 ± 0.9%	25.2 ± 1.2%	23.1 ± 1.4%	200 轮严苛轮次预算下居首
ImageNet-1K	ResNet-50 (dir(0.7))	22.4 ± 0.6%	14.8 ± 1.1%	18.5 ± 1.4%	11.2 ± 1.7%	显著领先 HeteroSFL (16.2%)

在 ISIC-2018 密集医学图像分割任务（ResNet50-UNet）中，H-SFP 达到 68.3 ± 0.5% IoU 与 79.5 ± 0.4% DICE，训练耗时仅需 6.8 ± 0.2 小时；作为对比，SplitFed 需要 72.4 小时（仅取得 53.8% IoU），HSFL 需要 14.5 小时（62.1% IoU），实现超 10 倍的训练加速与显著的精度增益。

消融实验¶

为验证 H-SFP 各模块组件的有效性以及方差统计量在表征合成中的重要作用，作者在 CIFAR-100 与 ImageNet-1K（200 个客户端，$I_c=5, I_e=10$）上开展了详尽消融（表 5）。同时，针对对比损失中的关键温度参数 $\tau$ 开展了敏感度分析（表 6）。

配置/消融变体	CIFAR-100 (IID)	CIFAR-100 (dir(0.7))	ImageNet-1K (IID)	ImageNet-1K (dir(0.7))	机制分析与结论
HSFL 基线 (无原型机制)	35.47 ± 1.35%	8.25 ± 1.15%	24.6 ± 0.9%	14.8 ± 1.1%	依赖样本级梯度传播，异质性下崩溃严重
+ 对比损失 (CL)	41.20 ± 1.25%	8.95 ± 1.05%	25.4 ± 0.8%	16.3 ± 1.0%	规范化特征流形分布带来基础增益
+ 合成数据 (SD)	47.60 ± 1.15%	9.45 ± 0.95%	26.1 ± 0.7%	18.2 ± 0.9%	引入生成式特征重采样显著提升泛化
仅传输均值 Full (μ-only)	52.35 ± 1.05%	9.85 ± 0.90%	26.8 ± 0.5%	20.5 ± 0.8%	丢失椭圆几何边界，精度落后完整方案 2.75%
纯生成式 (无慢尺度模型平均)	48.20 ± 1.10%	9.15 ± 1.00%	25.8 ± 0.7%	19.4 ± 0.9%	缺乏低频模型平均，浅层出现表征漂移
完整 H-SFP (μ + σ + 模型平均)	55.10 ± 0.95%	10.48 ± 0.85%	27.9 ± 0.3%	22.4 ± 0.6%	二阶矩结合双时间尺度达到最优性能

在对比损失温度参数 $\tau$ 的消融中，$\tau=0.2$ 过于尖锐导致梯度震荡（CIFAR-100 仅 48.15%），$\tau=2.0$ 过于平滑导致表征判别力不足（CIFAR-100 仅 48.65%），所有数据集均在 $\tau = 0.5$ 时达到最佳性能平稳点（CIFAR-100 达 55.10%）。

关键发现¶

统计矩二阶方差是保全流形几何的关键：对比 Full (μ-only) 与完整 H-SFP 可以发现，仅传输均值在 CIFAR-100 上损失了高达 2.75% 的绝对精度，这直接证实了仅有质心原型无法表征类内离散度与椭球形态，而对角方差以极微小的通信开销成功抑制了 MMD 距离。
通信与内存开销呈数量级骤降：在 200 轮 CIFAR-100 训练中，传统 FedAvg 通信量高达 3,865 GB，HSFL 需 116 GB（其中反向梯度 43.47 GB、正向激活 54.93 GB），而 H-SFP (A) 仅耗费 13.8 GB，最长同步间隔的 H-SFP (C) 仅需 10.94 GB，实现相比 FedAvg 353 倍、相比 HSFL 10.4 倍的通信削减；同时客户端 RAM 占用从完整模型的 ~600 MB 骤降至 100 MB 以下。
高稀疏大群落扩展鲁棒性：当客户端数量从 20 扩增至 200（每个客户端数据极端稀疏）时，FedAvg 在 CIFAR-100 从 60.50% 骤降至 48.85%（掉点 11.65%），而 H-SFP 保持最高性能并以 55.10% 持续领跑各主流基线。

亮点与洞察¶

切断反向传播与异步解耦优化：将原本高度同步锁死的跨层切分计算图解构为独立的局部层级任务，上层模型从“直接消费下层原始激活”转变为“消费由统计矩生成的数据分布”，在架构哲学上彻底摆脱了分布式反向传播的时延木桶效应。
对角高斯原型的极致性价比：没有引入昂贵复杂的生成对抗网络（GAN）或高计算成本的扩散生成器，而是巧妙利用对比学习先验将潜空间规整化，仅靠均值向量与对角方差向量就支撑了高维特征的生成式重现，在 $O(C \cdot d)$ 通信复杂度下达成极佳的信息保全。
跨层双时间尺度稳定机制：高频流转轻量级统计原型、低频同步模型浅层权重，用测度论中的 Wasserstein 漂移收敛证明了动态变化输入测度下解耦优化的渐进收敛性，为无反传切分学习提供了完备的理论基石。

局限与展望¶

高阶相关性与多模态表征受限：受限于对角协方差矩阵设定，高斯合成过程假设各特征维度互相独立，无法建模特征通道间的非线性跨维度依赖；面对极其复杂的非连续流形或多模态分布时，单高斯假说可能存在拟合容量瓶颈。
网络拓扑感知与非随机聚类分配：目前实验中客户端至边缘服务器采用的是无先验的均匀随机划分，未结合真实的地理物理距离、网络时延或数据分布相似度实施聚类，未来可结合拓扑自适应边缘关联进一步挖掘效能。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 彻底切断切分学习跨层反传，提出轻量一阶二阶统计原型生成机制，理论与拓扑设计极其新颖。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖分类（4个数据集）、医学密集分割、不同异质性（Dirichlet 0.3/0.7）、客户端扩展性（20-200）以及详尽消融。
写作质量: ⭐⭐⭐⭐⭐ 框架架构清晰，公式推导严谨，通信复杂度与实验图表对比鲜明。
价值: ⭐⭐⭐⭐⭐ 为算力受限与通信受限边缘设备参与大型视觉模型协同训练提供了极具工程落地价值的范式。