HERO: A Heterogeneity-Aware Benchmark Library for Federated Continual Learning¶

会议: NeurIPS 2026
arXiv: 2607.08784
代码: https://github.com/hero-fcl/hero
领域: 联邦学习
关键词: 联邦持续学习, 异构性评测, 类别增量学习, 任务时序失配, 基准库

一句话总结¶

针对联邦持续学习（FCL）中评测协议混乱、变量耦合严重导致算法对比失真的痛点，HERO 提出了首个解耦任务划分、客户端数据偏斜与任务序列失配的标准化评测基准库，并引入尾部客户端鲁棒性指标揭示出同步与异构场景下算法表现的深刻分化。

研究背景与动机¶

联邦学习（FL）通过协调大量边缘客户端在本地数据上协同训练共享模型，传统设定通常假设数据分布随时间保持静态。然而在真实的边缘与端侧场景中，数据分布呈流式动态演进，新类别、新领域不断涌现，系统必须在同化新知识的同时防范对旧知识的灾难性遗忘。这催生了联邦持续学习（FCL），尤其是无任务标识推理的联邦类别增量学习（FCIL）。但 FCL 的评测长期面临严重的不可比困境：现有各方法在实验中往往同时变动数据集、任务切分策略、客户端非独立同分布（Non-IID）分布、任务出现次序、主干网络、回放缓存预算以及汇报指标，导致研究者无法分辨某算法的优异表现究竟源于更稳健的抗遗忘机制，还是仅仅受惠于更宽松的评测协议。

更深层的核心矛盾在于，现实 FCL 系统的异构性具有双重独立维度：空间维度的客户端数据偏斜（Client Data Skew）与时间维度的任务到达时序不一致（Task-Order Mismatch）。空间偏斜引发严重的客户端漂移与局部类别偏置，而时序失配则导致异步知识聚合时的灾难性跨任务干扰。现有研究要么假设所有客户端严格步调一致（同步增量），掩盖了时序异构下的性能崩塌；要么将两种异构性机械打包成单一粗粒度设置，且仅依赖全局平均准确率（AFA），从而掩盖了系统最薄弱尾部客户端的严重失效。

针对上述盲区，本文的切入角度是建立规范且解耦的评测基准库，显式将任务划分、客户端数据分配和客户端任务时序三者彻底正交分离，从而独立调控并检验不同异构源的影响。核心 idea：通过解耦空间数据偏斜参数 $\alpha$ 与时序失配参数 $\rho$，构建标准化、分层级的 FCL 评测基准库 HERO，并结合全局平均准确率、平均遗忘率以及最差 10% 尾部客户端准确率（B10），提供可复现、可归因的多维算法画像。

方法详解¶

核心机制 / Core Mechanism¶

HERO 的核心机制在于将过去纠缠不清的基准流生成过程解构为正交的“三步正交生成协议”： 1. 任务切分（Task Split）：全局标签空间 $\mathcal{Y} = \bigcup_{t=1}^T \mathcal{C}_t$（满足 $\mathcal{C}_i \cap \mathcal{C}_j = \emptyset$），在基准随机种子 $\xi$ 下确定统一类别排列并切分为 $T$ 个任务。 2. 客户端数据划分（Client Data Split）：在各任务 $t$ 内部，针对每个类别 $c \in \mathcal{C}_t$，采用狄利克雷分布 $\mathbf{p}_{t,c} \sim \mathrm{Dir}_K(\alpha \mathbf{1})$ 对 $K$ 个客户端进行样本划分。超参数 $\alpha$ 纯粹控制空间层面的数据偏斜程度，且配合确定性最小样本支持修复（Minimum-Support Repair），确保低 $\alpha$ 下不会因离散整除而产生空任务分块。 3. 客户端任务时序规划（Client Task Sequence）：以标准同步时序 $\pi^\star = (1, 2, \dots, T)$ 为基准锚点，通过扰动参数 $\rho$ 控制每个客户端本地任务时序 $\pi_k$ 与 $\pi^\star$ 的归一化 Kendall $\tau$ 距离区间 $\mathcal{A}_\rho = \{\pi \mid \ell_\rho \le \frac{d_\tau(\pi, \pi^\star)}{\binom{T}{2}} \le u_\rho\}$。$\rho$ 的调节仅重排已生成的局部任务分块，完全不改变各客户端持有的具体数据样本。

生成流在物理落盘为确定性元数据后，HERO 通过两级真实性校验检验实际生成的物理难度：空间偏斜统计量 $\hat{h}_{\mathrm{stat}}$ 基于各任务内客户端类别经验分布的 Jensen-Shannon 散度；时序失配度则计算客户端间成对 Kendall 距离 $\hat{\psi}_{\mathrm{pair}}$ 与相对参考时序偏差 $\hat{\psi}_{\mathrm{ref}}$。

整体框架与流程 / Pipeline & Flowchart¶

HERO 的完整系统架构覆盖流生成、一致性物理校验、算法接入沙箱与多维指标汇报流水线，其模块关系与数据流向如下图所示：

%%{init: {'theme': 'base', 'themeVariables': {'fontSize': '12px', 'lineColor': '#2B6CB0'}}}%%
flowchart TD
    Config["配置输入<br/>(种子 ξ, 数据集, 客户端数 K, 任务数 T, α, ρ)"] --> Step1["任务划分 (Task Split)<br/>全局类别空间划分为 T 个互斥任务集 C_1:T"]
    Step1 --> Step2["空间数据划分 (Client Data Split)<br/>狄利克雷分布采样 p_{t,c} ~ Dir_K(α1) + 最小支持修复"]
    Step2 --> Step3["时序序列生成 (Task Sequence)<br/>基于 Kendall 距离受限扰动 ρ 控制客户端任务次序 π_k"]
    Step3 --> Audit["一致性校验 (Audit Checks)<br/>计算空间偏斜 JS 散度 h_stat 与时序失配 Kendall 偏差 ψ_pair, ψ_ref"]
    Audit --> StreamDisk["基准流落盘 (Fixed Stream Files)<br/>tasks.json, client_shards.json, orders.json, participation.json"]
    StreamDisk --> Engine["统一评测执行沙箱 (Execution Engine)<br/>标准回放/蒸馏/无样等各 FCL 算法执行统一本地训练与全局聚合"]
    Engine --> MetricsEval["多维指标综合评测 (Multi-Metric Evaluation)"]
    MetricsEval --> M1["全局平均准确率 (AFA)"]
    MetricsEval --> M2["平均遗忘率 (AF)"]
    MetricsEval --> M3["尾部 10% 客户端准确率 (B10)"]
    MetricsEval --> M4["跨模态迁移 AP (Domain-IL)"]

关键设计（带序号的紧凑段落）¶

1. 空间与时序维度的正交解耦与受限置换：消除跨变量污染
传统 FCL 文献中，异步或异构流往往随机分配客户端样本与任务流，导致空间数据量不平衡与时间到达次序相互交织。HERO 强制将数据分配与序列排列解耦。在固定任务切分 $\mathcal{C}_{1:T}$ 和客户端数据划分 $\mathcal{D}_{k,t}^{\mathrm{tr}}$ 后，调节时序扰动参数 $\rho \in [0, 1]$ 仅对各客户端的阶段指针执行置换映射 $\pi_k$。这种设计保证了改变时序异构性时，各客户端在每个任务上分配到的样本分布与数量保持严格不变，彻底阻断了数据分布偏移对时序失配评测的干扰。

2. 确定性最小样本支持修复：防止样本截断退化为缺任务场景
在极低狄利克雷参数（如 $\alpha = 0.1$）下，极端非独立同分布切分与整数取整操作极易导致部分边缘客户端在某些任务上分得的样本数为零，进而导致原本设计的“时序失配”退化为“缺少任务支持（Missing Task）”。HERO 在基准种子 $\xi$ 下设计了确定性微量重平衡算法，从样本过度富集的客户端向零样本客户端转移极少量同类样本，严格保障每个客户端在全部 $T$ 个任务上均有非空支持集，从而保证不同阶段的抗遗忘评估具备坚实的统计地基。

3. 三层基准库体系与严密自检协议：兼顾可比性、外推性与透明度
为防止异构基准沦为无序蔓延的代码堆砌，HERO 构建了三层分级架构：HERO-Core 专注标准图像 FCIL（CIFAR-100、TinyImageNet）的密集成对公平对决；HERO-Portability 验证接口泛化性至分子图结构域增量学习（OGB-MolPCBA Scaffold 域迁移）及文本序列分类；HERO-Extended 则维护完备算法池与拓展数据集构造器。所有生成的基准流在运行前必须经由审计模块输出经验物理指标，确保宣称的异构强度与实际流特征精确相符。

理论分析与设计权衡¶

在评测指标设计上，HERO 批判了唯“全局平均准确率（AFA）”论。设 $A_{k,s,t}$ 表示客户端 $k$ 在经历本地第 $s$ 阶段后，对其任务 $t$ 测试集的准确率。若仅考察最终全局平均准确率： $$\mathrm{AFA} = \frac{1}{KT} \sum_{k=1}^K \sum_{t=1}^T A_{k,T,t}$$ 系统极易陷入“均值掩盖灾难”的假象——即多数富数据、易序列客户端的高准确率掩盖了少数严重时序冲突或数据极度匮乏客户端的模型崩溃。为此，HERO 引入尾部 10% 客户端准确率： $$\mathrm{B10} = \frac{1}{|\mathcal{K}_{10}|} \sum_{k \in \mathcal{K}_{10}} a_k, \quad a_k = \frac{1}{T} \sum_{t=1}^T A_{k,T,t}, \quad |\mathcal{K}_{10}| = \max(1, \lfloor 0.1K \rfloor)$$ 与平均遗忘率： $$\mathrm{AF} = \frac{1}{KT} \sum_{k=1}^K \sum_{t=1}^T \left( \max_{\tau_{k,t} \le s \le T} A_{k,s,t} - A_{k,T,t} \right)$$ 理论权衡在于：$\alpha$ 轴的收缩直接加剧客户端局部经验梯度的方差，使得尾部客户端参数在全局聚合时被主导客户端淹没，主要冲击 B10；而 $\rho$ 轴的扩展造成不同客户端在同一通信轮次聚合不同任务的表征参数，引发全局模型在不同任务子空间间的投影震荡与表征混淆，主要推高 AF。多指标联合呈现使算法在“兼顾公平”与“抑制时序遗忘”之间的内在权衡一目了然。

实验关键数据¶

主实验：锚点设置下的综合对比¶

在 HERO-Core 的 CIFAR-100（20 个客户端，10 个任务）基准上，针对 Easy（$\alpha=100.0, \rho=0.0$）、Mild（$\alpha=10.0, \rho=0.5$）以及 Joint-hard（$\alpha=0.1, \rho=1.0$）三个锚点设置，各代表性 FCL 算法的 5 次独立重复实验表现如下表所示：

方法	类别属性	Easy AFA ↑	Easy AF ↓	Easy B10 ↑	Mild AFA ↑	Mild B10 ↑	Joint-hard AFA ↑	Joint-hard AF ↓	Joint-hard B10 ↑
Local-Only	独立基线	34.21±2.13	55.37±2.23	31.83±2.31	29.14±2.31	22.76±2.13	20.73±2.63	70.42±2.53	12.41±1.83
FedAvg	通用聚合	37.43±2.43	57.19±2.31	34.52±2.33	31.82±2.51	24.51±2.23	22.69±2.93	72.83±2.63	13.16±2.03
GLFC	类别感知蒸馏	50.11±1.83	34.27±1.73	47.62±1.93	43.62±2.03	35.74±2.13	32.57±2.53	50.61±2.13	22.47±2.13
MFCL	无数据生成回放	44.83±1.93	32.61±1.63	41.39±2.03	39.27±2.03	32.63±2.23	31.83±2.43	47.92±2.03	22.83±2.03
TARGET	样本无关蒸馏	32.79±1.83	36.43±1.73	30.12±1.93	28.61±1.93	23.84±2.13	25.42±2.33	51.33±2.13	18.92±2.03
LANDER	文本增强生成	43.21±1.73	25.63±1.43	40.77±1.83	37.82±1.91	31.92±2.11	33.76±2.23	38.71±1.83	27.63±1.93
Re-Fed+	高效样本回放	47.89±1.83	28.17±1.53	44.36±1.93	41.73±1.93	34.73±2.13	36.21±2.23	40.52±1.93	28.41±1.93
TagFed	任务追踪自适应	50.73±1.63	24.61±1.33	47.94±1.83	47.92±1.83	42.71±1.83	42.83±2.13	34.27±1.83	35.92±1.73
LGA	类别感知校准	49.67±1.73	25.41±1.33	46.82±1.83	46.87±1.83	41.13±1.93	41.96±2.23	35.43±1.83	34.71±1.83
FedCBDR	类别平衡回放	53.91±1.53	22.73±1.23	50.86±1.73	48.16±1.73	40.93±1.83	39.74±2.03	39.93±1.93	31.87±1.73

消融与单轴效应分析：空间偏斜 vs 时序失配的失效签名¶

在 CIFAR-100 上，相对于同步平庸基线（$\alpha=100.0, \rho=0.0$），单轴极值与联合极值异构性对模型性能平均造成的偏移量（$\Delta$）统计如下：

异构设置偏移	核心诱因	$\Delta$AFA (平均精度衰减) ↓	$\Delta$AF (遗忘率激增) ↑	$\Delta$B10 (尾部客户端恶化) ↓
Mild ($\alpha=10.0, \rho=0.5$)	中度空间偏斜 + 中度时序失配	-4.98 ± 1.31	+6.44 ± 1.27	-8.53 ± 2.14
Alpha-hard ($\alpha=0.1, \rho=0.0$)	纯空间极端非独立同分布	-7.41 ± 1.46	+8.79 ± 1.62	-11.39 ± 2.36
Rho-hard ($\alpha=100.0, \rho=1.0$)	纯时序完全乱序交错	-8.62 ± 1.91	+11.47 ± 1.91	-8.24 ± 2.04
Joint-hard ($\alpha=0.1, \rho=1.0$)	双轴复合极值异构	-11.70 ± 3.47	+13.96 ± 2.59	-16.79 ± 4.66

关键发现¶

算法优劣出现显著位次重排：在同步平滑的 Easy 场景下，基于样本平衡回放的 FedCBDR 表现最优（AFA 53.91%）；然而随着空间偏斜加剧与时序被打乱（Joint-hard），FedCBDR 的 AFA 下滑了 14.17%，B10 暴跌至 31.87%。相反，具备明确任务追踪特性的 TagFed 展现出极高鲁棒性，在 Joint-hard 下斩获最高的 AFA（42.83%）和最强的 B10（35.92%），跌幅仅为 7.90% 与 12.02%。
异构单轴具有特异性失效签名：Alpha-hard（纯数据偏斜）对尾部客户端 B10 的打击显著重于 Rho-hard（$-11.39$ vs $-8.24$）；而 Rho-hard（纯任务时序错配）则对灾难性遗忘 AF 的推高作用更强（$+11.47$ vs $+8.79$）。这直接在实证层面证明了将两轴强行合并评测会掩盖算法瓶颈的论断。
跨模态基准泛化验证：在 OGB-MolPCBA 图领域增量（Domain-IL）移植实验中，当分子骨架划分粒度 $G$ 从 5 增至 25 时，FedAvg 的平均精度（AP）由 22.40% 跌至 19.20%，遗忘量由 4.20 升至 7.60；而图持续学习专用算法 MOTION 稳定保持在 22.80% AP 与 3.90 遗忘量，证实 HERO 抽象架构无需侵入式改造即可自然拓展到非视觉图结构数据流。

亮点与洞察¶

解耦生成与确定性文件固化：HERO 杜绝了以往“一边跑代码一边由算法内部随机生成流”的做法，将任务分块、客户端数据切片、任务时序与客户端通信轮次预先固化为可下载的 JSON/YAML 配置。任何新算法直接注入同一流文件，彻底排除了数据构造偏差带来的算法虚高。
引入 B10 作为 FCL 公平性锚点：平均精度往往被多数高频类与大样本客户端所裹挟，B10 指标敏锐暴露了非独立同分布与时序断裂对边缘脆弱客户端的毁灭性冲击，为安全关键型联邦系统提供了实质性评估工具。

局限与展望¶

时钟统一性与任务全覆盖假设：当前 HERO-Core 设定各客户端的增量推进速度相同，且每个客户端最终都会遍历全部任务，尚未覆盖部分客户端通信脱网导致永久缺失某些任务阶段的极端异步场景。
隐私攻击与通信开销未纳入多目标 Pareto 评价：目前基准着重于精度、遗忘与公平性指标，对不同方案交换生成器权重、伪样本或梯度统计量所伴生的真实隐私泄露风险和上行下行通信带宽开销暂未提供量化对齐接口。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统解耦 FCL 中空间数据偏斜与时间任务乱序，基准架构设计非常清晰扎实。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 10 种代表性算法、CIFAR-100/TinyImageNet 全网格 900 次独立实验，并辅以 OGB 图增量跨模态验证。
写作质量: ⭐⭐⭐⭐⭐ 概念界定严谨，公式与流生成符号规范，逻辑链条完备。
价值: ⭐⭐⭐⭐⭐ 彻底解决了 FCL 领域长期无法公正对比的顽疾，具有极高的方法学和工程参考价值。

异构设置偏移	核心诱因	\(\Delta\)AFA (平均精度衰减) ↓	\(\Delta\)AF (遗忘率激增) ↑	\(\Delta\)B10 (尾部客户端恶化) ↓
Mild (\(\alpha=10.0, \rho=0.5\))	中度空间偏斜 + 中度时序失配	-4.98 ± 1.31	+6.44 ± 1.27	-8.53 ± 2.14
Alpha-hard (\(\alpha=0.1, \rho=0.0\))	纯空间极端非独立同分布	-7.41 ± 1.46	+8.79 ± 1.62	-11.39 ± 2.36
Rho-hard (\(\alpha=100.0, \rho=1.0\))	纯时序完全乱序交错	-8.62 ± 1.91	+11.47 ± 1.91	-8.24 ± 2.04
Joint-hard (\(\alpha=0.1, \rho=1.0\))	双轴复合极值异构	-11.70 ± 3.47	+13.96 ± 2.59	-16.79 ± 4.66