SP-CACW: Convergence-Aware Client Weighting for Selfish Personalized Learning¶
会议: NeurIPS 2026
arXiv: 2606.29322
OpenReview: https://openreview.net/forum?id=TUVCMnWa8i
领域: 联邦学习
关键词: 个性化联邦学习, 自私联邦学习, 客户加权, 收敛边界最小化, 在线凸优化
一句话总结¶
针对非 IID 异质联邦学习中目标客户端易受有害协作负迁移的痛点，提出直接最小化目标收敛误差理论上界的客户加权算法 SP-CACW，通过动态权衡梯度偏差与方差并借助在线凸优化实现鲁棒的自私个性化。
研究背景与动机¶
在现代跨机构或跨设备的分布式学习场景中，各客户端采集的数据往往呈现高度的非独立同分布（non-IID）特性。传统联邦学习（Federated Learning, FL）依赖中心服务端聚合所有客户端模型来求解全局平均目标，这种一刀切的全局共识机制对于数据分布与群体显著偏离的特异客户端而言，往往会导致严重的性能衰减。为了缓解数据异质性引发的冲突，个性化联邦学习（PFL）应运而生。然而，现有 PFL 方案无论是通过局部模型正则化、聚类分组，还是基于模型参数/梯度的相似度加权（如余弦相似度或欧式距离），本质上均建立在“数据相似度高即意味着梯度有用”的经验假设之上。这种启发式代理指标并不总是可靠：一个略有分布偏移但梯度方差极低、噪声较小的同伴，可能比一个虽然分布相近但随机梯度噪声剧烈的同伴更能加速局部优化。
更为关键的理论与实践断层在于，现有 PFL 研究主要关注整个网络所有客户端的平均收敛保证，但在跨机构医疗联合体或公共异质数据挖掘等真实业务场景中，单一目标客户端（Target Client）参与联邦协作的根本诉求是最大化自身局部目标的优化效益，即“自私个性化联邦学习”（Selfish Personalized Federated Learning, SFL）。此时，盲目追求群体平均往往会引入有害同伴的梯度干扰，产生严重的负迁移（Negative Transfer）；而单纯退回“仅用自己数据”（Autarky）训练又无法享受到多方计算带来的方差缩减红利。
面对这一困境，本文打破了依赖静态数据相似度或潜在聚类结构的传统范式，提出从目标客户端的优化实用性出发构建聚合策略。核心 idea：直接推导并在线最小化目标客户端收敛误差的理论上界，通过自适应权衡同伴梯度的偏差与随机方差，利用在线凸优化（FTAL）实现有害同伴的硬阈值稀疏剔除与优质梯度的自适应增强。
方法详解¶
整体框架¶
SP-CACW 围绕目标客户端（Client 0）展开自私个性化训练。在每个通信轮次 \(t\) 中，目标客户端向所有参与客户端广播当前模型参数 \(w_{t-1}\)，并收集各客户端基于本地数据计算的随机梯度 \(g_t^{(i)}\)。不同于标准联邦学习的均匀平均或启发式加权，目标客户端维持一套基于滑动平均的同伴梯度偏差在线估计器，构建衡量收敛误差上界的代理损失函数 \(\widehat{\mathcal{L}}_t(\alpha)\)。随后，通过带有自适应三次正则化的在线凸优化算法（FTAL），在单纯形约束上动态求解各同伴的最优聚合权重 \(\alpha_t\)。该机制对梯度的偏差施加严格的阈值截断，对高噪声赋予更小权重，最终以加权平均梯度更新本地模型。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["目标客户端广播当前模型参数<br/>wt-1 分发至全网客户端"] --> B["各客户端并行计算本地随机梯度<br/>返回梯度向量集合 {gt(i)}"]
B --> C["同伴梯度偏差在线估计<br/>EMA 递归追踪各客户端偏差"]
C --> D["收敛感知损失构建与三次正则化<br/>权衡聚合偏差平方与方差惩罚"]
D --> E["在线凸优化权重求解<br/>FTAL / PGD 在单纯形上优化协作权重"]
E -->|加权聚合| F["目标客户端执行加权 SGD 更新<br/>产生下一轮模型 wt 并自适应稀疏剪枝"]关键设计¶
1. 收敛误差上界驱动的代价函数设计：摆脱经验相似度启发式
现有方法多使用余弦相似度等静态启发式指标分配权重，无法反映梯度对优化进展的真实数学收益。本文从目标目标函数 \(f^{(0)}\) 的 \(L\)-光滑性出发，严格推导加权 SGD 更新 \(w_{t+1} = w_t - \eta \sum_{i=0}^{M-1} \alpha_t^{(i)} g_t^{(i)}\) 的单步进展，发现平均梯度范数界直接受控于一个关于权重向量 \(\alpha\) 的核心代价函数： $\(\mathcal{L}_t(\alpha) := \left\|\sum_{i\in[M]}\alpha^{(i)}b_t^{(i)}\right\|^2 + \eta L \left\|\sum_{i\in[M]}\alpha^{(i)}g_t^{(i)}\right\|^2\)$ 其中 \(b_t^{(i)} = \nabla f^{(i)}(w_t) - \nabla f^{(0)}(w_t)\) 代表各同伴相对于目标客户端的真实梯度偏差。通过对梯度二阶矩的展开可知，偏差项系数为 \((1+2\eta L) \approx 1\)，而随机方差项带有系数 \(2\eta L \ll 1\)（由于步长 \(\eta \propto 1/\sqrt{T}\)）。这在数学上证明了在联邦聚合中，梯度偏差对收敛破坏的敏感度远高于随机方差，算法必须以一阶严格度抑制偏差，同时利用低偏差同伴分摊方差。解析求解该代理上界在单纯形上的最优解时展现出优雅的截断性质： $\(\alpha^{(i)*} = \left[\frac{\lambda - C_1 \|b^{(i)}\|^2}{2 C_2 (\sigma^{(i)})^2}\right]_+\)$ 这一闭式解揭示了双重机制：权重与随机方差 \((\sigma^{(i)})^2\) 成反比，实现反比方差加权；同时引入了 \(\lambda - C_1 \|b^{(i)}\|^2\) 的硬阈值机制，当某客户端偏差超过临界阈值时其权重直接被置为 0，自然诱导出拓扑稀疏性，切断有害负迁移。
2. 同伴梯度偏差在线估计与对数累积惩罚控制：解决偏差不可观测难题
在实际分布式优化中，目标客户端仅能收到同伴汇报的随机梯度 \(g_t^{(i)}\)，真实的群体期望梯度偏差 \(b_t^{(i)}\) 无法直接测得。针对这一痛点，SP-CACW 在目标客户端侧维护针对各同伴的指数滑动平均（EMA）估计器： $\(\tilde{b}_t^{(i)} = g_t^{(i)} - g_t^{(0)}, \quad \widehat{b}_t^{(i)} = (1 - \beta_t) \widehat{b}_{t-1}^{(i)} + \beta_t \tilde{b}_t^{(i)}\)$ 在平稳偏差假设且采用采样均值衰减策略 \(\beta_t = 1/t\) 时，单步估计误差的方差以 \(\mathcal{O}(\sigma^2 / t)\) 速率衰减。更重要的是，理论证明累积真实代价可被累积代理代价加上一个仅以对数阶增长的惩罚项严密控制：\(\mathbb{E}\left[\sum_{t=1}^T \mathcal{L}(\alpha_t)\right] \le 2 \mathbb{E}\left[\sum_{t=1}^T \widehat{\mathcal{L}}(\alpha_t)\right] + \mathcal{O}(\log T)\)。这表明基于 EMA 在线估计偏差所带来的额外追踪开销平摊到每轮只有 \(\mathcal{O}(\log T / T) \to 0\)，保证了以代理估计代替真值在理论上的无损性。在实际深度学习训练中，采用常数平滑因子 \(\beta_t = \beta\) 即可在追踪参数动态漂移与过滤随机噪声之间取得良好平衡。
3. 基于 exp-concavity 的 FTAL 权重在线自适应：规避后验未知的遗憾最小化
在训练推进过程中，每一轮的代价函数 \(\widehat{\mathcal{L}}_t\) 在决定加权向量 \(\alpha_t\) 时尚未完全展现，构成典型的在线凸优化（OCO）博弈。如果使用普通的在线梯度下降（OGD），只能获得 \(\mathcal{O}(\sqrt{T})\) 的遗憾界，这会拖慢目标客户端的收敛速度。本文深入分析了二次损失函数 \(\widehat{\mathcal{L}}_t(\alpha) = \alpha^\top \mathbf{H}_t \alpha\) 的曲率性质，证明其具有参数 \(\gamma = 1 / ((8 + 2L\eta) g_{\max}^2)\) 的 \(\gamma\)-exp-concave 几何特性。利用这一强曲率特征，算法引入 Follow The Approximate Leader (FTAL) 求解框架，通过对历史代价的二阶二次逼近序列进行最小化，实现了 \(\mathcal{O}(M \log T)\) 的对数遗憾界。结合偏差估计误差分析，总收敛误差中来自权重自适应与偏差估计的部分共同衰减为 \(\mathcal{O}(\log T / T)\)，使得目标客户端能够迅速逼近事后最优的固定合作拓扑。
4. 自适应三次正则化与周期性惰性更新：防过拟合与计算开销摊销
为了解决纯二次代理目标在训练早期可能过早将全部权重坍缩到单一客户端（如自身或某个低方差客户端）的退化问题，算法在实用化部署中设计了三次惩罚项 \(\lambda_{\text{reg}} \sum_{i=0}^{M-1} (\alpha^{(i)})^3\)。相比传统的 \(L_2\) 正则化，三次正则化在原点附近的导数平缓，允许对微弱但有益的同伴梯度保持较低的边际压制，同时对单一过大主导权重施加更严厉的抑制，从而促进更健壮的分布式多方协作。同时，正则化系数与目标客户端梯度方差自适应挂钩 \(\lambda_{\text{reg}} = \gamma \cdot \|\text{var}(g_t^{(0)})\|^2\)，随着模型趋近驻点自动退火。此外，算法采用基于轮次（Epoch-level）的惰性权重更新策略，仅在目标数据完整遍历一轮后通过投影梯度下降（PGD）重新优化一次 \(\alpha\)，将单轮计算复杂度有效平摊至与标准 FL 一致的水平，避免了频繁调整引发的拓扑震荡。
损失函数 / 训练策略¶
目标客户端模型参数采用标准加权随机梯度下降（Weighted-SGD）更新：\(w_t \leftarrow w_{t-1} - \eta g_t\)，其中 \(g_t = \sum_{i=0}^{M-1} \alpha_{t-1}^{(i)} g_t^{(i)}\)。权重向量 \(\alpha_t\) 的求解在通信轮次 \(T\) 时最小化带有平滑惩罚的实用目标函数： $\(\mathcal{L}_{\text{prac}}(\alpha) = \sum_{t=T_{\text{start}}}^T \left\|\sum_{i=0}^{M-1} \alpha^{(i)} \widehat{b}_t^{(i)}\right\|^2 + \sum_{t=T_{\text{start}}}^T L\eta_t \left\|\sum_{i=0}^{M-1} \alpha^{(i)} g_t^{(i)}\right\|^2 + \lambda_{\text{reg}} \sum_{i=0}^{M-1} (\alpha^{(i)})^3, \quad \text{s.t. } \alpha \in \Delta_M\)$ 网络 Lipschitz 平滑常数 \(L\) 无需手动设定，而是借助 Pearlmutter 快速 Hessian-向量积算法结合幂迭代法轻量估计局部 Hessian 谱范数。针对不完全参与（Partial Participation）的跨设备场景，引入无偏重标度估计量 \(\tilde{g}_t^{(i)} = (g_t^{(i)} / p) z_{i,t}\)（\(z_{i,t} \sim \text{Bernoulli}(p)\)），所引入的 \((1/p - 1)\) 倍方差放大被权重平方 \((\alpha_t^{(i)})^2\) 天然抑制，理论框架保持封闭自洽。
实验关键数据¶
主实验¶
论文在 MNIST（标签置换与连续角度旋转）、CIFAR-100（20 客户端、4 聚类、高低两档类内噪声）以及真实的非合成异质数据集 LEAF Shakespeare（按戏剧角色自然切分、不具备先验群结构）上，覆盖 6 种异质性设定进行了系统测试。实验重复 5 次独立随机种子，统计最高平均测试准确率及样本标准差。
| 数据集 / 异质性设定 | 指标 | SP-CACW (本文) | SP-CACW reg (本文+正则) | FedDisco (前沿基线) | FedAMP | Ditto | Fed Cluster (FC) | Local-Only (独训) |
|---|---|---|---|---|---|---|---|---|
| CIFAR-100 (\(\sigma=10\) 高噪声) | 准确率 (%) | 52.23 ± 0.81 | 52.91 ± 0.45 | 54.03 ± 0.52 | 42.94 ± 0.92 | 23.68 ± 1.63 | 28.77 ± 0.62 | 37.00 ± 0.96 |
| CIFAR-100 (\(\sigma=0.01\) 低噪声) | 准确率 (%) | 51.18 ± 2.10 | 51.58 ± 1.55 | 51.55 ± 0.80 | 35.92 ± 0.62 | 20.93 ± 1.07 | 24.99 ± 0.34 | 27.41 ± 0.99 |
| Shakespeare (\(n=15, m=7\)) | 准确率 (%) | 53.64 ± 0.23 | 53.67 ± 0.43 | 51.82 ± 0.25 | 48.56 ± 0.32 | 51.25 ± 0.21 | 53.40 ± 0.16 | 47.15 ± 0.42 |
| Shakespeare (\(n=30, m=3\)) | 准确率 (%) | 51.62 ± 0.26 | 51.63 ± 0.27 | 49.54 ± 0.44 | 43.56 ± 0.41 | 44.07 ± 0.38 | 48.73 ± 0.37 | 43.72 ± 0.33 |
| MNIST (4° 连续旋转) | 准确率 (%) | 89.40 ± 1.55 | 89.40 ± 1.55 | 54.41 ± 5.01 | 80.84 ± 2.41 | 81.95 ± 1.78 | 84.23 ± 1.16 | 85.24 ± 0.72 |
| MNIST (标签置换 Relabeling) | 准确率 (%) | 94.85 ± 0.47 | 94.84 ± 0.53 | 35.14 ± 4.76 | 91.21 ± 0.94 | 90.36 ± 1.89 | 92.18 ± 0.91 | 92.36 ± 0.35 |
消融实验¶
为明确三次正则化、偏差 EMA 追踪及不同异质性场景对算法稳定性的影响，论文对比了标准 SP-CACW 与加入三次正则化项（SP-CACW reg）的表现，并分析了理想潜在聚类下的理论收敛阶差异：
| 配置 / 理论对比项 | CIFAR-100 (\(\sigma=10\)) | Shakespeare (\(n=15\)) | MNIST (旋转) | 理论收敛误差上界阶数 | 机制说明 |
|---|---|---|---|---|---|
| SP-CACW (标准版) | 52.23 ± 0.81 | 53.64 ± 0.23 | 89.40 ± 1.55 | \(\mathcal{O}\left(\frac{\sigma}{\sqrt{n_0 T}} + \frac{\log T}{T} + \frac{1}{T}\right)\) | 纯二阶收敛代理驱动，旋转正交任务下更激进剪枝 |
| SP-CACW reg (三次正则化) | 52.91 ± 0.45 | 53.67 ± 0.43 | 89.40 ± 1.55 | \(\mathcal{O}\left(\frac{\sigma}{\sqrt{n_0 T}} + \frac{\log T}{T} + \frac{1}{T}\right)\) | 抑制过早退化至极端单点，复杂多类别与高噪声下更稳 |
| 理论基准：Autarky (仅本地) | 37.00 ± 0.96 | 47.15 ± 0.42 | 85.24 ± 0.72 | \(\mathcal{O}\left(\frac{\sigma}{\sqrt{T}}\right)\) | 无同伴偏差但承受全部方差，缺乏群体加速 |
| 理论基准：标准 FL (全局均值) | 无法收敛至特异目标 | 无法收敛至特异目标 | 无法收敛至特异目标 | \(\mathcal{O}\left(\|b\|^2 + \frac{\sigma}{\sqrt{MT}}\right)\) | 偏差不衰减，强异质下产生严重负迁移阻滞 |
| 理论基准：FC (联邦聚类) | 28.77 ± 0.62 | 53.40 ± 0.16 | 84.23 ± 1.16 | \(\mathcal{O}\left(\sqrt{\frac{\sigma^2}{n_0 T} + \frac{\sigma^3}{\Delta T}}\right)\) | 严重依赖聚类可分度 \(\Delta\)，模糊边界下聚类分配错误 |
关键发现¶
- 对结构性异质性的鲁棒性远超经验基线：在 MNIST 标签置换与特征旋转任务中，依靠类别分布统计的 FedDisco 发生了灾难性崩溃（测试准确率暴跌至 35.14% 和 54.41%），而 SP-CACW 在两项任务上分别稳健取得 94.85% 和 89.40%，逼近 Oracle 理论上界（95.31%）。这表明直接基于优化梯度的收敛感知设计对于非聚类或标签剧烈重排的流形异质性具有极强适应力。
- 无先验自然异质环境下的卓越泛化：在 LEAF Shakespeare 这种基于角色自然切分、完全不满足人工聚类假设的序列建模场景中，SP-CACW（53.64%）显著超越了 Ditto（51.25%）与 FedAMP（48.56%），证明其无需假设任何潜在分组结构即可自发捕捉语言学风格重合度。
- 三次正则化对高噪声任务的稳定性增益：在 CIFAR-100 高噪声（\(\sigma=10\)）设定下，加入三次正则化项的 SP-CACW reg 准确率由 52.23% 提升至 52.91%，且标准差由 0.81 降至 0.45，有效防止了早期随机噪声扰动导致的权重局部坍缩。
亮点与洞察¶
- 从收敛上界反推加权准则的范式革新：不再依赖静态参数距离或直觉性余弦相似度等粗糙代理，而是严格根据 \(L\)-光滑非凸优化步长衰减特性推导收敛损失，在数学上证明了“偏差必须施以一阶惩罚，方差仅施以低阶微调”，并推导出自然具备硬截断稀疏性质的最优权重解。
- 对数级累积偏差估计与遗憾惩罚：通过证明 EMA 追踪误差平方和受谐波级数控制（\(\sum 1/t \le 1 + \log T\)），以及代理损失具有 \(\gamma\)-exp-concave 特征，将动态估计与在线决策的复合惩罚压缩至 \(\mathcal{O}(\log T / T)\)，使自私客户在未知环境中以极小代价逼近后验最优协作。
- 自适应退火三次正则化设计：采用三次方惩罚而非传统 \(L_2\) 范数，巧妙利用其在 0 附近的平缓梯度保护潜在有益同伴，并通过目标梯度方差自适应调节强度，兼顾了早期协同探索与后期收敛稳定性。
局限与展望¶
- 通信轮次内的全同伴梯度汇报依赖：虽然附录中推导了伯努利部分采样的无偏修正方案，但基础框架仍要求目标客户端与全体候选客户端保持单轮次梯度交互，在极大规模海量边缘移动设备（Cross-Device FL）场景下的上行带宽开销与并发管理仍有待优化。
- 缺乏针对恶意拜占庭攻击的主动防护：当前框架建立在诚实但异质的客户端假设之上；若恶意攻击者伪造极低方差且针对性构造微小梯度欺骗偏差估计器，可能会诱导目标客户端分配较高权重，未来需结合鲁棒统计学扩展抗拜占庭机制。
- 非平稳数据漂移下的自适应平滑策略：在真实动态流式数据环境下，客户端数据分布可能发生剧烈协变量漂移，当前固定的常数 \(\beta\) 平滑因子可能在反应速度与噪声滤波间难以兼顾，未来可探索动态自适应学习率/滤波窗口机制。
相关工作与启发¶
- vs FedAMP & pFedSim (相似度加权方案)：FedAMP 基于模型参数距离建立注意力度量，pFedSim 依赖梯度余弦相似度。SP-CACW 证明了高相似度并不等价于高质量优化方向，直接从收敛误差界反推加权准则，并提供理论上的方差缩减与去偏差保证。
- vs IFCA & FC (联邦聚类算法)：聚类方法预设全网存在若干离散同构的群组，收敛率严格受制于聚类间隔 \(\Delta\)（当分界面模糊时性能急剧下降）。SP-CACW 摆脱了刚性聚类先验，在连续流形旋转及无簇 Shakespeare 数据上展现出更普适的适配能力。
- vs Ditto & pFedMe (局部正则化方案)：Ditto 在本地目标与全局平均模型间引入 \(L_2\) 近端惩罚。当全局模型被严重异质的无关客户端污染时，该锚点自身即存在严重偏差。SP-CACW 则从源头通过动态剪枝剔除有害客户端梯度，避免了劣质全局锚点的负面牵引。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 颠覆了依赖相似度经验指标的传统 PFL 思维，建立首个基于收敛上界在线最小化的自私联邦加权理论框架。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖图像（MNIST/CIFAR-100）与文本序列（LEAF Shakespeare）共 6 大异质性场景，对比基线完备且有严格的消融与方差分析。
- 写作质量: ⭐⭐⭐⭐⭐ 数学证明完备严密，理论机理解释透彻，实验与算法设计层层呼应。
- 价值: ⭐⭐⭐⭐⭐ 为跨机构数据联盟和公共数据安全借用提供了自利驱动且规避负迁移的实用算法工具，对分布式协同优化极具启发性。