Federated Learning by Utility-Constrained Stochastic Aggregation for Improving Robustness¶

会议: NeurIPS 2026
arXiv: 2605.18020
领域: 联邦学习
关键词: 联邦学习、理性参与、效用约束聚合、狄利克雷随机聚合、琴生间隙

一句话总结¶

本文提出基于效用约束随机聚合的联邦学习框架 FedUCA，将服务器聚合建模为满足自利客户端个人理性约束的可行性优化问题，并通过狄利克雷采样的候选聚合策略利用琴生间隙创造效用盈余，有效防止跨孤岛联邦学习中由于异质性引发的客户端流失与训练崩溃。

研究背景与动机¶

传统联邦学习（FL）大多隐式假设边缘节点是无条件被动服从中央服务器调度的，即只要服务器下发全局模型并索取更新，客户端就会照单全收并上传本地梯度。这一假设在海量无感参与的跨设备（cross-device）场景中尚能成立，但在涉及医院、实验室或跨国企业的跨孤岛（cross-silo）联邦学习环境中却与现实严重脱节。在跨孤岛部署中，每个参与机构都需要承担高昂的本地算力、高带宽传输、合规审计以及系统维护成本。因此，这些机构本质上是自利的理性智能体（rational agents）：他们是否留在联邦中，完全取决于协作训练带来的全局模型在本地验证集上的表现是否显著优于仅依靠自身私有数据训练的基线模型。

当参与方之间存在显著的统计异质性（Non-IID 数据分布）时，标准联邦平均（如 FedAvg、FedProx）往往会导致灾难性的恶性循环：服务器简单加权聚合得到的全局模型在各个局部数据分布上产生严重漂移，甚至直接劣于客户端的本地基线模型。理性客户端在进行本地验证时发现“参与不如单干”，从而触发个人理性（Individual Rationality, IR）不满足而拒绝更新；随着大批客户端退群流失，服务器收到的有效更新锐减，导致后续全局模型质量进一步恶化，最终引发整个联邦协作生态的崩溃。现有引入经济学博弈机制或定价激励的方法通常依赖现实中难以落地的外部货币支付或复杂的博弈均衡建模；而基于相似度的非货币方法又容易排斥异质性强却拥有宝贵独特数据的节点。

面对异质理性节点的利益冲突，关键矛盾在于：单一确定的聚合权重向量往往落入不可行的紧致空间，无法同时满足全部节点的效用阈值。本文的切入视角建立在机制设计与契约理论的基础假定之上——客户端从全局模型获得的效用函数关于其自身被分配的聚合权重呈现严格凹性（边际收益递减与风险厌恶）。基于这一关键性质，服务器无须拘泥于单一静态权重，而可以引入策略混合机制，利用期望效用与效用期望之间的琴生不等式差额（Jensen's gap）主动创造出一笔内生的“效用盈余”，作为抵抗异质性退出的安全缓冲区。核心 idea：将跨孤岛联邦聚合形式化为带松弛变量的个人理性可行性凸优化问题，通过狄利克雷分布采样多组候选聚合策略并在服务端下发期望权重，利用凹效用下的琴生间隙内生生成效用盈余，从而在零外部货币补偿下稳健维持高参与率与全局模型收敛。

方法详解¶

整体框架¶

FedUCA 的核心运行机制是在服务器与自利客户端之间建立一套轻量、注重隐私且内生激励相容的闭环交互协议。在每个通信轮次中，客户端利用服务端广播的模型与上一轮期望聚合权重，通过留一法反事实模型估计自身的凹二次效用函数参数与个人理性参与阈值，并决定是否交付最新训练参数；服务器则收集活跃与陈旧状态，采样狄利克雷混合向量并求解二次规划可行性问题，动态生成一组能最大化满足各方理性诉求的候选聚合策略矩阵。

该机制由客户端反事实效用评估、理性过滤、服务端凸二次规划求解及陈旧梯度追踪四大紧密相连的阶段构成。整个流水线的协同拓扑如下所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: 全局模型与候选聚合权重"] --> B["客户端反事实效用估计<br/>留一模型差值拟合凹二次效用函数"]
    B --> C["理性检验与选择性上传<br/>仅在效用达标时上传新模型与阈值"]
    C --> D["服务端二次规划可行性优化<br/>求解策略矩阵以最小化违反松弛量"]
    D --> E["狄利克雷随机混合与盈余诱导<br/>利用琴生间隙创造效用缓冲"]
    E --> F["陈旧状态追踪全局模型更新<br/>融合活跃梯度与历史滞留更新"]
    F --> A

关键设计¶

1. 客户端反事实效用估计：以留一模型锚点低开销捕获参数敏感性

为了使服务端能够针对各节点的效用偏好制定聚合策略，必须先让客户端量化“自身被赋予不同聚合权重时能获得多大的局部收益”。由于直接穷举网格搜索重新聚合需要大量通信，客户端 $k$ 利用上轮服务端的期望聚合权重 $\alpha_k^{t-1}$ 以及本地历史模型 $\boldsymbol{\theta}_k^{t-1}$，解析地构造出剥离自身贡献后的“留一反事实全局模型”： $$\boldsymbol{\theta}_{-k}^t = \frac{\boldsymbol{\theta}^t - \alpha_k^{t-1}\boldsymbol{\theta}_k^{t-1}}{1 - \alpha_k^{t-1}}$$ 随后，客户端在留一模型 $\boldsymbol{\theta}_{-k}^t$ 与自身当前模型 $\boldsymbol{\theta}_k^t$ 的参数插值路径上构造虚拟模型 $\tilde{\boldsymbol{\theta}}_k(r) = (1-r)\boldsymbol{\theta}_{-k}^t + r\boldsymbol{\theta}_k^t$。当权重 $r=0$ 时完全忽略自身特有知识，当 $r=1$ 时完全放弃联邦泛化能力；在这两极之间，模型验证精度呈现平滑的单峰凹形态。客户端仅需在私有验证集 $\mathcal{D}_k^{\text{val}}$ 上对几个均匀采样点计算评估精度，即可通过最小二乘法拟合出一个轻量的三参数凹二次效用代理函数： $$u_k(r; \boldsymbol{\zeta}_k) = -a_k r^2 + b_k r + c_k \quad (a_k > 0)$$ 客户端只需向服务器回传三个实数参数 $\boldsymbol{\zeta}_k = \{a_k, b_k, c_k\}$ 以及当前轮次的理性参与底线 $\gamma_k^t = u_k(\alpha_k^{t-1}, \boldsymbol{\zeta}_k^t)$，通信开销几乎可以忽略不计，同时严格保护了私有数据分布。

2. 狄利克雷随机混合与琴生间隙诱导：打破确定性聚合不可行僵局

在高度非独立同分布（Non-IID）的场景中，所有客户端要求的有效权重阈值之和常常远超单纯单纯形 $\sum_k \alpha_k = 1$ 的物理界限，导致不存在任何一个静态确定性权重向量能同时满足所有人。FedUCA 突破性地引入 $n_s$ 个候选聚合策略，构成策略矩阵 $\mathbf{R} \in \mathbb{R}^{n_s \times N}$（其中第 $i$ 行为一组覆盖所有客户端的聚合向量 $\mathbf{r}^i$），并引入由狄利克雷分布 $\mathbf{s} \sim \text{Dir}(\delta \mathbf{1}_{n_s})$ 采样的随机混合向量 $\mathbf{s} = (s_1, \dots, s_{n_s})$。

服务器向客户端 $k$ 承诺并执行的感知期望权重为 $\alpha_k = \sum_{i=1}^{n_s} s_i r_k^i$。由于效用函数 $u_k(\cdot)$ 具有严格凹性，根据数学上的琴生不等式（Jensen's Inequality），必然存在非负的琴生差额 $\mathcal{J}_k(\mathbf{s})$： $$\mathcal{J}_k(\mathbf{s}) = u_k\left(\sum_{i=1}^{n_s} s_i r_k^i\right) - \sum_{i=1}^{n_s} s_i u_k(r_k^i) \geq 0$$ 这一间隙本质上是一笔无需外部补贴的内生效用盈余：服务端只需在保守目标下求解使得底层加权效用满足 $\sum_{i=1}^{n_s} s_i u_k(r_k^i) \geq \gamma_k - t_k$，客户端在期望权重 $\alpha_k$ 下实际体验到的效用 $u_k(\alpha_k)$ 就会自发高出这一底线 $\mathcal{J}_k(\mathbf{s})$。文中从理论与实证两方面证明，浓度参数 $\delta$ 调控着混合几何的形态：在极小值（退化为顶点单一策略）与极大值（塌缩为均匀混合）时琴生间隙均消失，而在中等区间 $\delta \in [0.5, 1.0]$ 时盈余达到峰值，为异质节点提供了充沛的参与可行性缓冲。

3. 服务端二次规划可行性优化与松弛解算：兼顾公平与参与可行域

在接收到各客户端上传的效用参数 $\boldsymbol{\zeta}_k$ 与门槛 $\gamma_k$ 后，服务器在每轮并不直接盲目拟合损失，而是求解一个带非负松弛变量 $\mathbf{t} = (t_1, \dots, t_N)^T$ 的凸二次规划问题，力求以最小的约束违反代价换取最大程度的理性留存： $$\min_{\mathbf{t}, \mathbf{R}} \frac{1}{2} \|\mathbf{t}\|_2^2 \quad \text{s.t.} \quad \mathbf{R} \mathbf{1}_N = \mathbf{1}_{n_s}, \quad \mathbf{1}_{n_s}^T \mathbf{R} = \frac{n_s}{N} \mathbf{1}_N^T, \quad \mathbf{r}_k \succeq 0, \quad \mathbf{t} \succeq 0$$ $$\sum_{i=1}^{n_s} s_i u_k(r_k^i) \geq \epsilon + \gamma_k - t_k, \quad \forall k \in [N]$$ 约束 $\mathbf{R} \mathbf{1}_N = \mathbf{1}_{n_s}$ 确保每组候选策略均是合法的概率单纯形权重；列和约束 $\mathbf{1}_{n_s}^T \mathbf{R} = \frac{n_s}{N} \mathbf{1}_N^T$ 确保不同策略之间存在充分的差异化张角，并在 $N=n_s$ 时退化为双随机矩阵约束；松弛项惩罚则保证当全局可行解不存在时，系统平滑退让并找到对各个节点偏离最小的帕累托平衡点。若出现全员不可行的极端边界，服务器自动触发后备机制（Fallback），随机保底抽选一个客户端优先满足其个体理性，将其余质量规范化分流，严格阻断全局零参与的死锁。

4. 滞后陈旧状态追踪（Stale Update Tracking）：维护跨轮次效用连贯性

对于未满足个人理性条件 $\mathbf{a}(\boldsymbol{\theta}^t, \mathcal{D}_k^{\text{val}}) > \mathbf{a}(\boldsymbol{\theta}_k^{t-1}, \mathcal{D}_k^{\text{val}})$ 的退化客户端，若直接从服务器聚合池中简单剔除并重新归一化其余权重，会导致幸存客户端的相对权重发生剧烈跳变，破坏反事实效用估计的时间连续性，进而引发后续轮次的连锁退群。FedUCA 引入陈旧更新追踪器 $\mathbf{y}_k^{t+1}$，在客户端 $k \notin S_t$ 处于静默期时，服务器继续复用其最近一次成功上传的伪梯度 $\mathbf{d}_k^{t-\nu_k^t}$ 与最新分配的权重 $\alpha_k^t$ 进行加权融合： $$\mathbf{g}^t = \sum_{k \in S_t} \alpha_k^t \mathbf{d}_k^t + \sum_{k \in S_t^c} \alpha_k^t \mathbf{y}_k^t$$ 这一设计将客户端的长期历史贡献妥善沉淀在系统状态中，既为后续重返联邦提供了连续的基准，又在有界延迟 $\nu_k^t \leq \nu_{\max}$ 下维持了整体优化流形的几何平滑性。

损失函数 / 训练策略¶

在客户端本地，参与训练的节点以服务器全局模型 $\boldsymbol{\theta}^t$ 为初值，在私有训练集 $\mathcal{D}_k$ 上执行 $\tau$ 步小批量随机梯度下降（SGD），更新学习率为 $\eta_c$；未达标的节点则继续沿自身私有梯度更新，保持本地自治。

在理论收敛性层面，该系统在非凸光滑局部目标假设下严格证明了系统收敛界： $$\frac{1}{T} \sum_{t=0}^{T-1} \mathbb{E}\|\nabla f(\boldsymbol{\theta}^{(t,0)})\|^2 \leq \mathcal{E}_{\text{init}} + \mathcal{E}_{\text{agg}} + \mathcal{E}_{\text{var}} + \mathcal{E}_{\text{drift}} + \mathcal{E}_{\text{sys}}$$ 其中 $\mathcal{E}_{\text{init}} = \mathcal{O}(1/\sqrt{T})$；聚合差异误差项由狄利克雷浓度与活跃节点数显式控制： $$\mathcal{E}_{\text{agg}} \leq \frac{C(n_s - 1)}{S(n_s \delta + 1)}$$ 该式定量揭示了关键的权衡机制：增大 $\delta$ 会收紧聚合方向与目标方向之间的结构偏差，但过大的 $\delta$ 又会抹平用以吸引参与的琴生盈余。FedUCA 通过调控 $\delta \in [0.5, 1.0]$，在保障全局收敛界的同时最大化激活理性节点的自发参与。

实验关键数据¶

主实验¶

实验涵盖 CIFAR-10（5 层卷积 CNN）、Fashion-MNIST（2 层 MLP）和 CIFAR-100（ResNet-18，组归一化），并在训练集与验证集上施加不同程度的狄利克雷异质性切分 $\text{Dir}(\alpha_{\text{train}}, \alpha_{\text{val}})$。所有基线均配置完全相同的个人理性检验机制与陈旧梯度追踪模块，确保纯粹对比聚合决策。主实验准确率（%）如下表所示：

数据集	异质性划分	FedUCA (本文)	FedAvg	FedProx	IncFL	领先优势 (vs 最高基准)
CIFAR-10	Dir(0.5, 1.0)	66.89 ± 1.56	16.63 ± 1.16	17.44 ± 0.86	32.35 ± 0.96	+34.54 (vs IncFL)
CIFAR-10	Dir(1.0, 1.0)	71.86 ± 1.17	18.31 ± 1.66	17.63 ± 2.14	34.60 ± 0.16	+37.26 (vs IncFL)
F-MNIST	Dir(0.5, 1.0)	83.18 ± 0.40	53.26 ± 2.78	54.68 ± 2.01	37.07 ± 0.20	+28.50 (vs FedProx)
F-MNIST	Dir(1.0, 1.0)	83.48 ± 0.85	54.64 ± 2.05	53.79 ± 0.55	36.69 ± 0.04	+28.84 (vs FedAvg)
CIFAR-100	Dir(0.5, 1.0)	42.50 ± 0.29	04.05 ± 0.06	06.35 ± 2.91	04.18 ± 0.41	+36.15 (vs FedProx)
CIFAR-100	Dir(1.0, 1.0)	50.15 ± 0.32	03.63 ± 0.50	04.06 ± 0.22	12.89 ± 0.94	+37.26 (vs IncFL)

此外，在 20 Newsgroups 文本数据集（Bi-LSTM 架构，50 轮）上，FedUCA 达到 48.33% 准确率与 66.0% 参与率，相较最优基线 AggFL（22.82% 准确率，7.6% 参与率）提升了 25.51 个百分点。在强制前 5 轮全员参与的温启动实验（FedAvg-WS）中，FedUCA 在 CIFAR-10 上依然取得 +19.2 ~ +20.2 点的显著领先，证明其优势绝非单纯克服初始冷启动波动。

消融实验¶

1. 策略数量 $n_s$ 对性能与参与度的影响（验证琴生间隙利用效能）

候选策略数 $n_s$	CIFAR-10 准确率 (%)	CIFAR-10 参与率 (%)	CIFAR-100 准确率 (%)	CIFAR-100 参与率 (%)	说明
$n_s = 1$ (确定性单策略)	63.80	29	36.80	37	无琴生间隙盈余，参与率受限
$n_s = 5$ (多策略随机混合)	66.89	53	42.50	53	充分利用琴生盈余，参与率与精度大幅跃升

2. 狄利克雷浓度参数 $\delta$ 对琴生间隙与参与率的调控（CIFAR-10 实验）

浓度参数 $\delta$	平均琴生间隙 $\sum_k \mathcal{J}_k^t$	Top-25 轮次间隙	客户端平均参与率 (%)	状态说明
$\delta = 0.01$	0.20	0.81	~30%	极端偏向单纯形顶点，策略单一，盈余耗尽
$\delta = 0.5$	2.48	5.32	~53%	最佳平衡区间，几何张角充沛，效用盈余最大
$\delta = 1.0$	2.77	5.18	~54%	参与率峰值，琴生盈余显著激活
$\delta = 10.0$	1.19	1.82	~51%	权重趋于集中，盈余逐步下降
$\delta = 100.0$	0.31	0.67	~49%	塌缩为均匀权重，琴生间隙趋近于零

关键发现¶

常规基线陷入自毁性恶性循环：在异质性下，FedAvg、FedProx 和 AAggFF-S 由于初期的聚合失真导致客户端精度受损，理性检验促使参与率迅速暴跌至 12% 以下甚至濒临个位数，引发级联退群和模型崩溃；而 FedUCA 维持在 51%~54% 的高参与率，从根源上稳住了训练进程。
琴生间隙与参与率高度同构：实测表明琴生间隙随 $\delta$ 呈现出与理论命题预测完全一致的非单调“倒 U 型”曲线，且间隙在约束最容易绑定的高异质性轮次（Top-25）急剧放大，强有力地印证了“随机性创造效用盈余”的理论机理。
策略性虚报阈值导致系统自杀：当模拟客户端试图搭便车而将申报阈值虚标 +5% 时，参与率降至 40.0% 且精度下降 3 点；当虚标 +10% 时，可行域几乎彻底闭合，参与率雪崩至 1.3%，模型精度崩溃至 10.80%（随机猜测）。这表明在可行性框架下，真实申报是个体最优的自洽纳什均衡。

亮点与洞察¶

将理性博弈约束转化为内生可行性凸优化：摆脱了以往研究对外部虚拟代币或复杂多阶段拍卖协议的沉重依赖，直接在聚合算子本身施加二次规划约束，开创了无货币跨孤岛激励机制的极简范式。
化随机性为效用盈余的数学机理：不仅将狄利克雷采样用作防过拟合的扰动，而是利用客户端效用的本质凹性，通过琴生不等式差额硬性“造”出一段安全容限，极具数学美感与工程实用性。
开创内生参与下的收敛性分解理论：首次给出了参与集合与聚合矩阵双向动态内生演化系统的严格收敛证明，并将机制设计诱导的偏差 $\mathcal{E}_{\text{agg}}$ 与浓度参数 $\delta$ 严格挂钩。

局限与展望¶

真实效用凹性假定依赖：虽然基于留一模型的二次回归在视觉任务中取得了 $R^2 \approx 0.83$ 的优异拟合度，但在超大参数模型或高度非平滑的多模态任务损失曲面上，效用曲线可能出现局部非凹震荡，影响凸规划求解的有效性。
二次规划求解带来的计算时延：服务端每轮需调用凸优化求解器（如 CVXPY）解算大小为 $n_s \times N$ 的策略矩阵；当客户端规模扩展到上百个异质节点时，每轮求解耗时可能成为系统的主要同步瓶颈。
未来方向：未来可探索免求解器的闭式一阶原始-对偶近似算法，并将该机制拓展至抗拜占庭投毒攻击的统一联合框架中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用凹效用下的琴生间隙解决理性参与不可行困境，立意极其深刻独到。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖多模态（视觉/文本）、多架构、不同异质性划分及理论界实测验证，数据扎实。
写作质量: ⭐⭐⭐⭐⭐ 理论推导完备闭环，从机制设计到优化收敛各环节逻辑严密、表达清晰。
价值: ⭐⭐⭐⭐⭐ 为跨机构数据合规流通与跨孤岛联邦学习的可持续协作提供了极具落地可行性的范式。

候选策略数 \(n_s\)	CIFAR-10 准确率 (%)	CIFAR-10 参与率 (%)	CIFAR-100 准确率 (%)	CIFAR-100 参与率 (%)	说明
\(n_s = 1\) (确定性单策略)	63.80	29	36.80	37	无琴生间隙盈余，参与率受限
\(n_s = 5\) (多策略随机混合)	66.89	53	42.50	53	充分利用琴生盈余，参与率与精度大幅跃升

浓度参数 \(\delta\)	平均琴生间隙 \(\sum_k \mathcal{J}_k^t\)	Top-25 轮次间隙	客户端平均参与率 (%)	状态说明
\(\delta = 0.01\)	0.20	0.81	~30%	极端偏向单纯形顶点，策略单一，盈余耗尽
\(\delta = 0.5\)	2.48	5.32	~53%	最佳平衡区间，几何张角充沛，效用盈余最大
\(\delta = 1.0\)	2.77	5.18	~54%	参与率峰值，琴生盈余显著激活
\(\delta = 10.0\)	1.19	1.82	~51%	权重趋于集中，盈余逐步下降
\(\delta = 100.0\)	0.31	0.67	~49%	塌缩为均匀权重，琴生间隙趋近于零