Federated Learning by Utility-Constrained Stochastic Aggregation for Improving Rational Participation¶

会议: NeurIPS 2026
arXiv: 2605.18020
论文: https://arxiv.org/abs/2605.18020
领域: 优化
关键词: 联邦学习、理性参与、效用约束、随机聚合、琴生不等式

一句话总结¶

针对非独立同分布跨孤岛联邦学习中理性节点因全局模型降低本地效用而发生参与度雪崩的问题，FedUCA 将服务端聚合重构为满足个体理性约束的凸可行性优化，并通过狄利克雷随机化候选聚合策略借助琴生不等式诱导效用盈余，在无需外部经济激励的前提下有效维持节点长效参与。

研究背景与动机¶

在传统的跨孤岛（Cross-Silo）联邦学习设定中，标准算法如 FedAvg、FedProx、SCAFFOLD 均默认所有参与方（如医院、金融机构或研究实验室）作为被动协同者无条件遵从服务端的调度与聚合。然而在现实企业级落地场景中，各孤岛承担着计算硬件开销、高带宽网络消耗、数据合规审查等实质性运营成本。各节点实际上均为追求自身利益最大化的理性智能体（Rational Agents），参与协同训练的首要前提是全局模型在自身保留验证集上的性能表现必须显著优于本地单打独斗训练的基线模型，即必须严格满足机制设计中的个体理性（Individual Rationality, IR）约束。

当孤岛间存在严重的统计异质性（Non-IID 数据分布）时，传统确定性加权聚合陷入了自激式的参与度雪崩死循环：服务端简单的模型平均使得聚合后的全局模型在异质客户端本地验证集上的精度发生严重漂移甚至退化；理性节点在评估后发现全局模型损害了自身效用，从而主动拒绝采纳并退出后续轮次；参与节点的锐减导致服务端收集到的梯度多样性进一步匮乏，后续轮次的全局模型性能愈发劣质，最终导致整个联邦训练体系退化瓦解，参与率往往迅速跌落至 12% 以下。现有的激励机制主要依赖拍卖、Stackelberg 博弈或基于定价与合约理论的外部货币补偿，不仅系统开销高昂且依赖复杂的经济学均衡假设，在许多严禁外部支付结算的跨机构场景中难以实施。

本文的切入视角是摒弃外部货币设计，从纯模型效用与凸优化可行域出发，利用经济学中效用函数的凹性特征打破单一确定性聚合权重无法同时满足多元门槛的僵局。核心 idea：将理性联邦学习建模为带个体理性门槛约束的可行性优化问题，利用狄利克雷分布采样混合聚合策略矩阵，借助凹效用函数上的琴生差（Jensen's Gap）内生性产生效用安全边际，并结合历史陈旧更新追踪维持长效参与。

方法详解¶

整体框架¶

FedUCA 在服务端与客户端之间建立了一套基于效用反馈与随机化权重的协调协议。在每一轮通信中，服务端向节点广播全局模型及预期聚合权重；各客户端基于留一法反事实插值评估自身效用随权重的变化曲线，拟合出轻量级的凹二次效用代理参数并连同个体理性阈值回传；服务端以最小化松弛变量范数为目标，求解在双随机边界和效用期望约束下的候选策略矩阵，并利用狄利克雷采样的概率向量生成随机聚合结果。对于本轮未达到参与门槛的消极节点，服务端复用其陈旧更新以保障聚合一致性与效用连续性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["服务端广播全局模型与预期权重"] --> B["客户端留一法反事实效用拟合"]
    B --> C["本地理性校验与条件参数回传"]
    C --> D["服务端效用约束可行性优化求解"]
    D --> E["狄利克雷随机聚合与陈旧梯度补偿"]
    E -->|迭代更新模型与历史追踪器| A

关键设计¶

1. 留一法反事实效用估计：无额外通信开销刻画效用凹性 为了使理性决策能够感知聚合权重，客户端需要精确估计全局模型性能对其分配权重 $r$ 的响应函数。客户端 $k$ 在接收到服务端广播的上一轮预期权重 $\alpha_k^{t-1}$ 后，首先通过消除自身历史贡献构建留一法（Leave-One-Out）反事实模型 $\boldsymbol{\theta}_{-k}^t = (\boldsymbol{\theta}^t - \alpha_k^{t-1}\boldsymbol{\theta}_k^{t-1}) / (1 - \alpha_k^{t-1})$。随后，客户端在本地模型 $\boldsymbol{\theta}_k^t$ 与反事实模型 $\boldsymbol{\theta}_{-k}^t$ 之间进行线性插值，生成参数化模型 $\tilde{\boldsymbol{\theta}}_k(r) = (1-r)\boldsymbol{\theta}_{-k}^t + r\boldsymbol{\theta}_k^t$。在客户端本地保留验证集 $\mathcal{D}_k^{\text{val}}$ 上评估不同插值点 $r \in [0, 1]$ 下的经验验证精度 $\hat{u}_k(r)$。由于过度依赖自身模型会导致泛化受限，而完全依赖全局模型又丧失了本地定制性，经验效用曲线呈现出典型的单峰平滑形态。客户端通过均方误差拟合严格凹的二次函数代理： $$u_k(r; \zeta_k) = -a_k r^2 + b_k r + c_k \quad (a_k > 0)$$ 客户端仅需向服务端回传标量参数三元组 $\zeta_k = (a_k, b_k, c_k)$ 与参与阈值 $\gamma_k^t = u_k(\alpha_k^{t-1}, \zeta_k^t)$，通信开销保持常数阶。

2. 狄利克雷随机化与琴生差盈余：打破确定性可行域束缚 在统计异质性极强的场景下，往往不存在任何一个单一确定性权重向量能够同时使所有客户端的效用超越其自留阈值 $\gamma_k$。FedUCA 构建包含 $n_s$ 种候选聚合策略的矩阵 $\mathbf{R} \in \mathbb{R}^{n_s \times N}$，并通过固定的狄利克雷分布 $\mathbf{s} \sim \text{Dir}(\delta \mathbf{1}_{n_s})$ 对这 $n_s$ 种策略赋权。客户端感知到的期望权重为 $\alpha_k = \sum_{i=1}^{n_s} s_i r_k^i$。由于客户端效用函数 $u_k(\cdot)$ 具有严格凹性，根据琴生不等式，期望权重的效用天然大于等于效用的期望值： $$u_k\left(\sum_{i=1}^{n_s} s_i r_k^i\right) \ge \sum_{i=1}^{n_s} s_i u_k(r_k^i)$$ 二者之间的正向差值即为诱导琴生差（Jensen's Gap）： $$\mathcal{J}_k(\mathbf{s}) = u_k\left(\sum_{i=1}^{n_s} s_i r_k^i\right) - \sum_{i=1}^{n_s} s_i u_k(r_k^i) \ge 0$$ 这一非负的琴生差等效于为服务端在个体理性条件中创造了一笔内在的“效用安全边际（Utility Surplus）”。浓度参数 $\delta$ 精确调控着策略空间的几何结构：当 $\delta \to 0$ 时分布坍缩至单点顶点，当 $\delta \to \infty$ 时策略趋于均匀一致，二者均会导致琴生差退化为零；而在适中的 $\delta \in [0.5, 1.0]$ 区间内，琴生差达到峰值，极大地拓宽了服务端满足约束的可行域空间。

3. 凸可行性优化与陈旧更新补偿：保障系统稳定与连贯参与 服务端每轮将所有客户端的参数整合，求解以松弛变量 $\mathbf{t} = [t_1, \dots, t_N]^T$ 范数最小化为目标的凸优化问题： $$\min_{\mathbf{t}, \mathbf{R}} \frac{1}{2} \|\mathbf{t}\|_2^2 \quad \text{s.t.} \quad \mathbf{R}\mathbf{1}_N = \mathbf{1}_{n_s}, \; \mathbf{1}_{n_s}^T \mathbf{R} = \frac{n_s}{N}\mathbf{1}_N^T, \; \mathbf{r}_k \succeq 0, \; \mathbf{t} \succeq 0, \; \sum_{i=1}^{n_s} s_i u_k(r_k^i) \ge \epsilon + \gamma_k - t_k, \; \forall k \in [N]$$ 若优化出现极端不满足导致无节点参与的风险，服务端触发回退机制（Fallback Mechanism），强制采样单个客户端并优先保障其效用阈值，确保每轮活跃集合大小满足 $|S_t| \ge 1$。同时，对于本轮不满足理性门槛未上传新权重的节点 $k \in S_t^c$，服务端并不在活跃集合中进行重新归一化，而是复用其历史陈旧伪梯度 $\mathbf{y}_k^t$ 进行加权累加。这种记忆保持避免了聚合权重的剧烈跳变，维持了历史贡献追踪与效用估计的平滑连贯性。

损失函数 / 训练策略¶

系统全局最小化经验损失 $f(\boldsymbol{\theta}) = \sum_{k=1}^N \beta_k f_k(\boldsymbol{\theta})$。客户端在接收到广播后，若满足理性条件 $u_k(\alpha_k^{t-1}, \zeta_k^{t-1}) \ge \gamma_k^{t-1}$，则从全局模型 $\boldsymbol{\theta}^t$ 出发执行 $\tau$ 步本地 SGD 迭代；否则保留上一轮本地模型继续训练。服务端收集活跃客户端伪梯度 $\mathbf{d}_k^t = (\boldsymbol{\theta}^t - \boldsymbol{\theta}_k^t) / \eta_c$，并结合陈旧更新更新全局模型： $$\boldsymbol{\theta}^{t+1} = \boldsymbol{\theta}^t - \eta \tau \left( \sum_{k \in S_t} \alpha_k^t \mathbf{d}_k^t + \sum_{k \in S_t^c} \alpha_k^t \mathbf{y}_k^t \right)$$ 在理论收敛性方面，梯度范数平方和的上界被分解为瞬态项 $\mathcal{E}_{\text{init}}$、机制聚合偏置项 $\mathcal{E}_{\text{agg}} \le \frac{C(n_s - 1)}{S(n_s \delta + 1)}$、方差项 $\mathcal{E}_{\text{var}}$、漂移项 $\mathcal{E}_{\text{drift}}$ 与系统陈旧误差下界 $\mathcal{E}_{\text{sys}}$。该理论深刻揭示了浓度参数 $\delta$ 的权衡：增大 $\delta$ 减小了聚合偏置，但削弱了维持参与的琴生盈余。

实验关键数据¶

主实验¶

实验在 CIFAR-10、F-MNIST 与 CIFAR-100 上进行评估，采用狄利克雷分布模拟高难度的数据异质性划分 $\text{Dir}(0.5, 1.0)$ 和 $\text{Dir}(1.0, 1.0)$。所有对比基准均配备了相同的理性验证机制和陈旧更新缓存。

数据集	异质性划分	FedAvg	FedProx	IncFL	AAggFF-S	FedAvg-WS	FedUCA (Ours)
CIFAR-10	$\text{Dir}(0.5, 1.0)$	$16.63 \pm 1.16$	$17.44 \pm 0.86$	$32.35 \pm 0.96$	$16.13 \pm 0.50$	$47.70 \pm 0.47$	$\mathbf{66.89 \pm 1.56}$
CIFAR-10	$\text{Dir}(1.0, 1.0)$	$18.31 \pm 1.66$	$17.63 \pm 2.14$	$34.60 \pm 0.16$	$17.90 \pm 0.33$	$51.63 \pm 0.71$	$\mathbf{71.86 \pm 1.17}$
F-MNIST	$\text{Dir}(0.5, 1.0)$	$53.26 \pm 2.78$	$54.68 \pm 2.01$	$37.07 \pm 0.20$	$52.84 \pm 3.18$	$77.60 \pm 0.57$	$\mathbf{83.18 \pm 0.40}$
F-MNIST	$\text{Dir}(1.0, 1.0)$	$54.64 \pm 2.05$	$53.79 \pm 0.55$	$36.69 \pm 0.04$	$68.92 \pm 6.22$	$75.75 \pm 0.23$	$\mathbf{83.48 \pm 0.85}$
CIFAR-100	$\text{Dir}(0.5, 1.0)$	$04.05 \pm 0.06$	$06.35 \pm 2.91$	$04.18 \pm 0.41$	$05.60 \pm 0.33$	$33.50 \pm 0.26$	$\mathbf{42.50 \pm 0.29}$
CIFAR-100	$\text{Dir}(1.0, 1.0)$	$03.63 \pm 0.50$	$04.06 \pm 0.22$	$12.89 \pm 0.94$	$04.53 \pm 0.86$	$48.93 \pm 0.05$	$\mathbf{50.15 \pm 0.32}$

消融实验¶

1. 策略数量 $n_s$ 的消融对比（确定性 $n_s=1$ vs 随机化 $n_s=5$）

数据集	策略数量配置	全局模型精度 Acc (%)	平均参与率 (%)	机制分析
CIFAR-10	单一策略 ($n_s=1$)	63.80	29	确定性聚合，无法激活琴生盈余，可行域狭窄
CIFAR-10	多重策略 ($n_s=5$)	$\mathbf{66.89}$	$\mathbf{53}$	琴生差产生安全边际，显著拉升理性参与率 (+24%)
CIFAR-100	单一策略 ($n_s=1$)	36.80	37	高维异质特征下确定性权重分配难以兼顾多方门槛
CIFAR-100	多重策略 ($n_s=5$)	$\mathbf{42.50}$	$\mathbf{53}$	随机混合策略扩充有效可行解，精度提升 +5.7%

2. 狄利克雷浓度参数 $\delta$ 对琴生差与参与度的敏感性分析（CIFAR-10）

浓度参数 $\delta$	平均琴生差 $\bar{\mathcal{J}}$	Top-50 轮平均差	Top-25 轮平均差	平均参与率 (%)
0.01	0.20	0.40	0.81	~30.0
0.5	2.48	4.10	5.32	53.0
1.0	$\mathbf{2.77}$	$\mathbf{4.26}$	5.18	$\mathbf{54.0}$
10	1.19	1.60	1.82	~51.0
100	0.31	0.48	0.67	~49.0

关键发现¶

传统基准陷入自毁式崩溃：FedAvg 与 FedProx 在面对理性检验时，参与率跌破 12%，全局模型因缺乏更新而停滞；即使引入 5 轮强制参与的热启动机制（FedAvg-WS），FedUCA 仍能在 CIFAR-10 上领先 19.2 ~ 20.2 个百分点，表明稳态参与管理远优于暂态初始化干预。
随机策略的效用放大效应：从 $n_s=1$ 提升到 $n_s=5$ 时，参与率由 29% 飞跃至 53%，直接印证了琴生差理论为理性约束带来的实质性容限扩充。
策略浓度的非单调峰值：琴生差随 $\delta$ 呈现出两头归零、中间突起的特征，在 $\delta \in [0.5, 1.0]$ 区间内达到峰值，与实际观测到的参与率峰值严格重合。

亮点与洞察¶

凸优化与机制设计的巧妙结合：将博弈论中个体理性参与的离散选择松弛转化为连续的权重矩阵凸可行性问题，利用 CVXPY 求解仅耗时数秒即可完成全局调度。
变被动随机为内生效用工具：常规联邦算法将随机性局限于客户端采样（Client Sampling），FedUCA 独辟蹊径地将随机性引入策略权重混合，利用数学上的琴生不等式从纯凹函数中提炼出无成本的“效用盈余”。
防御恶意虚报的内在免疫力：通过实验模拟发现，当自私节点企图通过虚报自身阈值（+10%）来搭便车索取更多权重时，可行域急剧收缩引发系统级崩溃（参与率跌至 1.3%），博弈结构使真实报告成为唯一的自洽纳什均衡。

局限与展望¶

诚实报告的假设前提：当前框架理论分析建立在客户端真实汇报模型效用参数与阈值的假设上，虽然实验表明极端虚报会导致共输，但未来需引入正式的防策略欺骗与防拜占庭协同机制。
参与节点数下界的先验设定：在收敛性定理证明中，最小每轮参与人数 $S \ge 1$ 仍作为外生假设给出，未能通过问题参数（如异质度、学习率和方差）直接内生推导出 $S$ 的理论闭式解。
跨设备场景适应性：该机制依赖留一法反事实计算及验证集精度评估，目前仅适合高算力、高带宽的跨孤岛（Cross-Silo）场景，在边缘受限设备中需要进一步轻量化。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将琴生差与狄利克雷随机化结合用于无货币激励的理性联邦学习机制设计。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖视觉与自然语言四套基准，详细对比热启动、策略数消融、浓度敏感性与虚报鲁棒性。
写作质量: ⭐⭐⭐⭐⭐ 理论证明完整严密，从 KKT 条件、测度连续性到非凸收敛界论证层层递进。
价值: ⭐⭐⭐⭐⭐ 为跨机构医疗和企业级联邦学习提供了一种极具工程落地价值的免代币长效参与解决方案。

数据集	异质性划分	FedAvg	FedProx	IncFL	AAggFF-S	FedAvg-WS	FedUCA (Ours)
CIFAR-10	\(\text{Dir}(0.5, 1.0)\)	\(16.63 \pm 1.16\)	\(17.44 \pm 0.86\)	\(32.35 \pm 0.96\)	\(16.13 \pm 0.50\)	\(47.70 \pm 0.47\)	\(\mathbf{66.89 \pm 1.56}\)
CIFAR-10	\(\text{Dir}(1.0, 1.0)\)	\(18.31 \pm 1.66\)	\(17.63 \pm 2.14\)	\(34.60 \pm 0.16\)	\(17.90 \pm 0.33\)	\(51.63 \pm 0.71\)	\(\mathbf{71.86 \pm 1.17}\)
F-MNIST	\(\text{Dir}(0.5, 1.0)\)	\(53.26 \pm 2.78\)	\(54.68 \pm 2.01\)	\(37.07 \pm 0.20\)	\(52.84 \pm 3.18\)	\(77.60 \pm 0.57\)	\(\mathbf{83.18 \pm 0.40}\)
F-MNIST	\(\text{Dir}(1.0, 1.0)\)	\(54.64 \pm 2.05\)	\(53.79 \pm 0.55\)	\(36.69 \pm 0.04\)	\(68.92 \pm 6.22\)	\(75.75 \pm 0.23\)	\(\mathbf{83.48 \pm 0.85}\)
CIFAR-100	\(\text{Dir}(0.5, 1.0)\)	\(04.05 \pm 0.06\)	\(06.35 \pm 2.91\)	\(04.18 \pm 0.41\)	\(05.60 \pm 0.33\)	\(33.50 \pm 0.26\)	\(\mathbf{42.50 \pm 0.29}\)
CIFAR-100	\(\text{Dir}(1.0, 1.0)\)	\(03.63 \pm 0.50\)	\(04.06 \pm 0.22\)	\(12.89 \pm 0.94\)	\(04.53 \pm 0.86\)	\(48.93 \pm 0.05\)	\(\mathbf{50.15 \pm 0.32}\)

数据集	策略数量配置	全局模型精度 Acc (%)	平均参与率 (%)	机制分析
CIFAR-10	单一策略 (\(n_s=1\))	63.80	29	确定性聚合，无法激活琴生盈余，可行域狭窄
CIFAR-10	多重策略 (\(n_s=5\))	\(\mathbf{66.89}\)	\(\mathbf{53}\)	琴生差产生安全边际，显著拉升理性参与率 (+24%)
CIFAR-100	单一策略 (\(n_s=1\))	36.80	37	高维异质特征下确定性权重分配难以兼顾多方门槛
CIFAR-100	多重策略 (\(n_s=5\))	\(\mathbf{42.50}\)	\(\mathbf{53}\)	随机混合策略扩充有效可行解，精度提升 +5.7%