Communication-Efficient Personalized Adaptation via Federated-Local Model Merging¶

会议: NeurIPS 2026
arXiv: 2602.18658
代码: https://github.com/zou-yinan/Potara
领域: 模型压缩
关键词: 联邦学习, 参数高效微调, LoRA, 模型合并, 个性化微调

一句话总结¶

针对联邦大模型微调中跨客户端任务异构导致的知识冲突与通信瓶颈，本文提出基于线性模式连通性与 Fisher 方差迹上界最小化的闭式加权模型合并框架 Potara，在显著降低通信轮数的同时实现全局通用能力与局部个性化知识的最优权衡。

研究背景与动机¶

在大语言模型（LLM）与大型视觉模型（LVM）向特定垂直领域落地的过程中，参数高效微调（PEFT，特别是 LoRA）已成为降低计算门槛的行业标配。然而，实际落地数据往往分散在具有严格隐私合规要求的不同机构或边缘设备上，促使研究者将联邦学习（FL，如 FedIT）与 LoRA 结合，通过客户端仅传输低秩适配矩阵实现协同优化。然而在真实的联邦微调场景中，任务异构性（Task Heterogeneity）构成了核心挑战：不同客户端往往承载差异极大甚至相互冲突的下游目标（例如有的负责情感分类，有的负责逻辑问答或代码理解）。

这种强任务异构性带来了结构性冲突。如果沿用传统的共识约束优化（Consensus-based FL），强行聚合为单一全局模型，必然因梯度方向冲突而抹杀各客户端特有的局部个性化知识；若退化为各客户端独立本地微调，又会因单个客户端本地样本量匮乏而陷入严重的泛化不足。更为关键的是，现有尝试平衡通用知识与个性化知识的方法（如双 LoRA 分支、动态门控 Mixer 等）大多依赖经验性启发式设计，不仅缺乏严谨的理论支撑来指导通用与个性化模块的融合比例，而且需要在每轮通信中持续传输参数，使得通信带宽依然是不可承受的瓶颈。

本文的切入角度是：将联邦协作与个性化微调解耦为两条正交路径，利用模型合并（Model Merging）在后训练阶段进行无缝知识融合，并借助线性模式连通性（LMC）对融合损失进行理论定界。核心 idea：将各客户端的个性化模型形式化为「联邦全局模型」与「本地微调模型」的任务向量凸组合，基于线性模式连通性证明超额任务损失受参数后验方差迹控制，通过最小化该上界导出闭式最优合并权重，从而在极少通信轮数下同时超越纯联邦与纯本地基准。

方法详解¶

整体框架¶

Potara 的核心执行流分为三个阶段：联邦全局知识学习、本地个性化知识提炼，以及基于方差迹最小化的闭式模型合并。客户端首先通过少轮次的 FedIT 协同通信，从多方异构数据中蒸馏出跨任务通用的全局先验；随后，各客户端在本地私有数据上独立执行 LoRA 微调，捕捉客户端独有的任务分布特征；最终，在合并阶段，无需进行耗时且昂贵的超参数网格搜索，直接基于对角 Fisher 信息阵与样本梯度相关性估计出各客户端的最优凸组合权重，输出个性化最终模型。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["预训练底模 + 本地异构数据"] --> B["阶段 1：联邦全局协作与本地独立微调<br/>低轮次 FedIT 通用模型与 Local 个性化模型并行产出"]
    B --> C["阶段 2：后验方差与互协方差对角估计<br/>单批样本提取 LoRA 模块对角 Fisher 与梯度相关系数"]
    C --> D["阶段 3：方差迹约束下的闭式最优权重求解<br/>解析解确定 λFedIT* 与 λLocal*，保证损失界严格紧致"]
    D --> E["输出：客户端个性化最终模型<br/>W_Final = W_Pre + λFedIT* θ_FedIT + λLocal* θ_Local"]

关键设计¶

1. 联邦-本地解耦任务向量合并机制：平衡通用表征迁移与私有任务适配

针对共识联邦学习抹杀局部差异以及独立微调泛化差的矛盾，Potara 摒弃了多全局模型或客户端复杂门控路由的设计，转而构建单全局模型与单本地模型的轻量合并范式。设预训练底模参数为 $\mathbf{W}_{\mathrm{Pre}}$，LoRA 适配模块由低秩分解矩阵 $\mathbf{B}$ 和 $\mathbf{A}$ 构成。对于客户端 $i$，纯本地微调生成的任务向量记为 $\bm{\theta}_{\mathrm{Local}}^{(i)} = \mathbf{B}_{\mathrm{Local}}^{(i)} \mathbf{A}_{\mathrm{Local}}^{(i)}$，而所有客户端协同训练所得的 FedIT 任务向量为 $\bm{\theta}_{\mathrm{FedIT}} = \mathbf{B}_{\mathrm{FedIT}} \mathbf{A}_{\mathrm{FedIT}}$。二者通过凸组合融合成客户端专有任务向量： $$ \bm{\theta}{\mathrm{Merge}}^{(i)} = \lambda}}^{(i)} \bm{\theta{\mathrm{FedIT}} + \lambda}}^{(i)} \bm{\theta{\mathrm{Local}}^{(i)}, \quad \text{其中 } \lambda \geq 0 $$ 最终模型参数直接通过 }}^{(i)} + \lambda_{\mathrm{Local}}^{(i)} = 1, \;\; \lambda_{\mathrm{FedIT}}^{(i)}, \lambda_{\mathrm{Local}}^{(i)$\mathbf{W}_{\mathrm{Final}}^{(i)} = \mathbf{W}_{\mathrm{Pre}} + \bm{\theta}_{\mathrm{Merge}}^{(i)}$ 构建。由于 FedIT 模型只需训练较少轮次（如 LLM 上仅需 50 轮）即可提供充足的通用知识，Potara 在客户端间传输通信总开销由传统的 $\mathcal{O}(r(m+n)T)$ 骤降为 $\mathcal{O}(r(m+n)T_{\mathrm{FedIT}})$，从根本上释放了通信带宽压力。

2. 线性模式连通性下的超额任务损失定界：建立方差迹与性能增益的理论桥梁

以往模型合并大多依赖网格搜索确定合并权重，缺乏理论保障。Potara 引入线性模式连通性（LMC）视角：当微调模型处于同一极小值盆地（LMC Basin $\mathcal{U}_\delta = \{\mathbf{W} : \|\mathbf{W} - \mathbf{W}^*\| \leq \delta\}$）内部时，损失曲面在插值路径上保持平坦。基于拉普拉斯近似，任务向量后验分布服从高斯分布：$\bm{\theta}_{\mathrm{FedIT}} \sim \mathcal{N}(\bm{\mu}_{\mathrm{FedIT}}, \bm{\Sigma}_{\mathrm{FedIT}})$，$\bm{\theta}_{\mathrm{Local}} \sim \mathcal{N}(\bm{\mu}_{\mathrm{Local}}, \bm{\Sigma}_{\mathrm{Local}})$，且二者服从联合高斯分布，具有互协方差矩阵 $\bm{\Sigma}_{\mathrm{Cross}}$。在损失函数局部 Lipschitz 平滑且 Hessian 满足 Lipschitz 连续的条件下，合并模型的期望超额任务损失具有如下显式上界： $$ \mathbb{E}\left[\mathcal{L}(\mathbf{W}{\mathrm{Pre}} + \bm{\theta}) $$ 该定理表明，超额损失在几何半径固定的盆地内直接由方差迹项 }}) - \mathcal{L}(\mathbf{W}^*)\right] \leq \left(\frac{L}{2} + \frac{L_H}{6} \delta\right) \delta^2 + \left(\frac{L}{2} + \frac{L_H}{6} \delta\right) \mathrm{tr}(\bm{\Sigma}_{\mathrm{Merge}$\mathrm{tr}(\bm{\Sigma}_{\mathrm{Merge}})$ 支配。对于单模型而言，上界同样适用；因此，只要最小化合并后的方差迹，即可保证合并模型的性能理论上严格优于单一联邦模型或单一本地模型。

3. 闭式最优合并权重解析解：消除昂贵的逐客户端超参数扫参

合并任务向量的协方差矩阵为 $\bm{\Sigma}_{\mathrm{Merge}} = \lambda_{\mathrm{FedIT}}^2 \bm{\Sigma}_{\mathrm{FedIT}} + \lambda_{\mathrm{Local}}^2 \bm{\Sigma}_{\mathrm{Local}} + \lambda_{\mathrm{FedIT}} \lambda_{\mathrm{Local}} (\bm{\Sigma}_{\mathrm{Cross}} + \bm{\Sigma}_{\mathrm{Cross}}^\top)$。令 $a = \mathrm{tr}(\bm{\Sigma}_{\mathrm{FedIT}})$，$b = \mathrm{tr}(\bm{\Sigma}_{\mathrm{Local}})$，$c = \mathrm{tr}(\bm{\Sigma}_{\mathrm{Cross}})$，目标函数化为关于 $\lambda_{\mathrm{FedIT}}$ 的二次凸优化问题 $g(\lambda_{\mathrm{FedIT}}) = a \lambda_{\mathrm{FedIT}}^2 + b (1 - \lambda_{\mathrm{FedIT}})^2 + 2 c \lambda_{\mathrm{FedIT}} (1 - \lambda_{\mathrm{FedIT}})$。令一阶导数为零，直接求得解析闭式解： $$ \lambda_{\mathrm{FedIT}}^* = \frac{b - c}{a + b - 2c}, \qquad \lambda_{\mathrm{Local}}^* = \frac{a - c}{a + b - 2c} $$ 根据矩阵迹不等式及不确定性约束（$c \leq \min(a, b)$），可以证明在最优权重下，$\mathrm{tr}(\bm{\Sigma}_{\mathrm{Merge}}) \leq \min\{\mathrm{tr}(\bm{\Sigma}_{\mathrm{FedIT}}), \mathrm{tr}(\bm{\Sigma}_{\mathrm{Local}})\}$ 恒成立。这意味着所推导的解析权重不仅数学形式极其简洁，而且严格保证了合并模型的方差迹小于任意单一输入模型，使得合并成为性能增益的必然理论保证。

4. 适配 LoRA 分解的对角 Fisher 信息阵与样本梯度相关性极速估计

对于数十亿参数量级的现代大模型，全参数 Fisher 矩阵无论存储还是求逆均完全不可行。Potara 针对性提出了两项轻量化工程设计：首先，由于微调参数严格限制在低秩矩阵 $\mathbf{B}$ 和 $\mathbf{A}$ 上，算法直接对 $\mathbf{B}$ 和 $\mathbf{A}$ 分别计算对角 Fisher 阵（而非对其乘积 $\mathbf{B}\mathbf{A}$），将方差估计限制在极小量级（如 3B 模型仅数兆参数）；其次，利用客户端本地微调数据的小批量样本，分别计算联邦均值与本地均值下的逐样本梯度 $g_{\mathrm{FedIT}, k}^{(n)}$ 与 $g_{\mathrm{Local}, k}^{(n)}$，进而估计每个坐标 $k$ 的样本互协方差与相关系数 $\rho_k$： $$ (\bm{\Sigma}{\mathrm{Cross}})} \approx \rho_k \sqrt{(\bm{\Sigma{\mathrm{FedIT}})} (\bm{\Sigma{\mathrm{Local}})}}, \quad \text{其中 } \rho_k = \max\left{0, \min\left{\frac{\mathrm{Cov{\mathrm{Cross}}(k)}{\sqrt{\mathrm{Var}\right}\right} $$ 该设计仅需一次额外的前向-反向传播计算单批梯度，便能在毫秒级内完成各客户端最优权重的计算，完全规避了传统网格搜索中重复评估验证集的巨大开销。}}(k) \mathrm{Var}_{\mathrm{Local}}(k)}}, \rho_k^{\max

实验关键数据¶

主实验¶

论文在视觉与自然语言两组典型异构基准上进行了系统评测：视觉采用 ViT-B/16 在 Dirichlet 分布划分（$\alpha=0.5$）的 CIFAR-100（10 客户端）上测试个性化分类精度；语言采用 LLaMA-3.2-3B-Instruct 在 8 个差异巨大的常识推理任务（ARC-c, ARC-e, BoolQ, HellaSwag, OBQA, PIQA, SIQA, WinoGrande，每客户端分配独立任务）上评测个性化适应准确率。所有基线均基于统一 LoRA 秩与学习率设置。

数据集 / 评测基准	主干模型	本文 (Potara)	纯本地微调 (Local)	最优联邦基线	领先增益
CIFAR-100 (Dirichlet $\alpha=0.5$, 10 Clients)	ViT-B/16	65.21 ± 1.08	60.43 ± 0.93	61.80 ± 0.96 (FedDPA)	+3.41%
Commonsense Reasoning (8 个异构任务平均)	LLaMA-3.2-3B-Instruct	74.18 ± 0.29	72.05 ± 0.25	72.33 ± 0.37 (FedDPA)	+1.85%
FLAN 极端异构多任务基准 (8 任务 ROUGE-1)	Qwen3-4B-Instruct	79.74 ± 0.27	78.79 ± 0.99	78.83 ± 0.26 (FedALT)	+0.91%

在 CIFAR-100 上，Potara 在全部 10 个客户端上无一例外地超过了包括 FedIT、FedSA、FFA-LoRA、FedDPA 和传统 Fisher Merging 在内的所有基线；在常识推理上，Potara 在 ARC-c (75.20%)、ARC-e (87.80%)、BoolQ (67.87%)、HellaSwag (71.73%) 和 OBQA (78.47%) 等多个任务上取得绝对领先。

消融实验¶

消融实验重点验证了模型合并带来的绝对性能增益（即合并后模型对比单模型组件的提升），以及理论计算权重相比经验网格搜索权重的有效性。

评估配置 / 任务场景	独立模型/合并机制	测试性能 (准确率 %)	相对性能增益说明
CIFAR-100 个性化评测	Local (300 rounds)	55.89 ± 1.31	纯本地微调缺乏跨客户端通用先验
CIFAR-100 个性化评测	FedIT (400 rounds)	57.88 ± 0.38	全局模型受任务冲突影响较大
CIFAR-100 个性化评测	Potara (Full Merged)	65.21 ± 1.08	相比 Local 提升 +9.32%，相比 FedIT 提升 +7.33%
常识推理多任务评测	Local (300 rounds)	72.05 ± 0.25	本地过拟合风险较高
常识推理多任务评测	FedIT (50 rounds)	67.73 ± 0.76	仅 50 轮聚合，通用知识尚在形成期
常识推理多任务评测	Potara (Full Merged)	74.18 ± 0.29	相比 Local 提升 +2.13%，相比 FedIT 提升 +6.45%
权重策略对比 (常识推理)	Grid Search 网格搜索最优权重	~74.20	需在每个客户端执行 11 次评估验证
权重策略对比 (常识推理)	Potara 理论闭式解计算权重	74.18 ± 0.29	性能高度贴合网格搜索，但计算开销趋近于 0

关键发现¶

双向互补与性能涌现：模型合并绝非两者的简单折中，而是产生了显著的性能放大效应。在 CIFAR-100 上，Potara 较两个被合并的分支（55.89% 与 57.88%）分别高出 9.32% 和 7.33%；在常识推理上同样高出 2.13% 与 6.45%，直接印证了理论中合并模型方差迹严格小于两子模型的几何定理。
通信效率与早熟融合优势：在 LLaMA-3.2-3B 上，FedIT 仅迭代 50 轮所蕴含的全局知识即可支撑 Potara 取得 74.18% 的最高分；而在 ViT 实验中，Potara 仅用 400 轮通信即可超越训练 600 轮的 FedDPA/FedIT，通信量缩减达 33.3% 以上。
理论权重对网格搜索的精准替代：客户端粒度的消融表明，由方差迹最小化公式闭式导出的 $\lambda_{\mathrm{FedIT}}^*$ 与逐点步长 0.1 网格搜索挑出的经验最优权重精度几乎完全一致，彻底摆脱了传统模型合并依赖高昂后处理验证的弊病。

亮点与洞察¶

将模型合并引入联邦个性化微调：打破了以往联邦微调必须在每轮通信中进行参数路由或门控计算的惯性思维，将通用协同与本地自适应在时间轴上分离，利用后训练模型合并实现兼顾，设计极为轻巧。
理论扎实的闭式最优权重推导：基于线性模式连通性与二阶泰勒展开，将抽象的个性化损失上界严格映射到后验方差迹，并进一步导出无参闭式解，为无验证集的边缘设备提供了极具确定性的加权指导。
对 LoRA 模块特化的极简 Fisher 估计：回避了全参数大模型难以计算 Fisher 阵的业界难题，创造性地仅在低秩矩阵 $\mathbf{B}$ 和 $\mathbf{A}$ 维度计算对角 Fisher 阵与坐标级梯度相关性，为参数高效时代的大模型融合提供了可迁移的标准范式。

局限与展望¶

假设前提的约束性：理论推导依赖于两个模型处于同一 LMC 极小值盆地（同一平坦极小点区域）。当客户端本地微调轮数过多或学习率过大导致权重严重漂移出初始盆地时，线性合并可能会发生表征崩溃或性能劣化。
客户端样本极少时的梯度协方差抖动：坐标级相关系数 $\rho_k$ 的估计依赖于本地单批样本的逐样本梯度。在客户端极端少样本场景下，梯度的经验方差与协方差估计可能存在高方差波动，需进一步探索收缩估计（Shrinkage Estimation）或经验贝叶斯平滑策略。
进一步泛化空间：当前框架主要针对单任务-单客户端映射，未来可扩展至连续学习（Continual Federated Adaptation）以及异构 Rank/异构量化精度的极端联邦边缘微调场景。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将线性模式连通性与方差迹上界理论结合，推导出联邦个性化模型合并的闭式最优权重。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 ViT-B、LLaMA-3.2-3B 以及 Qwen3-4B，跨越计算机视觉、常识推理和 FLAN 极端异构多任务基准。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰严谨，从局部 Lipschitz 假设、拉普拉斯近似到引理证明逻辑链条完整闭环。
价值: ⭐⭐⭐⭐⭐ 完美兼顾了通信效率、计算可行性与最终准确率，为大模型端侧联邦个性化落地提供了实用且优雅的解决方案。

数据集 / 评测基准	主干模型	本文 (Potara)	纯本地微调 (Local)	最优联邦基线	领先增益
CIFAR-100 (Dirichlet \(\alpha=0.5\), 10 Clients)	ViT-B/16	65.21 ± 1.08	60.43 ± 0.93	61.80 ± 0.96 (FedDPA)	+3.41%
Commonsense Reasoning (8 个异构任务平均)	LLaMA-3.2-3B-Instruct	74.18 ± 0.29	72.05 ± 0.25	72.33 ± 0.37 (FedDPA)	+1.85%
FLAN 极端异构多任务基准 (8 任务 ROUGE-1)	Qwen3-4B-Instruct	79.74 ± 0.27	78.79 ± 0.99	78.83 ± 0.26 (FedALT)	+0.91%