BLEND: Balancing Personalization vs. Generalization in Federated Vision–Language Models¶

会议: NeurIPS 2026
arXiv: 2610.12907
OpenReview: https://openreview.net/forum?id=DLc8g7y9QA
代码: https://github.com/payamsiabd/BLEND.git
领域: 联邦学习
关键词: 联邦学习, 视觉语言模型, CLIP微调, 个性化与泛化权衡, 适配器微调

一句话总结¶

针对联邦视觉语言模型在客户端非独立同分布数据下个性化与新类泛化难以兼顾的难题，BLEND通过在双塔注入全局共享适配器与本地私有视觉投影适配器，配合动量锚点与融合双损失联合优化，实现了个性化与泛化能力的最优平衡。

研究背景与动机¶

视觉语言模型（如 CLIP）在少样本与零样本任务中表现出极强的表征能力，但在真实应用场景中，微调数据往往分散存储在海量边缘客户端设备上且受到隐私限制，推动了联邦视觉语言模型（FedVLMs）的兴起。联邦学习的核心瓶颈之一在于客户端数据的非独立同分布（Non-IID）特性：模型既需要适应本地客户端的特定数据分布以获得出色的个性化性能，又需要保持跨客户端与未见新类别上的零样本泛化能力。然而，现有的联邦微调方法（如联邦提示微调或统一聚合的适配器方法）往往面临“零和博弈”——过度追求本地拟合会导致模型迅速丧失预训练的泛化先验，而完全依赖全局聚合又难以捕捉客户端专属的细粒度特征。

从信息论视角深入剖析 CLIP 的图文双塔结构，可以发现视觉分支与文本分支在表征特性上存在根本性的不对称性。根据数据处理不等式，从视觉场景 $S$ 产生视觉观测 $V$ 并进一步生成文本描述 $T$ 构成马尔可夫链 $S \rightarrow V \rightarrow T$，因此语义互信息满足 $I(S;T) \le I(S;V)$。文本描述往往高度稀疏抽象（例如“一只狗”），在先验上就具有更强的数据集/任务级别特异性，若在联邦微调中对文本分支进行强个性化调整，极易发生灾难性过拟合；相反，视觉特征包含丰富的空间与细节属性，具备更强通用泛化表征潜力的同时，严重缺乏对各客户端私有分布的定制化对齐。

现有 FedVLM 方案大多对双塔施加对称的参数微调或依赖复杂的全局最优传输与奇异值分解，未能针对双塔信息不对称性进行解耦。本文的核心 idea 是：构建非对称的图文适配与参数聚合架构，在图文骨干层部署全局周期聚合的共享适配器以学习跨客户端通用知识，在视觉投影头额外引入私有本地投影适配器实现个性化表征，并通过预训练零样本对齐锚点与表征融合双目标联合引导，在极低通信开销下实现个性化与泛化能力的最佳平衡。

方法详解¶

整体框架¶

BLEND 的系统由一个中心服务端与 $N$ 个分布式客户端组成。在模型结构上，BLEND 冻结 CLIP 的原始 Transformer 块与最终的投影头（保留预训练先验），并进行非对称的参数增量式改造：在视觉编码器 $\mathcal{V}$ 和文本编码器 $\mathcal{T}$ 的各 Transformer 块中残差注入全局视觉适配器 $\delta^{\mathsf{Vis}}$ 与全局文本适配器 $\delta^{\mathsf{Txt}}$；在视觉投影输出端设立双分支结构，分支一为经由冻结全局投影头的通用视觉表征 $\mathcal{R}^{\mathsf{Gen}}$（G-head），分支二为引入私有残差适配器 $\delta^{\mathsf{Proj}}$ 的个性化视觉表征 $\mathcal{R}^{\mathsf{Per}}$（P-head）。

在训练与协同机制上，本地利用动态权重将 $\mathcal{R}^{\mathsf{Gen}}$ 与 $\mathcal{R}^{\mathsf{Per}}$ 融合为最终表征 $\mathcal{R}^{\mathsf{Fus}}$，并构建由融合分类损失 $\mathcal{L}^{\mathsf{Fus}}$ 和运行锚点损失 $\mathcal{L}^{\mathsf{Anch}}$ 构成的双目标损失。通信轮次中，客户端仅将轻量级的全局视觉与文本适配器上传服务端进行加权聚合，而个性化视觉投影适配器永久驻留本地迭代更新，从而在架构与协议层面彻底解耦全局通用泛化与局部私有个性化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像与类别文本"] --> B["图文双塔全局适配器<br/>残差注入低秩变换矩阵"]
    B --> C["双分支视觉投影头<br/>G-head 生成通用表征 / P-head 引入私有适配器"]
    C --> D["表征动态融合与双目标联合损失<br/>运行锚点约束通用表征 + 融合损失指导分类"]
    D --> E["选择性联邦参数聚合<br/>服务端聚合全局适配器 / 本地保留个性化投影适配器"]
    E --> F["客户端平衡个性化与泛化模型"]

关键设计¶

1. 图文双塔全局适配器：跨客户端共享表征的轻量级低秩微调 针对客户端私有数据匮乏导致的特征漂移问题，BLEND 在视觉编码器 $\mathcal{V}_{\ell}$ 与文本编码器 $\mathcal{T}_{\ell}$（$\ell \in [1, L]$）的每一个 Transformer 层后并行注入低秩残差适配器。以视觉第 $\ell$ 层输入 $\bm{x}_{n,\ell-1}$ 为例，层输出计算为 $\bm{x}_{n,\ell} = \mathcal{V}_{n,\ell}(\bm{x}_{n,\ell-1}) + \delta_{n,\ell}^{\mathsf{Vis}}(\bm{x}_{n,\ell-1})$，其中残差项采用由降维矩阵 $\mathbf{A}_{n,\ell}^{\mathsf{Vis}} \in \mathbb{R}^{r_x \times d_x}$、非线性激活 $\sigma(\cdot)$ 与升维矩阵 $\mathbf{B}_{n,\ell}^{\mathsf{Vis}} \in \mathbb{R}^{d_x \times r_x}$（$r_x \ll d_x$）构成的瓶颈映射： $$\delta_{n,\ell}^{\mathsf{Vis}}(\bm{x}_{n,\ell-1}) = \mathbf{B}_{n,\ell}^{\mathsf{Vis}}\Big(\sigma\big(\mathbf{A}_{n,\ell}^{\mathsf{Vis}}(\bm{x}_{n,\ell-1})\big)\Big)$$ 文本端适配器 $\delta_{n,\ell}^{\mathsf{Txt}}$ 采用完全对称的低秩结构，文本投影头 $\pi_n^{\mathsf{Txt}}$ 则严格保持冻结。全局适配器参数在每轮本地训练后上传服务端进行 FedAvg 聚合，促使模型在保留 CLIP 基础特征抽取能力的同时，捕获跨客户端的领域泛化模式。

2. 双分支视觉投影头：非对称解耦的个性化与通用表征生成 为在不破坏跨客户端全局表征的前提下满足本地个性化分类需求，BLEND 针对视觉信息量大且异构性高的特点，构建了双分支视觉投影结构。视觉编码器最后一层输出的分类 Token $\zeta_{n,L}$ 分别流入通用分支（G-head）和个性化分支（P-head）。G-head 直接通过预训练冻结的投影矩阵 $\pi_n^{\mathsf{Vis}}$ 生成通用特征 $\mathcal{R}_n^{\mathsf{Gen}} = \zeta_{n,L}\pi_n^{\mathsf{Vis}}$。而 P-head 引入专属于该客户端的私有投影适配器 $\delta_n^{\mathsf{Proj}}$，通过学习客户端特异性的偏置偏移生成个性化分类 Token $\hat{\zeta}_{n,L} = \zeta_{n,L} + \delta_n^{\mathsf{Proj}}(\zeta_{n,L})$，进而映射为个性化表征 $\mathcal{R}_n^{\mathsf{Per}} = \hat{\zeta}_{n,L}\pi_n^{\mathsf{Vis}}$。最终的视觉推理向量由两者线性插值加权融合： $$\mathcal{R}_n^{\mathsf{Fus}} = (1 - \gamma)\mathcal{R}_n^{\mathsf{Gen}} + \gamma \mathcal{R}_n^{\mathsf{Per}}$$ 其中系数 $\gamma \in [0,1]$ 精确控制个性化与泛化分量的配比。这种在投影层前的显式解耦，从根本上隔离了通用跨域特征与客户端专属分布。

3. 表征动态融合与双目标联合损失：锚点对齐防遗忘与融合表征端到端指导 如果仅以融合表征 $\mathcal{R}_n^{\mathsf{Fus}}$ 最小化监督交叉熵损失，梯度反向传播仍会导致全局适配器向本地有限的少样本数据严重过拟合，削弱未见类别的泛化能力。为此，BLEND 设计了由融合损失 $\mathcal{L}_n^{\mathsf{Fus}}$ 与“运行锚点损失”（Running Anchor Loss）$\mathcal{L}_n^{\mathsf{Anch}}$ 组成的联合优化目标。融合表征与本地类别文本嵌入 $\mathcal{W}_n^{(c)}$ 计算余弦相似度并得到交叉熵损失 $\mathcal{L}_n^{\mathsf{Fus}}$；同时，运行锚点损失强制未加个性化偏置的通用视觉表征 $\mathcal{R}_n^{\mathsf{Gen}}$ 与文本表征保持对齐： $$\mathcal{L}_n = (1 - \lambda)\mathcal{L}_n^{\mathsf{Anch}} + \lambda \mathcal{L}_n^{\mathsf{Fus}}$$ 由于 G-head 和文本分支均采用 CLIP 原始的零样本投影头，$\mathcal{L}_n^{\mathsf{Anch}}$ 充当了动态演进的正规化锚点，约束全局适配器的更新始终锚定在零样本语言-视觉对齐空间内，防止全局知识崩溃；而 $\mathcal{L}_n^{\mathsf{Fus}}$ 则协同驱动个性化适配器去拟合本地残差分布。

4. 选择性联邦参数聚合：解耦通信与本地私有演进机制 在联邦通信机制上，客户端总训练参数划分为可聚合参数集合 $\bm{\mathcal{P}}_n^{\mathsf{Agg}} = [\mathbf{A}_{n,\ell}^{\mathsf{Vis}}, \mathbf{B}_{n,\ell}^{\mathsf{Vis}}, \mathbf{A}_{n,\ell}^{\mathsf{Txt}}, \mathbf{B}_{n,\ell}^{\mathsf{Txt}}]_{\ell=1}^L$ 与私有参数集合 $\bm{\mathcal{P}}_n^{\mathsf{Loc}} = [\mathbf{A}_n^{\mathsf{Proj}}, \mathbf{B}_n^{\mathsf{Proj}}]$。本地执行 $J$ 步 SGD 更新后，客户端仅将 $\bm{\mathcal{P}}_n^{\mathsf{Agg}}$ 打包发送至服务端，按样本量比例 $d_n$ 聚合为 $\bm{\mathcal{P}}^{\mathsf{Agg},(k+1)}$ 并下发同步；而本地个性化投影适配器 $\bm{\mathcal{P}}_n^{\mathsf{Loc}}$ 留在本地跨轮次持续演进。这一策略不仅大幅削减了每轮通信量，更彻底杜绝了不同客户端异构视觉偏置在全局聚合时的相互抵消与干扰。

实验关键数据¶

主实验¶

实验基于 10 个标准多模态分类基准数据集，在 10 客户端、$\alpha^{\mathsf{Dir}}=0.01$（极高 Non-IID 异构度）、16-shot 设定下评估。基线涵盖 Zero-shot CLIP、PromptFL、FedOTP、FedPGP、FedPHA、pFedMoAP 以及基于适配器的强基线 pFedMMA 与 MMA+FedAvg。评价指标采用客户端本地已知类的个性化准确率（Per.）、未知新类的泛化准确率（Gen.）以及两者的调和平均数（H-Mean）。

数据集 / 汇总	指标	Zero-shot CLIP	MMA+FedAvg	pFedMMA	pFedMoAP	BLEND (本文)	相对最佳基线提升 ($\Delta$)
UCF101	Per. / Gen. / H-Mean	68.10 / 75.18 / 71.46	85.40 / 75.95 / 80.40	89.95 / 70.51 / 79.04	93.36 / 67.27 / 78.19	95.03 / 78.20 / 85.80	+5.40 ($p=0.025$)
Oxford Pets	Per. / Gen. / H-Mean	89.47 / 96.81 / 93.00	95.12 / 97.65 / 96.37	96.81 / 95.08 / 95.93	99.18 / 84.84 / 91.45	99.21 / 96.99 / 98.09	+1.66 ($p=0.009$)
Stanford Cars	Per. / Gen. / H-Mean	63.77 / 74.94 / 68.91	76.23 / 69.60 / 72.75	67.45 / 64.52 / 65.95	92.00 / 68.50 / 78.53	93.72 / 70.20 / 80.27	+1.74 ($p=0.014$)
Flowers	Per. / Gen. / H-Mean	69.42 / 76.74 / 72.90	96.93 / 70.87 / 81.87	84.61 / 69.89 / 76.52	98.83 / 71.49 / 82.96	98.94 / 75.21 / 85.45	+2.49 ($p=0.003$)
ImageNet	Per. / Gen. / H-Mean	72.40 / 68.08 / 70.17	75.52 / 69.18 / 72.21	49.15 / 50.93 / 50.03	86.65 / 62.56 / 72.66	87.83 / 66.31 / 75.56	+2.90 ($p=0.001$)
FGVC Aircraft	Per. / Gen. / H-Mean	27.49 / 33.05 / 30.02	38.92 / 33.77 / 36.10	40.37 / 29.14 / 33.78	65.51 / 18.58 / 28.95	70.05 / 33.24 / 45.09	+8.99 ($p=0.003$)
Food101	Per. / Gen. / H-Mean	89.44 / 90.67 / 90.05	89.85 / 90.21 / 90.03	95.80 / 86.83 / 91.10	96.28 / 86.68 / 91.23	95.24 / 91.25 / 93.20	+1.97 ($p=0.001$)
DTD	Per. / Gen. / H-Mean	54.75 / 58.94 / 56.76	79.30 / 60.39 / 68.56	77.87 / 57.81 / 66.34	92.43 / 47.72 / 62.94	91.64 / 64.32 / 75.59	+7.03 ($p=0.005$)
EuroSAT	Per. / Gen. / H-Mean	50.21 / 69.87 / 58.43	92.05 / 70.49 / 79.67	80.06 / 49.22 / 60.81	98.05 / 63.47 / 77.05	99.36 / 76.50 / 86.44	+6.77 ($p=0.033$)
Caltech	Per. / Gen. / H-Mean	97.16 / 94.21 / 95.66	97.60 / 93.30 / 95.40	97.79 / 92.95 / 95.31	97.98 / 93.69 / 95.79	98.09 / 94.01 / 96.01	+0.22 ($p=0.011$)
跨数据集平均 (↑)	Per. / Gen. / H-Mean	68.22 / 73.85 / 70.74	82.69 / 73.14 / 77.34	77.99 / 66.69 / 71.48	92.03 / 66.48 / 75.98	92.91 / 74.62 / 82.15	+4.81 (平均提升)
跨数据集标准差 (↓)	Per. / Gen. / H-Mean	19.86 / 17.81 / 18.72	16.57 / 17.49 / 16.46	19.01 / 19.93 / 19.20	9.60 / 20.46 / 18.22	8.40 / 17.54 / 14.40	-2.06 (跨域更稳定)

消融实验¶

1. 聚合策略消融对比（跨 10 数据集平均）

聚合策略	个性化准确率 (Per., %)	泛化准确率 (Gen., %)	调和平均数 (H-Mean, %)	说明
BLEND (本文策略)	92.91	74.62	82.15	聚合全局图文适配器，本地保留个性化视觉投影适配器
Full (全参数聚合)	83.35	75.41	79.01	连同私有投影适配器一起全局平均，个性化严重掉点 (-9.56%)
NoAgg (完全不聚合)	89.12	69.71	77.71	纯本地独立微调，丧失跨设备知识，泛化性能显著下跌
Only Vision (仅聚合视觉)	74.64	70.02	71.82	缺少全局文本约束，图文对齐空间发生严重特征漂移
Only Text (仅聚合文本)	93.84	67.31	77.04	视觉表征未在全局对齐，新类别泛化能力急剧劣化

2. 全局与个性化适配器瓶颈 Rank 影响（跨 10 数据集平均）

适配器类型	配置取值 (Rank)	个性化准确率 (Per., %)	泛化准确率 (Gen., %)	调和平均数 (H-Mean, %)	核心观察与结论
全局适配器 ($r_x = r_w$)	No adapter	89.50	72.31	79.95	缺乏跨客户端适配层，性能受限
	$r=4$	92.25	74.69	82.05	极小秩即可显著激发联邦泛化表征
	$r=16$ (默认)	92.91	74.62	82.15	兼具参数效率与最优调和性能
	$r=64$	92.91	74.09	81.74	秩过大略微导致泛化能力下降
	Full-rank	92.48	73.63	81.26	参数过量增加反而引发过拟合
个性化投影适配器 ($r_p$)	$r_p=4$	89.99	75.00	81.44	容量不足，本地特征建模受限
	$r_p=32$	91.59	74.91	81.96	个性化与泛化平稳提升
	$r_p=256$ (默认)	92.91	74.62	82.15	达到个性化容量与跨域泛化的最优甜点
	Full-rank	92.95	74.46	82.08	边际收益递减且泛化微降

关键发现¶

双重优越性与统计显著性：BLEND 在全部 10 个数据集上一致刷新了 SOTA H-Mean 记录，跨数据集平均 H-Mean 达到 82.15%，较最强基线（pFedMoAP 的 75.98% / MMA+FedAvg 的 77.34%）取得 +4.81% 的显著绝对提升；配对 t 检验均满足 $p < 0.05$。同时，跨数据集标准差从基线的 16.46% 降至 14.40%，体现出对不同视觉领域的优异鲁棒性。
选择性聚合的决定性作用：若将个性化投影适配器纳入全局聚合（Full），Per. 急剧下跌 9.56%；若完全不聚合（NoAgg），缺乏跨客户端表征支撑的本地模型其 Per. 甚至不如 BLEND，证明了“全局共享语义基底 + 本地专精偏置”能够互相增益。
参数解耦的绝佳敏感性：融合权重 $\gamma=0.09$ 与锚点损失权重 $\lambda=0.2$ 构成了全局先验与本地自适应的黄金分割点。过大的 $\lambda$ 会剥离运行锚点的牵引，使模型退化为纯局部拟合；而将文本投影头解冻微调则会导致对 CLIP 预训练知识的灾难性遗忘。

亮点与洞察¶

信息论支撑的非对称架构设计：基于 $I(S;T) \le I(S;V)$ 的理论不等式，敏锐洞悉文本模态的高特异性与易过拟合性，摒弃了盲目的双塔对称微调，将个性化适配模块精准聚焦于高信息冗余的视觉端。
动态运行锚点（Running Anchor）：不同于传统的固定冻结特征蒸馏，BLEND 的运行锚点以随全局适配器协同更新的文本表征作为动量牵引，既赋予模型适应新领域特征空间的自由度，又牢固守住了跨模态对齐流形。
即插即用且开销极低：无需复杂的二阶优化、最优传输对齐或交替方向乘子法（ADMM），仅凭轻量低秩矩阵与单步前向双损失即可端到端训练，通信参数量较全微调压缩上百倍。

局限与展望¶

模态与任务类型受限：当前工作主要基于图像-文本双模态及分类判别任务，未来扩展至音频、视频序列、多模态图文检索或大语言模型生成式任务中的泛化-个性化均衡尚待验证。
超参数静态配置：$\gamma$ 与 $\lambda$ 虽通过验证集选定全局固定值并表现稳定，但在各客户端数据异构度极端悬殊的动态场景下，自适应或元学习式的加权机制仍具有进一步探索空间。
去中心化与差分隐私扩展：当前架构依赖中心服务器的 FedAvg 协调，向无中心 P2P 联邦网络迁移及结合严格差分隐私保证的鲁棒性研究是重要的现实发展方向。

评分¶

新颖性: ⭐⭐⭐⭐☆ 理论洞察深入，非对称个性化与运行锚点设计精巧且符合多模态内在规律。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 10 个多样化基准、极其详尽的非 IID 异构度与消融实验，附带严格的统计显著性检验。
写作质量: ⭐⭐⭐⭐⭐ 数学建模严整清晰，图表逻辑自洽，动机与方法环环相扣。
价值: ⭐⭐⭐⭐⭐ 为大模型时代的边缘协同微调树立了兼顾私有化自适应与零样本泛化的全新范式。

适配器类型	配置取值 (Rank)	个性化准确率 (Per., %)	泛化准确率 (Gen., %)	调和平均数 (H-Mean, %)	核心观察与结论
全局适配器 (\(r_x = r_w\))	No adapter	89.50	72.31	79.95	缺乏跨客户端适配层，性能受限
	\(r=4\)	92.25	74.69	82.05	极小秩即可显著激发联邦泛化表征
	\(r=16\) (默认)	92.91	74.62	82.15	兼具参数效率与最优调和性能
	\(r=64\)	92.91	74.09	81.74	秩过大略微导致泛化能力下降
	Full-rank	92.48	73.63	81.26	参数过量增加反而引发过拟合
个性化投影适配器 (\(r_p\))	\(r_p=4\)	89.99	75.00	81.44	容量不足，本地特征建模受限
	\(r_p=32\)	91.59	74.91	81.96	个性化与泛化平稳提升
	\(r_p=256\) (默认)	92.91	74.62	82.15	达到个性化容量与跨域泛化的最优甜点
	Full-rank	92.95	74.46	82.08	边际收益递减且泛化微降