FeDepth: Federated Learning for Depth Estimation under Robot Heterogeneity¶

会议: ECCV 2026
论文: ECCV 2026
项目主页: https://vision3d-lab.github.io/fedepth/
领域: 深度、法线与立体
关键词: 联邦学习、机器人感知、单目深度估计、软聚类、异构系统

一句话总结¶

针对多机器人系统中由于平台形态、观测环境及深度量程差异引发的非独立同分布（Non-IID）问题，FeDepth 提出基于特征分布高斯描述子与对称杰弗里斯散度的软聚类联邦学习框架，通过允许多重隶属与冗余合并，实现了异构机器人单目深度估计的稳健协同训练与跨域泛化。

研究背景与动机¶

机器人环境感知（如单目深度估计、目标检测与三维场景理解）是自主无人系统安全作业与环境交互的核心基础。现代深度学习范式通常依赖于大规模、多样化场景的数据集来强化模型的泛化能力。然而，现行主流感知方法绝大多数基于集中式学习（Centralized Learning, CL），即在现场采集原始传感数据、统一回传至中央服务器并联合训练。这种集中式范式在面对真实机器人集群部署时遇到了严峻瓶颈：高分辨率相机或激光雷达数据长途传输带来巨大的网络通信带宽开销；集中处理海量传感器流对中心服务器造成算力扩展瓶颈；更为重要的是，服务型机器人穿梭于私有室内等受限空间时，原始视觉数据的回传会引发严重的隐私泄露与数据合规风险。

联邦学习（FL）通过使各机器人端在本地训练模型、仅向中心服务器上传网络权重的方式，为分布式协同机器人感知提供了极具吸引力的隐私保护与去中心化方案。然而，将传统联邦学习直接落地到机器人感知领域却面临着严苛的领域漂移（Domain Shift）挑战。机器人环境中的非独立同分布特性极其复杂且交织互叠：不同机器人形态（如四足机器狗、四旋翼无人机 UAV、轮式无人地面车 UGV 与手持测绘设备）具有截然不同的视场角、相机外参、动态运动姿态与运动颠簸；不同采集场景（如密闭室内、林区越野、城市昼间与夜间）表现出显著的几何结构变化与光照纹理差异；更关键的是，室内场景（通常在 10 米内）与室外开阔道路（可达 80 米）存在根本性的双峰深度量程（Bi-modal Range）失配。若盲目运行标准全局聚合算法（如 FedAvg、FedProx、FedDyn 或 SCAFFOLD），模型权重会产生灾难性的客户端漂移与梯度冲突。

现有的聚类联邦学习（Clustered FL, CFL）通过划分相似客户端来训练专用子域模型，但其基本假设是将客户端强制划分到互斥的离散单一簇中。在真实的机器人多机编队中，数据分布往往是部分重叠且属性连续过渡的——例如，无人机与地面四足机器人在同一片森林作业，二者共享环境特征却分属不同视点平台；同一台轮式车辆在白天和夜间分别采集，共享运动动态却拥有不同光照域。这种交叠性使得硬性硬聚类产生误分与知识割裂。核心 idea：放弃互斥硬聚类假设，提出基于视觉特征高斯描述子匹配与对称散度度量的软聚类联邦学习框架，允许客户端同时参与多个重叠聚类并在服务器端自适应合并冗余簇，兼顾多域表征重叠与深度量程特化。

方法详解¶

整体框架¶

FeDepth 整体流程包含三大核心阶段：离线软聚类划分（Soft Clustering）、迭代聚类模型聚合与下发（Cluster Model Update），以及序列级零样本推理分发（Sequence-level Inference）。在联邦训练启动前，每个客户端利用轻量采样数据与冻结的预训练图像编码器提取表征自身数据分布的高斯特征描述子并上传服务器；中心服务器通过对称杰弗里斯散度计算两两客户端相似度矩阵，经过阈值初筛与子集包含关系的软聚类合并，生成最终的聚类隶属图 $M^* \in \{0, 1\}^{K \times N}$。在随后的通信轮次中，各客户端在本地基于私有深度数据执行局部梯度优化；服务器端按簇进行加权聚合得到各簇专家模型，客户端再从自身所属的多个簇模型中拉取并做模型平均，作为下一轮本地训练的初始权重。测试时，对未见机器人的连续序列提取描述子，匹配至最近的簇或多簇均值模型直接执行前向推理。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["异构机器人输入数据<br/>UGV/UAV/四足/室内外深度数据"] --> B["客户端特征分布的高斯描述子建模<br/>GeM 池化与均值方差对提取"]
    B --> C["基于杰弗里斯散度的软聚类与冗余合并<br/>对称散度矩阵 + 软聚类图与子集合并"]
    C --> D["面向多归属客户端的跨轮模型聚合与推理路由<br/>簇内按样本加权聚合 + 客户端跨簇平均更新"]
    D --> E["未见序列零样本推理分发<br/>序列级描述子匹配与模型均值推理"]

关键设计¶

1. 客户端特征分布的高斯描述子建模：紧凑刻画机器人域特征且保护原始数据

针对各机器人平台数据量庞大且不可直接共享的限制，FeDepth 必须在不泄露原始图像的前提下，向中心服务器提供能够充分反映该客户端视点、场景结构与光照特性的全局统计表征。FeDepth 在每个客户端 $c$ 本地随机采样包含 $n_c = \min(n, |X_c|)$ 张图像的代表性子集 $X_c'$。利用深度估计骨干的冻结编码器提取特征图 $z_c^i = f_{\text{enc}}(x_c^i) \in \mathbb{R}^{H' \times W' \times D}$，随后采用广义均值池化（Generalized Mean Pooling, GeM）对每个空间特征进行非线性压缩： $$g_c^i = \left( \frac{1}{H' W'} \sum_{h=1}^{H'} \sum_{w=1}^{W'} \left( z_c^i(h, w) \right)^p \right)^{\frac{1}{p}}, \quad p > 0$$ 相较于普通平均池化，GeM 池化能够自适应强化显著几何与结构响应。客户端进一步汇聚所有采样子图的 GeM 向量集合 $G_c = \{g_c^i\}_{i=1}^{n_c}$，计算其沿特征通道维度的经验均值向量 $\mu_c$ 与方差向量 $\sigma_c^2$。均值向量承载了该机器人的宏观视觉域中心，方差向量则表征了其轨迹运动过程中的视点与光照动态变化幅度。客户端仅向服务器发送极小维度的二元对 $v_c = (\mu_c, \sigma_c^2)$，既实现了极低通信开销，又彻底隔绝了图像隐私泄露风险。

2. 基于杰弗里斯散度的软聚类与冗余合并：打破离散边界并消除冗余簇结构

针对异构机器人环境属性交叉重叠（如相同环境不同机型，或相同机型不同光照）导致的领域边界模糊问题，传统的离散划分（如 $k$-means 或层次硬聚类）极易发生误判与边界割裂。在中心服务器端，FeDepth 将各客户端描述子建模为具有对角协方差的多元高斯分布 $\mathcal{N}(\mu_c, \text{diag}(\sigma_c^2))$。为了消除单向 KL 散度因分布非对称性带来的顺序偏置，服务器采用对称且具有度量性质的杰弗里斯散度（Jeffreys Divergence）来衡量任意客户端对 $(i, j)$ 之间的域分布距离： $$A_{i, j} = D_{\text{KL}}\!\left(\mathcal{N}(\mu_i, \sigma_i^2) \,\|\, \mathcal{N}(\mu_j, \sigma_j^2)\right) + D_{\text{KL}}\!\left(\mathcal{N}(\mu_j, \sigma_j^2) \,\|\, \mathcal{N}(\mu_i, \sigma_i^2)\right)$$ 由此构建全图相似性距离矩阵 $\mathbf{A} \in \mathbb{R}^{N \times N}$。通过设定聚类距离阈值 $\tau$，生成初始二值聚类关系矩阵 $\mathbf{M} \in \{0, 1\}^{N \times N}$，其中 $M_{i, j} = 1$ 表示客户端 $j$ 归属于由客户端 $i$ 为核心引导的簇候选。该机制天生支持一个客户端同时归属于多个强相关簇。随后，为了解决初始簇中高度重合、相互包含的碎片化分区问题，服务器执行软聚类迭代合并：遍历任意两簇 $M_{i, :}$ 与 $M_{j, :}$，若其中一个簇的成员集合是另一个簇的严格子集，则将该子集簇直接合并入主簇，迭代直至聚类关系完全收敛。最终输出精简高效的最终聚类映射矩阵 $\mathbf{M}^* \in \{0, 1\}^{K \times N}$（其中 $K \le N$ 为最终簇数）。

3. 面向多归属客户端的跨轮模型聚合与推理路由：协同知识共享与未见机器人自适应分发

多隶属软聚类结构在训练迭代中带来了双向聚合的独特挑战：一个簇包含多个客户端，而一个客户端亦跨接多个簇。FeDepth 设计了交替解耦的双向聚合协议。在第 $t$ 轮通信中，首先进行簇内参数聚合：对于每个聚类簇 $k \in \{1, \dots, K\}$，服务器收集所有归属于该簇的客户端最新本地权重 $\{w_c^t \mid c \in \mathbf{M}^*_{k, :}\}$，按样本量比例 $p_c^k = \frac{|X_c|}{\sum_{j \in \mathbf{M}^*_{k, :}} |X_j|}$ 计算簇专属模型权重： $$w_k^t \leftarrow \sum_{c \in \mathbf{M}^*_{k, :}} p_c^k w_c^t$$ 随后，在向客户端下发模型时，各客户端 $c$ 从服务器拉取其关联的所有簇模型 $\{w_k^t \mid k \in \mathbf{M}^*_{:, c}\}$，并在本地取算术平均作为第 $t+1$ 轮本地训练的热启动初始权重： $$w_c^{t+1} \leftarrow \frac{1}{|\mathbf{M}^*_{:, c}|} \sum_{k \in \mathbf{M}^*_{:, c}} w_k^t$$ 这种机制使得重叠客户端充当了不同属性簇之间的平滑知识桥梁，既维护了特定场景的专用几何表征，又促进了通用底层特征跨域迁移。在测试推理阶段，面对训练期完全未见的全新机器人序列，系统使用相同冻结编码器提取测试序列描述子 $v_{\text{test}}$，计算其与各簇内全体成员的平均杰弗里斯散度 $S_{\text{test}}^k = \frac{1}{|\mathbf{M}^*_{k, :}|} \sum_{c \in \mathbf{M}^*_{k, :}} A_{\text{test}, c}$。系统筛选满足 $S_{\text{test}}^k \le \tau$ 的所有候选簇模型并取平均赋权；若无任何簇满足阈值，则直接路由至距离最近的单一最优簇 $\arg\min_k S_{\text{test}}^k$。整个路由计算在序列首帧或初始化时仅执行一次，完全不增加连续帧深度推断的推理延迟。

损失函数 / 训练策略¶

在本地训练阶段，各客户端 $c$ 基于本地采集的 RGB 图像 $x$ 与深度真值 $y^*$，利用尺度不变深度损失（Scale-Invariant Loss）结合像素级回归损失优化本地深度估计网络参数 $w_c$。以尺度不变损失为例，其定义为： $$\mathcal{L}_{\text{SI}}(y, y^*) = \frac{1}{T} \sum_{i} d_i^2 - \frac{\lambda}{T^2} \left( \sum_{i} d_i \right)^2$$ 其中 $d_i = \log y_i - \log y_i^*$ 为对数空间深度残差，$T$ 为有效像素总数，$\lambda \in [0, 1]$ 平衡整体尺度偏移与相对形状误差。在超参数配置上，HPE 场景设定软聚类距离阈值 $\tau$ 对应于整体 20% 的跨簇重叠率；而在双峰量程 BMR 场景下，阈值自适应收敛于近乎离散的两极聚类，以契合室内外清晰断裂的物理特性。

实验关键数据¶

主实验¶

实验在两个极具代表性且极具挑战的真实机器人非独立同分布场景下展开： 1. HPE 场景（异构平台与环境）：基于真实多机器人多传感器数据集 M3ED 构建，包含 41 个连续训练序列（每个序列作为独立客户端，分属 UGV、UAV、四足机器人三类形态，遍布城市白天、城市黑夜、森林、室内 4 大环境）以及 11 个未见测试序列。 2. BMR 场景（双峰深度量程）：涵盖室内近距 NYUv2（15 个客户端，深度 < 10m）与室外远距 KITTI（17 个客户端，深度达 80m），共 32 个客户端。

评测基线覆盖三类代表性单目深度估计网络架构：分箱回归架构 AdaBins、图模型架构 NeWCRFs 以及频域离散余弦变换架构 DCDepth。联邦对比算法涵盖集中式学习（CL）、全局聚合（FedAvg、FedProx、FedDyn、SCAFFOLD）以及前沿聚类联邦算法（FedClust、PACFL†）。

表 1：HPE 场景下不同深度估计骨干的定量对比评测

骨干架构	训练方法	Abs Rel ↓	Sq Rel ↓	RMSE ↓	$\text{RMSE}_{\text{log}}$ ↓	$\delta < 1.25$ ↑	$\delta < 1.25^2$ ↑	$\delta < 1.25^3$ ↑
AdaBins	CL (上限)	0.222	1.477	3.552	0.254	0.733	0.887	0.941
	FedAvg	0.434	2.990	6.959	0.542	0.369	0.580	0.729
	FedProx	0.439	3.029	6.933	0.533	0.369	0.585	0.737
	FedDyn	0.440	3.063	7.027	0.551	0.367	0.573	0.721
	SCAFFOLD	0.631	6.009	9.664	0.749	0.225	0.432	0.603
	FedClust	0.444	3.263	7.521	0.566	0.277	0.550	0.733
	PACFL†	0.602	6.447	7.348	0.509	0.372	0.605	0.768
	Ours (FeDepth)	0.318	2.127	5.354	0.364	0.515	0.770	0.897
NeWCRFs	CL (上限)	0.166	0.994	2.987	0.190	0.827	0.935	0.968
	FedAvg	0.366	1.994	4.475	0.406	0.504	0.717	0.834
	FedProx	0.364	1.983	4.479	0.405	0.504	0.718	0.834
	FedDyn	0.363	1.957	4.473	0.404	0.505	0.719	0.834
	SCAFFOLD	0.356	2.060	4.569	0.376	0.498	0.726	0.864
	FedClust	0.487	4.325	7.760	0.615	0.241	0.507	0.701
	PACFL†	0.318	1.934	4.265	0.327	0.540	0.791	0.928
	Ours (FeDepth)	0.249	1.750	3.838	0.261	0.703	0.892	0.954
DCDepth	CL (上限)	0.159	0.962	2.916	0.183	0.835	0.939	0.971
	FedAvg	0.351	2.077	4.640	0.348	0.493	0.766	0.902
	FedProx	0.354	2.152	4.641	0.348	0.492	0.769	0.902
	FedDyn	0.352	2.109	4.699	0.349	0.491	0.767	0.903
	SCAFFOLD	0.329	2.050	4.880	0.350	0.472	0.759	0.914
	FedClust	0.349	3.132	6.423	0.434	0.498	0.712	0.815
	PACFL†	0.321	1.976	4.338	0.325	0.537	0.796	0.924
	Ours (FeDepth)	0.293	1.872	4.469	0.310	0.547	0.840	0.941

表 2：BMR 场景（NYUv2 室内 + KITTI 室外）定量对比评测

骨干架构	训练方法	Abs Rel ↓	Sq Rel ↓	RMSE ↓	$\text{RMSE}_{\text{log}}$ ↓	$\delta < 1.25$ ↑	$\delta < 1.25^2$ ↑	$\delta < 1.25^3$ ↑
AdaBins	CL	0.166	0.369	2.073	0.191	0.768	0.945	0.984
	FedAvg	0.357	1.153	3.329	0.409	0.211	0.673	0.913
	PACFL†	0.124	0.263	2.022	0.164	0.831	0.970	0.994
	Ours (FeDepth)	0.126	0.283	2.150	0.167	0.827	0.968	0.994
NeWCRFs	CL	0.077	0.100	1.209	0.100	0.950	0.994	0.998
	FedAvg	0.323	1.048	3.094	0.344	0.191	0.833	0.983
	PACFL†	0.087	0.145	1.501	0.117	0.921	0.991	0.999
	Ours (FeDepth)	0.089	0.145	1.499	0.118	0.921	0.991	0.999
DCDepth	CL	0.074	0.101	1.246	0.099	0.952	0.994	0.998
	FedAvg	0.158	0.265	1.789	0.183	0.801	0.969	0.996
	PACFL†	0.082	0.130	1.428	0.109	0.933	0.993	0.999
	Ours (FeDepth)	0.082	0.127	1.430	0.108	0.933	0.993	0.999

消融实验¶

消融实验均基于 NeWCRFs 在 HPE 场景下开展，重点验证软聚类策略优势、重叠度超参数敏感性以及手工真值标签划分的局限性。

表 3a：硬聚类 vs. 软聚类对比（相同聚类阈值 $\tau$）

聚类方式	Abs Rel ↓	说明
硬聚类 (Hard Clustering)	0.264	采用层次聚集硬切分，强制单属，割裂重叠知识
软聚类 (Soft Clustering, Ours)	0.249	允许多重隶属与冗余合并，Abs Rel 相对改善 5.68%

表 3b：重叠比例（Overlap Ratio %）敏感性分析

重叠率 (%)	0% (全硬划分)	10%	20% (Ours)	30%	40%	50%	100% (完全收敛)	FedAvg 基线
Abs Rel ↓	0.335	0.253	0.249	0.257	0.295	0.300	0.365	0.366

表 3c：无监督数据驱动聚类 vs. 人工真值标签（平台/环境）隔离训练对比 (Abs Rel ↓)

训练分组依据	训练源集	UGV 测	UAV 测	Legged 测	森林测	城市昼测	城市夜测	室内测	全测试集 (All)
集中式 (CL)	全部数据	0.122	0.158	0.261	0.091	0.112	0.280	0.284	0.167
FedAvg	全部数据	0.166	0.372	0.700	0.298	0.358	0.356	0.659	0.366
PACFL†	全部数据	0.174	0.305	0.580	0.236	0.338	0.414	0.309	0.318
Ours (FeDepth)	全部数据	0.148	0.262	0.411	0.203	0.185	0.420	0.275	0.249
仅平台: UGV	仅 UGV	0.139	0.514	0.996	0.493	0.366	0.318	0.663	0.471
仅平台: UAV	仅 UAV	0.295	0.640	1.358	0.790	0.549	0.471	0.610	0.662
仅平台: Legged	仅 Legged	0.458	0.645	0.265	0.407	0.413	0.483	0.782	0.484
仅环境: 森林	仅森林	0.269	0.383	0.530	0.246	0.351	0.381	0.764	0.370
仅环境: 城市白天	仅城市白天	0.191	0.432	0.696	0.415	0.292	0.301	0.680	0.394
仅环境: 城市黑夜	仅城市黑夜	0.204	0.502	0.943	0.527	0.393	0.330	0.657	0.481
仅环境: 室内	仅室内	0.709	0.823	2.012	1.297	1.237	0.764	0.279	1.069

关键发现¶

重叠软聚类破除多源域漂移鸿沟：在复杂的 HPE 场景中，FeDepth 将 NeWCRFs 的 Abs Rel 从 FedAvg 的 0.366 骤降至 0.249（提升幅度超 31.9%），且显著优于经典硬聚类 PACFL† 的 0.318。这证明机器人感知数据具有多属性交叠特性，软隶属结构能大幅缓解簇内负迁移。
重叠比例存在清晰的凸优化拐点：消融实验揭示，0% 重叠（绝对硬划分，Abs Rel 0.335）因切断了跨域共享特征而性能受限；随着重叠增加，知识互通显现收益，并在 20% 重叠率达到最佳（0.249）；而当重叠率进一步增加至 50% 乃至 100%（退化为全连通 FedAvg，0.366）时，过度的异构混合再次导致模型劣化。
数据驱动的特征聚类优于直觉标签划分：按照机器人机型或环境真值标签进行人为隔离训练（表 3c）并不能获得全局最优模型（如单一平台训练的全测试集 Abs Rel 仅为 0.471~0.662）。FeDepth 凭借无监督高斯描述子自主挖掘深层视觉相似性，实现了远超经验规则标签分群的泛化能力。

亮点与洞察¶

高斯分布特征描述子与对称杰弗里斯散度度量：利用 GeM 压缩后的特征一阶与二阶统计量（均值与方差），以轻量对角高斯形式拟合各客户端域特征，并借助对称双向杰弗里斯散度消除比较偏置。这种设计既保护了机器人局部采集的敏感视觉隐私，又以极低通信代价实现了精准的域相似性度量。
软聚类多重隶属与冗余子集自动吸收合并：突破传统聚类联邦学习只能离散单选的教条，既允许跨界设备扮演知识迁移桥梁，又通过子集修剪避免了过度碎片化的低效微簇。
架构无关且兼顾双峰特例的强鲁棒性：在离散分箱（AdaBins）、CRF 结构（NeWCRFs）与频域离散余弦（DCDepth）三大不同范式上均稳定收敛，并且在面对室内外完全割裂的 BMR 极端双峰场景时，能自然退化为清晰的双簇分流，性能无缝匹敌甚至超越集中式学习。

局限与展望¶

冻结预训练编码器的初始表征依赖：聚类划分完全依赖初始预训练特征提取器。若初始编码器在极度恶劣的环境（如雨雪浓雾、极度昏暗水下）下表征失效，可能诱发不准确的初始聚类映射，且当前机制在训练中途不重新动态调整聚类结构。
多模型并行传输的带宽开销折中：对于跨接多个簇的枢纽客户端，每轮下发需下载多个簇的模型权重并在本地做平均。当网络通信受限或簇规模膨胀时，多模型下载会成倍增加通信负担。
未来方向：探索通信感知的自适应稀疏聚类更新机制，在训练过程中结合梯度更新动态纠偏聚类拓扑，并将该机制拓展至包含激光雷达点云与事件相机的多模态具身智能协同导航任务中。

评分¶

新颖性: ⭐⭐⭐⭐ [针对机器人异构感知的复杂交叠属性，创新性引入高斯描述子与软聚类合并机制，切中真实场景要害]
实验充分度: ⭐⭐⭐⭐⭐ [涵盖 3 种深度估计网络架构、2 套深度非独立同分布场景、详尽的消融实验与多维度 baseline 深度对标]
写作质量: ⭐⭐⭐⭐⭐ [问题定义严密、形式化表述清晰、架构图与模块衔接逻辑极佳]
价值: ⭐⭐⭐⭐⭐ [为多智能体协同感知、自主驾驶车队与具身机器人联邦感知提供了极具工业落地前景的范式参考]