Capturing Spectral and Spatial Patterns for Federated Remote Sensing Segmentation¶

会议: ECCV2026
论文: https://eccv.ecva.net/virtual/2026/poster/5810
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/13228.pdf
作者: Yixin Xue, Haonan Guo, Wenke Huang, Bo Du
领域: 遥感
关键词: 联邦学习、遥感语义分割、域自适应原型、光谱偏移、空间偏移

一句话总结¶

FedDap 不再要求所有遥感客户端共用完全相同的类别中心，而是用光谱与空间线索对共享原型做受约束的本地调制，在 Potsdam(IRRG) 与 Vaihingen(RGB) 的复合偏移设置下报告 70.42% mIoU，比 FedSeg 高 1.60 个百分点。

研究背景与动机¶

遥感语义分割需要给每个像素赋予建筑、植被、道路等地物类别，但不同机构的数据未必能够集中。联邦学习让各客户端在本地训练后交换模型信息，避免直接传送原始影像；困难在于，各地的“建筑”并不形成同一个外观分布。传感器及成像流程改变通道响应，城市与乡村的布局、尺度和纹理又会改变空间结构，因此同类像素可能先按来源域分成几团，再表现出类别关系。

FedProto 等原型方法用共享类别中心对齐客户端，解决了“各自训练、语义坐标不一致”的一部分问题，却未必能容纳遥感影像内部有规律的域差异。把所有建筑平均成一个中心可能抹去有效的域内结构；反过来，每个客户端完全独立地定义建筑原型，又可能失去跨域语义对应。本文没有取消共享中心，而是让共享中心负责定义类别身份，让本地调制负责解释该类别在当前传感器和地理环境中的表现。

这一切入点把适应操作放在原型空间，而非直接对所有像素特征施加同一种风格变换。核心 idea：保留全局类别锚点，以浅层光谱统计和深层多尺度空间结构分别生成本地原型，再按类别融合，并同时用全局锚点与本地原型监督像素表示。

方法详解¶

整体框架¶

输入是各客户端独立持有的带像素标注遥感影像，输出仍是分割网络的地物类别预测。FedDap 的额外结构主要用于训练：服务器维护共享语义锚点，客户端通过光谱与空间双分支调制以及偏移感知门控得到域自适应原型（Domain-Adaptive Prototypes，DAPs），再执行双重监督与簇内同步。共享锚点回答“是什么类”，DAP 回答“这个类在当前域里应靠近哪里”，二者共同约束编码器，而不是把域差异一律压成噪声。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["本地影像与像素标注"] --> B["共享语义锚点"]
    B --> C["光谱与空间<br/>双分支调制"]
    C --> D["偏移感知门控"]
    D --> E["双重监督与<br/>簇内同步"]
    B --> E
    E --> F["更新分割网络<br/>输出地物类别图"]
    E --> B

关键设计¶

1. 共享语义锚点：只共享类别统计，不共享稠密像素表示

每个客户端从带标签像素的嵌入中，按类别累加特征向量并统计像素数。服务器对参与客户端上传的这些统计求总和，以该类别的总像素数做加权平均，再进行 L2 归一化，得到全局原型库。这里不是“先给每个客户端求一个中心，再无差别平均”：建筑像素较多的客户端，对建筑原型的贡献相应更大，从而与类别统计量的定义一致。

全局原型每轮随共享模型下发，成为各客户端都能参照的类别坐标。这样，即便当前客户端只看到某一种传感器下的建筑，它仍有一个跨客户端的建筑锚点。原型本身并不需要像素位置，也不传送逐像素嵌入；不过，聚合统计仍是数据相关信息，因此“影像不出本地”不等于获得了形式化隐私保证。

2. 光谱与空间双分支调制：改变原型的位置，而不是混淆类别身份

光谱分支利用浅层特征，因为通道亮度、辐射响应等差异更容易在这一层保留下来。它先用轻量的 1×1 卷积映射到公共表示空间，再提取各通道的均值与标准差，并在小批量上汇总成紧凑的光谱描述符。将描述符与可学习的类别嵌入拼接后，MLP 为每一类生成通道级缩放和平移参数。同一种传感器偏移可以影响多个类别，但类别嵌入让建筑与植被不必采用完全相同的修正。

空间分支则读取深层特征，将空间金字塔池化与全局均值、标准差结合。原文框架图给出 1×1、2×2、4×4 的池化尺度，意图是保留不同粒度的纹理与布局线索，而不只看全图平均值。该分支同样以空间描述符和类别嵌入预测调制参数；其缩放参数额外经过两倍 sigmoid，限制在零与二之间，避免任意放大造成原型不稳定。两个分支均从同一个全局锚点出发，最后归一化，而不是把一个分支的输出再交给另一个分支串行变形。

用统一符号概括两条分支的仿射调制，可以写成：

\[ p_c^{b}=\operatorname{Norm}\!\left(\gamma_c^{b}\odot p_c^{\mathrm{inv}}+\beta_c^{b}\right),\qquad b\in\{\mathrm{spec},\mathrm{spa}\}. \]

其中 \(p_c^{\mathrm{inv}}\) 是类别 \(c\) 的全局锚点，\(\gamma_c^{b}\) 和 \(\beta_c^{b}\) 分别是对应分支预测的缩放与平移，\(\odot\) 表示逐通道乘法。公式将原文两条同形的调制式合并展示；局部描述符决定域条件，类别嵌入决定类条件，归一化让后续余弦相似度使用一致的尺度。

3. 偏移感知门控：让不同类别选择不同的光谱与空间权重

固定平均默认每个客户端、每个类别都同样依赖光谱和空间信息，这并不符合遥感任务。例如，植被类别可能对近红外信息敏感，而相同光谱模态下的跨城市建筑差异可能主要来自结构。门控网络将两种域描述符拼接后，经 MLP 与 sigmoid 输出每个类别一个权重，因此它是类别级融合，而不是每个像素独立生成一个门。

\[ p_c^{\mathrm{dap}}=\operatorname{Norm}\!\left(\alpha_c^{(k)}p_c^{\mathrm{spec}}+(1-\alpha_c^{(k)})p_c^{\mathrm{spa}}\right). \]

这里 \(\alpha_c^{(k)}\) 越大，客户端 \(k\) 上类别 \(c\) 的光谱分支贡献越强。融合后的 DAP 仍被归一化，用作本地像素的类别参照。应把“偏移感知”理解为通过任务损失学到的条件化权重，而不是一个经过外部校准、能准确测量真实传感器偏移强度的物理指标；论文没有提供这种校准证据。

4. 双重监督与簇内同步：既容纳本地域变化，又避免各客户端语义失联

客户端用归一化像素嵌入与所有类别 DAP 的余弦相似度构造分类分数，经温度缩放后计算交叉熵。这一像素到原型的对比目标，拉近像素与正确类别的 DAP，并相对推开其他类别。同时，模型还对全局原型库计算一份同类目标：如果只有 DAP 监督，本地中心可以追随局部数据越走越远；保留共享锚点监督，才能持续提醒模型建筑与植被等类别在跨客户端空间中的共同关系。

训练还惩罚光谱原型、空间原型以及融合 DAP 相对全局锚点的余弦漂移。与简单禁止所有移动不同，这是一种有代价的适应：域偏移确实需要修正时仍可移动，但必须由分割和原型监督带来的收益来支持。联邦轮次结束后，服务器按 FedAvg 聚合分割模型，并用类别统计更新全局锚点。对于调制器，客户端上传参数和经指数移动平均平滑的紧凑偏移描述符；服务器每隔 \(R\) 轮按描述符聚类，在相应簇内聚合光谱与空间调制器，而门控网络全局平均。由此，相似偏移的客户端可以共享调制经验，而不必把所有域的修正规则混成一套。

一个完整示例¶

考虑主实验中的十个客户端：五个持有 Potsdam(IRRG)，五个持有 Vaihingen(RGB)。在一轮训练中，服务器先下发共享分割网络与类别锚点；一个 RGB 客户端读取本地图像，用浅层通道统计描述当前外观，用深层多尺度特征描述当前布局。

对于“建筑”类，两个分支各自修正同一个全局建筑锚点，门控将它们融合为本地建筑 DAP。每个带建筑标签的像素既要与这个本地中心匹配，也要与全局建筑中心匹配；调制器不能仅通过无限移动中心来降低局部对比损失，因为漂移正则仍在起作用。客户端完成本轮两次本地训练遍历后，上传模型和规定的紧凑统计，不上传图像或 DAP。服务器更新模型与全局原型；到达同步间隔时，再根据偏移描述符分簇共享调制器。这里描述的是训练流程，并非论文额外报告的一次门控数值实验。

损失函数 / 训练策略¶

本地目标由分割损失、DAP 监督、全局锚点监督和漂移正则组成，按正文语义整理为：

\[ \mathcal L_k=\mathcal L_{\mathrm{seg}}^{(k)}+\lambda_{\mathrm{dap}}\mathcal L_{\mathrm{con}}^{(k)}+\lambda_{\mathrm{inv}}\mathcal L_{\mathrm{inv}}^{(k)}+\lambda_{\mathrm{drift}}\mathcal L_{\mathrm{drift}}^{(k)}. \]

原文将分割损失举例为像素交叉熵或交叉熵加 Dice，没有在所读全文中明确固定到其中一个具体实现；温度、损失权重、聚类算法和同步间隔 \(R\) 的具体设置也未完整给出，不宜补造默认值。缓存中的部分公式排版有损，上述公式仅整理可由相邻正文确认的调制、融合和目标结构。

三个主设置统一使用 ResNet-50、十个客户端、每域五个客户端，共 150 个通信轮次，每轮两个本地 epoch。各客户端数据量平衡，但域分布不同。Vaihingen 影像按论文设置从 9 cm 重采样到 5 cm 地面采样距离，以减弱与 Potsdam 的分辨率差异；这不代表真实传感器信息量也随重采样变得一致。

实验关键数据¶

主实验¶

mIoU 是按类别平均的交并比，Acc 是像素准确率，均越高越好。LoveDA 按七类计算 mIoU，Potsdam/Vaihingen 按五个前景类计算、排除杂物/背景；不同场景的绝对分数不能直接横比。下表保留原文报告的 mIoU 列，提升均为百分点，而非相对百分比。

设置 / 骨干	FedAvg mIoU ↑ (%)	FedSeg mIoU ↑ (%)	FedDap mIoU ↑ (%)	相对 FedSeg 提升
LoveDA 城市 / 乡村，ResNet-50	49.89	50.04	50.68	+0.64
Potsdam(IRRG) / Vaihingen(IRRG)，ResNet-50	70.64	71.06	73.43	+2.37
Potsdam(IRRG) / Vaihingen(RGB)，ResNet-50	67.17	68.82	70.42	+1.60
Potsdam RGB / IRRG，ResNet-50	73.71	74.70	75.80	+1.10
LoveDA-RGB + Potsdam-IRRG，SegFormer-B0，全局指标	36.47	38.04	39.25	+1.21

这里不能把每一行的 FedSeg 都称为“最强基线”。同模态跨区域设置中，FPL 报告 73.08，FedDap 相对它只高 0.35 个百分点；复合偏移设置的表格中，FedProto 报告 69.71，高于 FedSeg 的 68.82，因此按报告列比较，FedDap 相对 FedProto 是 +0.71。原文正文却把 FedSeg 称作该设置的最佳基线，而且 FedProto 该行的五类 IoU 算术均值约为 68.31，与报告的 69.71 不一致；这一源文冲突尚未消解，不应擅自改表或宣称严格核实了最强基线排名。

FedDap 也并非所有指标都最高：LoveDA 的 Acc 为 69.52，低于 FedSeg 的 69.90；跨数据集 SegFormer-B0 设置的全局 Acc 为 61.44，也低于 FedSeg 的 61.92。mIoU 改善支持类别平均表现提升，并不意味着像素准确率和每个类别都同步提升。

消融实验¶

以下摘录原文表 4，使用与主实验相同的骨干和联邦训练日程。前两项移除的是对应原型监督，不应把名称误读成直接删除所有全局原型数据结构。

配置	LoveDA mIoU ↑ (%)	同模态跨区域 mIoU ↑ (%)	复合偏移 mIoU ↑ (%)
完整 FedDap	50.68	73.43	70.42
去掉全局锚点监督	50.38	72.10	68.35
去掉 DAP 监督	50.43	72.44	69.05
仅光谱分支	50.26	72.18	69.41
仅空间分支	50.34	73.31	69.13
固定门控为 0.5	49.83	73.20	69.25

关键发现¶

复合偏移下，去掉全局锚点监督下降 2.07 个百分点，去掉 DAP 监督下降 1.37 个百分点；共享语义与本地适应并非可以相互替代。
同模态跨区域设置中，仅空间分支为 73.31，接近完整模型的 73.43；仅光谱分支为 72.18，更符合该设置以空间差异为主的构造。
固定门控在复合偏移下得到 69.25，比完整模型低 1.17 个百分点。但消融没有单独隔离漂移正则和簇内同步的贡献，不能把整套增益全部归因于其中某一项。

亮点与洞察¶

适应的对象是类别参照，而不只是图像或特征。共享身份与域内外观因此可以共存，避免把“对齐”简单理解为消除所有类内差异。
分支选择与遥感偏移来源相对应，消融又检验了同模态和复合偏移下的差异。其价值在于让结构设计接受针对性验证，而不只是叠加两个通用模块。

局限与展望¶

作者将更多传感器与分辨率、减少标签依赖、超过两个潜在域以及高度不平衡的客户端参与列为后续方向。当前平衡数据量、双域主设置并不覆盖这些情况。
原文缺少多次运行方差、充分的通信/运行开销统计及部分训练与聚类超参数；小幅提升的稳定性、调制器同步的额外成本仍需核查。
共享统计量和参数并不构成差分隐私或安全聚合证明。本文验证的是不集中原始影像的训练方案，不是严格隐私攻击下的安全界限。
实验表与正文存在上述基线排名和数值一致性问题；引言称利用 DAP 相似性发现域，而方法明确写上传平滑描述符、DAP 不上传。本笔记按详细方法描述训练流程，复现时应向实现核对这些差异。

评分¶

新颖性: 4/5。将遥感光谱与空间偏移显式组织进类别原型适应，问题与设计对应清晰，但基本运算建立在已有调制和原型学习之上。
实验充分度: 3/5。覆盖不同偏移和额外骨干，然而缺少方差与成本分析，且原表存在数值冲突。
写作质量: 3/5。方法主线容易理解，但域聚类描述前后不完全一致，公式提取质量和复现细节也限制核查。
价值: 4/5。适合关注多传感器、多地域联邦遥感分割的研究者，尤其值得参考其共享锚点与局部原型的分工。