CRD-Net: Frequency-Adaptive Feature Injection and Change Decoupling for Building Damage Assessment¶

会议: ECCV2026
论文: https://eccv.ecva.net/virtual/2026/poster/5684
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/12231.pdf
作者: Yao Zheng, Yuanxin Ye, Tan Shu, Liwei Cai
领域: 遥感
关键词: 建筑损伤评估、频率自适应融合、变化表示解耦、原型对比学习、DINOv3

一句话总结¶

CRD-Net 先向 DINOv3 注入分频处理的 CNN 细节，再从双时相特征中分离变化与不变信息，并用原型引导的难样本对比学习识别损伤，在 xBD 和 EBD 上分别达到 81.26% 与 81.88% 的综合 F1，但并非所有子任务都最优。

研究背景与动机¶

灾前、灾后卫星图像既要回答“建筑在哪里”，也要回答“损伤有多重”。前者依赖稳定的轮廓和结构，后者却可能只由屋顶裂纹或边缘变形等微小差异决定。DINOv3 这类视觉基础模型具有较强的全局语义表示，但较大步长的 patch 嵌入会提前丢失局部细节；只把低分辨率语义特征放大，并不能重新找回已经消失的损伤线索。ChangeViT 通过注入空间细节缓解这一问题，但直接融合也可能带入冗余背景。

即使编码器保住了细节，时相差异也不等于建筑损伤。光照变化、背景纹理和完整建筑的共同结构会与真正的损伤混在一起，轻微损伤尤其容易被淹没。ChangeMamba 的时空建模可以建立长程关联，却不能单靠聚合保证变化表示干净；而把背景分开后，轻微损伤和完整建筑仍可能在特征空间中十分接近。因此，本文同时处理“细节是否进入表示”“表示是否混入无关变化”“相近类别能否分开”三个连续问题。

核心 idea：先按频率选择性补回局部结构，再将时空特征解耦为变化与不变子空间，最后针对完整建筑和背景采用不同的对比约束，让微弱损伤不再只是大背景中的小差值。

方法详解¶

整体框架¶

输入是一对灾前、灾后遥感图像，输出包括建筑定位掩码和损伤等级预测。编码端使用 LoRA 微调的 DINOv3，并通过辅助 ResNet 提供局部空间特征；“空间频率自适应增强”负责把两类特征融合。定位分支只使用灾前特征并逐级上采样，避免让灾后外观破坏建筑位置的判断。

损伤分支以 ChangeMamba 解码器为基础，依次进行“Mamba 时空融合”“正交子空间解耦”和“原型引导难样本对比”。后两者构成 CRD² 解码器中用于净化表示和拉开类别的新增机制：前者改变传向预测头的变化特征，后者主要提供训练约束，不是推理时需要额外输入标签的分类模块。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["灾前与灾后图像<br/>DINOv3 + ResNet"] --> B["空间频率自适应增强"]
    B -->|灾前特征| C["建筑定位掩码"]
    B -->|双时相特征| D["Mamba 时空融合"]
    D --> E["正交子空间解耦"]
    E --> F["损伤等级预测"]
    E -.->|训练时约束| G["原型引导难样本对比"]

关键设计¶

1. 空间频率自适应增强：按频段注入细节，而非把两路特征直接相加

DINOv3 原生特征的空间分辨率固定为输入的 1/16。论文在第 5、11、17、23 层之后加入轻量颈部模块，用普通卷积和深度可分离卷积构建 1/4、1/8、1/16、1/32 四级金字塔，对应通道数为 96、192、384、768。这个步骤解决的是后续解码需要多尺度输入的问题；真正补充初始嵌入所丢细节的，是独立 ResNet 分支，而不是上采样本身。

空间频率自适应增强模块（SFAFE）先将同尺度的 CNN 与 DINOv3 特征做二维 FFT，再利用中心频率、带宽和增益均可学习的高斯带通滤波器，分出低、中、高频子带。各子带逆变换回空间域后并不共用一种融合方式：低频和高频以 ViT 特征作查询、CNN 特征作键和值进行交叉注意力，中频则用 MLP 产生的门控系数融合两路信息。这样低频语义与高频结构都能按内容从 CNN 中选择补充，而中频可由门控调节两类表示的贡献，并非一律增强所有高频响应。

各子带融合后重新变换到频域并汇总，再逆变换得到频率融合特征。与此同时，模块把原始两路特征拼接，经 1×1 卷积形成空间融合分支，以补充通道语义并减轻频域运算的数值误差。随后由 CNN 特征、空间融合特征和频率融合特征共同预测空间门控图，对频率、空间两路结果做互补加权，拼接后经 3×3 卷积输出。这里的第二重筛选发生在空间位置上：即便某个频段包含丰富纹理，也不应把背景纹理与建筑边缘同等传给解码器。

2. Mamba 时空融合：先建立双时相上下文，再判断哪些差异值得保留

每一级损伤解码器不是简单将灾前特征减去灾后特征，而是通过通道拼接、按列交错和水平拼接三种交互方式组织双时相信息，再交给状态空间模型建模。不同组织方式提供互补的时空关系，配合逐级跳跃连接融合多尺度特征，使小范围结构变化能够与较大范围建筑上下文共同进入表示。这部分沿用 ChangeMamba 的解码思路，是后续变化解耦的输入基础，并非本文首次提出 Mamba 时空解码。

时空融合仍会同时携带灾害变化、稳定结构与成像扰动。论文因此没有把融合特征直接当作“纯变化”，而是在每级解码中接入后续解耦和判别机制。与损伤分支不同，建筑定位分支只需对灾前金字塔逐步上采样；两支共享增强后的编码表示，但承担不同目标，最终综合指标也允许二者出现取舍。

3. 正交子空间解耦：利用不变信息抑制伪变化，而不是把不变信息全部丢弃

正交子空间解耦（OSD）对融合特征使用两个独立投影，分别得到变化子空间与不变子空间。前者希望保留灾后结构改变，后者描述跨时相稳定的场景内容。为了减少两者冗余，模块展平并进行 L2 归一化后，惩罚两个表示的交叉相关；核心约束可写为：

\[ \mathcal{L}_{\mathrm{orth}}=\frac{1}{N}\left\|\bar Z_c\bar Z_i^{\top}\right\|_F^2. \]

其中，两矩阵的形状均为 \(D\times N\)，\(N\) 是当前尺度的空间位置数，\(D\) 是投影后的特征维度。该约束鼓励表示去相关，但不能单凭正交性证明两支在统计上独立，也不能保证所有变化都是损伤。论文进一步将变化与不变特征拼接，经可学习映射和 Sigmoid 得到变化门控，再逐位置调制变化特征；不变分支在这里是背景抑制的条件信息，而非固定取反的硬掩码。其目的在于压低光照等因素造成的伪变化，同时保留仍有判别价值的局部响应。

4. 原型引导难样本对比：把“像完整建筑”和“像背景”分开处理

解耦后的轻微损伤区域仍有大量完整建筑结构，直接要求它与所有负样本同样远并不合理。原型引导难样本对比（PHCL）维护损伤、完整建筑、背景三个动量更新的特征原型，并优先采样真实变化边界附近的难像素。注意这里是三个粗粒度语义原型，不是为四个损伤等级各维护一个中心；最终等级仍由损伤预测分支的监督负责。

为给对比学习区分建筑与背景，论文使用不变子空间特征的 L2 能量，并结合该图能量的均值和标准差构造建筑置信度，假设建筑纹理的响应通常强于平坦背景。对损伤锚点，完整建筑负样本采用较高基础温度，以容忍不可避免的结构相似性；背景负样本采用较低基础温度，强化两者区分。同时，温度包含随像素到真实变化边界的归一化距离衰减的附加项。这既考虑负样本语义，也考虑边界不确定性，而不是只按特征相似度机械挖掘难例。

训练约束由像素级 InfoNCE 和原型中心损失共同组成：前者约束锚点与正负样本的相对关系，后者让锚点特征均值朝其真实类别原型靠拢。边界和类别监督只在训练时使用，不应理解成部署时仍需真实变化掩码。局部对比与动量原型结合，旨在避免少数损伤像素仅受当前批次中大量背景特征牵引。

损失函数 / 训练策略¶

建筑定位使用 BCE 加权结合 Lovász-softmax，后者权重为 0.5；损伤分类使用多类交叉熵加权结合 Lovász-softmax，后者权重为 0.75。辅助项在各尺度加入正交约束，并叠加 PHCL，其中原型中心损失权重为 1，正交正则权重为 0.5。最终联合优化定位、损伤分类和辅助目标。虽然损伤等级有顺序性，这里的 CE 与 Lovász 组合不应被误称为显式的序数回归损失。

训练采用单张 48 GB NVIDIA A6000、SGD、初始学习率 \(1\times10^{-4}\)、动量 0.9、权重衰减 \(5\times10^{-4}\)，批量大小 8，共 100 个 epoch。xBD 的 1024×1024 图像随机裁为 512×512，配合旋转、随机擦除和高斯噪声。论文说明 DINOv3 使用 LoRA，但正文未完整给出 LoRA 秩、ResNet 具体规格及所有对比温度设置；缓存中部分公式符号也有抽取缺失，因此本文对相关机制优先采用有正文支撑的描述，不补造实现细节。

实验关键数据¶

主实验¶

xBD 使用四类损伤标签；EBD 同样包含四级标签，论文因其没有官方划分而按 8:1:1 随机划分训练、验证和测试集。以下均为论文报告的百分制 F1，越高越好，不能把两数据集数值差异直接视为跨域泛化收益。

定位 F1 是建筑二分类 F1；分类 F1 是四个损伤类别 F1 的调和平均，而非算术宏平均。综合 F1 由定位和分类加权求和。缓存式（29）存在符号缺失，按正文及表中数值核对，其关系为：

\[ F_{\mathrm{cls}}=\frac{4}{\sum_{c=1}^{4}1/F_c},\qquad F_{\mathrm{overall}}=0.3F_{\mathrm{loc}}+0.7F_{\mathrm{cls}}. \]

数据集	方法	定位 F1 ↑	分类 F1 ↑	综合 F1 ↑	轻微损伤 F1 ↑	完全损毁 F1 ↑
xBD	ChangeMamba	85.91	76.68	79.45	59.10	86.44
xBD	FlowMamba	87.66	76.89	80.12	59.30	86.63
xBD	CRD-Net	87.10	78.76	81.26	62.68	86.70
EBD	DAHiTra	85.68	74.99	78.20	80.75	64.50
EBD	FlowMamba	91.20	75.98	80.55	85.58	60.79
EBD	CRD-Net	92.00	77.54	81.88	88.12	61.58

相对 FlowMamba，CRD-Net 的综合 F1 在 xBD、EBD 分别提高 1.14、1.33 个百分点，轻微损伤 F1 分别提高 3.38、2.54 个百分点。不过 xBD 定位 F1 低 0.56 个百分点；EBD 完全损毁 F1 也低于 DAHiTra 2.92 个百分点，因此优势主要是损伤判别改善，而非所有指标的全面领先。

消融实验¶

下表对应论文表 4，所有带“+”的配置均相对 DINOv3-LoRA 基线独立添加模块，不是逐行累加。

配置	定位 F1 ↑	分类 F1 ↑	综合 F1 ↑
DINOv3-Frozen	85.74	74.06	77.56
DINOv3-LoRA 基线	86.74	76.46	79.55
基线 + SFAFE	87.46	77.98	80.83
基线 + CRD²	86.22	78.33	80.70
基线 + OSD only	87.33	77.08	80.16
基线 + PHCL only	87.25	77.60	80.50
基线 + SFAFE + CRD²	87.10	78.76	81.26

单独加入 SFAFE 和 CRD²，综合 F1 分别比 LoRA 基线提高 1.28、1.15 个百分点。完整模型相对仅 SFAFE 的分类 F1 提高 0.78 个百分点，但定位 F1 下降 0.36 个百分点；该消融支持两类机制互补，也说明分类与定位目标并非始终同向。

关键发现¶

最直接的改善体现在 xBD 轻微损伤类别，但 OSD 与 PHCL 的独立增益不能被解释为“正交性已证明语义完全分离”。论文没有提供这种理论保证。
LoRA 相对冻结骨干将综合 F1 从 77.56 提高到 79.55，说明任务适配本身已贡献明显收益，不能将全部提升归于新解码器。
复杂度表报告 CRD-Net 为 86.22 M 参数、108.33 G FLOPs，FlowMamba 为 68.52 M、130.80 G。CRD-Net 的运算量更低但参数更多，不能据此推断实际延迟或显存占用更低。

亮点与洞察¶

频率增强不是“高频越多越好”。先按频段选择融合方式、再用空间门控筛位置，针对的是细节与背景纹理同时存在的问题。
不变表示并非废料。它既帮助变化门控识别稳定区域，也为对比学习提供建筑与背景的粗粒度线索。
对完整建筑采用更宽容的对比温度，承认损伤像素仍保有建筑结构。这比统一增强所有负样本排斥更贴近细粒度损伤的视觉特点。

局限与展望¶

作者指出 EBD 完全损毁类别仍弱于 DAHiTra，现有机制对极端破坏的收益不足；轻微损伤上的优势不能外推到所有灾害形态。
作为阅读判断，利用不变特征能量区分建筑与背景依赖纹理假设，复杂植被或低纹理建筑可能构成反例，正文没有单独量化这一代理信号的可靠性。
EBD 使用随机划分，没有给出按灾害事件留出的跨事件评估；结果不足以证明部署到未见灾区的泛化性能。论文也未报告多次运行的方差。
复杂度比较缺少实际推理时间，且部分关键超参数未完整披露。后续复现应优先核实这些设置及不同损伤等级的失误，而非仅比较综合 F1。

评分¶

新颖性: 4/5。频段选择、变化解耦和语义自适应对比的结合针对性较强，但依托已有骨干和解码架构。
实验充分度: 3/5。包含两个数据集及模块消融，但缺少跨事件评估、方差和真实延迟。
写作质量: 3/5。问题与设计对应清楚，但部分实现细节不足，公式抽取缺损也增加复核成本。
价值: 4/5。对轻微建筑损伤判别有明确增益，适合关注遥感细粒度变化表示的读者。