CoDeRNet: Selective Cross-Task Routing under Heterogeneous Supervision for Change Detection and Captioning¶

会议: NeurIPS 2026
arXiv: 2610.34876
代码: https://github.com/cekkec/CoDeRNet
领域: 遥感
关键词: 变化检测, 变化描述生成, 异质监督, 条件信息路由, 遥感图像理解

一句话总结¶

针对遥感双时相变化检测与变化描述任务中稠密像素级与弱句级异质监督所导致的表示不对称问题，本文提出 CoDeRNet，通过解耦接收端支持需求与发送端可靠性线索实现条件双向选择性路由，在保持极具竞争力变化定位精度的同时显著提升语义描述生成质量。

研究背景与动机¶

遥感双时相观测中的地表变化理解是城市规划、自然灾害评估和环境动态监测等应用的核心基础。在遥感计算领域，传统研究通常将变化理解拆解为两个平行任务：变化检测（Change Detection, CD）负责在像素级稠密分割空间变化的发生区域与精确边界；变化描述生成（Change Captioning, CC）则负责生成自然语言句子，阐释变化发生的主体、类型与上下文语义。由于这两个任务在物理本质上立足于同一真实地物变化事件，近期研究开启了联合变化检测与描述（Change Detection & Captioning, CDC）的统一建模范式，旨在通过单个网络同时回答“哪里变了（where）”与“变成了什么（what）”。

然而，统一 CDC 面临着根本性的监督异质性（Heterogeneous Supervision）难题：变化检测接受的是稠密、刚性的像素级掩码监督，而变化描述接受的则是弱、抽象的句子级自回归序列监督。现有的联合建模方案通常依赖完全共享的特征骨干或对等的多任务联合优化架构，隐式假设跨任务信息在所有空间位置和两个任务分支之间都具有对等的可靠度与实用性。但实际上，这种无条件的特征融合忽略了表示的不对称性——检测分支在变化区域及其边缘具备极强的空间先验，却无法将零散的边缘组织成符合语法的全局语义命题；描述分支擅长宏观语义关系理解与长程上下文建模，但其特征由于缺乏显式像素约束而在局部边界处模糊失真。在不加区分地全图盲目交互时，不可靠的信息容易污染对偶任务。

本文的切入视角是跳出“将 CDC 仅视为传统联合优化或无差别特征融合”的思维定势，将跨任务交互重构为一个空间与任务自适应的条件信息路由问题。核心 idea：将变化检测与描述重构为异质监督下的选择性跨任务路由问题，通过将路由条件显式解耦为“接收端支持需求”与“发送端可靠性线索”的软结合，仅在接收分支特征表征不足且发送分支提供可靠互补证据的时空位置进行残差更新，实现双向自适应互补协同。

方法详解¶

整体框架¶

CoDeRNet 的整体处理流程由五个阶段构成：双时相编码、共享变化表征构建、分支专用特征接口映射、置信度解耦双向路由（CoDeR）以及任务专用解码器输出。系统输入双时相遥感图像对 $(I_{t_0}, I_{t_1})$，首先通过参数共享的图像编码骨干网络提取多尺度视觉特征，并融合二阶差异线索构建统一的共享变化表征；随后经由轻量级投影层分别解耦为检测分支和描述分支的专用特征空间；接着在指定的分辨率尺度上执行 CoDeR 模块，有选择性地在这两个分支间完成条件残差更新；最终分别送入自顶向下的 FPN 分割头与多粒度记忆驱动的 Transformer 语言解码器，联合输出像素级变化掩码和变化描述语句。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入双时相图像对<br/>(I_t0, I_t1)"] --> B["双时相特征编码与变化融合<br/>提取多尺度特征并结合符号/绝对值差分"]
    B --> C["分支专用特征接口映射<br/>解耦生成检测分支与描述分支独立特征空间"]
    C --> D["置信度解耦双向路由 (CoDeR)<br/>解耦估计接收端需求与发送端可靠性进行残差注入"]
    D --> E["任务专用解码推理<br/>FPN像素掩码重建与多粒度记忆Transformer文本生成"]

关键设计¶

1. 补全时序动态的二阶变化融合：捕捉幅度与方向互补线索 针对简单特征拼接难以直接揭示地表真实生灭状态的问题，CoDeRNet 在共享变化特征构建中同时引入了幅度变化线索（Magnitude Change Cue）与带符号变化线索（Signed Change Cue）。对于尺度 $s$ 的多尺度视觉特征 $F_{t_0}^{(s)}, F_{t_1}^{(s)} \in \mathbb{R}^{B \times C_s \times H_s \times W_s}$，网络不仅保留两个时相原始特征，还显式计算 $F_{|\Delta|}^{(s)} = |F_{t_1}^{(s)} - F_{t_0}^{(s)}|$ 用于度量变化的绝对剧烈程度，并计算 $F_{\Delta}^{(s)} = F_{t_1}^{(s)} - F_{t_0}^{(s)}$ 用于保留地物演变的时间流向性（例如建筑物的“新建”与“拆除”）。通过拼接四项并经过 $1 \times 1$ 卷积压缩，得到具有丰富时序差异表征的共享变化特征 $F^{(s)}$：

\[F^{(s)} = \mathrm{Conv}_{1 \times 1}\big([F_{t_0}^{(s)}, F_{t_1}^{(s)}, F_{|\Delta|}^{(s)}, F_{\Delta}^{(s)}]\big)\]

2. 置信度解耦路由机制（CoDeR）：基于双侧条件门控的选择性残差传递 针对异质监督导致的跨任务表征不对称与不可靠噪声传递问题，CoDeR 模块彻底摒弃了全图均质的加和或注意力调制，而是将路由决策分解为“接收端是否需要增援”与“发送端提供的信息是否可靠”两个独立判定因子的乘积。给定接收端目标特征 $F_t \in \mathbb{R}^{B \times C \times H \times W}$ 和发送端源特征 $F_s \in \mathbb{R}^{B \times C \times H \times W}$，模块使用轻量级的 $1 \times 1$ 卷积接 Sigmoid 激活函数分别学习出目标端自足度估计 $C_t = \sigma(h_t(F_t))$ 与源端可靠度估计 $C_s = \sigma(h_s(F_s))$。由此派生出路由掩码 $M$：

\[M = (1 - C_t) \cdot C_s, \qquad F_t' = F_t + M \odot g(F_s)\]

其中 $(1 - C_t)$ 量化了接收端当前表征存在缺陷的置信需求，$C_s$ 量化了发送端提供的特征在该空间位置的支持置信度，$g(\cdot)$ 为轻量级特征映射适配器，$\odot$ 为逐空间元素点乘。该乘性组合等价于平滑的“软与门（soft conjunction）”——只有当且仅当接收分支自身信息不足、且对偶分支能给出高可信度线索时，$M$ 才趋近于 1，启动残差注入；反之则严格阻断，保护原有任务表示不受浅层伪变化干扰。

3. 尺度非对称的双向跨任务交互：契合异质任务空间分辨率规律 由于检测分支需要密集的边缘高频线索，而描述分支聚焦于高度抽象的语义聚集，CoDeRNet 将双向路由解耦并部署在完全不同的空间分辨率尺度上：从描述分支向检测分支传导（$\text{cap} \rightarrow \text{seg}$）时选择高分辨率的 $1/8$ 尺度，借助全局语境线索帮助检测分支消除阴影、季节差异造成的局部伪变化；从检测分支向描述分支传导（$\text{seg} \rightarrow \text{cap}$）时则选择相对低分辨率且抽象的 $1/16$ 尺度，向文本解码器精准提供物体的空间占位与类别存在性凭据。两个方向均在同尺度特征间直接点乘路由，无需引入跨尺度的插值下采样或重采样失真。

4. 结构特异化的异构解码体系：FPN 多尺度聚合与多粒度记忆生成 为适应不同任务输出的归纳偏置，CoDeRNet 分别配置了对称的解码路径。在分割端，检测分支采用自顶向下的类 FPN 解码架构，逐层整合自粗至细的尺度特征，由分割头输出高分辨率的多类别或二值像素掩码 $\hat{M}$。在生成端，描述分支首先在特征图上构建由全局特征向量 $t_{\mathrm{glob}}$、自适应网格池化提炼的区域块嵌入 $T_{\mathrm{reg}}$ 以及细粒度空间局部特征 $T_{\mathrm{loc}}$ 拼接而成的多粒度记忆库 $\mathcal{M} = [t_{\mathrm{glob}}; T_{\mathrm{reg}}; T_{\mathrm{loc}}]$；然后利用标准的 Transformer 自回归解码头，以教师强制（Teacher Forcing）模式逐词预测语义描述。

损失函数 / 训练策略¶

CoDeRNet 采用端到端联合训练策略。分割分支使用逐像素交叉熵损失 $\mathcal{L}_{\mathrm{CE}}$ 与 Dice 损失 $\mathcal{L}_{\mathrm{Dice}}$ 组合作为几何约束： $$\mathcal{L}_{\mathrm{seg}} = \mathcal{L}_{\mathrm{CE}}(\hat{M}, M^*) + \mathcal{L}_{\mathrm{Dice}}(\hat{M}, M^*)$$ 描述生成分支则采用非填充 token 上的标准序列交叉熵损失： $$\mathcal{L}_{\mathrm{cap}} = -\sum_{t=1}^{T} \log p(y_t^* \mid y_{<t}^*, \mathcal{M})$$ 为了克服两项损失在梯度更新幅值和尺度收敛速度上的天然失衡，研究团队引入动态梯度截断归一化损失函数（Loss Magnitude Normalization）： $$\mathcal{L}_{\mathrm{total}} = \frac{\mathcal{L}_{\mathrm{seg}}}{\operatorname{sg}(\mathcal{L}_{\mathrm{seg}}) + \epsilon} + \frac{\mathcal{L}_{\mathrm{cap}}}{\operatorname{sg}(\mathcal{L}_{\mathrm{cap}}) + \epsilon}$$ 其中 $\operatorname{sg}(\cdot)$ 表示 stop-gradient 算子，$\epsilon$ 为防止除零的微小常数。这种自平衡机制确保了在端到端联合反向传播过程中，两路分支以等权重自适应优化，避免某一方梯度主导而破坏对偶特征空间的稳定性。

实验关键数据¶

主实验¶

在代表性遥感 CDC 基准 LEVIR-MCI（多类别变化：建筑物与道路）以及 WHU-CDC（二值建筑物变化与多类别文本描述）上，CoDeRNet 与单任务模型（SNUNet、ChangeFormer、ChangeMamba；DUDA、RSICCformer、Prompt-CC、MaskApproxNet）以及统一多任务模型（CTMTNet、MCINet）进行了全面客观对比。

表 1：LEVIR-MCI 遥感双时相变化检测与描述性能对比

任务类型	方法	mIoU	BLEU-4	METEOR	ROUGE-L	CIDEr-D
变化检测单任务	SNUNet (2021)	82.53	-	-	-	-
变化检测单任务	ChangeFormer (2022)	84.35	-	-	-	-
变化检测单任务	ChangeMamba (2024)	87.61	-	-	-	-
变化描述单任务	DUDA (2019)	-	57.79	37.15	71.04	124.32
变化描述单任务	RSICCformer (2022)	-	61.93	38.79	73.02	131.40
变化描述单任务	MaskApproxNet (2025)	-	64.32	39.91	75.67	137.71
联合 CDC 统一模型	CTMTNet (2024)	85.37	64.16	39.34	74.03	134.50
联合 CDC 统一模型	MCINet (2024)	86.43	65.95	40.80	75.96	140.29
联合 CDC 统一模型	CoDeRNet (本文)	87.79	66.27	41.08	76.36	141.79

表 2：WHU-CDC 遥感变化检测与描述性能对比

任务类型	方法	IoU	BLEU-4	METEOR	ROUGE-L	CIDEr-D
变化检测单任务	ChangeMamba (2024)	89.69	-	-	-	-
变化描述单任务	Chg2Cap (2023)	-	58.44	39.95	78.67	160.64
变化描述单任务	MaskApproxNet (2025)	-	67.73	43.89	75.41	135.31
联合 CDC 统一模型	CTMTNet (2024)	81.54	69.00	45.39	79.23	149.40
联合 CDC 统一模型	MCINet (2024)	88.23	75.49	49.03	82.54	159.57
联合 CDC 统一模型	CoDeRNet (本文)	90.25	74.17	49.04	83.58	163.37

消融实验¶

在 LEVIR-MCI 数据集上，对联合训练与交互范式、路由掩码解耦形式以及通用跨任务交互算子进行了深度消融实验。

表 3：联合训练、路由方向性与掩码解耦消融（LEVIR-MCI）

消融维度	具体配置	mIoU	BLEU-4	METEOR	ROUGE-L	CIDEr-D
任务范式与路由	单任务检测	87.03	-	-	-	-
任务范式与路由	单任务描述	-	63.18	40.21	75.27	137.41
任务范式与路由	联合多任务 (无 CoDeR)	87.67	64.41	39.93	74.98	136.18
任务范式与路由	联合多任务 (带 CoDeR)	87.79	66.27	41.08	76.36	141.79
路由方向性	单向 cap $\rightarrow$ seg	87.53	64.79	40.27	75.25	138.62
路由方向性	单向 seg $\rightarrow$ cap	87.60	64.96	40.95	76.33	141.95
路由方向性	双向 seg $\leftrightarrow$ cap (本文)	87.79	66.27	41.08	76.36	141.79
掩码解耦形式	仅发送端可靠度 $C_s$	87.60	65.12	40.49	75.73	139.57
掩码解耦形式	仅接收端需求 $(1 - C_t)$	87.65	64.65	40.81	75.94	141.02
掩码解耦形式	单一门控机制 Single Gate	87.59	65.46	40.27	75.54	138.19
掩码解耦形式	完整解耦 $(1 - C_t) \cdot C_s$	87.79	66.27	41.08	76.36	141.79

表 4：不同跨任务交互算子对比（LEVIR-MCI，同等骨干与参数规模）

交互算子类型	参数量 (M)	计算量 FLOPs (G)	mIoU	BLEU-4	METEOR	ROUGE-L	CIDEr-D
Co-Attention (协同注意力)	102.8	67.46	87.84	64.15	40.64	75.44	139.33
Cross-Attention (交叉注意力)	103.2	67.71	87.70	65.01	40.60	75.53	138.87
Channel Exchange (通道互换)	102.9	67.46	87.53	65.15	40.61	75.47	139.12
Gating (联合全局门控)	103.1	67.46	87.75	65.66	40.73	76.09	140.86
CoDeR (本文条件路由)	102.8	67.46	87.79	66.27	41.08	76.36	141.79

关键发现¶

双向路由显著强于单向及无路由基线：单纯将两个任务联合训练（无交互）虽然能够提升分割的 mIoU（87.03 $\rightarrow$ 87.67），但描述生成的 CIDEr-D 反而从 137.41 降至 136.18，显示出任务间的负迁移干扰；而在引入 CoDeR 后，CIDEr-D 跃升至 141.79，表明显式的条件路由能打破多任务异质监督的表示冲突。
分解设计缺一不可：消融实验证实，无论是仅根据发送端置信度 $C_s$ 还是仅根据接收端缺口 $(1 - C_t)$，性能都会出现明显滑坡。单一全局门控因未对需求与可靠性解耦，其 CIDEr-D 仅为 138.19。只有将二者乘性结合，才能在接收端需要且发送端靠谱的前提下精准建立通信通道。
尺度非对称配置至关重要：尺度探索实验证明，检测分支在 $1/8$ 分辨率接收描述特征收益最高，而描述分支在 $1/16$ 尺度接收检测特征最理想；全尺度密集多级路由反而会扰乱表征，使 CIDEr-D 跌至 138.83。
盲测人类评估证实事实一致性：在由 7 名研究员针对 660 组真实变化图像对进行的双盲人工评估中（5 分制），CoDeRNet 在事实对齐（Factual Grounding，3.658 vs. 3.520）和跨输出一致性（Cross-Output Consistency，3.813 vs. 3.632）两项指标上均显著优于先验 SOTA 模型 MCINet（符号检验统计显著，$p < 0.05$ 和 $p < 0.001$）。

亮点与洞察¶

将特征融合重构为“条件路由问题”：传统多任务网络普遍将特征交互视为“如何设计更复杂的注意力矩阵”，本文敏锐指出跨任务交互的核心并非运算复杂度，而是交互的时机与位置——即只有在“接收方不足且发送方可靠”时才允许信息流过。
乘性“软与门”门控设计兼顾极简与高效：CoDeR 仅利用两个单层 $1 \times 1$ 卷积头估算动态置信度标量图，无需庞大的多头交叉注意力或高维相关度矩阵计算，在参数量仅 102.8M、FLOPs 仅 67.46G 的极轻量开销下，全面超越计算代价更高的 Co-Attention 与 Cross-Attention。
几何增强下的语义方向对齐技巧：在遥感图像旋转和翻转数据增强时，文中系统建立了短语级与词级的空间方位词重映射规则（如 upper left 翻转映射为 upper right），消除了几何增强造成的图文语义颠倒现象，为模型带来超过 2.5 点的 CIDEr-D 净收益。

局限与展望¶

跨分支增益的不对称性仍存：实验表明检测特征对描述生成的拉动极为显著（CIDEr-D 大幅提升），但描述特征反向赋能检测定位的增益相对温和（mIoU 提升约 0.12%），这反映出高层文本语义在反哺底层密集边界重构时依然存在固有的语义间隙（Semantic Gap）。
缺乏显式的细粒度区域-词语对齐监督：CoDeR 目前完全依靠端到端任务损失反向传播驱动路由门控，并未引入显式的局部地物与文本词组对齐损失，在空间变化极微弱或地物语义边界模糊的极端场景下，门控选择仍可能存在误判。
时序场景泛化性待拓展：现有评估仅涵盖双时相卫星航拍图，未来有必要推广至长时序、多时相乃至通用密集预测加文本生成的多模态统一大模型体系中。

评分¶

新颖性: ⭐⭐⭐⭐☆ 提出置信度解耦的条件信息路由，将异质监督下的多任务交互从结构混合推向认知决策。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖双权威遥感基准、骨干鲁棒性、多尺度配置、全套跨任务算子对齐实验及严谨的盲测人类主观评价。
写作质量: ⭐⭐⭐⭐⭐ 问题剖析透彻，动机叙述一气呵成，公式与理论阐释极其规范。
价值: ⭐⭐⭐⭐☆ 为遥感变化智能解译提供了完备且即插即用的多任务协同范式，对密集预测与文本生成联合建模具有广泛启发意义。