Sparse All-Layer Connector for Domain Generalised Semantic Segmentation¶

会议: NeurIPS 2026
arXiv: 2610.15660
代码: https://github.com/RuoyuGuo/SALC
领域: 语义分割
关键词: 域泛化语义分割、基础模型特征融合、稀疏全层连接器、Sparsegen、候选层丢弃正则化

一句话总结¶

针对多基础模型域泛化语义分割中传统同深度对齐融合忽略表征层级差异与域敏感性的瓶颈，本文提出稀疏全层连接器（SALC），通过基于 Sparsegen 的自适应跨层选择机制与基于频率的候选层丢弃正则化，实现了跨域未知场景下鲁棒高效的多模型互补融合。

研究背景与动机¶

域泛化语义分割（Domain Generalised Semantic Segmentation, DGSS）旨在仅利用源域有标注数据训练分割模型，并在分布未知的任意目标域图像上实现鲁棒分割。随着大模型时代的演进，研究者逐渐转向结合多种预训练目标相异的基础模型（如视觉语言模型 CLIP/SigLIP、自监督视觉模型 DINOv2、分割基础模型 SAM 以及单目深度估计模型 DepthAnythingV2），试图借助异构基础模型的互补表征抵御复杂的域偏移。

然而，现有融合框架（如 MFuser、DepthForge、Vireo 等）普遍默认采用同深度对齐（depth-aligned）融合策略——即仅在两个骨干网络的第 $l$ 层之间设置连接器进行交互。这种隐式假设不同基础模型在相同深度处蕴含的语义层次与互补信息是对等的。实证分析表明，受预训练目标影响，各模型表征层级的演进逻辑差异极大：最大均值差异（MMD）跨域敏感度分析显示，DINOv2 的域敏感度随层数加深单调递减，而 CLIP 的域敏感度却呈现“中间低、两头高”的 U 型分布；若对两模型层间进行随机配对，其泛化性能波动剧烈。这揭示了固定同深度配对并非最优，跨深度的多层特征互通具备显著潜能。

直接开放全层密集聚合又会引发新危机：随着网络加深，前驱候选层数量呈线性膨胀，密集融合（如 Softmax 交叉注意力）会给所有候选层赋予非零权重，轻易引入特定于源域或任务无关的冗余噪声；而传统固定稀疏度（TopK 路由）无法根据当前层级语义及像素 token 自身内容动态调节激活层数。核心 idea：构建自适应稀疏全层连接器（SALC），使各层查询根据当前残差状态自适应预测 Token 级稀疏因子，利用闭式 Sparsegen 动态筛选并聚合前驱候选层特征，并配合基于历史选择频率的候选层丢弃正则化，在训练中打破过度选择并激发探索，实现兼具高选择性与强泛化性的跨模型表征融合。

方法详解¶

整体框架¶

SALC 框架由两个保持冻结的异构编码器（记为 $\mathcal{E}_A$ 与 $\mathcal{E}_B$）以及下游轻量分割解码器（Mask2Former）构成。给定单张输入 RGB 图像，两编码器并行提取层级特征；在网络前向传播过程中，两骨干网络间插入双向对称的 SALC 模块，使编码器 $\mathcal{E}_A$ 的第 $l$ 个查询层能够自适应地从编码器 $\mathcal{E}_B$ 的前 $l$ 个候选层集合中检索并聚合有效特征，残差更新至当前层；反向融合亦对称进行。在骨干网络末端，两模型的顶层特征经拼接与线性投影后输入 Mask2Former 解码器输出最终分割预测。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像与双骨干并行编码<br/>冻结两路异构基础模型"] --> B["1. 归一化重要性打分<br/>RMSNorm + MLP 评估候选层"]
    B --> C["2. Token 级自适应稀疏投影<br/>Sparsegen 闭式动态激活候选集"]
    C --> D["3. 频率感知候选层丢弃正则化<br/>EMA 跟踪过选频次并随机扰动"]
    D --> E["4. 稀疏加权聚合与跨模型残差更新<br/>线性投影注入查询层并送入解码器"]

关键设计¶

1. 归一化重要性打分：消除深度量纲差异并量化候选层贡献 在跨深度交互时，浅层特征与深层特征在特征范数和激活尺度上存在天然的跨深度量级漂移，若直接送入评分网络会导致深层或浅层被尺度偏差主导。针对该问题，SALC 对第 $l$ 个查询层在空间位置 $t$ 处收集到的前驱候选层特征矩阵 $\mathbf{F}_t = [f_B^1[t], \dots, f_B^l[t]] \in \mathbb{R}^{l \times D}$ 首先实施 RMSNorm 归一化，平抑跨深度数值波动，随后通过轻量共享的 MLP 映射输出候选层重要性打分向量： $$\mathbf{z}_t = \text{MLP}_z(\text{RMSNorm}(\mathbf{F}_t)) \in \mathbb{R}^l$$ 该设计确保各候选层的相对得分仅取决于其语义特征的互补贡献，而非深度特征尺度的固有绝对差异。

2. Token 级自适应稀疏投影：基于 Sparsegen 的动态连续稀疏选择 传统 Softmax 归一化导致每个候选层均分配非零权重，极易将浅层易受域偏移影响的噪声引入深层表征；而固定 TopK 路由则在空间不同语义区域和网络不同深度施加死板约束。SALC 引入可控稀疏变换 Sparsegen，以闭式投影求解受稀疏因子 $\lambda_t < 1$ 控制的最优离散权重分布 $\mathbf{w}_t \in \mathbb{R}^l$： $$\mathbf{w}_t = \max\left(\frac{\mathbf{z}_t - \tau_t}{1 - \lambda_t}, 0\right), \quad \text{其中} \quad \tau_t = \frac{\sum_{k \in \mathcal{S}_t} \mathbf{z}_t[k] - 1 + \lambda_t}{|\mathcal{S}_t|}$$ 其中激活集合 $\mathcal{S}_t \subseteq \{1, \dots, l\}$ 由重要性得分降序排列后的前 $j$ 个层构成，阈值 $\tau_t$ 使得权重自然落于概率单形 $\sum_{i=1}^l w_{t,i} = 1$ 上。为使稀疏度兼具内容敏感性与空间异构性，SALC 利用同深度的残差总结特征 $f_B^l[t]$ 经由专属小型感知机动态预测每个位置的稀疏因子 $\lambda_t = \text{MLP}_\lambda(f_B^l[t])$。当局部区域语义复杂或前景多变时，模型自适应减小 $\lambda_t$ 拓宽吸收面；在平坦背景或特征充分时则增大 $\lambda_t$ 实行极简剪枝。

3. 频率感知候选层丢弃正则化：打破过度选择惯性并促进多层探索 在训练过程中，自适应学习容易形成表征惰性——部分查询层往往将注意力盲目扩散到全部候选层，或过早收敛并锁定在极少数显著层上，损害模型在未知目标域的鲁棒性。本文提出仅在训练阶段激活的频率感知候选层丢弃正则化。针对每个 SALC 模块，通过指数移动平均（EMA）在线统计候选层 $i$ 的平均注意力权重 $\bar{\mathbf{u}}_i$ 与每个 Token 的平均活跃层数 $\bar{N}$，设定基准目标使用率 $\rho = 1 / \bar{N}$。对超出基准的过度使用候选层实施非线性惩罚性丢弃： $$p_i = p_{\max} \cdot \left[\max\left(\frac{\bar{\mathbf{u}}_i - \rho}{1 - \rho}, 0\right)\right]^\gamma, \quad \mathbf{M}[i] \sim \text{Bernoulli}(1 - p_i)$$ 其中 $\gamma > 1$（实验取 $\gamma = 2$）锐化惩罚曲线，确保低频有效层免受干扰，高频支配层以更大概率被随机掩蔽，迫使连接器在梯度反向传播中充分探索其他潜在有益的候选层，显著压缩了跨域选择方差。

4. 稀疏加权聚合与跨模型残差更新：低开销跨特征空间对齐 在经过正则化掩蔽与重归一化得到有效权重矩阵 $\tilde{\mathbf{w}}_t$ 后，SALC 对前驱候选特征进行空间点积加权求和，并通过特征投影头 $\text{MLP}_f$ 映射回查询模型 $\mathcal{E}_A$ 的特征空间，以残差连接的形式注入主干网络计算流： $$\Delta f_A^l[t] = \text{MLP}_f(\tilde{\mathbf{w}}_t^\top \cdot \mathbf{F}_t) \in \mathbb{R}^D, \quad f_A^l \leftarrow f_A^l + \Delta f_A^l$$ 该计算完全在 Token 局部维度并行展开，所有 Token 共享轻量变换权重，整个双向连接器仅额外增加 9.59M 可训练参数，在维持极低开销的同时实现两路大模型的高阶表征重组。

损失函数 / 训练策略¶

整个多模型骨干特征抽取器（如 DINOv2、CLIP 等）保持冻结，仅更新 SALC 连接器与 Mask2Former 解码器参数。训练采用 Mask2Former 标准多任务分割损失监督： $$\mathcal{L}_{total} = \alpha_{bce}\mathcal{L}_{bce} + \alpha_{dice}\mathcal{L}_{dice} + \alpha_{cls}\mathcal{L}_{cls}$$ 在优化细节上，MFuser 架构采用 AdamW 优化器、学习率 1e-4、Poly 衰减策略（20,000 次迭代，batch size 2）；DepthForge 架构同样使用 AdamW、学习率 1e-4、OneCycleLR 调度（40,000 次迭代，batch size 5）。正则化参数设为 EMA 动量 0.99，锐度 $\gamma = 2$，最大丢弃率 $p_{\max} = 0.4$。

实验关键数据¶

主实验¶

论文在五大自动驾驶与城市场景基准数据集（GTAV、SYNTHIA、Cityscapes、BDD100K、Mapillary）上，系统评测了三类主流域泛化设定：合成到真实（G → {C, B, M} 和 S → {C, B, M}）以及真实到真实（C → {B, M}）。下表汇总了 SALC 在不同骨干搭配下与前沿单基础模型及多基础模型方法的对比：

方法	骨干网络组合	G→{C, B, M} 平均 mIoU	S→{C, B, M} 平均 mIoU	C→{B, M} 平均 mIoU	可训练参数量
CMFormer (Bi et al., 2024b)	Swin-L (传统方法)	55.10	40.43	65.19	-
Rein (Wei et al., 2024)	DINOv2 (单模型)	64.30	47.22	68.65	2.99M
FADA (Bi et al., 2024a)	DINOv2 (单模型)	66.09	48.58	70.49	11.65M
SoMA (Yun et al., 2025)	DINOv2 (单模型)	68.27	-	71.74	4.90M
MFuser (Zhang & Tan, 2025)	DINOv2 + CLIP	67.82	50.34	71.84	141.79M
MFuser (Zhang & Tan, 2025)	DINOv2 + SigLIP	68.00	51.46	71.71	141.79M
DepthForge (Chen et al., 2025c)	DINOv2 + DepthAnythingV2	67.03	48.27	71.10	2.99M
SALC (本文)	DINOv2 + CLIP	69.40 (+1.58)	52.99 (+2.65)	72.51 (+0.67)	9.59M
SALC (本文)	DINOv2 + SigLIP	69.30 (+1.30)	52.24 (+0.78)	72.14 (+0.43)	9.59M
SALC (本文)	DINOv2 + DepthAnythingV2	69.39 (+2.36)	52.37 (+4.10)	72.21 (+1.11)	9.59M
SALC (本文)	SAM + CLIP	63.80 (+0.51)	46.61 (-0.32)	66.23 (-0.48)	9.59M

消融实验¶

在 GTAV → {Cityscapes, BDD100K, Mapillary} 设定下，以 DINOv2-CLIP 组合对核心组件进行深度消融：

实验模块 / 变体	→ Cityscapes	→ BDD100K	→ Mapillary	平均 mIoU	结论与机制说明
SALC 完整模型	72.37	62.31	73.52	69.40	Token 级 $\lambda_t$ + 频率感知 Dropout
固定 $\lambda$ (无输入自适应)	70.62	60.63	72.27	67.84 (-1.56)	失去跨深度与跨输入内容的自适应裁剪能力
层级 $\lambda$ (无 Token 级自适应)	70.67	60.25	72.61	67.84 (-1.56)	忽略图像内部前景/背景不同区域的特异需求
无 Dropout 正则化	72.18	61.71	73.05	68.98 (-0.42)	出现过度聚集与跨域权重发散
均匀随机 Dropout	71.18	60.13	72.24	67.85 (-1.55)	无差别丢弃造成有用特征损失，多轮波动大
无特征融合 (基线单侧)	69.23	58.83	69.22	65.76 (-3.64)	缺乏互补模态特征增强
传统同深度对齐线性融合	70.17	60.96	71.38	67.50 (-1.90)	硬性对齐限制了不同层级特征的高效迁移
全候选层跨深度密集注意力	71.85	60.25	72.37	68.16 (-1.24)	Softmax 引入全层冗余与非不变特征
固定 Top-2 路由融合	71.66	59.91	71.73	67.77 (-1.63)	强制固定激活数导致容量受阻或噪声混入
限制前驱窗口大小 = 2	71.56	62.09	73.44	69.03 (-0.37)	缩小可交互层跨度影响全局信息整合
限制前驱窗口大小 = 4	71.65	62.83	73.37	69.28 (-0.12)	候选池扩大有助于提升表达能力
单向融合 (仅 CLIP → DINOv2)	69.54	60.08	71.34	66.99 (-2.41)	DINOv2 缺少对 CLIP 语义空间的反馈注入
单向融合 (仅 DINOv2 → CLIP)	71.71	60.68	73.07	68.49 (-0.91)	双向协同对于平衡几何细节与高层语义必不可少

关键发现¶

显著超越同深度基线：在严苛的 SYNTHIA 域迁移下，DINOv2-Depth 组合相比 DepthForge 飙升 +4.10 mIoU，DINOv2-CLIP 相比 MFuser 提升 +2.65 mIoU，证明面对极端域偏移时，允许深层查询访问浅层几何与中间语义极为关键。
骨干特异性偏好高度自洽：层选择统计可视化显示，CLIP 主要聚合 DINOv2 的浅层局部结构特征，而 DINOv2 显著偏好借用 CLIP 泛化性最高的中间层语义，印证了不同自监督与图文预训练表征在层级结构上的非对称互补性。
频率 Dropout 的双重效益：频率感知 Dropout 不仅带来了性能提升，而且在 3 次独立重复实验中的标准差稳定在 $\le 0.11$，而均匀 Dropout 的方差高达 0.89，表明靶向压制过度集中层能有效引导网络探索稳健的备选特征路径。

亮点与洞察¶

打破同深度交互的思维定式：指出了预训练目标差异必然导致表征演进层级不匹配的事实，通过严谨的跨深度 MMD 分析为多模型灵活跨层融合奠定了理论直觉。
连续受控稀疏度代替离散 TopK：巧妙借助 Sparsegen 解决非连续门控不可导与 Softmax 全量冗余的二律背反，使得网络能以单个连续标量 $\lambda_t$ 平滑决定空间各处所需的有效层数。
跨任务可迁移的连接架构：SALC 作为一个即插即用的轻量模块（仅 ~9.6M 参数），可直接迁移至多模态大语言模型（MLLM）的多视觉编码器集成或多尺度目标检测跨层特征金字塔交互中。

局限与展望¶

SAM 配合收益有限：作者指出 SALC 在 SAM-CLIP 组合上未取得明显增益（甚至略有微跌）。CKA 表征相似度分析表明，监督式实例分割预训练的 SAM 与 CLIP 呈现全层均匀低相似、缺乏明显的层级区分度，导致基于层重要性的选择机制难以寻找到稳定支点。
真实到真实（Real-to-Real）增益边际递减：在 Cityscapes → {BDD, Mapillary} 任务中提升幅度相对温和（+0.67 mIoU）。因为源域与目标域均为真实驾驶街景，低层纹理域差距较小，低级不变特征已足够泛化，高层跨层选择的优势窗口变窄。
计算与缓存占用：虽然参数增加极小，但在前向推理中若保存所有历史中间层特征会带来显存占用开销，未来可研究轻量化的前驱特征缓存压缩与剪枝策略。

评分¶

新颖性: ⭐⭐⭐⭐ [突破了多模型融合强制同深度对齐的传统假设，构建了兼具 Token 与深度自适应的稀疏全层连接机制]
实验充分度: ⭐⭐⭐⭐⭐ [横跨 4 组骨干网络、5 大场景数据集与 3 类域泛化设定，并辅以 MMD、CKA 与注意力模式的可视化剖析]
写作质量: ⭐⭐⭐⭐⭐ [逻辑链条严密，动机图、形式化表述与消融验证层层推进，实验对比详实透明]
价值: ⭐⭐⭐⭐⭐ [为多基础模型协同感知提供了低开销、高抗噪的通用融合范式，极具启发性与实用性]