Hierarchical Prompt Injector for Domain Generalization Segmentation¶

会议: ECCV 2026
论文: ECCV 2026 Official
代码: https://github.com/MosukFate/HPI
领域: 语义分割
关键词: 域泛化语义分割、视觉语言模型、空间分层提示、自适应提示注入、DINOv2

一句话总结¶

针对域泛化语义分割中整类提示模糊且全图无差别注入导致负迁移的问题，提出空间分层提示（SHP）与分层提示注入器（HPI），通过分解多视角几何锚点、引入语义对齐与空间一致性双置信度门控及对齐损失，在合成至真实基准上达到 70.62% mIoU 的 SOTA 表现。

研究背景与动机¶

域泛化语义分割（DGSS）旨在仅利用源域标注数据训练模型，并泛化至未见过的目标域。传统 DGSS 方法多依赖风格增强、纹理多样化或频域扰动来降低模型对底层外观线索的依赖，但这类操作局限于低维统计量，忽视了物体本质的几何与结构先验。相比容易受光照、天气和材质影响的外观特征，物体的拓扑与结构属性在跨域场景下表现出极强的稳定性，因此利用视觉语言模型（VLM，如 CLIP）的跨模态先验来传递结构属性已成为主流方向。

然而，现有的提示学习方案通常将整个语义类别编码为一个全局整体的文本句子（例如单纯使用类别名或简短的域描述符），这种全局压缩完全抹杀了物体内部的区域级几何多样性，在注意力图上形成向背景弥散的发散响应。更严重的是，在实际自动驾驶等复杂场景中，视角变换和遮挡经常导致物体仅局部可见，单一全局描述根本无法匹配残缺的局部视觉内容。此外，现有方案要么仅在解码器注入提示而无法引导主干编码器，要么无差别地将提示均匀注入到编码器所有 patch 位置，缺乏对注入位置与强度的空间自适应约束，加之 VLM 图像级对比预训练缺乏细粒度空间对齐，极易在无关背景或错误区域引发负迁移。

解决这一困境的关键在于将类别拆解为稳定的区域级几何锚点，并精确控制提示在图像空间中的生效位置与强度。本文的核心 idea 是通过构建覆盖多视角的空间分层提示（SHP）建立跨域稳定的局部几何锚点，并设计基于语义对齐与空间一致性双置信度门控的分层提示注入器（HPI），结合显式空间定位与语义一致性辅助监督，实现对冻结基础模型特征的精细空间自适应调制。

方法详解¶

整体框架¶

HPI 采用双流基础模型与提示交互架构。输入图像首先分别送入冻结的 VLM 图像编码器（如 CLIP-ViT-L 或 EVA02-L）和冻结的 DINOv2 编码器。DINOv2 凭借其高精度的自监督空间表示能力，通过线性适配器持续向 VLM 流补充几何与空间定位支持。在两路编码器的深层（第 23 层），离线经由 LLM 构建并由 VLM 文本编码器编码的空间分层提示（SHP）作为 Query，与视觉 Patch Token 计算交叉注意力。交叉注意力矩阵通过外积重组为视觉 Patch 间的路由矩阵，生成携带局部几何信息的残差特征；接着利用语义对齐置信度（SAC）与空间一致性置信度（SCC）进行双重门控调制，过滤无关背景与孤立噪声点；最后融合多尺度特征并经由 Mask2Former 解码器输出最终分割预测。整个训练过程由标准分割损失与两项专门的提示对齐辅助损失联合优化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像 I"] --> B["冻结基础模型编码<br/>VLM 主干 + DINOv2 空间流"]
    C["空间分层提示构建<br/>LLM 生成 4 元件多视角提示 (R=3)"] --> D["分层提示注入器<br/>交叉注意力路由视觉残差 (Layer 23)"]
    B --> D
    D --> E["双置信度自适应门控<br/>语义对齐 SAC + 空间一致性 SCC"]
    E --> F["对齐辅助监督与解码<br/>L_spatial + L_semantic + Mask2Former"]
    F --> G["域泛化语义分割预测"]

关键设计¶

1. 空间分层提示构建：分解多视角区域级几何锚点

针对类别级全局提示在视角变换与遮挡下无法精确匹配局部可见内容的问题，本设计将每个类别解构为 \(R\) 个（默认 \(R=3\)）互补视角的区域级提示集合 \(\mathcal{D}_i = \{d_i^{(r)}\}_{r=1}^R\)（例如车辆的前视、侧视和后视）。每个提示由四个互补元件结构化组成：[区域线索 Region Cue] + [部件 Part] + [几何特征 Geometry] + [边界关系 Boundary Relation]。例如骑手类别的提示为：“头部在车把边界上方形成圆形头盔”（Head forms round helmet above handlebar boundary）。区域线索作为视角锚点便于模型在推理时按视线切入；部件与几何特征锁定跨域不变的刚性结构；边界关系则提供与邻近语义类别的相对拓扑线索。离线通过 LLM 生成全部 \(K = C_{\text{cls}} \times R\) 个提示文本，并送入冻结 VLM 文本编码器 \(E_T\) 提取特征 \(f_{\text{SHP}} \in \mathbb{R}^{K \times D}\)。对于 VLM 流，特征通过零填充维度匹配；对于缺乏语言预训练的 DINOv2，则通过 Talk2DINO 预训练文本-视觉投影层映射至其特征空间，二者在训练全过程中均保持冻结。

2. 分层提示注入器：基于 Patch 路由与双置信度自适应门控

针对直接注入文本特征会导致特征尺度失调以及无差别广播引发背景污染的缺陷，本设计通过交叉注意力构建视觉 Patch 间的几何路由机制。对于分支 \(x \in \{\text{vlm}, \text{dino}\}\)，输入 Patch 特征 \(\mathbf{P}^x \in \mathbb{R}^{B \times N \times C}\) 与文本提示特征 \(f_{\text{SHP}}^x\) 计算交叉注意力图 \(\mathbf{A}^x = \text{CrossAttn}(f_{\text{SHP}}^x, \mathbf{P}^x) \in \mathbb{R}^{B \times K \times N}\)。提示引导的残差更新量并不直接采用文本特征作为 Value，而是通过提示关联在视觉特征内部重组：

\[\Delta \mathbf{P}^x = (\mathbf{A}^x)^\top \mathbf{A}^x \mathbf{V}^x \in \mathbb{R}^{B \times N \times C}\]

其中 \((\mathbf{A}^x)^\top \mathbf{A}^x\) 构成了由提示诱导的 Patch 间路由矩阵，若两个 Patch 同时被相同的区域级提示激活，则在视觉空间中发生强特征聚合。为了抑制 softmax 全局非零权重导致的背景区域残差泄漏，HPI 设计了两种互补的置信度图： - 语义对齐置信度（SAC）：取多头平均注意力权重 \(\bar{\mathbf{A}}^x \in \mathbb{R}^{B \times N \times K}\) 在提示维度上的最大响应 \(\mathbf{w}_{\text{SAC}, b, n} = \max_{k \in [K]} \bar{\mathbf{A}}^x_{b, n, k} \in [0, 1]\)，未命中任何提示语义的 Patch 被赋予极低置信度； - 空间一致性置信度（SCC）：针对独立计算 SAC 容易在共享相似局部部件（如卡车与轿车的轮子）时产生孤立噪点的问题，将 \([\mathbf{P}^x, \Delta \mathbf{P}^x]\) 拼接降维后重排为 2D 特征图，送入并行的 \(1\times 1\)、\(3\times 3\) 和 \(5\times 5\) 卷积层捕获多尺度局部空间上下文，再通过 \(1\times 1\) 融合与 Sigmoid 输出连续连通的掩码权重 \(\mathbf{w}_{\text{SCC}} \in [0, 1]^{B \times N \times 1}\)。

最终通过可学习平衡标量 \(\beta = \sigma(\beta_0)\)（初始值设为 0.5）对残差实施自适应调制：

\[\mathbf{P}'^{\ , x} = \mathbf{P}^x + [\beta \mathbf{w}_{\text{SAC}} + (1 - \beta) \mathbf{w}_{\text{SCC}}] \odot \Delta \mathbf{P}^x\]

3. 对齐辅助监督：显式空间定位与图像级语义一致性正则

针对对比式预训练 VLM 缺少 Patch 级细粒度对齐能力导致的注意力漂移问题，本设计引入两项针对交叉注意力图 \(\bar{\mathbf{A}}^x\) 的辅助损失。第一项是空间定位损失（\(\mathcal{L}_{\text{spatial}}\)）：为了约束提示精准落在真实物体边界内，将每类对应的 \(R\) 个区域提示注意力通过 Log-Sum-Exp（LSE）算子聚合，并对所有类别做 Softmax 归一化得到 Patch 级类别分布 \(\boldsymbol{\pi}^x \in \mathbb{R}^{B \times C_{\text{cls}} \times H \times W}\)：

\[\boldsymbol{\pi}_c^x(n) = \frac{\exp\left(\mathrm{LSE}_{r \in \mathcal{K}(c)}(\log \bar{\mathbf{A}}_{n, r}^x)\right)}{\sum_{c'} \exp\left(\mathrm{LSE}_{r \in \mathcal{K}(c')}(\log \bar{\mathbf{A}}_{n, r}^x)\right)}\]

上采样后与分割真值标签 \(y_{\text{seg}}\) 计算负对数似然损失（NLL），强制区域提示的注意力聚焦于真实物体区域。第二项是语义一致性损失（\(\mathcal{L}_{\text{semantic}}\)）：由于 Softmax 仅能相对抑制不存在类别的概率，无法将其推向绝对零值，本设计进一步从真值中提取图像级类别存在向量 \(\mathbf{y}_{\text{cls}} \in \{0, 1\}^{B \times C_{\text{cls}}}\)。利用注意力加权汇聚每个提示的视觉特征 \(\mathbf{v}_{b, k}^x = \sum_{n=1}^N \mathbf{A}_{b, n, k}^x \mathbf{P}_{b, n}^x\)，计算其与对应提示嵌入 \(f_{\text{SHP}, k}^x\) 的余弦相似度并对每类平均，得到类别级存在预测得分 \(\hat{\mathbf{s}}^x \in \mathbb{R}^{B \times C_{\text{cls}}}\)，通过二值交叉熵（BCE）显式惩罚在当前图像中不存在的类别提示激活。

损失函数 / 训练策略¶

模型端到端训练的总优化目标结合了分割主损失与两项辅助损失：

\[\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{seg}} + \lambda_{\text{spatial}} \mathcal{L}_{\text{spatial}} + \lambda_{\text{semantic}} \mathcal{L}_{\text{semantic}}\]

其中 \(\mathcal{L}_{\text{seg}}\) 采用标准的 Mask2Former 交叉熵与 Dice 掩码损失组合。辅助损失超参数设为 \(\lambda_{\text{spatial}} = 0.1\)，\(\lambda_{\text{semantic}} = 0.05\)。实验中冻结基础模型（CLIP-ViT-L / EVA02-L 及 DINOv2-L），仅微调 HPI 模块、线性融合适配器及 Mask2Former 解码器。输入尺寸重设为 \(512 \times 512\)，采用 AdamW 优化器，学习率 1e-4，Batch Size 为 2，经过 1.5k 次线性预热后共训练 12k 次迭代，在单张 NVIDIA RTX 3090 GPU 上即可完成轻量高效训练。

实验关键数据¶

主实验¶

在标准的合成至真实（GTA5 → Cityscapes, BDD100K, Mapillary，记为 G→{C, B, M}）和真实至真实（Cityscapes → BDD100K, Mapillary，记为 C→{B, M}）设定下，19 类 mIoU 评测结果如下表所示：

数据集设定	主干模型	本文 (HPI)	强基线/之前 SOTA (MFuser / SoMA)	提升幅度
G → Cityscapes (C)	CLIP-L + DINOv2-L	74.05	71.24 (MFuser) / 71.82 (SoMA)	+2.81 / +2.23
G → BDD100K (B)	CLIP-L + DINOv2-L	63.14	61.08 (MFuser) / 61.31 (SoMA)	+2.06 / +1.83
G → Mapillary (M)	CLIP-L + DINOv2-L	74.67	71.14 (MFuser) / 71.67 (SoMA)	+3.53 / +3.00
G → {C, B, M} 平均	CLIP-L + DINOv2-L	70.62	67.82 (MFuser) / 68.27 (SoMA)	+2.80 / +2.35
G → {C, B, M} 平均	EVA02-L + DINOv2-L	69.39	68.20 (MFuser) / 66.09 (FADA)	+1.19 / +3.30
C → BDD100K (B)	EVA02-L + DINOv2-L	66.23	65.81 (MFuser) / 67.02 (SoMA)	+0.42 / -0.79
C → Mapillary (M)	EVA02-L + DINOv2-L	79.25	77.93 (MFuser) / 76.45 (SoMA)	+1.32 / +2.80
C → {B, M} 平均	EVA02-L + DINOv2-L	72.74	71.87 (MFuser) / 71.74 (SoMA)	+0.87 / +1.00
C → {B, M} 平均	CLIP-L + DINOv2-L	72.73	71.84 (MFuser) / 68.65 (Rein)	+0.89 / +4.08

在另一具有挑战性的合成至真实基准 SYNTHIA → {C, B, M} 上，HPI (CLIP-L) 平均 mIoU 达到 52.72%，相比 MFuser (50.34%) 显著提升 +2.38%，其中在复杂域偏移明显的 BDD100K 上达到 49.19%（提升 +3.60%）。

消融实验¶

基于 CLIP-L + DINOv2-L 主干在 G → {C, B, M} 设定下的核心消融分析如下：

配置模块	G→C mIoU	G→B mIoU	G→M mIoU	平均 mIoU	说明
完整模型 (Ours, R=3)	74.05	63.14	74.67	70.62	完整 HPI 架构
区域提示数 R=2	72.68	62.26	73.49	69.48	视角覆盖不全，下降 1.14%
区域提示数 R=4	73.01	62.58	73.48	69.69	提示过度重叠产生竞争，下降 0.93%
去除区域线索 (w/o Region Cue)	72.33	62.24	73.26	69.28	缺乏视角锚定，掉点最多（-1.34%）
去除部件 (w/o Part)	72.49	62.40	73.30	69.40	缺乏关键结构局部，下降 1.22%
去除几何特征 (w/o Geometry)	72.76	62.40	73.17	69.44	缺乏外观无关几何约束，下降 1.18%
去除边界关系 (w/o Boundary)	72.96	62.50	73.77	69.74	缺乏轮廓上下文交互，下降 0.88%
去除语义对齐门控 (w/o SAC)	73.83	61.61	73.76	69.73	无语义筛选导致非相关提示泄露，下降 0.89%
去除空间连贯门控 (w/o SCC)	73.17	62.63	74.03	69.94	缺乏局部空间一致性形成孤立噪点，下降 0.68%
去除全部辅助损失 (w/o \(\mathcal{L}_{\text{spatial}} + \mathcal{L}_{\text{semantic}}\))	72.51	62.69	73.01	69.40	缺少显式对齐监督，性能大幅滑落 1.22%
仅去掉空间定位损失 (w/o \(\mathcal{L}_{\text{spatial}}\))	72.99	62.07	73.56	69.54	交叉注意力空间漂移，下降 1.08%
仅去掉语义一致损失 (w/o \(\mathcal{L}_{\text{semantic}}\))	73.10	62.87	73.76	69.91	未能显式抑制无关类别激活，下降 0.71%

关键发现¶

提示元件与数量的权衡：在提示构成中，去除 Region Cue 导致的性能下降最为剧烈（-1.34% mIoU），证实了在视角多变的自然驾驶场景下，为模型提供明确的视点定位是建立鲁棒对应关系的基石；\(R=3\) 是最具性价比的解耦粒度，\(R=2\) 无法有效覆盖常见视点，而 \(R=4\) 带来的提示冗余与交叉注意力竞争反而削弱了特征辨识度。
双置信度门控的互补机制：SAC 充当了“语义开关”，确保只有存在目标物体的区域被注入，使 BDD100K 这种低质遮挡场景收益明显（去 SAC 在 G→B 骤降 1.53%）；SCC 充当了“空间平滑器”，防止局部相似纹理引发孤立误报，二者结合相比无门控机制带来了近 1.0% 的净收益。
深层注入的有效性：层级消融显示提示注入效果随网络深度递增（从 Layer 5 的 69.32% 提升到 Layer 23 的 70.62%）。浅层主要提取依赖特定领域的底层纹理特征，与高层几何提示存在语义鸿沟；只有在深度成熟语义空间中注入，结构性几何锚点才能发挥最大引导作用。

亮点与洞察¶

从整类抽象到区域级结构解构：以往工作将类别简化为单一向量，忽略了遮挡与视角畸变下的局部不变性；本文将提示解构为四元组（视角、部件、几何、边界），从表征源头锁定了域不变的几何属性。
基于视觉 Patch 间路由的残差注入：利用交叉注意力矩阵乘积 \((\mathbf{A}^x)^\top \mathbf{A}^x \mathbf{V}^x\) 调制视觉特征，本质上将文本作为隐式拓扑引导器，促使同属某一几何部件的 Patch 相互聚集，避免了直接把语言向量加到视觉特征上引起的模态不相容。
可迁移的自适应注入范式：结合多尺度卷积空间一致性（SCC）与注意力最大池化（SAC）的双重门控机制，不仅适用于 DGSS，也可以无缝迁移到开集检测、指代分割以及视频跟踪等需要精细多模态提示控制的任务中。

局限与展望¶

作者承认的局限：提示构建过程依赖外部离线大语言模型（LLM）的结构化先验，若面对特定工业缺陷检测或极度冷门细分领域，LLM 缺乏足够先验知识时生成的四元组几何描述质量可能受限。
实验与设定层面的局限：模型依赖双编码器框架（VLM + DINOv2），尽管参数绝大多数保持冻结，但多模型并行前向传播在自动驾驶车载计算边缘端仍存在额外的显存占用与吞吐量开销。
未来改进思路：探索轻量化自适应提示生成机制，例如将离线静态生成的提示扩展为根据图像视觉上下文动态调整的端到端可微轻量生成器，并在保持高泛化精度的前提下通过知识蒸馏单流化部署。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将类别解构为多视角四元组区域提示，并设计 Patch 路由与双重置信度自适应注入，构思新颖巧妙。]
实验充分度: ⭐⭐⭐⭐⭐ [涵盖三大跨域基准、双骨干测试、全面的模块消融与注意力可视化分析，数据详实有力。]
写作质量: ⭐⭐⭐⭐⭐ [论证逻辑环环相扣，问题驱动鲜明，数学表述精炼清晰。]
价值: ⭐⭐⭐⭐⭐ [为基础模型赋能密集跨域泛化预测提供了极具参考价值的范式，代码与权重开源可重现性高。]