Prompting Diffusion Models for Zero-Shot Instance Segmentation¶

会议: NeurIPS 2026
arXiv: 2606.22660
OpenReview: https://openreview.net/forum?id=3NQtKkQP2m
论文: https://arxiv.org/abs/2606.22660
领域: 语义分割
关键词: 交互式分割, 扩散模型, 零样本分割, 空间提示, 实例分割

一句话总结¶

针对传统判别式分割模型缺乏物体结构先验及既有生成式分割采用后处理交互导致的过分割问题，Prompt2Seg 提出了通过 ControlNet 注入双尺度高斯空间提示的主动扩散条件架构，仅用合成数据训练即可在艺术、X光、杂乱垃圾等跨域场景实现卓越的零样本交互式实例分割。

研究背景与动机¶

近年来以 SAM 为代表的基础视觉模型在交互式与零样本分割领域取得了突破性进展，这类判别式模型通常基于极度庞大的掩码标注数据集进行监督训练，优化目标主要聚焦于物体边界的像素对比度。然而纯判别式训练策略的致命缺陷在于模型缺乏对物体视觉外观结构与“完整性”（Wholeness）的内在先验。当面临物体内部包含强烈纹理渐变、高频局部边缘或真实边界模糊极其微弱的复杂场景时，判别式模型往往过度依赖局部像素对比，将单个语义完整的实体支离破碎地割裂，产生严重的假阳性与过分割现象。

与此相对，大规模自监督预训练的文本到图像扩散模型在反向扩散重构图像的过程中，隐式学习到了对物体几何结构、语义关联与空间延展的丰富先验表征。然而现有将生成先验迁移至分割任务的尝试存在显著瓶颈：一部分方案局限于语言描述引导，而早期的交互式探索（如 Gen2Seg）将用户点击视为被动的“事后弥补”——模型仍然无差别地对整幅图像的所有实例执行 RGB 实例着色生成，在预测完成之后才利用点击位置构建静态特征库进行后处理颜色相似度过滤。这种后验查询机制使扩散去噪过程完全对用户意图视而不见，相邻物体或反差强烈的色块极易发生颜色混淆与错误关联。

为了打通生成先验与交互式控制之间的阻碍，必须在扩散生成阶段将用户意图作为显式的强空间条件注入网络底层，使得模型在解码之前便明确聚焦于指定目标。核心 idea：构建轻量级 ControlNet 条件分支将稀疏点击编码为双尺度 2D 高斯空间提示图，直接注入冻结的单步扩散分割主干以主动引导特征提取，仅需少量合成数据微调即可实现强泛化能力的零样本交互式实例分割。

方法详解¶

整体框架¶

Prompt2Seg 的目标是在给定输入图像 $x \in \mathbb{R}^{3 \times H \times W}$ 及用户稀疏空间提示（如目标前景点击点）时，直接生成被指定物体的精确二值分割掩码。整个系统以预训练冻结的单步扩散实例分割模型 Gen2Seg 为主干，冻结其 VAE 编解码器、CLIP 文本编码器与去噪 U-Net，仅训练一个轻量化的 ControlNet 条件分支来注入空间提示残差。

系统的完整处理流水线如下：首先，将用户提供的离散点击点转换为连续的多尺度二维高斯热力图，并将多个点击点通过逐像素极大值聚合为三通道空间条件张量；随后，将输入图像编码后的潜变量输入可训练的 ControlNet 分支，提取多层下采样块和中间块的空间残差特征；接着，这些提示残差被直接加合到冻结的 U-Net 对应层中，引导单步去噪预测出仅包含提示目标的前景 RGB 实例着色图（背景及未被提示实例均映射为纯黑 $[0,0,0]$）；最后，通过计算解码输出在 RGB 嵌入空间中与原点（纯黑）的欧氏距离并施加固定阈值截断，输出清晰的目标实例二值掩码。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像与用户交互点击"] --> B["双尺度高斯空间提示编码<br/>点级高斯生成与通道组合"]
    B --> C["ControlNet 空间条件残差注入<br/>侧分支提取多尺度残差注入冻结 U-Net"]
    C --> D["提示条件前景实例着色与距离截断<br/>单步扩散解码与欧氏距离阈值分割"]
    D --> E["目标实例二值分割掩码"]

关键设计¶

1. 双尺度高斯空间提示编码：兼顾亚像素精确定位与局部邻域上下文感知 离散的像素坐标点无法直接被标准的卷积神经网络层处理。若单纯将点击坐标转换为单像素脉冲（Dirac 脉冲），不仅空间支持度极度狭窄、梯度极其稀疏，且对卷积操作的感受野极不友好；而若采用过大方差的模糊圆域，则会显著破坏点击点的精确定位能力。针对该矛盾，Prompt2Seg 将离散点击集 $\mathcal{P}^{+} = \{r_i\}_{i=1}^P$（其中 $r_i = (u_i, v_i)$）映射为连续的二维高斯提示图： $$G_{\sigma}(q; r_i) = \exp\left(-\frac{\|q - r_i\|_2^2}{2\sigma^2}\right)$$ 当用户给出多个正向点击点时，采用逐像素取极大值方式聚合：$h_{\sigma}^+(q) = \max_{r_i \in \mathcal{P}^+} G_{\sigma}(q; r_i)$，在固定张量维度的同时灵活支持任意数量的交互点击。更关键的是，Prompt2Seg 提出了双尺度编码策略，同时构建小带宽 $\sigma_s = 8$ 像素与大带宽 $\sigma_l = 16$ 像素的热力图：小带宽 $\sigma_s$ 严格锁定点击位置的边界边缘，大带宽 $\sigma_l$ 则向周围扩散以提供充裕的物体邻域结构指引。最终将两尺度提示图拼接为三通道张量 $c = \Psi(h_s^+, h_s^+, h_l^+) \in \mathbb{R}^{3 \times H \times W}$ 作为条件输入。

2. ControlNet 空间条件残差注入：零干扰复用生成先验与单步去噪控制 以往生成式分割直接将点击作为全图后处理过滤依据，导致扩散过程对用户意图“完全失明”。Prompt2Seg 借鉴 ControlNet 思想，从预训练的 Gen2Seg 权重克隆初始化一个专用的提示条件分支，该分支以图像 VAE 潜变量 $z_x$、单步扩散固定时间步 $t^\star$、空文本嵌入 $h$ 以及空间条件张量 $c$ 为输入，预测各级下采样块与中间块的特征残差： $$(\Delta^{(1)}, \dots, \Delta^{(L)}, \Delta^{\mathrm{mid}}) = g_{\phi}(z_x, t^\star, h, c)$$ 这些残差被直接加合到主干 U-Net 的跳跃连接与中间层中。由于预训练的生成主干在微调过程中被完全冻结，模型在预训练阶段从数亿级图像中习得的几何常识、物体语义边界和自然纹理先验得到了 100% 的无损保留；新引入的 ControlNet 分支只需专注于学习“如何根据空间高斯能量将生成注意力导向特定实例”，从而大幅降低了交互式任务微调所需的数据规模与过拟合风险。

3. 提示条件前景实例着色与距离截断：目标前置解码与极简掩码抽取 在 Gen2Seg 中，输出被定义为对整张图像所有前景实例的稠密着色图，预测后需在颜色空间进行聚类或距离筛选，极易遭遇邻近实例颜色相近或同实体内部反差大导致的颜色误分。Prompt2Seg 颠覆了这一输出定义，改变了着色图的语义目标：在训练与推理中，模型输出被约束为仅渲染被空间提示所命中的唯一目标实例，其内部像素在 RGB 空间被赋予紧凑且远离原点的特征颜色，而所有非目标实体、背景像素则强制映射为纯黑色背景 $\mathbf{0} = [0, 0, 0]$。在推理阶段，无需任何耗时的后处理聚类，只需计算每个像素点解码颜色 $y_q$ 距离纯黑背景的欧氏距离，通过固定阈值截断即可直接析出清晰的二值掩码： $$\hat{m}(q) = \mathbf{1}\left[\|y_q - \mathbf{0}\|_2 > \tau\right]$$ 该设计将分割的决策边界从“不同实例间的复杂色差判别”退化为了“目标前景与全黑背景的单模态分离”，根本上消除了多目标之间的颜色混叠风险。

损失函数 / 训练策略¶

Prompt2Seg 沿用 Gen2Seg 的实例着色监督损失体系，包含方差损失 $\mathcal{L}_{\mathrm{var}}$、分离损失 $\mathcal{L}_{\mathrm{sep}}$ 以及均值正则损失 $\mathcal{L}_{\mathrm{mean}}$： $$\mathcal{L}_{\mathrm{IC}} = \mathcal{L}_{\mathrm{var}} + \lambda_{\mathrm{sep}}\mathcal{L}_{\mathrm{sep}} + \lambda_{\mathrm{mean}}\mathcal{L}_{\mathrm{mean}}$$ 其中 $\mathcal{L}_{\mathrm{var}}$ 约束同一目标实例内部所有像素的 RGB 向量紧密聚拢于其实例均值颜色，$\mathcal{L}_{\mathrm{sep}}$ 推动前景实例均值与纯黑背景之间保持最小边界余量，$\mathcal{L}_{\mathrm{mean}}$ 正则化颜色分布。

训练策略的核心在于目标构建与极简数据源：模型仅在两个纯合成数据集 Hypersim（室内场景）和 Virtual KITTI 2（室外自动驾驶）上微调，未接触任何真实图像标注，类别范围高度受限且缺少常见动植物和行人。在每个训练样本中，通过对真实掩码执行欧氏距离变换（Distance Transform）并在最大极大值处采样正样本点击点，以杜绝边界歧义；仅保留面积大于 300 像素的有效实例，每次训练随机选择多至 4 个目标实例分别构建提示条件与前景着色真值，未被选中的区域全部置为背景。这种受限合成训练极度考验模型能否单纯依赖通用生成先验完成真实世界的开放域泛化。

实验关键数据¶

主实验¶

评估采用标准的单次正向点击交互协议，度量指标为 mIoU（%），评估范围涵盖标准自然图像、艺术画作、第一人称手部交互、安检 X 光透视以及杂乱垃圾分拣等 7 个严苛的零样本数据集。对于 COCO 数据集，排除微调见过的合成类别并细分为小（S）、中（M）、大（L）三种尺度。对比基准包含在超 10 亿掩码的 SA-1B 上完全监督的 SAM（ViT-H）、同在合成数据微调的经典判别式交互模型 SimpleClick、以及生成式前序 SOTA 模型 Gen2Seg 系列。

方法	COCO (S)	COCO (M)	COCO (L)	DRAM (艺术)	EgoHOS (第一人称)	PIDRay (X光)	VOC (自然)	HRSOD (显著性)	ZeroWaste (杂乱垃圾)
SAM (ViT-H) †	57.0	59.7	57.6	51.6	59.8	44.2	45.5	71.2	45.4
SimpleClick	34.6	45.2	56.5	48.7	51.8	14.1	42.3	74.2	45.3
MAE-H (Gen2Seg变体)	4.3	27.2	59.9	48.7	33.3	25.4	37.0	66.4	36.9
Gen2Seg (SD主干)	8.3	38.4	58.7	47.5	40.0	34.9	39.4	64.5	45.2
P2Seg-Concat (拼接基线)	4.3	26.1	53.7	47.0	37.3	24.0	32.1	53.5	39.4
P2Seg-Adapter (适配器基线)	6.9	37.2	60.4	48.3	46.2	41.7	39.0	64.4	45.3
Prompt2Seg (本文)	12.1	49.7	62.3	53.1	55.6	47.5	42.4	66.6	51.4

(注：† 表示 SAM 在包含超 10 亿真实标注掩码的 SA-1B 数据集上训练，其余模型均仅在 Hypersim + Virtual KITTI 2 合成数据集上微调。)

此外，在边界质量评估（COCO-L）中，Prompt2Seg 达到 52.63 Boundary F 与 21.82 Boundary IoU，大幅超越 Gen2Seg 的 47.09 和 19.16。

消融实验¶

1. 空间提示编码方式与高斯带宽消融 通过在 COCO 验证集上分析高斯核带宽 $\sigma$ 及多尺度组合的影响：

提示编码配置	COCO (S)	COCO (M)	COCO (L)	说明
单尺度 $\sigma = 1$ px	0.7	5.2	27.6	极窄脉冲无法提供充裕感受野与空间支持
单尺度 $\sigma = 8$ px	10.6	43.3	60.7	适度单尺度平衡局部精准度与上下文
单尺度 $\sigma = 16$ px	9.3	41.0	60.4	带宽过大导致小目标边缘定位模糊化
双尺度 $\sigma \in \{8, 16\}$ px	12.1	49.7	62.3	双尺度兼顾点级精密定位与邻域范围引导

2. 训练实例采样数与距离截断阈值 $\tau$ 消融

配置参数	取值	COCO (S)	COCO (M)	COCO (L)	关键结论
训练实例数	1 个实例	9.26	43.98	64.37	单实例缺乏多目标竞争区分能力
训练实例数	4 个实例 (默认)	9.95	47.99	64.09	综合中小型物体分割最佳折中
训练实例数	8 个实例	7.86	43.67	65.04	实例过多导致单张图提示过于密集，小目标性能回退
阈值 $\tau$	50	7.7	38.8	61.3	阈值过小引入背景噪声漂移
阈值 $\tau$	100	10.1	45.5	63.3	大目标性能略优
阈值 $\tau$	150 (默认)	12.1	49.7	62.3	有效抑制低置信度虚警，中小型物体大幅提升

关键发现¶

非分布域场景反超强监督模型：在艺术风格画作 DRAM（53.1 vs 51.6）、X 光安检成像 PIDRay（47.5 vs 44.2）以及杂乱无固定外形的废弃物分割 ZeroWaste（51.4 vs 45.4）三个极端长尾非自然域中，仅由合成数据微调的 Prompt2Seg 性能全面超越了在 10 亿真实数据上训练的 SAM。这充分证明了生成式扩散模型底层预训练具有比判别式模型更为广阔、坚韧的视觉结构分布先验。
主动注入彻底解决局部斑图与同质肢体误分割：在定性实验中，对于牛、斑马等身上存在黑白高对比条纹的动物，Gen2Seg 频繁将深色斑块判定为黑色背景，而 Prompt2Seg 凭借提示残差主动引导，完整分割出整只动物实体；在第一人称 EgoHOS 场景中，SAM 与 Gen2Seg 频繁将双臂聚类为单个整体，Prompt2Seg 则精准依照单侧点击区分左右手。
稠密提示拓展性：在 RoadAnomaly 自动驾驶异常检测任务中，Prompt2Seg 接收来自 Mask2Former 的粗糙不确定性置信度图作为稠密提示输入，成功将 AP 从 78.45% 提升至 88.41%，FPR 从 11.83% 骤降至 4.95%，证明该框架不仅能处理稀疏点击，还能作为通用的噪声掩码提精器。

亮点与洞察¶

将后验过滤逆转为前验主动引导：相比 Gen2Seg 在全部解码完成后盲目检索特征，Prompt2Seg 首次将空间提示转化为连续双尺度高斯张量并通过 ControlNet 注入扩散去噪阶段，实现了将用户意图内化为生成偏置的核心转变。
极高的数据与算力效能：无需收集繁重的人工真实掩码数据集，仅仅依托受限的 Hypersim 和 VKITTI2 两套合成数据进行轻量微调，就能激发出 Stable Diffusion 强大的跨域几何与外貌理解能力。
输出语义降维规避特征碰撞：将常规多目标全景实例着色简化为“仅渲染指定目标前景”，使得判别边界简化为单变量欧氏距离截断，在保留连续特征空间表达力的同时大幅提升了推理鲁棒性。

局限与展望¶

小目标分辨率瓶颈未解：在 COCO 小型目标（S）上仅获得 12.1 mIoU，尽管优于 Gen2Seg（8.3），但相比判别式模型（SAM 的 57.0）差距依然悬殊。这主要受制于潜在扩散模型（LDM）将输入图像下采样 8 倍编码至潜空间的结构瓶颈，微小物体在高倍压缩后极易丢失高频轮廓。
交互粒度存在模糊性：当目标物体具有层级包含关系时（例如整件外套 vs 外套的口袋），单一正向点击容易导致模型对用户意图粒度的误判。未来亟需引入多点交互、负样本抑制点以及层次化多尺度掩码输出机制。
生成架构推理延迟偏高：相比轻量级判别式 ViT 分割网络，即使采用了单步扩散调度器，单步扩散 U-Net 的计算开销与参数体量依然较大，在强实时要求的端侧交互应用中存在一定计算负担。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次系统打通了扩散模型的空间提示交互机制，从后验匹配转向前验引导，构思极为清晰。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7 个横跨自然、艺术、医学、工业废弃物等多元领域的基准测试，边界质量评测与稠密提示扩展详实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，图文对照自洽，对实验现象与模型内在机理的归因分析极为透彻。
价值: ⭐⭐⭐⭐☆ 为少数据/无真实标注场景下的广义可泛化交互式感知系统提供了全新范式，极具启发性。

提示编码配置	COCO (S)	COCO (M)	COCO (L)	说明
单尺度 \(\sigma = 1\) px	0.7	5.2	27.6	极窄脉冲无法提供充裕感受野与空间支持
单尺度 \(\sigma = 8\) px	10.6	43.3	60.7	适度单尺度平衡局部精准度与上下文
单尺度 \(\sigma = 16\) px	9.3	41.0	60.4	带宽过大导致小目标边缘定位模糊化
双尺度 \(\sigma \in \{8, 16\}\) px	12.1	49.7	62.3	双尺度兼顾点级精密定位与邻域范围引导