SetCon: Towards Open-Ended Referring Segmentation via Set-Level Concept Prediction¶

会议: NeurIPS 2026
arXiv: 2605.20110
论文: https://arxiv.org/abs/2605.20110
代码: https://github.com/OpenGVLab/SetCon
领域: 语义分割
关键词: 指代分割、开放词表分割、大视觉语言模型、集合级概念预测、分层语义解耦

一句话总结¶

本文提出 SetCon 框架，颠覆了传统 LVLM 依赖单一或重复 [SEG] 标记隐式生成掩码的范式，通过显式预测分层自然语言概念集合并作为语义条件输入掩码解码器，实现了对多目标、跨类别开放集指代分割的高精度联合预测与视频追踪泛化。

研究背景与动机¶

指代分割（Referring Segmentation）旨在根据自然语言查询精确定位视觉目标并预测像素级掩码。随着多模态大模型（LVLMs）的演进，以 LISA 和 PixelLM 为代表的方法通过向模型词表引入专用的特殊标记（如 [SEG] token），将隐层状态投影至掩码解码器完成密集预测，在传统单目标和基础推理分割任务上取得了亮眼成果。

然而，在面对现实世界中复杂的开放式查询时（例如“找出做沙拉所需的所有食材”或“分割画面中所有动物”），目标往往具有任意基数、涵盖多个异质子类别。现有方法在处理多目标场景时，大多采取按顺序逐一生成多个 [SEG] 标记的平铺序列设计。这种对每个目标单独分配独立标记的隐式建模机制，将本属于同一连贯语义集合的实体割裂为互不相干的离散预测，无法从先验上捕捉集合级性质（如目标完整性、互斥性和基数感知）。作者的预备实验表明，随着指代目标数量增加，基于专用标记的基线性能发生断崖式下跌；对 [SEG] 特征的 t-SNE 可视化更揭示出其表征聚类与空间绝对位置强相关，而无法形成清晰的语义范畴聚类，表明专用标记本质上退化为空间排布编码，丢失了集合的高阶语义结构。

针对这一瓶颈，本文摒弃了在微调时从头学习专有标记的传统路径，提出直接利用大模型内在预训练的自然语言词表作为强泛化的语义锚点。核心 idea：将开放式指代分割重新表述为显式的集合级概念预测（Set-Level Concept Prediction），通过先预测统领全局范围的集合概念、再展开为细粒度子概念组的分层语义解耦，将概念隐层特征作为语义条件联合解码整个掩码集合。

方法详解¶

整体框架¶

SetCon 是一个端到端的两阶段解耦但联合优化的多模态分割架构。系统接收图像/视频片段 $\mathcal{V}$ 与自由形式自然语言查询 $\mathcal{Q}$。多模态大语言模型（LVLM）首先自回归生成结构化文本响应 $\mathcal{R}$，使用特殊定界符 <ref>...</ref> 显式输出代表目标集合范畴的自然语言概念短语。这些概念短语的隐层状态经过轻量多模态投影模块映射到解码器特征空间，作为语义条件输入分割解码器 $\mathcal{D}$，实现集合内所有目标掩码的联合并行预测。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：视觉输入 V + 自然语言查询 Q"] --> B["LVLM 骨干网络<br/>Qwen3-VL 自回归生成"]
    B --> C["显式集合级概念预测<br/>输出结构化短语序列 R"]
    C --> D["分层语义解耦<br/>全局概念 H0 与细粒度子概念 Hi"]
    D --> E["多模态投影与条件融合<br/>全局表征融合子概念表征"]
    E --> F["SAM 3 密集掩码解码器<br/>多模态解码与匈牙利匹配"]
    F --> G["输出：全景掩码集合 M0 与各细粒度子集 Mi"]

关键设计¶

1. 显式集合级概念预测：利用语言内在语义几何替代无先验标记

针对传统专用标记缺乏语义可解释性且难以自适应跨类别集合的问题，SetCon 彻底去除了随机初始化的 [SEG] 标记，改为驱动 LVLM 从自身预训练词表中生成具有完整语义内涵的自然语言短语。模型在自回归生成的回答中，用 <ref>...</ref> 框定每个概念短语。设概念短语跨度对应的隐层状态为 $\mathbf{H}$，经投影得到条件表征 $\tilde{\mathbf{H}}$。这种设计使每个预测掩码紧密锚定在富含先验知识的语言概念上，直接继承了 LVLM 在大规模多模态预训练阶段建立的高维语义几何空间，不仅避免了针对特定分割任务重新拟合语义流形的优化困难，还能自适应处理基数未知的长尾开放概念。

2. 分层语义解耦：粗精协同的双层集合概念编排

针对多类别混合查询（如“场景中的所有餐具与食物”）直接平铺枚举子类容易漏检、概念边界模糊的缺陷，SetCon 引入了粗到细的树状概念解耦机制。LVLM 在生成时首先输出一个全局集合级概念，提取其特征作为全局表征 $\tilde{\mathbf{H}}_0$，界定目标群体的外延与整体上下文边界；随后，LVLM 动态推断出 $N$ 个细粒度子类别概念短语（$N$ 由场景与查询动态决定，无需人为硬编码），生成对应的子概念特征 $\{\tilde{\mathbf{H}}_i\}_{i=1}^N$。在解码阶段，各子概念特征与全局特征 $\tilde{\mathbf{H}}_0$ 深度融合，作为解码器的引导条件。全局表征确保了整体目标的召回完整性，而子概念表征则精确区分子实体间的视觉差异与类别归属。

3. 联合掩码集合解码与双轨匹配推理：从独立预测到集合分配

在推理阶段，分割解码器 $\mathcal{D}$ 分别利用全局表征 $\tilde{\mathbf{H}}_0$ 解码出主掩码集合 $\mathcal{M}_0$，利用融合后的细粒度条件解码出各子类别掩码集合 $\{\mathcal{M}_i\}_{i=1}^N$。为了赋予主掩码集合中每个像素实体最精确的语义标签，算法对并集 $\bigcup_{i=1}^N \mathcal{M}_i$ 与全局集合 $\mathcal{M}_0$ 实施基于掩码重叠度（Mask-level IoU）的匈牙利双边匹配算法。这使得模型既拥有全局推理带来的边界一致性，又能实现细粒度概念标签的精准关联，有效杜绝了传统方法因逐标记解码而频现的掩码重复重叠与归属错乱。

4. 针对复杂视频的时空概念广播与追踪追踪范式

在扩展至指代视频物体分割（RVOS）任务时，针对多帧运行大模型推理耗时剧烈且容易因视角切换造成指代漂移的难题，SetCon 采用了“一次识别，持续追踪”的即插即用范式。LVLM 仅需在视频全序列中被调用一次以提取时空运动感知概念，并将生成的显式概念条件固化为不变的语义锚点，广播至 SAM 3 视频检测解码器中进行逐帧检测，结合内存记忆库实现掩码时序传播。该设计在保持极高推理吞吐的同时，保证了物体在严重遮挡、形变及进出视野等极端工况下的跨帧 ID 一致性。

损失函数 / 训练策略¶

SetCon 采取端到端联合训练方案，总损失由两部分构成： 1. 语言生成损失 $\mathcal{L}_{\text{text}}$：针对目标响应序列 $\mathcal{R}$ 计算自回归交叉熵损失，指导大模型准确定位并输出层次化的概念短语。 2. 集合预测损失 $\mathcal{L}_{\text{mask}}$：对解码器预测的掩码集合采用 DETR 式二分图匹配损失，由 Focal Loss 与 Dice Loss 线性加权组成： $$\mathcal{L}_{\text{mask}} = \lambda_{\text{focal}} \mathcal{L}_{\text{focal}}(M, \hat{M}) + \lambda_{\text{dice}} \mathcal{L}_{\text{dice}}(M, \hat{M})$$ 为了赋予模型鲁棒的拒识能力，针对无目标（No-target）负样本，训练集在 50% 概率下将真实概念替换为“no target”，剩余 50% 保留原始概念但将真实掩码置空，促使语言端与分割端协同学习多模态拒识机制。模型基于 Qwen3-VL-8B-Instruct 与 SAM 3 构建，在 8 张 NVIDIA H200 上全参数微调解码器及投影层，并对 LVLM 线性层施加 Rank=128 的 LoRA 微调。

实验关键数据¶

主实验¶

论文在多目标图像基准（gRefCOCO、MUSE）及复杂指代视频基准（MeViS、Ref-SeCVOS 等）上与代表性先进模型展开系统对比。

数据集 / 基准	评估指标	SetCon (本文)	之前 SOTA	相对提升
gRefCOCO (val)	gIoU / cIoU	78.4 / 72.0	75.1 / 71.6 (MLLMSeg)	+3.3 / +0.4
gRefCOCO (testB)	gIoU / cIoU	73.1 / 72.4	69.7 / 68.5 (MLLMSeg)	+3.4 / +3.9
MUSE (val)	gIoU / cIoU / F1	56.9 / 59.5 / 71.2	44.8 / 54.1 / - (PixelLM-13B)	+12.1 / +5.4
MUSE (test)	gIoU / cIoU / F1	53.2 / 60.0 / 69.3	42.3 / 51.0 / - (PixelLM-13B)	+10.9 / +9.0
MeViS v1	$\mathcal{J}\&\mathcal{F}$	62.4	51.5 (Sa2VA)	+10.9
MeViS v2	$\mathcal{J}\&\mathcal{F}$	60.1	47.4 (Sa2VA)	+12.7
Ref-SeCVOS	$\mathcal{J}\&\mathcal{F}$	72.2	59.8 (GLUS)	+12.4
ReasonVOS	$\mathcal{J}\&\mathcal{F}$	68.0	56.1 (Sa2VA)	+11.9

在常规单目标指代与推理分割基准（RefCOCO/+/g 和 ReasonSeg）上，SetCon 同样展现出极强的通用性，在 10 个测试子项上取得 78.9 的平均分，大幅领先 LISA (63.9)、SAM4MLLM (77.7) 与 X-SAM (73.1)，证明集合级显式概念建模在单目标场景下完全兼容且无精度回退。

消融实验¶

在最具代表性的多目标开放式推理评测集 MUSE test 上对模型核心模块与层次化标注体系进行了细致消融：

配置	集合级预测 (Set-level)	显式概念条件 (Concept Cond)	gIoU	[email protected]	说明
Baseline (隐式Token)	✗	✗	43.6	59.2	沿用传统逐标记生成范式
集合预测结构	✓	✗	51.4	67.8	引入联合集合预测机制 (+7.8 gIoU)
SetCon 完整方案	✓	✓	53.2	69.3	叠加显式分层概念条件 (+1.8 gIoU)

数据标注阶段两阶段生成的效用消融（MUSE test）：

标注配置	多样化子类描述 (Diverse Labeling)	分层语义编排 (Hierarchical)	gIoU	LLM 语义评分	说明
原始封闭标签	✗	✗	50.3	5.99	依赖封闭词表硬编码标注
第一阶段丰富化	✓	✗	50.0	6.92	语言丰富度显著上升，定位持平
两阶段完整分层	✓	✓	53.2	6.94	粗精层次结合带来整体分割增益 (+3.2 gIoU)

关键发现¶

目标数量扩展性卓越：在目标数量达到 5 个以上的高基数复杂样本中，传统基线模型的 F1 分数跌幅超过 35%，而 SetCon 曲线走势极其平缓，显式概念解耦在大基数复杂场景下的竞争优势尤为巨大。
语义特征空间形态重构：特征分布 t-SNE 分析证明，显式概念表征形成的隐空间呈现紧凑的语义流形，相同语义类别但在空间上分离的目标能够被聚拢，有效破除了位置缠绕。
分层引导的双赢效应：仅提供多样的细粒度词汇容易造成小物体过度拆分，而分层结构利用全局概念进行范围约束，有效规避了局部伪阳性误检。

亮点与洞察¶

从隐式表征到显式语义的接口范式转换：传统方法试图用随机初始化的 [SEG] 标记作为全能中介，承载复杂的空间与类别信息；SetCon 证明直接使用自然语言自身作为条件输入，能够最大化复用大语言模型内在沉淀的世界知识与概念泛化能力。
分层解耦破解集合逻辑组合爆炸：将“全集界定”与“子集分类”拆解为全局概念与细粒度子概念两级，有效平衡了高召回率（不漏检整体范围）与高判别率（准确区分内部实例）的内在矛盾。
大规模分层密集监督语料的构建：打造了包含 23.6 万样本、78.5 万概念短语的层级语义分割数据集，填补了推理分割领域缺乏显式集合语义标注的长期空白。

局限与展望¶

模糊指令下的粒度二义性：当人类查询语义高度抽象或兼具多义性时（例如功能性修饰语），模型在判定应当将关联物体合并为一个全局概念还是离散拆分为多个独立概念时仍存在不确定性。
数据管线的模型偏置继承：两阶段自动标注流水线高度依托 Qwen3-VL-235B，生成的数据可能存在大模型特有的幻觉或长尾少见类别的先验倾斜，未来可通过结合交互式人在回路（Human-in-the-loop）验证进一步提升数据纯净度。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [颠覆隐式标记范式，开创集合级概念预测与分层解耦的指代分割新路径]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 6 项图像基准与 7 项视频基准，消融实验与特征空间可视化完备严谨]
写作质量: ⭐⭐⭐⭐⭐ [问题痛点剖析深刻，实验现象与设计动机高度自洽，逻辑极具说服力]
价值: ⭐⭐⭐⭐⭐ [不仅刷新多目标图文与视频指代分割 SOTA，而且为具身感知与复杂交互分割提供了通用概念范式]