Exclusivity-Guided Mask Learning for Semi-Supervised Crowd Instance Segmentation and Counting

会议: ECCV 2026
论文: ECCV 2026
代码: https://github.com/JoyceeH0127/ECCV2026XMask
领域: 语义分割
关键词: 半监督学习、人群计数、人群实例分割、排他性掩码学习、伪掩码约束

一句话总结

提出基于邻近排他圆约束的双提示 SAM（EDP-SAM）生成高质量人群掩码标签，并设计排他性引导掩码学习（XMask）与伪掩码约束计数机制，在统一半监督框架下实现稠密人群的高效实例分割与精确计数。

研究背景与动机

人群场景分析是计算机视觉在公共安全、智慧城市管理和交通监控中的核心基石。然而，该领域长期受制于昂贵且繁琐的像素级标注成本，现有公开基准绝大多数仅提供头部点标注。点标注天然缺乏个体的精细几何形态与空间轮廓信息，使得模型难以学习密实人群中个体的结构语义。传统密度回归或纯定位方法将行人退化为无维度的质点，在重度拥挤与尺度剧烈变化场景中鲁棒性有限；而目标检测方案在强遮挡下又极易发生边界框重叠与回归崩溃，难以准确刻画真实人群分布。

近年来视觉基础模型（如 SAM 与 FastSAM）展示了强大的零样本分割潜力，促使研究者尝试利用提示学习提取稠密伪掩码。但由于密集人群中相邻头部极度紧邻、边界模糊，直接以点作为提示往往引发严重的实例间掩码泄漏与重叠粘连，且其庞大的网络体量导致推理延迟居高不下，无法支撑半监督迭代中的高效自训练。现有半监督人群计数研究多停留在伪点生成或局部一致性约束层面，未能有效弥补缺乏密集形状先验的根本短板。

针对标注匮乏与密集重叠带来的双重难题，本文的切入点在于利用空间排他性拓扑先验构建精准的掩码伪标签，并将实例级判别特征学习内化到轻量网络中，使分割与计数在闭环中相互增益。核心 idea：通过邻近排他圆约束与超像素双提示引导 SAM 生成高质量人群掩码，进而设计排他性引导的嵌入空间判别掩码学习（XMask），并以高置信度实例掩码先验正则化计数模型，实现分割与计数的双向协同优化。

方法详解

整体框架

本文构建了一个端到端的半监督人群实例分割与计数统一框架，整个系统包含三个协同阶段：第一阶段采用排他性约束双提示 SAM（EDP-SAM）将稀疏头部点标注转化为结构化实例掩码，经少量人工清洗后构建基准掩码监督集；第二阶段构建双分支网络（计数主干与轻量掩码头），基于 Mean Teacher 范式开展排他性引导掩码学习（XMask），利用局部拓扑划分、深度可分离高斯平滑以及可微中心采样优化判别式特征空间；第三阶段利用训练好的分割头为未标注样本推理伪掩码，并借助双阈值过滤机制施加前景实例响应与背景抑制约束，以更丰富的形状先验反哺并正则化人群计数分支。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像与稀疏点标注"] --> B["阶段1：EDP-SAM 掩码生成<br/>点+超像素双提示与NNEC排他约束"]
    B --> C["阶段2：XMask 判别式掩码学习<br/>高斯平滑+可微中心采样+推拉损失"]
    C --> D["阶段3：掩码约束计数优化<br/>双阈值伪掩码过滤与前后景一致性正则"]
    D --> E["输出：人群实例分割掩码与精准计数定位"]

关键设计

1. EDP-SAM 掩码生成：双提示输入与邻近排他圆拓扑约束 密集人群中头部间距狭小，直接调用 SAM 生成单点提示掩码极易溢出到相邻目标，造成大面积掩码粘连。针对此问题，本文提出 EDP-SAM，将原始头部标注点与 SLIC 算法生成的局部超像素作为双提示共同送入 SAM，利用超像素提供的局部边缘纹理引导掩码边界。同时，定义局部度量诱导的邻近排他圆（Nearest-Neighbor Exclusion Circle, NNEC）作为硬性空间约束。对任意标注点 \(\mathbf{p}_i\)，其排他半径 \(r_i\) 由欧氏空间中与其最近的邻近标注点 \(\mathbf{p}_j\) 决定：

\[r_i = \min_{j \neq i} \|\mathbf{p}_i - \mathbf{p}_j\|_2\]

将 SAM 的原始输出掩码与该点对应的排他圆区域取交集，从几何上强制截断跨个体的像素泄漏。经过极少量的轻量人工修正后，成功将传统纯点标注数据集升级为高质量的稠密人群实例分割监督数据。

2. XMask 判别式掩码学习：高斯平滑与自适应局部度量判别 为了避免在全图范围直接进行多分类导致的高昂计算代价与极端类别不平衡，XMask 将实例分割重构为局部动态区域内的逐像素度量学习。网络输出多维特征嵌入图，但在离散采样与插值过程中易引入高频伪影与局部特征噪点。本文在嵌入空间设计了深度可分离高斯平滑机制，将二维各向同性高斯核分解为水平与垂直方向的一维卷积，在通道维度独立平滑特征图，显著提升空间连续性。随后，利用各点自适应排他半径 \(r_i\) 划定候选区域 \(C_i\)，并在局部区域内依据真值/伪掩码将像素划分为正样本集 \(\mathcal{R}_i^+\) 和负样本集 \(\mathcal{R}_i^-\)。同时引入双线性网格采样的可微中心采样提取亚像素级中心原型特征 \(\mathbf{c}_i\)，构建非对称边缘对比损失（Pull-Push Loss）：

\[\mathcal{L}_i = \frac{1}{|\mathcal{R}_i|} \sum_{(y,x) \in \mathcal{R}_i} \left[ \alpha_{y,x} \left( \|\tilde{\mathbf{E}}(y,x) - \mathbf{c}_i\|_2 - (\tau + \delta \alpha_{y,x}) \right) \right]_+\]

其中 \(\alpha_{y,x} \in \{+1, -1\}\) 分别指示正负像素，\(\tilde{\mathbf{E}}\) 为平滑后的特征嵌入，\(\tau\) 与 \(\delta\) 为边界松弛超参数。正样本受拉力紧密聚集于中心原型周围，负样本受推力排斥在间隔边界之外。在推理生成阶段，进一步引入归一化几何距离先验构成联合能量函数，有效消除了早期自训练过程中的掩码边缘残缺现象。

3. 掩码约束计数优化：双阈值过滤与前后景拓扑正则化 半监督计数模型（基于精简的 P2PNet 架构并去除显式回归分支）在生成未标注图像的伪标签时往往存在噪声。本文没有停留在利用伪点进行局部匹配，而是利用分割分支输出的丰富实例掩码先验对计数特征施加正则化反馈。为解决伪掩码质量不稳定导致的错误监督，设计双阈值策略：仅在低置信度点上触发分割以保证全量潜在候选与背景纯净度，而在计算损失时仅保留高置信度有效掩码集合 \(K_v\)。在此基础上施加双重约束：背景惩罚损失驱动所有真值背景像素的预测响应归零或为负值；前景约束损失 \(\mathcal{L}_{\mathrm{fg}}\) 约束每个有效掩码区域内的累积响应总量逼近于 1，且激活像素数满足单点约束：

\[\mathcal{L}_{\mathrm{fg}} = \frac{1}{|K_v|} \sum_{k \in K_v} \left( |N_k^+ - 1| + |S_k - 1| \right), \quad S_k = \sum_{p \in \Omega_k} \max(0, \hat{\mathbf{f}}(p)), \quad N_k^+ = \sum_{p \in \Omega_k} \mathbb{I}(\hat{\mathbf{f}}(p) > 0)\]

该机制使得分割分支输出的精细几何结构能够直接正则化计数的似然图分布，实现跨任务闭环增强。

损失函数 / 训练策略

整个系统遵循 Mean Teacher 框架，学生模型在有标注数据上计算有监督分割损失 \(\mathcal{L}_{\mathrm{mask}}\) 与计数定位损失，在无标注数据上计算由教师模型 EMA 权重驱动生成的伪标签约束损失；教师模型参数通过学生模型权重的指数移动平均（EMA）平滑更新。最终优化目标包含有监督损失、掩码判别损失 \(\mathcal{L}_i\) 以及未标注样本的前景掩码约束损失 \(\mathcal{L}_{\mathrm{fg}}\) 和背景惩罚损失 \(\mathcal{L}_{\mathrm{bg}}\)。在第三阶段优化计数网络时，仅微调解码器即可获得最佳精度与效率平衡。

实验关键数据

主实验

在三个标准基准数据集（ShanghaiTech A、UCF-QNRF、JHU++）上按照 5%、10%、40% 标注协议进行全面评估。

1. 半监督人群实例分割对比（[email protected]）

方法	NNEC 约束	ShTech A (5%)	ShTech A (10%)	ShTech A (40%)	UCF-QNRF (5%)	UCF-QNRF (10%)	UCF-QNRF (40%)	JHU++ (5%)	JHU++ (10%)	JHU++ (40%)
FastSAM	✗	0.279	0.281	0.291	0.203	0.211	0.213	0.186	0.185	0.189
FastSAM	✓	0.287	0.290	0.300	0.223	0.229	0.233	0.197	0.182	0.201
S⁴M	✗	0.005	0.007	0.011	0.010	0.012	0.015	0.013	0.014	0.021
CrowdSAM	✓	0.201	0.201	0.212	0.149	0.156	0.163	0.187	0.189	0.192
Point only	✓	0.195	0.194	0.202	0.198	0.201	0.207	0.180	0.182	0.183
XMask (Ours)	✗	0.314	0.318	0.331	0.269	0.277	0.278	0.249	0.253	0.257
XMask (Ours)	✓	0.313	0.318	0.333	0.282	0.290	0.297	0.258	0.263	0.270

2. 半监督人群计数对比（MAE / MSE）

标注比例	方法	ShTech A MAE↓	ShTech A MSE↓	UCF-QNRF MAE↓	UCF-QNRF MSE↓	JHU++ MAE↓	JHU++ MSE↓
5% 标注	MT	104.7	33.2	172.4	284.9	101.5	363.5
	L2R	103.0	27.6	160.1	272.3	101.4	338.8
	DAC	85.4	134.5	120.2	209.3	82.2	294.9
	OT-M	83.7	133.3	118.4	195.4	82.7	304.5
	P2R	69.9	119.5	100.1	182.5	77.8	293.5
	Ours	64.6	106.2	98.4	163.7	77.1	289.5
10% 标注	MT	319.3	94.5	156.1	245.5	250.3	90.2
	L2R	90.3	153.5	148.9	249.8	87.5	315.3
	DAC	74.9	115.5	109.0	187.2	75.9	282.3
	OT-M	80.1	118.5	113.1	186.7	73.0	280.6
	P2R	64.2	114.6	94.9	167.2	68.7	272.3
	Ours	62.4	104.4	93.9	155.7	68.7	258.7
40% 标注	MT	88.2	151.1	147.2	249.6	121.5	388.9
	L2R	86.5	148.2	145.1	256.1	123.6	376.1
	DAC	67.5	110.7	91.1	153.4	65.1	260.0
	OT-M	70.7	114.5	100.6	167.6	72.1	272.0
	P2R	55.6	95.0	86.0	144.3	63.3	271.1
	Ours	56.2	93.5	84.0	143.6	61.9	256.1

消融实验

消融实验在 ShanghaiTech A 和 UCF-QNRF 数据集上检验各核心组件的作用：

1. 损失函数对比与高斯平滑核参数消融（ShTech A）

消融维度	配置	关键参数 / 损失	IoU↑	F1↑	说明
损失函数	对比方案	Dice loss	0.2381	0.0946	基于重叠率计算，受稠密粘连干扰严重
	对比方案	Focal loss	0.2893	0.2070	加权交叉熵改善有限
	本文方法	MaskHead Discriminative	0.3119	0.2574	拉近同实例、推离异实例，表现最佳
高斯平滑	无平滑	-	0.3050	0.2481	特征存在高频噪声和锯齿
	启用平滑	\(k=5, \sigma=1.5\)	0.3111	0.2566	增强特征空间平滑性
	启用平滑	\(k=7, \sigma=1.5\)	0.3119	0.2574	适度增加平滑窗口
	启用平滑	\(k=9, \sigma=1.5\)	0.3120	0.2577	略微提升但计算量微增
	最优平滑	\(k=7, \sigma=3.0\)	0.3130	0.2584	综合指标最高，被选为默认配置
	启用平滑	\(k=5, \sigma=3.0\)	0.3119	0.2575	较核尺寸 7 略低
	启用平滑	\(k=9, \sigma=3.0\)	0.3130	0.2570	F1 稍有下滑

2. 优化微调模块选择（ShTech A 5% 标注）

Head（检测/计数头）	Backbone（主干）	训练参数量	MAE↓	MSE↓	结论与说明
✓	✓	16.77M	68.1	106.8	全量微调在极少标注下容易产生局部过拟合
✓	✗	15.58M	70.2	111.3	仅更新分类头导致特征未对齐
✗ (仅解码器微调)	✓ (冻结特征层)	2.05M	64.6	106.2	参数量减少 88%，且计数精度最佳

关键发现

• 实例掩码先验显著超越纯点监督：引入 XMask 生成的形状先验后，5% 标注下 ShTech A 的 MAE 从基线 P2R 的 69.9 大幅降至 64.6，UCF-QNRF 的 MSE 从 182.5 降低到 163.7，证明密集几何轮廓有效弥补了点标注的信息缺失。
• 高密度场景下 NNEC 几何先验至关重要：在行人极度密集的 UCF-QNRF 与 JHU++ 数据集上，加入 NNEC 约束使 XMask 的 [email protected] 提升 1.3% 到 1.9%，有效杜绝了跨实例的分割外溢。
• 卓越的推理效率与密度不敏感性：在 ShTech A 上，XMask 单张图像推理耗时仅 0.17 秒，比 FastSAM（1.01 秒）快 5.9 倍，且无论每张图的人数从数十人攀升至数千人，推理耗时稳定低于 0.3 秒，彻底解决了传统分割大模型在超密集场景下耗时指数级暴增的痛点。

亮点与洞察

• 拓扑邻近排他圆解耦密集实例：巧妙利用一阶近邻欧氏距离自适应截断 SAM 输出与局部判别范围，以纯几何约束破解了稠密场景下最根本的掩码泄漏顽疾。
• 重构为局部度量学习实现极致轻量化：避开计算繁重的大规模全图检测与分割头，利用深度可分离高斯平滑特征图上的不对称推拉损失，在极小开销下获得与 SAM 匹敌的高质量掩码。
• 分割反哺计数的闭环半监督范式：不仅打破了人群计数与分割各自为战的壁垒，还设计双阈值过滤和前后景一致性损失，为半监督密集目标定位提供了通用的结构化先验迁移思路。

局限与展望

• 极端遮挡下边缘精度受限：由于仅依赖头部局部区域度量和圆形排他截断，当行人发生严重躯干交叉重叠或仅露出微小轮廓时，分割掩码边缘仍存在一定锯齿或欠拟合现象。
• 超参数依赖近邻统计分布：NNEC 假设每个头部在近邻距离内占据主要排他面积，在远近透视悬殊导致的前后景极度错层区域，最近邻可能跨越不同景深层次，未来可探索引入单目深度先验进行尺度矫正。

相关工作与启发

• vs FastSAM / SAM: FastSAM 与 SAM 为无分类偏置的通用分割大模型，在密集人群中面临严重的计算延迟和相邻头部掩码粘连；本文 EDP-SAM 引入超像素与 NNEC 双提示约束生成精准离线掩码，而在线推理的 XMask 耗时仅为 FastSAM 的 17%，精度提升显著。
• vs P2R / OT-M: P2R 和 OT-M 仅在点级别或局部高斯平滑区域内做伪点置信度传播，仍将人体视为无形状属性的质点；本文首次在半监督框架中直接构建结构化实例掩码先验，通过前景激活数与背景清零双重正则化，在计数精度上全面刷新 SOTA。

评分

• 新颖性: ⭐⭐⭐⭐☆ 创造性地以拓扑排他圆约束引导掩码自监督学习，打通了人群实例分割与计数的协同链路。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖三大主流基准、三种标注比例，并针对分割 IoU、计数 MAE/MSE、推理速度与各模块参数展开了详尽消融。
• 写作质量: ⭐⭐⭐⭐⭐ 动机严密，逻辑自洽，数学定义与图表表达清晰紧凑。
• 价值: ⭐⭐⭐⭐⭐ 为密集微小目标分割和弱监督/半监督计数提供了高性能且极轻量的实用新范式。

相关论文

• [ECCV 2026] Segmenting Visuals With Querying Words: Language Anchors For Semi-Supervised Image Segmentation
• [CVPR 2026] From Softmax to Dirichlet: Evidential Learning for Semi-supervised Semantic Segmentation
• [AAAI 2026] S5: Scalable Semi-Supervised Semantic Segmentation in Remote Sensing
• [ECCV 2026] Residual-Guided Expert Specialization for Incomplete Multimodal Learning
• [ECCV 2026] Learning from Adversity: Semantic-Aware Mask Refinement through Adversarial Perturbation