DualCount: Structurally Consistent Density and Point Modeling for Zero-Shot Object Counting¶

会议: ECCV 2026
论文: ECCV Official
领域: 目标检测
关键词: 零样本计数、密度图回归、点预测、最优传输、结构几何一致性

一句话总结¶

针对零样本目标计数中密度回归因缺乏实例级结构约束而导致的背景泄漏与质量弥散问题，DualCount 提出双解码器架构，利用预测的实例点中心对密度图实施软分解，并引入单实例质量守恒与质心对齐几何约束，在 FSC-147、PUCPR+ 等基准上刷新了零样本计数最优表现。

研究背景与动机¶

目标计数任务长期依赖于针对特定类别的监督学习（如人头、车辆或细胞计数），在面对分布外类别时泛化能力极度受限。为了摆脱类别绑定的枷锁，少样本目标计数引入了视觉范例（Exemplar Bounding Box）交互，但测试期的人工标注介入严重制约了开放世界全自动化场景的落地。零样本目标计数（Zero-Shot Object Counting）在此背景下应运而生：仅需通过任意自然语言文本提示（如“flamingos”或“cars”）指定目标概念，模型即可借助视觉-语言表征直接推算图像中的目标数量。

然而，现阶段主流的零样本计数方法普遍采用基于文本引导的密度图回归范式，在无实例级先验引导下暴露出严峻的结构性缺陷。传统的像素级连续密度回归或全局最优传输监督，虽然能在宏观积分上逼近目标数量，却完全没有显式约束密度质量在微观实体间的分配规律。当面对密集重叠、复杂几何拓扑、自相似外观干扰或杂乱背景时，密度质量极易渗漏扩散至高度共现的背景区域，或过度畸变成仅聚焦于局部高辨识度部件的碎裂斑块，导致显著的计数虚警和空间模糊。

这种失效并非源于跨模态语义对齐不足，而是由于连续密度场表征本身缺失实例级的几何结构约束。每个独立目标在物理逻辑上应且仅应贡献约一个单位的密度质量，并紧致汇聚于实体中心附近。本文的核心 idea 是：将连续密度估计重构为隐式实例集上的结构化质量分配问题，通过解耦并联合建模连续密度与离散实例点，以单实例质量守恒和质心对齐两大约束施加强几何一致性正则。

方法详解¶

整体框架¶

DualCount 采用端到端的多模态双解码器架构，整体流程由单模态特征提取、跨模态交互增强、特征调制融合以及双任务解码协同四个主要阶段构成。模型首先利用视觉编码器提取图像空间特征图，并利用文本编码器提取查询类别的文本语义向量。随后，跨模态增强模块通过图像自注意力与双向跨注意力实现视觉空间与文本概念的深度对齐。融合后的文本条件化特征输入轻量级共享上采样头，最终分流至密度解码器与点解码器：密度解码器负责回归全局连续密度图，点解码器输出离散实例候选点，并通过软实例分解机制架起离散点与连续密度之间的几何一致性桥梁。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像 I 与文本查询 t"] --> B["图像编码器 Ev 与文本编码器 Et<br/>提取视觉特征 Fv 与文本特征 ft"]
    B --> C["跨模态特征增强模块<br/>图像自注意力 + 双向跨模态注意力"]
    C --> D["特征调制融合模块<br/>文本特征生成尺度与位移参数调制视觉通道"]
    D --> E["共享上采样与细化头<br/>双线性插值与卷积恢复原图分辨率"]
    E --> F["双解码器解耦预测<br/>密度图 ρ 与候选点集 P"]
    F --> G["软实例分解<br/>高斯核加权计算实例级子密度分量 ρi"]
    G --> H["结构几何一致性约束<br/>单实例质量守恒 + 质心对齐 + 计数一致性"]
    H --> I["最终计数输出 N"]

关键设计¶

1. 跨模态特征增强与自适应通道调制：深度强化文本条件化的空间辨识度 直接使用骨干网络提取的视觉特征难以同时兼顾细粒度目标判别与开词汇文本引导，背景中语义相似的纹理极易被卷入计数。DualCount 构建了完备的双向跨模态增强模块 $\mathcal{E}$。首先对展平的视觉空间序列施加多头自注意力捕获大范围空间拓扑依赖；继而通过“图像到文本”跨注意力以文本向量 $f_t$ 作为 Key/Value 引导视觉 Query 聚焦目标概念；再辅以“文本到图像”跨注意力将全局视觉上下文更新回文本表征。在特征融合阶段，模型采用特征级调制机制（Feature-wise Modulation）： $$ \gamma = W_\gamma f_t^{\text{enh}}, \quad \beta = W_\beta f_t^{\text{enh}} $$ $$ F(x) = \gamma \odot \tilde{F}_v(x) + \beta $$ 通过文本语义动态重缩放与平移视觉特征通道，在底层空间表征中主动压制无关背景响应并激活目标特征维度。

2. 软实例分解：架起连续场与离散几何实体的可微桥梁 传统连续密度图 $\rho \in \mathbb{R}^{H \times W}$ 缺乏个体边界感知，而点预测分支通过 Sigmoid 激活置信度图、非极大值抑制（NMS）以及阈值 $\tau$ 筛选出一组离散实例中心候选点 $\hat{\mathcal{P}} = \{\hat{p}_i\}_{i=1}^M$。为了将离散点赋予连续密度场，DualCount 引入高斯空间核构建连续可微的软分配权重： $$ w_i(x) = \frac{\exp\left(-\frac{|x - \hat{p}i|^2}{2\sigma^2}\right)}{\sum $$ 空间中各像素满足归一化分配 }^M \exp\left(-\frac{|x - \hat{p}_j|^2}{2\sigma^2}\right)$\sum_{i=1}^M w_i(x) = 1$。据此，全局密度图被精确且可微地分解为 $M$ 个软实例密度分量：$\rho_i(x) = w_i(x)\rho(x)$，且严格满足 $\sum_{i=1}^M \rho_i(x) = \rho(x)$，将黑盒密度图透明化为具有归属权的单体质量簇。

3. 结构几何一致性约束：单实例质量守恒与质心对齐协同正则 在软分解的基础上，模型施加了两个关键物理几何约束。其一是单实例质量守恒（Per-Instance Mass Conservation）：对第 $i$ 个实例分量积分得到其实际分配质量 $m_i = \sum_{x \in \Omega} \rho_i(x)$，由于真实场景中每个完整对象在积分意义下应恰好代表 1 个单位质量，因此定义质量守恒损失： $$ \mathcal{L}{\text{mass}} = \frac{1}{M} \sum^M (m_i - 1)^2 $$ 该项强力阻止了密度质量向某一背景碎片过度积聚或在前景实体间严重分布不均的问题。其二是质心对齐（Center-of-Mass Alignment）：计算该分量密度的物理质心 $\bar{p}_i = \frac{1}{m_i} \sum_{x \in \Omega} x \rho_i(x)$，并拉近质心与对应离散候选点 $\hat{p}_i$ 的几何欧氏距离： $$ \mathcal{L}{\text{align}} = \frac{1}{M} \sum_i|^2 $$ 两大约束协同发力，确保密度质量既在总额上严守单体计量，又在几何重心上紧密锚定目标实体中心，彻底消除了密度在非凸几何轮廓或边缘处的虚假扩散。}^M |\bar{p}_i - \hat{p

损失函数 / 训练策略¶

系统采用多任务端到端联合训练策略，总损失由六个关键目标加权合成： $$ \mathcal{L} = \lambda_{\text{ot}}\mathcal{L}{\text{ot}} + \lambda}}\mathcal{L{\text{cst}} + \lambda}}\mathcal{L{\text{focal}} + \lambda}}\mathcal{L{\text{consistent}} + \lambda}}\mathcal{L{\text{mass}} + \lambda $$ - }}\mathcal{L}_{\text{align}最优传输损失 $\mathcal{L}_{\text{ot}}$：在密度分支上采用基于点标注的最优传输损失，优化全局密度分布与真值点离散测度之间的匹配开销； - 焦点损失 $\mathcal{L}_{\text{focal}}$：监督点解码器输出的高分辨率中心热力图； - 点特征对比损失 $\mathcal{L}_{\text{cst}}$：通过匈牙利算法（Hungarian Algorithm）对预测点与真值点进行二分图匹配，抽取多尺度 CNN 骨干（ResNet-50 layer1 至 layer4）插值特征构建 InfoNCE 对比损失，拉近匹配正样本点特征、排斥未匹配点与背景负样本，抑制虚警提议； - 计数一致性损失 $\mathcal{L}_{\text{consistent}} = (\hat{N} - M)^2$：惩罚密度图总质量积分 $\hat{N} = \sum_{x \in \Omega}\rho(x)$ 与候选点数量 $M$ 之间的数量偏差； - 几何结构损失 $\mathcal{L}_{\text{mass}}$ 与 $\mathcal{L}_{\text{align}}$：按权重约束软分解分量的质量与重心。优化器使用 Adam，学习率设为 $6.25 \times 10^{-6}$。编码器方案支持 CLIP 双塔与 Swin-T + BERT 组合。

实验关键数据¶

主实验¶

在通用零样本计数权威基准 FSC-147 以及跨域车辆计数数据集 CARPK、PUCPR+ 上，DualCount 与当前主流方法展开了详尽对比。在 FSC-147 上，DualCount 刷新了零样本评测体系的 SOTA 指标，甚至逼近了依赖 3 个边界框交互的少样本方法；在跨域迁移中同样表现出色。

数据集 / 场景	方法	设定 / 范例数	Val MAE ↓	Val RMSE ↓	Test MAE ↓	Test RMSE ↓
FSC-147	CountGD (NeurIPS'24)	Zero-shot (0-shot)	12.14	47.51	12.98	98.35
FSC-147	T2ICount (CVPR'25)	Zero-shot (0-shot)	13.78	58.78	11.76	97.86
FSC-147	GeCo (NeurIPS'24)	Zero-shot (0-shot)	14.81	64.95	13.30	108.72
FSC-147	CLIP-Count (ACM MM'23)	Zero-shot (0-shot)	18.79	61.18	17.78	106.62
FSC-147	DualCount (CLIP)	Zero-shot (0-shot)	14.12	54.27	12.33	99.78
FSC-147	DualCount (SwinT+BERT)	Zero-shot (0-shot)	11.21	42.77	11.32	97.16
FSC-147	LOCA (ICCV'23)	Few-shot (3-shot)	10.24	32.56	10.97	56.97
FSC-147	BMNet (CVPR'22)	Few-shot (3-shot)	15.74	58.53	14.62	91.83

在跨数据集评估中： - CARPK 数据集：CountGD 达到 3.83 MAE / 5.41 RMSE，DualCount 取得 7.95 MAE / 9.78 RMSE，领先于 CounTX (8.13 / 10.87)、T2ICount (8.61 / 13.47) 和 CLIP-Count (11.96 / 16.61)； - PUCPR+ 数据集：DualCount 取得 24.27 MAE / 28.91 RMSE，全面优于 CountGD (24.31 / 32.16)、VLCounter (48.94 / 69.08) 及 CLIP-Count (55.82 / 91.23)。

消融实验¶

论文系统检验了各项损失函数和核心架构组件对 FSC-147 测试集精度的增益贡献：

消融配置	$\mathcal{L}_{\text{ot}}$	$\mathcal{L}_{\text{cst}}$	$\mathcal{L}_{\text{consistent}}$	$\mathcal{L}_{\text{mass}}$	$\mathcal{L}_{\text{align}}$	Test MAE ↓	Test RMSE ↓	变化说明
完整模型 (Full)	✓	✓	✓	✓	✓	11.32	97.16	完整双解码器及全部几何正则约束
移除质心对齐	✓	✓	✓	✓	✗	12.84	100.45	失去质心对齐，MAE 显著上升 +1.52
移除质量守恒	✓	✓	✓	✗	✓	13.05	100.98	缺少单位质量正则，MAE 劣化 +1.73
移除计数一致性	✓	✓	✗	✓	✓	14.25	102.17	密度总积分与点预测数量出现偏差，MAE 劣化 +2.93
移除点对比损失	✓	✗	✓	✓	✓	14.49	103.11	判别性点特征缺失，点质量下降，MAE 剧增 +3.17

在架构模块消融中： 1. 仅保留密度解码器（w/o Point Decoder）：MAE 升至 14.12（RMSE 103.87）； 2. 仅保留点解码器（w/o Density Decoder）：MAE 升至 14.54（RMSE 105.29）； 3. 移除跨模态特征增强器（w/o Enhancer）：MAE 升至 13.11（RMSE 101.08）； 4. 骨干网络替换：SwinT+BERT (11.32 / 97.16) 显著优于 CLIP 图像/文本骨干 (12.33 / 99.78)，验证了多尺度视觉特征与深度文本融合的优势。

关键发现¶

双解码器强互补性：纯密度回归（14.12）或纯点检测（14.54）均产生显著误差，两者通过软分解耦合后大幅降至 11.32，证明连续积分密度与离散定点互为表里、缺一不可；
点特征判别力的基石作用：点对比损失 $\mathcal{L}_{\text{cst}}$ 贡献了最大的单项提升（移除导致 MAE 从 11.32 恶化至 14.49），说明匈牙利匹配下的特征对比是剔除虚警点、确保软实例分解基础正确的关键前提；
极端密集与自相似场景下的鲁棒性：质心对齐与质量守恒在火烈鸟（Flamingos）、波点背景、骆驼等复杂拓扑或密集排列样本上，彻底消除了竞品模型向邻近背景泄漏或躯干部件重计的伪影。

亮点与洞察¶

将连续场离散解构的软分解算子：巧妙利用候选点的高斯距离归一化权重，将整幅不可导的“实体分配”转化为完全可微的软加权密度分量，使实例级物理约束能够以连续解析形式向下游梯度反向传播。
物理先验驱动的双重几何正则：不依赖额外的全景分割伪标签，仅依据“单一实体贡献单位质量”与“质量中心对齐实体中心”两条第一性原理几何直觉，即有效压制了零样本密度回归中的质量漂移和过度分散。
广阔的跨任务迁移潜力：该种“连续密度场 + 离散关键点联合几何建模”的范式，对人体姿态热力图回归、视频动作周期性重复计数、微观医学图像多细胞量化等同类型任务具备极强的迁移通用性。

局限与展望¶

对初始点提议质量的强依赖性：软实例分解以点解码器经 NMS 和置信度阈值过滤后的集合 $\hat{\mathcal{P}}$ 为基准，若目标极度遮挡导致漏检，或噪声纹理导致严重过检，可能会在软分解阶段引入先验偏差。
固定高斯核宽度的尺度适应性：当前空间分配权重采用固定的尺度参数 $\sigma$，未能根据实例在图像中的真实透视尺寸自适应缩放；对于大尺度目标与极小目标混杂的极端透视场景，固定方差可能略微平滑小目标的界限。
未来方向：可进一步探索动态尺度感知核（Instance-Adaptive Kernel Size），或将点提议与轻量化开词汇边界框回归器弱监督协同，进一步提升超大透视跨度下的质量保真度。

评分¶

新颖性: ⭐⭐⭐⭐ [将连续密度估计重新诠释为离散实例集上的结构化质量分配，设计了优雅的软实例分解与双重几何约束]
实验充分度: ⭐⭐⭐⭐⭐ [跨越通用 open-set 数据集与两个真实监控/航拍基准，实验对比扎实，消融全面揭示各组件贡献]
写作质量: ⭐⭐⭐⭐⭐ [动机链条推导严密自然，数学公式定义清晰且具备清晰的几何物理意义，图文对应严谨]
价值: ⭐⭐⭐⭐⭐ [攻克了零样本目标计数领域长期存在的密度弥散与背景泄漏难题，方案兼具理论优美性与工业实用性]