Towards Sparsely Annotated Open World Object Detection¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/HelloHeeju/SA-OWOD
领域: 目标检测
关键词: 开放世界目标检测、稀疏标注目标检测、未知物体发现、伪标签恢复、双视角语义不一致

一句话总结¶

针对开放世界目标检测中稀疏标注导致的已知与未知物体歧义混淆难题，本文首次提出稀疏标注开放世界目标检测（SA-OWOD）任务，并设计包含已知目标恢复与双重不一致目标生成的双重视角物体发现框架（DPOD），在极大降低假负例监督的同时大幅提升未知类别召回率。

研究背景与动机¶

现有的主流目标检测系统普遍依赖两大理想化假设：训练数据具备完备无遗漏的边界框标注，以及类别空间是严格闭合的。然而在现实开放场景中，由于极高的标注成本与人工认知局限，图像中绝大多数物体往往仅有部分被标记，且未见类别会持续涌现。为了突破这两个假设，学术界分别衍生出了开放世界目标检测（OWOD）与稀疏标注目标检测（SAOD）两条技术路线。OWOD 侧重于在检测已知类别的同时将未见物体识别为未知类并渐进增量学习，但其高度依赖密集标注；一旦遇到稀疏标注，未标记的已知实例就会被误当作背景，导致已知类别判定面混乱，进而将已知物体误判为未知类。

反观 SAOD 领域，现有研究通常借助伪标签挖掘或自监督挖掘机制来弥补未标记已知目标带来的假负例监督，但这类方法均严格构建在闭合世界假设之下。所有未标注区域被默认只能归属于预定义的已知类别，导致真正的新类别物体被强制压制为背景或强行分配给已知类别，完全丧失了未知物体的发现能力。由此可见，在实际数据中未标注已知物体与真正未知物体往往是共存且视觉不可分的，缺乏显式解耦机制必然造成训练监督信号的严重自相矛盾。

为了破解这一交叉瓶颈，本文首次形式化定义了稀疏标注开放世界目标检测（SA-OWOD）新任务，把无标签区域显式解构为“漏标的已知实例”和“潜在的新颖未知类别”两种竞争角色。核心 idea：构建双重视角物体发现框架（DPOD），一方面借助学生-教师一致性生成伪标签并利用 Facility-Location 条件增益强制已知与未知在特征空间分离（KTRM），另一方面通过双视角空间投影的语义不一致性精准捕获边界不稳定的未知候选目标（DDTG），从表征解耦与监督补全两端协同解决无标注区域的歧义性。

方法详解¶

整体框架¶

DPOD 的输入为包含稀疏标注的多视角增强图像，骨干网络采用基于 ResNet-50 的类无关目标检测架构（继承 CROWD 并采用 Faster R-CNN 骨架）。整体流程分为两大互补分支：已知目标恢复模块（KTRM）负责挖掘未标注已知实例并将其与已知真值聚合，施加分类与回归监督，同时引入条件增益对比分离已知与未知特征；双重不一致目标生成器（DDTG）则通过同一图像两路增强视图之间的精确空间 RoI 投影，度量分类 logits 的余弦相似度，筛选高客体性且低语义一致性的 RoI 作为可靠的未知物体伪监督。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像与稀疏真值标注"] --> B["双视角数据增强与多尺度特征提取"]
    B --> C["类无关候选区域生成与客体性评分"]
    C --> D["已知目标恢复模块 KTRM<br/>教师一致性过滤 + 伪标签恢复监督"]
    C --> E["双重不一致目标生成器 DDTG<br/>跨视角 RoI 空间对齐与语义 logits 相似度检验"]
    D --> F["已知-未知特征空间解耦正则化<br/>Facility-Location 条件增益约束"]
    E --> G["未知目标伪标签挖掘与分离损失约束"]
    F --> H["联合多任务优化与增量模型更新"]
    G --> H

关键设计¶

1. 已知目标恢复模块（KTRM）：漏标已知实例挖掘与紧致特征排斥 在稀疏标注场景下，未被标注的已知目标常被检测器视为背景，产生虚假负样本监督并严重干扰分类边界。KTRM 首先基于强弱学生-教师网络（Co-Student 范式），利用教师模型对多视角预测结果进行一致性过滤，构建高可信的未标注已知候选集 $\mathcal{R}_{uk}$。每个候选框 $p \in \mathcal{R}_{uk}$ 包含伪类别 $y_p^{uk}$ 与边界框 $\mathbf{b}_p^{uk}$，并与重叠度最大的候选框 $r_p$ 配对，通过分类损失 $\ell_{cls}$ 和回归损失 $\ell_{reg}$ 进行直接监督： $$\mathcal{L}_{uk} = \frac{1}{|\mathcal{R}_{uk}|} \sum_{p \in \mathcal{R}_{uk}} \left[ \ell_{cls}\left(\mathbf{z}_{r_p}, y_p^{uk}\right) + \ell_{reg}\left(\mathbf{b}_{r_p}, \mathbf{b}_p^{uk}\right) \right]$$ 然而单纯伪标签补偿无法消除隐空间中已知与未知物体的重叠。KTRM 进一步将稀疏真值 $\mathcal{R}_k$ 与伪标签 $\mathcal{R}_{uk}$ 合并为统一已知集合 $\mathcal{R}_{all\_k} = \mathcal{R}_k \cup \mathcal{R}_{uk}$，并基于 Facility-Location 形式构建条件增益分离损失 $\mathcal{L}_{sep}$： $$\mathcal{L}_{sep} = -\frac{1}{|\mathcal{R}_{all\_k}|} \sum_{i \in \mathcal{R}_{all\_k}} \left( \max_{j \in \mathcal{R}_{all\_k}} s_{ij} - \eta \max_{j \in \mathcal{R}_u} s_{ij} \right)$$ 其中 $s_{ij}$ 为候选实例 $i$ 与 $j$ 之间的余弦相似度，$\eta$ 为排斥权重因子。该设计迫使每个已知候选仅推开与其最近的未知原型，避免了传统距离聚合全局推挤导致的局部决策面模糊。

2. 双重不一致目标生成器（DDTG）：跨视角语义冲突驱动的未知目标挖掘 处于决策边界模糊区域的新类别往往在不同数据扰动下表现出极高的语义不确定性，但常规客体性阈值无法甄别其是否为已知类的难样本。DDTG 创新性地利用双视角语义不一致性捕获未知类别。给定图像的两个增强视角 $x_{s1}$ 和 $x_{s2}$，若简单使用 IoU 框匹配，微小的空间偏移就会引起 RoI 特征巨变；DDTG 将参考视角的候选框 $r$ 几何对齐投影至另一视角，分别提取对齐后的类别输出 logits $\mathbf{z}_r^i$ 与 $\mathbf{z}_r^j$。通过度量两者的余弦相似度评估语义一致性： $$\mathcal{S}(r) = \frac{\left(\mathbf{z}_r^i\right)^\top \mathbf{z}_r^j}{\|\mathbf{z}_r^i\|_2 \|\mathbf{z}_r^j\|_2}$$ 设定客体性阈值 $\tau_o$ 与相似度阈值 $\tau_s$，仅当候选区域具备足够高的前景客体性且跨视角语义相似度低于阈值时，才将其判定为可靠的未知候选集 $\mathcal{R}_{dis}$： $$\mathcal{R}_{dis} = \left\{ r \in \mathcal{R}_a \;\middle|\; o_r \ge \tau_o,\; \mathcal{S}(r) \le \tau_s \right\}$$ 对挖掘出的 $\mathcal{R}_{dis}$ 施加未知类别分类监督以及排斥分离损失，有效促使模型在无未知标签的情况下主动探索潜在的新类别边界。

损失函数 / 训练策略¶

DPOD 模型的整体优化目标联合了已知目标恢复损失 $\mathcal{L}_{KTRM}$ 与未知目标不一致损失 $\mathcal{L}_{DDTG}$： $$\mathcal{L}_{DPOD} = \gamma_{KTRM} \mathcal{L}_{KTRM} + \gamma_{DDTG} \mathcal{L}_{DDTG}$$ 其中 KTRM 内部包含伪标签损失与特征分离损失 $\mathcal{L}_{KTRM} = \alpha_{uk}\mathcal{L}_{uk} + \alpha_{sep}\mathcal{L}_{sep}$，DDTG 内部包含未知分类损失与未知特征解耦损失 $\mathcal{L}_{DDTG} = \beta_{cls}\mathcal{L}_{cls}^{dis} + \beta_{sep}\mathcal{L}_{sep}^{dis}$。在实际实现中，平衡超参数 $\alpha_{uk}, \alpha_{sep}, \beta_{cls}, \beta_{sep}, \gamma_{KTRM}, \gamma_{DDTG}$ 以及 Facility-Location 参数 $\eta$ 均统一设为 1。检测骨干采用在 ImageNet 上预训练的 ResNet-50，优化器为 AdamW，学习率 $2.5 \times 10^{-5}$，权重衰减 $1 \times 10^{-4}$。每个任务先经历 15,000 次基础迭代训练，随后进行 15,000 次增量学习迭代（共计约 9 个 epoch），批大小为 12。

实验关键数据¶

主实验¶

评估协议沿用 Pascal VOC（Task 1，20 类）与 MS COCO 后续 60 类（划分为 Task 2-4）的标准增量设定。评估指标采用已知类别均值平均精度（K-mAP）与未知类别召回率（U-Recall）。下表展示了全量标注基线及五种独立稀疏标注配置（Easy、Hard、Coco50missp、Keep1、Extreme）下的主要结果：

标注配置	方法	Task 1 K-mAP	Task 1 U-Recall	Task 2 K-mAP	Task 2 U-Recall	Task 3 K-mAP	Task 3 U-Recall	Task 4 K-mAP
Full (上限)	CROWD	61.7	57.9	47.8	53.6	42.5	69.6	38.5
Easy	RandBox	49.91	4.90	38.36	4.30	33.12	4.60	29.79
Easy	PROB	52.83	18.27	38.35	15.35	32.64	19.10	29.06
Easy	OrthogonalDet	56.19	17.05	41.91	22.51	36.73	25.13	34.60
Easy	CROWD	53.28	45.53	38.24	30.22	35.43	53.34	32.28
Easy	DPOD (本文)	56.48	55.34	39.53	52.47	36.90	63.68	32.15
Hard	RandBox	49.96	2.69	27.66	3.62	29.86	3.72	27.26
Hard	PROB	50.18	18.26	36.24	13.91	30.98	17.57	27.01
Hard	OrthogonalDet	53.14	19.19	38.03	18.28	32.87	24.44	32.14
Hard	CROWD	49.29	49.80	34.83	33.35	33.63	50.80	29.91
Hard	DPOD (本文)	54.09	51.85	33.36	48.25	35.79	64.00	31.15
Extreme	RandBox	36.62	0.68	21.93	1.50	19.55	2.39	17.95
Extreme	PROB	37.78	17.86	26.09	14.83	23.41	17.60	19.38
Extreme	OrthogonalDet	41.39	12.41	26.20	14.77	23.30	24.62	22.31
Extreme	CROWD	34.37	40.66	24.84	31.17	24.46	48.64	20.47
Extreme	DPOD (本文)	45.37	45.56	25.98	44.32	26.58	57.53	20.19

消融实验¶

在最具代表性的 Hard 稀疏设置下，对各模块的贡献度以及 DDTG 超参数敏感性进行了系统消融（均在 Task 1 评估）：

实验配置	KTRM	DDTG	K-mAP (%)	$\Delta$ K-mAP	U-Recall (%)	$\Delta$ U-Recall	说明
CROWD Baseline	✗	✗	49.29	—	49.80	—	基线模型
+ KTRM	✓	✗	51.90	+2.61	50.66	+0.86	恢复已知监督，主要提升已知类精度
+ DDTG	✗	✓	51.08	+1.79	50.26	+0.46	挖掘不一致未知，主要稳定未知决策面
DPOD (Full)	✓	✓	54.09	+4.80	51.85	+2.05	双分支互补解耦，综合表现最优

下表展示了 DDTG 中客体性阈值 $\tau_o$ 与相似度阈值 $\tau_s$ 的参数敏感性分析：

$\tau_o$	$\tau_s$	K-mAP (%)	U-Recall (%)	结论与分析
0.10	0.95	52.97	47.68	客体性过低引入背景噪声，削弱未知识别精度
0.20	0.95	54.09	51.85	最优折中：保留丰富前景候选且滤除低质杂散区域
0.30	0.95	53.62	51.40	过滤过严，丢失弱边界未知物体
0.20	0.90	52.24	46.26	相似度约束收紧，大幅缩小不一致集多样性，性能滑落
0.20	0.85	52.53	50.46	过度限制冲突候选，无法充分利用视角不稳定信息

关键发现¶

未知召回断崖式下跌的根源被化解：现有 SOTA 方法在稀疏标注下未知召回率大幅缩水（如 OrthogonalDet 在 Extreme Task 1 中仅有 12.41%），主要由于漏标已知项被误划入未知或背景。DPOD 借助 KTRM 补全已知实例，在 Extreme Task 1 实现了 45.56% 的未知召回率，甚至比基线 CROWD 高出近 5 个百分点。
模块高度互补：单独引入 KTRM 可带来 +2.61% K-mAP 收益，证明其主要作用是抚平假负例标签噪声；而引入 DDTG 时未知召回和已知判定边界同时改善，两者联合使 K-mAP 累计提升 4.80%，U-Recall 提升 2.05%。
后期任务（Task 4）特性迁移：在 Task 4 阶段，由于绝大多数新类别已被并入已知集，剩余未知目标数量锐减，DDTG 的边际贡献减弱，全模型指标趋于平稳，符合增量开放世界检测的自然演进规律。

亮点与洞察¶

任务形式化首创：敏锐地揭示了 SAOD 与 OWOD 两个细分领域“人为割裂”的局限，首次提出 SA-OWOD 设定，精准契合实际工业界与真实世界中“既漏标、又遇新”的复杂标注常态。
几何投影消除匹配抖动：在实现双视角不一致性度量时，没有粗糙地使用 IoU 框匹配，而是采用几何空间坐标投影，确保提取的 RoI 特征严格对应物理同一区域，剔除了因定位抖动引起的虚假特征差异。
Facility-Location 条件增益的局部判别力：避开了传统对比学习将所有负样本做无差别全局距离聚合的弊端，仅针对局部最近的对抗样本施加排斥力，为稀疏特征流形提供了更加鲁棒紧致的局部决策边界。

局限与展望¶

作者承认的局限：DDTG 依赖人工固定的客体性阈值 $\tau_o = 0.2$ 和相似度阈值 $\tau_s = 0.95$。在实际跨任务测试中，不同类别的物理属性截然不同（例如领带等细长或小尺度配饰物体固有的客体性得分偏低），固定阈值容易造成特定类别的持续漏检。
独立观察的局限：骨干网络仍绑定于传统的 Faster R-CNN 与 ResNet-50 架构，尚未评估在基于 Vision-Language 预训练模型（如 CLIP、OWL-ViT 或 Florence-2）以及现代 DETR 类检测器下的普适性。
未来改进方向：探索基于任务难度的动态自适应阈值学习机制，并将双视角语义冲突理论拓展至端到端查询式架构中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出 SA-OWOD 严谨设定，双视角语义冲突挖掘未知目标的思路非常巧妙且符合直觉。
实验充分度: ⭐⭐⭐⭐⭐ 构建了多层级稀疏配置评估协议，涵盖从 Easy 到 Extreme 五种严苛工况与细致消融。
写作质量: ⭐⭐⭐⭐⭐ 叙述逻辑严丝合缝，问题定义精准，数学公式表达清晰规范。
价值: ⭐⭐⭐⭐⭐ 极大推进了开放世界目标检测迈向真实落地场景的可用性，对弱监督与长尾目标检测具有广泛启发意义。