Rethinking Pseudo-Labels: Multi-Granularity Supervision for Domain Adaptive Object Detection¶

会议: ECCV 2026
论文: CVF Open Access
领域: 目标检测
关键词: 域自适应目标检测, 伪标签, 多粒度监督, 双重竞争聚合, 粗细协同过滤

一句话总结¶

针对传统师生域自适应检测仅依赖噪声严重的候选框伪标签的问题，本文提出多粒度伪标签框架（MGPL），通过双重竞争机制从 RPN 聚合高精度的图像级全局预测，并结合粗细协同自适应过滤，在 Pascal VOC→Clipart1k 上达到 51.4% mAP，超越 Oracle 全监督上限 6.4%。

研究背景与动机¶

跨域目标检测（Domain Adaptive Object Detection, DAOD）旨在将知识从带标注的源域迁移到完全无标注的目标域中。在真实部署场景中，由于光照、天气、传感器配置或图像风格（如真实照片到艺术剪贴画）的剧烈变化，传统的深度目标检测器往往遭遇灾难性的性能骤降。虽然早期研究探索了基于对抗学习的特征对齐以及基于生成模型的跨域图像转换，但近年来师生架构（Teacher-Student Framework）与自训练范式已成为该领域的主导路线。在这套体系中，以指数移动平均更新的教师模型在弱增强目标域图像上生成伪边界框，经置信度阈值过滤后指导强增强下的学生模型学习。

然而，现存的师生域自适应方法面临着单一候选框粒度伪标签带来的固有顽疾。在跨域分布漂移下，教师网络产生的候选区域存在严重的分类混淆与定位偏移，直接将这些充满噪声的候选框作为监督信号会导致错误在师生自训练迭代中被不断级联放大。与此同时，现有方法普遍采用全局固定的人工置信度阈值（如 0.8 或 0.9），这种刚性门槛极难适应不同类别的难度差异：一方面难以过滤图像中根本不存在的易混淆类别假阳性，另一方面又容易将低置信度但定位良好的难样本（如小目标、遮挡物体）彻底剔除，造成严重的漏检。

面对这一两难困境，作者借鉴弱监督目标检测（WSOD）中的多示例学习思想并进行实证观察，发现了一个关键反直觉现象：在跨域未标注图像上，通过聚合候选区域分数得到的图像级类别存在性预测，其分类准确率和精确率显著高于单个候选框的质量。这是因为聚合过程在统计上能够平滑局部定位偏差并稀释独立候选的分类噪声。然而，若仅依赖图像级监督又会丢失目标检测不可或缺的空间几何定位约束。核心 idea：本文构建多粒度伪标签框架（MGPL），首次在师生域自适应中显式融合图像级粗粒度预测与候选框级细粒度伪标签，利用双重竞争聚合自适应提取高置信度全局语义，并通过粗细协同自适应推断无参阈值，实现跨粒度双向协同互补。

方法详解¶

整体框架¶

MGPL 构建在经典的师生检测架构（基于 Faster R-CNN 与 Adaptive Teacher）之上。在训练阶段，无标注的目标域图像分别经过弱数据增强和强数据增强后输入教师网络与学生网络。教师网络基于骨干特征提取 RPN 候选区域与分类对数，通过双重竞争聚合机制在不增加任何额外参数的前提下，提炼出整张图像的类别存在概率向量；随后，该图像级全局语义与候选框预测进行粗细协同计算，通过类间方差最大化自适应确定每张图像的最优保留阈值；最后，学生网络在源域有监督损失的基础上，同时接收来自教师网络的图像级软标签交叉熵监督与过滤后的高质量目标框伪监督。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["目标域无标签图像<br/>(弱增强 / 强增强)"] --> Teacher["教师模型 (EMA 更新)<br/>提取 RPN 候选与类别对数"]
    Teacher --> A["双重竞争聚合机制<br/>Top-k类别竞争 + 目标性竞争加权"]
    Teacher --> B["粗细协同自适应过滤<br/>协同得分引导 + 类间方差最大化阈值"]
    A -->|图像级预测全局语义| B
    A --> C["多粒度协同监督学习<br/>图像级 BCE 软标签蒸馏"]
    B -->|自适应过滤候选框| C
    C --> Student["学生检测器<br/>(反向传播更新)"]

关键设计¶

1. 双重竞争聚合机制：无需额外参数从局部候选提炼全局语义

在缺乏图像级真实标注的目标域中，如何从充满噪声的 RPN 候选框集合中稳定提炼出全局图像级存在概率是整个粗粒度监督的基础。若直接对所有候选进行简单均值池化，大量低质量背景候选的噪声对数会污染前景判断。为此，本文设计了双重竞争聚合流程，解耦候选内部的语义辨识与跨候选的质量评估。对于给定的 $N$ 个候选区域 $\{r_i\}_{i=1}^N$，设其分类对数向量为 $x_i \in \mathbb{R}^C$，RPN 目标性得分（objectness score）为 $s_i^{obj}$。

首先进行候选内部类别竞争（Intra-Proposal Class Competition）。为阻断低得分不相关类别的随机扰动，限制竞争仅在每个候选得分最高的前 $k$ 个候选类别集合 $\mathcal{T}_k(x_i)$ 内展开并做局部 Softmax 归一化： $$P_{i,c} = \frac{\exp(x_i^c) \cdot \mathbf{1}[c \in \mathcal{T}_k(x_i)]}{\sum_{c' \in \mathcal{T}_k(x_i)} \exp(x_i^{c'})}$$ 该设计能够锐化语义概率分布，有效抑制尾部噪声类别的影响。随后执行基于 Argmax 的目标性分配（Argmax-based Objectness Assignment），找到该候选置信度最高的唯一类别 $c_i^* = \arg\max_c x_i^c$，并将该候选的物理目标性得分严格定向注入到该类别通道，形成稀疏的类别目标性矩阵： $$\hat{O}_{i,c} = s_i^{obj} \cdot \mathbf{1}[c = c_i^*]$$ 接着在类别内部展开第二阶段的目标性竞争（Objectness-based Competition），跨所有候选沿类别维度做 Softmax 归一化，得到反映候选可靠程度的归一化权重： $$w_i^c = \frac{\exp(\hat{O}_{i,c})}{\sum_{j=1}^N \exp(\hat{O}_{j,c})}$$ 最终通过质量加权聚合得到整幅图像关于类别 $c$ 的存在概率 $\hat{y}_c = \sum_{i=1}^N w_i^c \cdot P_{i,c}$。整套聚合机制完全由两阶段竞争与确定性算子构成，不引入任何可学习参数。

2. 粗细协同自适应过滤：图像级语义指导下的无参阈值推断

传统方法依赖全局固定的人工置信度阈值 $\tau$ 筛选伪框，导致图像中未出现的类别频繁产生假阳性，而出现但置信度稍低的困难真实目标又被误删。本文提出利用图像级全局语义反哺候选级伪框质量控制。首先，计算每个候选与图像级预测的协同得分（Collaborative Score）： $$r_i = \max_c \left( P_{i,c} \cdot \hat{y}_c \right), \quad c_i^* = \arg\max_c \left( P_{i,c} \cdot \hat{y}_c \right)$$ 其中 $P_{i,c}$ 为该候选在类别 $c$ 上的标准 Softmax 预测概率。若某个类别在整图中预测存在概率极低（$\hat{y}_c \approx 0$），则该类别对应的所有局部候选的协同得分会被直接压低至接近 0，从而在根本上斩断背景区域或混淆类别的误检假阳性。

为了彻底摆脱人工设定阈值的超参数脆弱性，本文进一步引入基于类间方差最大化（Inter-Class Variance Maximization）的自适应阈值推导（原理类似于图像分割中的 Otsu 大津法）。将当前图像所有候选的协同得分 $\{r_i\}_{i=1}^N$ 离散化为 $K$ 个直方图区间，计算其经验概率分布 $\{p_k, t_k\}_{k=1}^K$。对于任意候选分割阈值 $t$，分别计算低于该阈值的背景分布累积权重 $\omega(t) = \sum_{r_i \le t} p(r_i)$ 与累积均值 $\mu(t) = \sum_{r_i \le t} r_i \cdot p(r_i)$。定义前景与背景分组之间的类间方差为： $$\sigma_B^2(t) = \frac{(\mu_T \cdot \omega(t) - \mu(t))^2}{\omega(t) \cdot (1 - \omega(t))}$$ 其中 $\mu_T$ 为整张图像所有候选协同得分的总体均值。通过一维穷举搜索找到令类间方差最大的最优阈值 $\tau^* = \arg\max_t \sigma_B^2(t)$。最终仅保留满足 $r_i \ge \tau^*$ 的候选框作为伪标签监督。这种策略完全根据每幅图像内部预测分布的聚集性动态确定分界点，在保证精度的同时显著提升了对低对比度、小目标等困难真值的召回率。

3. 多粒度协同监督学习：粗细双通道渐进联合优化

为了让学生网络既能掌握全局场景级语义分类约束，又能获得像素级边界框定位能力，模型构建了多粒度联合监督损失。整体优化目标由三部分构成： $$\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{src}} + \lambda_{\text{img}} \mathcal{L}_{\text{img}} + \lambda_{\text{prop}} \mathcal{L}_{\text{prop}}$$ 其中 $\mathcal{L}_{\text{src}}$ 代表有标注源域上的标准 Faster R-CNN 监督损失（包含 RPN 分类与回归损失，以及 ROI 头分类与回归损失），确保检测器保留源域学到的基础目标表征。

在未标注目标域上，$\mathcal{L}_{\text{img}}$ 构成粗粒度的全局语义软监督。作者将教师模型输出的图像级预测向量 $\hat{y}^t \in [0, 1]^C$ 作为连续软标签，对学生模型对应聚合得到的图像级预测 $\hat{y}^s \in [0, 1]^C$ 计算多标签二元交叉熵损失（BCE Loss）： $$\mathcal{L}_{\text{img}} = - \frac{1}{C} \sum_{c=1}^C \left[ \hat{y}_c^t \log(\hat{y}_c^s) + (1 - \hat{y}_c^t) \log(1 - \hat{y}_c^s) \right]$$ 该损失直接约束学生网络的全局特征辨识度，规避了由于候选框定位不准带来的分类误差。而细粒度监督 $\mathcal{L}_{\text{prop}}$ 则利用协同过滤后保留的高质量伪框集合 $\mathcal{P}_{\text{pseudo}}$ 对学生网络的 ROI 检测头与 RPN 进行位置回归与类别监督。粗细双重路径在反向传播中形成合力，粗粒度约束稳定全局分类基底，细粒度框强化空间几何定位，实现了显著超越单粒度自训练的鲁棒性。

损失函数 / 训练策略¶

模型在目标域图像上采用弱强数据增强对策略，学生网络通过随机梯度下降（SGD）更新，动量为 0.9，学习率为 0.005。教师网络参数不计算梯度，而是通过 EMA 策略以衰减系数 $\alpha = 0.9996$ 紧随学生网络平滑更新。首先在源域有标注数据上预训练 40k 轮次完成冷启动，随后在源域与目标域数据混合下进行 100k 轮次的多粒度互学习（Mutual-learning）。各监督项损失权重设为 $\lambda_{\text{prop}} = 0.5$、$\lambda_{\text{img}} = 0.5$，同时辅助继承自 Adaptive Teacher 的判别器对抗对齐损失（权重 $\lambda_{\text{dis}} = 0.1$），top-$k$ 截断常数取 $k=3$。

实验关键数据¶

主实验¶

论文在三个经典的域自适应目标检测基准上开展系统评估，涵盖跨风格、跨天气和跨相机视角三种典型域漂移。在 Pascal VOC→Clipart1k 评测中以 ResNet-101 为主干网络；在 Cityscapes→Foggy Cityscapes 与 KITTI→Cityscapes 中以 VGG-16 为主干。评价指标为严格遵循通用的 mAP50（IoU 阈值为 0.5）。

跨风格适应基准：Pascal VOC → Clipart1k（ResNet-101）

方法	类别	aero	bike	bird	boat	bottle	bus	car	cat	chair	cow	table	dog	horse	mtr	prsn	plant	shp	sofa	train	tv	mAP (%)
Source Only	传统下界	23.0	39.6	20.1	23.6	25.7	42.6	25.2	0.9	41.2	25.6	23.7	11.2	28.2	49.5	45.2	46.9	9.1	22.3	38.9	31.5	28.8
AT (CVPR'22)	经典基线	33.1	66.1	35.3	44.9	57.5	44.9	51.0	5.8	59.5	54.9	34.6	23.5	64.3	84.0	75.4	51.5	17.1	30.3	43.3	37.2	45.7
CMT (CVPR'23)	对比学习	39.8	56.3	38.7	39.7	60.4	35.0	56.0	7.1	60.1	60.4	35.8	28.1	67.8	84.5	80.1	55.5	20.3	32.8	42.3	38.2	47.0
CAT (CVPR'24)	前期最优	40.5	64.1	38.8	41.0	60.7	55.5	55.6	14.3	54.7	59.6	46.2	20.3	58.7	92.9	62.6	57.5	22.4	40.9	49.5	46.0	49.1
MGPL (本文)	多粒度	37.4	71.5	41.2	45.5	63.1	71.9	50.6	17.3	56.3	50.5	47.1	16.2	52.3	92.1	75.2	62.9	30.7	46.8	37.4	62.4	51.4
Oracle	目标全监督	33.3	47.6	43.1	38.0	24.5	82.0	57.4	22.9	48.4	49.2	37.9	46.4	41.1	54.0	73.7	39.5	36.7	19.1	53.2	52.9	45.0

跨天气与跨相机适应基准：Cityscapes → Foggy Cityscapes (C→F) 与 KITTI → Cityscapes (K→C)

方法	发表出处	C→F Person	C→F Rider	C→F Car	C→F Truck	C→F Bus	C→F Train	C→F Motor	C→F Bicycle	C→F mAP (%)	K→C Car AP (%)
Source Only	-	27.9	33.4	40.4	12.1	23.2	10.1	20.7	30.9	24.8	40.3
DA-Faster	CVPR 2018	29.2	40.4	43.4	19.7	38.3	28.5	23.7	32.7	32.0	41.9
PT	ICML 2022	43.2	52.4	63.4	33.4	56.6	37.8	41.3	48.7	47.1	47.8
AT	CVPR 2022	46.3	55.9	64.3	38.5	61.1	39.3	40.8	52.3	49.8	-
CMT	CVPR 2023	47.0	55.7	64.5	39.4	63.2	51.9	40.3	53.1	51.9	64.3
DSD-DA	ICML 2024	49.0	59.6	65.3	35.7	61.0	46.5	43.9	57.3	52.3	49.3
MGPL (本文)	ECCV 2026	51.7	56.2	64.7	40.6	62.2	52.6	44.2	57.4	52.7	64.3
Oracle	-	41.2	49.1	61.6	32.6	56.6	49.0	37.9	42.4	46.3	64.4

消融实验¶

核心模块逐级消融（Pascal VOC → Clipart1k, ResNet-101）

配置编号	图像级监督 ($\mathcal{L}_{\text{img}}$)	协同自适应过滤 (Filtering)	候选实例级监督 ($\mathcal{L}_{\text{prop}}$)	mAP (%)	相比 AT 变化
1 (AT 基线)	✗	✗	✓	45.7	基准
2 (纯图像级)	✓	✗	✗	46.1	+0.4%
3 (无自适应过滤)	✓	✗	✓	50.6	+4.9%
4 (MGPL 完整模型)	✓	✓	✓	51.4	+5.7%

图像级损失权重 $\lambda_{\text{img}}$ 敏感度分析（Pascal VOC → Clipart1k）

$\lambda_{\text{img}}$ 取值	0.1	0.3	0.5 (默认)	1.0	2.0
mAP (%)	48.5	50.5	51.4	51.0	50.8

关键发现¶

多粒度互补性大幅超越单粒度：单纯依靠实例候选框伪标签时，受限于目标域定位与分类噪声，AT 仅达到 45.7% mAP；而纯图像级监督达到 46.1% mAP。当二者直接简单组合时，性能剧增至 50.6%（大幅提升 +4.9%），印证了全局分类与局部定位之间的强互补性。在此基础上引入粗细协同自适应过滤后，进一步达到 51.4%，充分证明了通过全局置信度自适应清洗局部伪框的价值。
极端伪标签噪声下的卓越鲁棒性：在人为对候选框类别注入 $r \in [0.0, 1.0]$ 的随机错误标签实验中，当噪声比例达到 100%（$r=1.0$）时，单实例伪框基线 AT 的性能从 45.7% 剧烈塌缩至 38.6%（衰减 $\Delta = -7.1\%$）；而 MGPL 展现出极高韧性，完整模型与 AT 的领先优势从初始的 +5.7% 进一步扩大至 +9.3%。这表明聚合产生的图像级监督具备天然的噪声平抑效应，有效斩断了自训练过程中的误差雪崩。
权重呈现平缓单峰分布：对 $\lambda_{\text{img}}$ 的探索显示模型在 $\lambda_{\text{img}}=0.5$ 处取得最优值，当权重提升至 2.0 时略微下降至 50.8%，说明适度平衡粗细粒度即可取得稳定性能，无需极为苛刻的调参。

亮点与洞察¶

将多示例学习的抗噪优势重构入师生自训练体系：巧妙察觉到局部候选的分类/定位噪声在全局聚合后被大幅稀释，打破了 DAOD 领域“伪标签必须是边界框”的思维定式，无需标注成本即可低成本引入全局强监督。
大津法启发的无参类间方差自适应阈值：摆脱了以往自训练中依赖全局静态置信度门槛的缺陷，利用图像级存在先验构造联合得分并动态求解双峰分布分界点，兼顾高精度的同时挽救了边缘困难样本。
多粒度监督范式具备跨任务迁移价值：该方法中“以统计聚合所得的粗粒度可靠信号约束并筛选细粒度结构化预测”的逻辑，能无缝迁移至 3D 目标检测、开放词表检测、弱监督动作定位等面临伪标签确认偏差的领域。

局限与展望¶

强依赖二阶段检测器架构：本文的双重竞争聚合机制高度依赖 Faster R-CNN 中 RPN 输出的候选框及其显式目标性得分（objectness），难以直接推广到一阶段检测器（如 YOLO 系列）或 DETR 类查询机制检测器上。
缺乏局部空间相关性建模：图像级预测聚合主要基于独立的候选框通道 Softmax 和加权和，并未建模多个候选目标之间的空间上下文拓扑关系与重叠冲突。
未来方向：探索在 DETR 架构中通过对象查询（Object Queries）自注意力权重构建全局自监督通道，并结合开放词表大模型（如 CLIP）为图像级预测提供外部语义校准。

评分¶

新颖性: ⭐⭐⭐⭐☆ 敏锐地指出并验证了图像级聚合预测在抗跨域噪声上的优越性，首创双重竞争与粗细协同自适应过滤机制。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖三大多场景跨域基准、详尽的模块消融、参数敏感度以及系统的伪标签噪声鲁棒性分析。
写作质量: ⭐⭐⭐⭐⭐ 逻辑层层推进，数学表达与符号推导严谨自洽，方法论与动机高度呼应。
价值: ⭐⭐⭐⭐☆ 为域自适应目标检测开辟了多粒度伪标签监督的新视角，具有极强的理论启发与工程参考意义。