Robust Onion: Peeling Open Vocab Object Detectors Under Noise¶

会议: ECCV 2026
论文: ECCV 2026 官方页
代码: https://github.com/ppriyank/RobustOnion
领域: 目标检测
关键词: 开放词汇目标检测, 鲁棒性分析, 特征坍缩, 可解释性, 低质量图像

一句话总结¶

Robust Onion 用可控合成退化（湍流、运动模糊、像素化）把开放词汇检测器逐层「剥洋葱」，以跨噪声严重度的特征重叠度定位失效层，发现鲁棒性几乎完全由视觉骨干的架构与深度决定（浅层最先崩，增强器与语言侧贡献极小），并据此把结论编译成仅 2.41M 参数的可插拔模块 NN & TK0，在 BDD-100K 等真实驾驶数据集上以 96× 更少的可训练参数取得与端到端微调相当的鲁棒性。

研究背景与动机¶

基于视觉语言模型的开放词汇目标检测器（OV-OD，如 GLIP、Grounding-DINO、OWL-ViT）因为在安防、医学影像、环境监测、自动驾驶等场景下免微调即可换类别，正被快速部署。但这类模型同时是深度学习里结构最不透明的一类：一个完整的 OV-OD 通常要串起多尺度视觉编码器、文本编码器、特征增强器（FPN 或 pixel decoder）、跨模态融合网络、框预测头与对齐损失，任何一个环节出问题，最终都只体现为 mAP 掉了几个点。

要研究「低质量噪声到底怎么伤害模型」，最干净的实验是拿配对的高质量（HQ）与低质量（LQ）图像比较同一场景的特征与输出差异，可现实中这种「噪声配对」数据集几乎不存在——BDD-100K 这类真实恶劣天气数据集甚至没有对应的干净图。于是，尽管 OV-OD 部署广泛，视觉失真对它的影响仍停留在「测一下掉多少点」的层面：知道坏了，但不知道坏在哪、为什么坏。已有的鲁棒性研究要么集中在 Faster R-CNN 一类的 CNN 检测器上，要么像 LR0.FM 一样分析相对简单的 VLM 分类任务，都没有回答「OV-OD 内部哪一部分该为鲁棒性负责」。

本文的切入角度是把鲁棒性从「黑箱指标」改成「可归因现象」：先在真实驾驶数据上观察到噪声会让视觉特征出现两种可区分的模式——一类是噪声特征与干净特征分裂成独立簇的可观测坍缩（observable collapse，如 cloudy、overcast），另一类是几乎没有可观测坍缩的最小坍缩（minimal collapse，如 snow、rain）；再从合成噪声里各挑一个代理去复现这两类模式（湍流对应可观测、运动模糊对应最小），从而绕开配对数据的缺口。有了可控的退化源，就可以像剥洋葱一样逐层剥开 OV-OD：先看架构各组件的特征在跨噪声严重度下是否还能重叠，再看数据集构成与语言侧是否真的参与其中。核心 idea：把「噪声下的鲁棒性」拆成一条可归因的因果链——用合成退化复现真实噪声造成的特征坍缩，用跨严重度的特征重叠度判断每一层在哪一步最先失效，再把结论直接编译成只动视觉骨干浅层的轻量适配模块。

方法详解¶

整体框架¶

这篇论文不是一个单点方法，而是一套「分析协议 + 由分析结论导出的模块」。分析对象是 6 个公开 OV-OD：RegionCLIP（含 ×4 变体）、GLIP、FIBER、MM-Grounding-DINO（MM-GDINO）、GLEE 和 YOLO-World；其中 CNN 系（YOLO、未微调的 RegionCLIP）明显弱于 transformer 系，所以主分析集中在 transformer 检测器上。评测基准是 COCO val2017（80 类，mAP）、LVIS miniVal（1,203 类，AP）和 ODinW-13（13 个数据集，APavg）；语言侧用 RefCOCO/+/g 与 Flickr30k（Recall@1）；模型侧结论最后拿到真实世界数据上验证，包括 BDD-100K、DAWN、Foggy Cityscapes、Virtual KITTI 2、WiderFace 和 VisDRONE。

需要先把「噪声」界定清楚：本文的噪声全部是图像侧退化（湍流、运动模糊、像素化，只施加在输入图像上），文本 caption 一字不改；类别名扰动不在研究范围内，唯一涉及文本扰动的是测试端 prompt 改写那一组对照（结论是边际影响）。所谓「剥洋葱」也不是真的逐层前向拆解，而是沿三条正交的剥离线做对照：视觉栈（骨干层位、增强器、融合网络）、数据侧（数据集构成、目标尺寸/数量/遮挡、标注体系）和语言侧（文本骨干、训练 caption 表达力、推理 prompt）。「剥」的判据是特征重叠度：鲁棒的模型不该区分噪声严重度，即严重度 5 的噪声特征应与严重度 0（干净）的特征在表示空间里重叠；某层一旦出现干净/噪声两个分离簇（特征坍缩），这一层就是失效点。整体流程是一个冻结模型加一组受控扰动与分组实验，不是串行多阶段流水线，因此这里不画框架图。

关键设计¶

1. 分析协议：用合成退化复现真实噪声的两类特征坍缩，并用相对鲁棒性解耦绝对精度

真实 LQ-HQ 配对数据不可得，直接评测会把「模型本来就弱」和「数据变难了」混在一起。作者的做法是先在真实驾驶数据上做特征层面的观察，把噪声引起的视觉特征（方差）坍缩分成两类：可观测坍缩（噪声特征形成远离干净特征独立簇，如 cloudy、overcast）与最小坍缩（几乎看不到分离，如 snow、rain），再从合成噪声里各挑一个代理——湍流（用预训练 GAN 模拟热气流的相位扰动）代理可观测坍缩，运动模糊代理最小坍缩，另外用像素化（下采样后用双三次插值放大回原尺寸）做严重度扫描。关键的一点是：坍缩类型不是某种噪声的固有属性，而是强度的函数——加大严重度可以把最小坍缩推成可观测坍缩，真实数据集（BDD-100K）上的噪声类别也因此能落到同一条轴上来比较。像素化的严重度 \(s\) 定义为 \((H,W)\to(H/2^s, W/2^s)\to(H,W)\)，作者特意强调像素化不等于低分辨率（例如 \(256\times256\) 的图仍可能来自被降采样的高分辨率原图）⚠️ 以原文为准。

度量上，本文刻意避开绝对精度，统一用相对鲁棒性：

\[\text{Relative Robustness} = 1 - \frac{\text{Acc}_{\text{clean}} - \text{Acc}_{\text{noise}}}{\text{Acc}_{\text{clean}}} = \frac{\text{Acc}_{\text{noise}}}{\text{Acc}_{\text{clean}}}\]

它等于噪声精度与干净精度之比，与模型的绝对水平无关，因此 ResNet 检测器和 EVA-02 检测器可以放在同一把尺子上比，COCO（mAP）与 LVIS（AP）也能横比。代价是它有一个边界：严重度 4、5 时噪声精度趋近 0，相对鲁棒性退化为随机水平，跨模型比较不再有意义，所以严重度扫描只在一定区间内可解释。作者同时发现绝对精度与相对鲁棒性近似成线性（图 5 右），保留模型间的相对排序，偏离这条线的多是微调过的模型——这个线性关系后面会反复用来解释前人的观察。

2. 视觉栈逐层剥离：用跨严重度的特征重叠度定位失效层

OV-OD 里通常有 3–5 个 transformer，改动任何一处都可能影响鲁棒性，从工程上无从下手。本文先用「按视觉骨干分组」把搜索空间压缩：把检测器按骨干聚成一簇（不管增强器、融合网络、文本骨干的差异），发现同骨干模型的鲁棒性高度一致，于是把细粒度分析收敛到 GLIP-T、MM-GDINO-L、GLEE-Pro 三者共享的 Swin-L 骨干上——这三个架构完全不同的模型在所有噪声下的最大鲁棒性差只有 0.15（COCO）/ 0.08（LVIS）。接下来对骨干最后 4 层、增强器末层、融合网络末层分别计算跨严重度的 UMAP 表示，比较严重度 5 与严重度 0 特征的重叠程度，得到三条结论：骨干深层（#3、#4）的重叠显著高于浅层（#1、#2），即浅层才是噪声最先打散的地方，而且不同模型在相同深度呈现相似的坍缩模式，这直接解释了为什么同深度的骨干鲁棒性相近（Swin-L 与 EVA-02 都是 24 个 block）；增强器本质是骨干之上的简单卷积块，其末层重叠与骨干 #4 层几乎一样，说明它对鲁棒性几乎没有贡献；融合网络把 192×192、96×96、48×48、24×24 四个尺度的视觉特征与语言做交叉交换，其特征跨严重度显著重叠，说明跨层信息交换本身能提升鲁棒性，但这个收益来自「跨层」而非「语言」。

这条剥离线旁边还有四组相关性证据支撑「骨干主导」的判断：鲁棒性与模型规模正相关（Pearson 系数在 COCO/LVIS 上分别为 0.68/0.66（像素化）、0.78/0.72（湍流）、0.77/0.70（运动模糊））；与预训练数据量只有弱相关（0.35/0.23、0.41/0.39、0.42/0.22）；微调不是普适增益（COCO/LVIS 干净微调显著帮到 ResNet 系的 RegionCLIP，对 transformer 系的 FIBER-B 几乎无影响）；骨干深度的排序是 ResNet < Swin-T（12 block，27M）< Swin-B（12 block，87M）≤ Swin-L（24 block，195M）≃ EVA-02（24 block，303M）——到了一定规模之后，参数量本身不再关键，深度更像决定因素。

3. 数据与语言侧剥离：鲁棒性由图像域决定，标注与提示词都救不回来

直觉上「类别更多、描述更细、提示词带上退化线索」应该有助于鲁棒性，本文用三条对照线逐一否证。数据侧最关键的一组是 COCO 与 LVIS：二者用完全相同的图像，但标注从 80 类变成 1,203 类的长尾体系，而鲁棒性几乎相同——这直接说明标注体系不是主导变量；真正拉开差距的是图像本身，因为 ODinW-13 的鲁棒性稳定在 ≈0.6，接近 COCO/LVIS 的两倍。差异出在图像构成：ODinW-13 只有约 10% 的目标是极小目标（≤32×32），而 COCO 约 42%、LVIS 约 58%；ODinW-13 约 50% 的图像只有一个目标，COCO 只有约 12%、LVIS 约 38%。与之吻合的细粒度规律是：≥96×96 的大目标远比 ≤32×32 的小目标鲁棒；单目标图像上几乎所有检测器都极鲁棒，目标数超过 3 开始掉，到 10 个以上趋于饱和（25 个之后的抖动来自该区间样本太少）；而目标之间的遮挡（重叠 IoU 之和）几乎不影响鲁棒性，这一反直觉结果说明图像「拥挤」的难度主要来自目标数量与尺寸，不来自重叠。

语言侧的两条对照同样给出否定答案。其一是训练 caption 的表达力：在 RefCOCO（简单表达式）、RefCOCO+（外观描述）、RefCOCOg（详尽长句）上分别微调 FIBER 再测 COCO，三者鲁棒性几乎一致，只在湍流上有细微差异。其二是推理端 prompt：用 Granite LLM 把 Flickr30k 的 caption 改写成 5 条带有「低分辨率/像素化」语境的提示（例如把「一个男孩在城市石墙前微笑」改写成「在一幅低分辨率的城市景象中，男孩的笑容映在粗糙的石墙上」），再把视觉嵌入与 5 条改写提示的融合嵌入一起评测，跨严重度鲁棒性没有变化；在 ODinW-13 上比较细粒度 prompt 与超类 prompt 也只差 ≈0.14（像素化）/0.17（湍流）/0.12（运动模糊）。因此可以下的结论是：一旦视觉特征已被破坏，语言侧无法把它补回来——这不是文本编码器弱，而是它在整条链路上根本不在关键路径上。

4. NN & TK0：把归因结论编译成 2.41M 参数的可插拔模块

四条分析结论（骨干主导、浅层最脆弱、跨层交换有效、语言侧无需训练）直接对应两个极轻量组件，且都只作用在冻结的 OV-OD 视觉骨干上，因此不会破坏预训练权重。第一个是 TK0，它改造自 LR-TK0：原方法在冻结 transformer 上挂可训练 token、用教师-学生蒸馏做低分辨率分类；本文去掉昂贵的蒸馏，只保留可训练 token，并把它们插到骨干的每一层（尤其浅层）——每层插入固定的 32×32 个空间 token，插值到该层的空间分辨率后加到冻结特征图上。插值带来两个好处：LR-TK0 对每个 ViT 层挂固定数量的 prompt，无法适应各层不同的 \(H\times W\)，插值让同一套 token 适配所有层级；同时开销更低，600×600 的 Swin-T 输入下 32×32 token 只增加 5.7% 参数，而固定 token 设计要 22.5%。

第二个是 NN，一个可训练的非局部（non-local）块，实现为单头自注意力：query、key、value 都由各层空间 token 拼接而成，让 token 在层与层之间共享空间信息。它实际上是设计 2 中「融合网络的收益来自跨层交换」的最小实现——注意 NN 只有 1 头 1 层，而原生的 fusion 是多层多头 transformer decoder。两者结合即 NN & TK0：只训练 2.41M 参数，相对端到端训练的 231.76M 少 96×，而 OV-OD 本体完全冻结，所以零样本 COCO 性能的损失也小得多。

损失函数 / 训练策略¶

GLIP-T 使用其默认训练配置，在 BDD-100K 训练集（698,630 条图文 caption）上训练。两个基线分别是：E2E，端到端训练整个 GLIP（含文本骨干）；Fuse，冻结模型只训练融合 transformer——Fuse 之所以算「强基线」，是因为融合网络本身就是 OV-OD 里负责跨骨干层交换信息的默认设计。两者都会改动预训练权重，因此有损害零样本能力的风险。本文的组件则是：TK0 只训 1.57M 参数（比 E2E 轻 147.4×），NN 只训 0.84M 参数（少 275.7×），组合 2.41M。补充实验里 WiderFace 用 Flickr30k 训练、VisDRONE 用 UAVDT 训练，其余设置一致。

实验关键数据¶

主实验¶

表 1 是 BDD-100K 上训练的 GLIP-T 在真实恶劣天气数据集上的零样本评测（括号内为相对零样本基线的变化，正负号表示升/降）。DAWN 含部分多云（PC）、雪（S）、雨（R）、雾（F）、阴天（O）等类别，Foggy Cityscapes 取雾强度 0.02，Virtual KITTI 2 含 City/F/O/R 等条件。

方法	可训练参数 (M)	DAWN All	Foggy Cityscapes All	Virtual KITTI 2 All	COCO
零样本	—	31.4	33.8	20.9	46.6
E2E	231.76	66.4 (+35.0)	36.0 (+2.2)	31.6 (+10.7)	3.0 (−43.6)
Fuse	91.85	65.1 (+33.7)	35.6 (+1.8)	29.8 (+8.9)	3.8 (−42.8)
TK0	1.57	45.1 (+13.7)	32.5 (−1.3)	26.1 (+5.2)	43.2 (−3.4)
NN	0.84	45.0 (+13.6)	33.4 (−0.4)	28.7 (+7.8)	22.1 (−24.5)
NN & TK0	2.41	55.2 (+23.8)	36.1 (+2.3)	29.9 (+9.0)	33.4 (−13.2)

跨域泛化的第二张表进一步说明「冻结权重」的价值：在 Flickr30k→WiderFace 与 UAVDT→VisDRONE 两条跨域链上，只训 2.41M 参数的 NN & TK0 在四列指标中的三列上优于 E2E，且全部优于零样本基线。

方法	可训练参数 (M)	Flickr30k→WiderFace AP / AP50	UAVDT→VisDRONE AP / AP50
零样本	—	11.98 / 26.49	20.44 / 27.09
E2E	231.76	10.86 / 24.69	18.68 / 30.56
Fuse	91.85	10.55 / 24.92	20.07 / 29.89
NN & TK0	2.41	13.23 / 28.71	19.34 / 30.97

消融实验¶

这篇论文的「消融」不是删模块，而是逐组件剥离：对每个组件问「把它单独看，它对噪声下特征重叠的影响有多大」。

被剥离的组件	观测手段	观测结果	对鲁棒性的贡献
视觉骨干（深度）	按骨干分组比较	同骨干模型鲁棒性一致；ResNet < Swin-T < Swin-B ≤ Swin-L ≃ EVA-02	主导因素
视觉骨干（层位）	骨干 #1–#4 层跨严重度 UMAP 重叠	浅层 #1/#2 出现明显干净/噪声分离簇，深层 #3/#4 重叠高	浅层是失效源头
特征增强器（FPN / pixel decoder）	增强器末层 UMAP	重叠程度与骨干 #4 层相近	极小
融合网络（fusion）	fusion 末层 UMAP	跨严重度显著重叠	有，但收益来自跨层交换而非语言
文本骨干与语言表达力	文本骨干对比、RefCOCO/+/g 微调、LLM 改写 prompt、细粒度 vs 超类 prompt	差异都在边际量级（超类 prompt 平均 Δ ≈0.14/0.17/0.12）	极小
预训练规模	预训练数据量 vs 相对鲁棒性	Pearson 0.35/0.23、0.41/0.39、0.42/0.22	弱相关
微调	COCO/LVIS 干净微调	RegionCLIP（ResNet）明显受益，FIBER-B（transformer）几乎不变	非普适增益
标注体系	COCO vs LVIS（同图不同标注）	鲁棒性接近	极小（图像域主导）
数据集构成	ODinW-13 vs COCO/LVIS	ODinW-13 ≈0.6，约为另两者两倍	是混淆因素：大而孤立的目标抬高了分数

关键发现¶

最脆弱的是视觉骨干的浅层，不是文本编码器。噪声先在浅层把干净/噪声特征分成两簇，后续所有层都在被污染的表示上工作；文本侧既没有能力也没有通道去补救，因为融合发生在骨干之后。这一结论对设计有直接含义：与其改造语言侧，不如在浅层做增强或引入跨层交换。
ODinW-13 会系统性高估鲁棒性。它约 50% 是单目标图、只有约 10% 是极小目标，于是维持了接近 COCO/LVIS 两倍的鲁棒性分数；论文里 FIBER-B 在像素化的 ODinW-13 上能正确检出少数几个目标（即便遮挡严重），但目标一多就把所有物体并进一个大框。用 ODinW-13 单点报告鲁棒性会给出虚假的安全感。
遮挡与鲁棒性几乎无关，反直觉但在数据上自洽。在目标尺寸与数量受控时，目标间 IoU 之和几乎不改变鲁棒性，说明「图像拥挤」的难度主要由目标数量和尺寸决定；这解释了为什么类别频率与鲁棒性几乎不相关（≈0.02/0.021），而类别平均尺寸有中等相关（0.52/0.45）——COCO 上最容易的是 parking meter、stop sign、toilet 这类通常单独出现且尺寸规整的目标。
冻结预训练权重的收益非常明显。E2E 与 Fuse 在真实噪声集上提升巨大（DAWN All +35.0 / +33.7），代价是在原始 COCO 上崩到 3.0 / 3.8（Δ −43.6 / −42.8），属于典型的「用泛化换鲁棒」；NN & TK0 只掉 13.2，同时仍在 DAWN 与 Foggy Cityscapes 上追平甚至略超 Fuse。
NN 与 TK0 单独用都不够。TK0 单独在真实噪声上明显低于 E2E/Fuse（DAWN All 45.1 vs 66.4），NN 单独则把 COCO 掉到 22.1（Δ −24.5），说明「只在浅层加 token」和「只做跨层交换」各补一半：前者补表示容量，后者补跨层信息流，合起来才相当于把分析结论完整落地。

亮点与洞察¶

把「鲁棒性评测」升级成「特征坍缩诊断」。跨严重度的特征重叠度是一个不需要标注、不需要重训、不需要配对数据的探针，只要模型有可导出的中间层就能用；这个思路可以平移到任何层级式模型（分割、深度估计、视频理解）的鲁棒性归因，而不必逐个模块做删改实验。
用合成噪声替代不可得的 LQ-HQ 配对数据时，给出了明确的对应关系（可观测坍缩 ↔ 湍流、最小坍缩 ↔ 运动模糊、严重度可调 ↔ 像素化）。这把「没法做的实验」变成「可控的代理实验」，并且承认对应关系是经验性的——这是这类分析工作少见的克制。
相对鲁棒性把绝对精度解耦，同时作者主动交代了它的软肋：它与干净精度近似线性，所以「鲁棒性好」在相当程度上是「精度高」的影子。这一步坦白反而让后面解释前人观察（比如 GroundingDINO 比 OWL-ViT 鲁棒）变得有力，而不是把相关性当因果卖。
NN & TK0 是分析结论的最小实现：既然跨层交换有效、浅层脆弱、语言无需训练，那就只在浅层插空间 token 加一个单头自注意力，2.41M 参数、96× 更省，且主干完全冻结不伤零样本。这种「结论 → 最小可验证模块」的闭环是纯分析论文少有的落地方式。

局限与展望¶

噪声仍是合成的。湍流、运动模糊、像素化只是真实退化的代理，作者也承认要把「退化语境」真正注入模型，需要一个带噪声感知 caption 与标注的新数据集，属于 future work——也就是说，本文证明的是「推理时提示词无效」，训练时注入是否有用仍未验证。
极端严重度下指标失效。严重度 4、5 时噪声精度趋近 0，相对鲁棒性退化为随机水平，此时模型间的比较没有意义；论文虽然标注了这一点，但部分结论仍建立在严重度 5 的特征可视化上。
真实数据缺干净对照。BDD-100K 没有干净图像，作者只能靠合成 COCO 上的坍缩模式去对齐真实噪声类别，对齐本身是间接证据，不是同一场景下的配对比较。
覆盖规模有限。主分析集中在 transformer 检测器（CNN 系因不具代表性被排除），「同深度 → 相似坍缩」的强结论主要靠 Swin-L 与 EVA-02 两个 24-block 骨干支撑，样本数偏少。
我自己的两点观察：NN 单独使用时 COCO 从 46.6 掉到 22.1（Δ −24.5），说明「只做跨层交换、不动浅层」会显著损害泛化，论文只描述了现象没有解释；另外 TK0 的 32×32 token 与 5.7% 开销是在 600×600 的 Swin-T 上测的，换骨干或换输入分辨率是否仍成立并未讨论。

评分¶

新颖性: ⭐⭐⭐⭐ 首个系统剥离开放词汇检测器鲁棒性来源的可解释性研究，「噪声 ≈ 特征坍缩」的框架以及「语言侧在视觉鲁棒性上几乎不参与」的结论都很有信息量。
实验充分度: ⭐⭐⭐⭐⭐ 6 个检测器、3 个检测基准加语言基准、6 个真实世界数据集、三档噪声严重度、特征级 UMAP 诊断，还把前人 8 条观察逐一对齐解释。
写作质量: ⭐⭐⭐⭐ WHERE/WHY/WHAT/HOW 的组织清晰、Takeaways 可操作，但图表密集、部分 UMAP 小图难分辨，表 1 的 Δ 含义需要读表注才能确认。
价值: ⭐⭐⭐⭐ 结论可直接指导设计（改视觉骨干浅层 + 跨层交换），并用 96× 更少参数的 NN & TK0 在真实数据上验证；主要折扣在于结论建立在合成噪声上，真实 LQ-HQ 配对仍是空白。