COVD: Continual Open-Vocabulary Object Detection with Novel Concept Injection¶

会议: NeurIPS 2026
arXiv: 2605.27116
代码: https://github.com/xxx
领域: 目标检测
关键词: 持续学习, 开放词汇目标检测, 概念注入, 多模态表征对齐, 参数解耦

一句话总结¶

针对真实场景中新概念不断涌现且全量重训成本高昂的难题，本文提出持续开放词汇目标检测（COVD）设定及 Novel-114 基准，并设计了无需引入额外参数的 NoIn-Det 框架，通过冻结视觉编码器、表征空间稳定性蒸馏与知识感知参数解耦，实现了新概念的高效吸纳与历史/基底检测知识的无损保留。

研究背景与动机¶

开放词汇目标检测（OVD）依托大规模视觉-语言模型（VLM）学习到的丰富跨模态语义空间，成功打破了传统目标检测固定的类别限制，实现了从已知基类向未知类别的零样本泛化迁移。然而在实际部署场景中，现实世界的概念集合是一个持续动态膨胀的开放系统，垂直专业领域、长尾罕见物种以及新兴工业制品不断涌现。面对这些预训练语料极少覆盖的全新概念，现有 OVD 探测器往往难以在多模态特征空间内建立可靠的视觉-语言跨模态对齐，导致在真实新概念上的定位与识别精度急剧恶化。

若每当新概念批次到达便采用全量重训来吸纳新知，不仅需要长期维护和回放海量的历史多模态图文数据，而且计算开销会随着任务累积而发生灾难性爆炸；现有的 VLM 持续学习范式则普遍存在显著缺陷：基于外部 Prompt 的方法仅将新概念寄存在外挂提示中而未真正内化；基于 Adapter 或 MoE 的方案会引入不断增长的外挂参数造成模型膨胀；而针对多模态双分支同时微调的参数高效微调（PEFT）又极易撕裂预训练建立的底层语义空间，引发灾难性遗忘。更关键的是，作者通过特征可视化发现了一个根本性的技术洞察：经过大规模预训练的视觉编码器本质上已经具备强大的视觉基元表征能力，哪怕从未见过的全新概念，模型也能通过颜色、纹理、材质与局部结构将其映射到合理的视觉特征流形中；检测退化的瓶颈根本不在于“看不见”新物体，而在于模型未能在文本端为这些视觉模式建立稳固的语义绑定（即“能看见却叫不出名字”）。

因此，持续概念注入的关键并非去扰动或重塑复杂的视觉空间，而应在彻底冻结视觉编码器的前提下，从文本侧精准绑定新概念语义并稳定既有语义拓扑。本文的核心 idea 是：将持续开放词汇目标检测归结为文本驱动的新概念注入，提出无需额外参数的 NoIn-Det 框架，在冻结视觉编码器的同时，通过轻量文本双重表征蒸馏锚定语义流形稳定性，并利用旧知识敏感度探测梯度实现参数解耦更新，在零图像回放下达成新概念吸纳与历史开放知识保留的精巧平衡。

方法详解¶

整体框架¶

NoIn-Det 构建在强开放词汇检测底座 LLMDet 之上，面向流式序列任务集 $\{\mathcal{C}^t\}_{t=1}^T$ 执行增量概念注入。在第 $t$ 个任务中，模型仅能访问当前任务的新概念图像及检测框标注 $\mathcal{D}^t = \{(\mathbf{I}_i^t, L_i^t)\}$，完全不可回放历史任务图像。整个流程通过三步紧密配合运转：首先冻结全部视觉主干及特征提取模块，仅将微调范围限制在文本编码器的高层与投影器子空间；随后利用包含当前新概念、历史累积概念以及随机采样的通用概念构建学生端输入，通过跨模态区域-文本对比学习促成新概念的基础吸收；最后结合教师分支执行表征空间稳定性蒸馏（RSSD）并应用知识感知参数解耦（KPD）梯度掩码，抑制敏感参数漂移。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入：当前新概念图像与标注 + 轻量文本概念集"] --> FE["冻结视觉编码器与受限文本更新空间<br/>保留预训练视觉基元表征流形"]
    FE --> CR["跨模态区域-文本对比学习<br/>新概念吸收与跨模态空间负样本解耦"]
    CR --> RSSD["表征空间稳定性蒸馏<br/>绝对语义余弦对齐 + 相对语义关系矩阵保持"]
    RSSD --> KPD["知识感知参数解耦<br/>旧知识敏感梯度探测 + 分位数阈值掩码过滤"]
    KPD --> Out["更新检测器：兼顾当前新概念检测、历史概念保留与原OVD泛化"]

关键设计¶

1. 冻结视觉编码器与受限文本更新空间：将概念注入约束在文本语义分支

针对传统持续学习对视觉分支频繁微调破坏泛化基元的通病，NoIn-Det 依据“视觉编码器已具备充足视觉感知能力”的观察，完全冻结主干视觉编码器，使整个多模态对齐的视觉参考系保持绝对静止。为了保持极高的参数效率并防止底座概念漂移，模型将可训练参数集合 $\Theta_{\mathrm{tr}}$ 严格限制在文本编码器的最后几层（如 Top-4 层 Transformer）以及文本投影层（Projector）内，其余所有检测头与视觉参数均保持固定。这不仅将新概念知识的吸收限定在紧凑且高度可控的参数流形中，更确保了预训练阶段获得的底层词汇表达和语法结构不被破坏。

2. 表征空间稳定性蒸馏：基于纯文本概念锚点的绝对与相对语义对齐

在流式概念引入过程中，仅依靠新概念对比损失会导致文本特征空间剧烈扭曲，造成对历史已注入概念及常见基础类别的灾难性遗忘。为此，RSSD 机制构建了一个由随机采样的通用概念集 $\mathcal{C}_{\mathrm{com}}^t$（例如来自 ImageNet 与 Objects365 的 100 个常见物体文本）与历史已学概念 $\mathcal{C}_{\mathrm{his}}^t = \bigcup_{k=1}^{t-1}\mathcal{C}^k$ 组成的旧知识概念集 $\mathcal{C}_{\mathrm{old}}^t = \mathcal{C}_{\mathrm{com}}^t \cup \mathcal{C}_{\mathrm{his}}^t$。由于文本信息存储极其廉价，该设计彻底摆脱了历史图像回放的重负。将上一阶段冻结的模型作为教师网络，当前阶段可微调的文本分支作为学生网络，RSSD 在编码器级文本嵌入 $\mathbf{E}$ 与投影级嵌入 $\mathbf{P}$ 上联合施加双重蒸馏约束：

首先，绝对语义蒸馏约束学生与教师在相同旧概念上的特征余弦相似度： $$\mathcal{L}_{\mathrm{abs}}^{E,t} = 1 - \mathrm{Cos}(\mathbf{E}_{\mathrm{stu,old}}^t, \mathbf{E}_{\mathrm{tea}}^t), \quad \mathcal{L}_{\mathrm{abs}}^{P,t} = 1 - \mathrm{Cos}(\mathbf{P}_{\mathrm{stu,old}}^t, \mathbf{P}_{\mathrm{tea}}^t)$$

其次，为防止概念群在嵌入空间中的几何拓扑被破坏，RSSD 计算概念集合内部的两两语义关联矩阵 $\mathbf{R}(\mathbf{X}) = [\frac{\mathbf{x}_i^\top \mathbf{x}_j}{\|\mathbf{x}_i\|_2 \|\mathbf{x}_j\|_2}]_{i,j=1}^N$，并通过 Smooth-L1 损失实施相对关系拓扑蒸馏： $$\mathcal{L}_{\mathrm{rel}}^{E,t} = \mathrm{SmoothL1}(\mathbf{R}_{\mathrm{stu}}^{E,t}, \mathbf{R}_{\mathrm{tea}}^{E,t}), \quad \mathcal{L}_{\mathrm{rel}}^{P,t} = \mathrm{SmoothL1}(\mathbf{R}_{\mathrm{stu}}^{P,t}, \mathbf{R}_{\mathrm{tea}}^{P,t})$$

双重蒸馏联合构成了总表征稳定性损失 $\mathcal{L}_{\mathrm{RSSD}}^t = \mathcal{L}_{\mathrm{abs}}^{E,t} + \mathcal{L}_{\mathrm{abs}}^{P,t} + \mathcal{L}_{\mathrm{rel}}^{E,t} + \mathcal{L}_{\mathrm{rel}}^{P,t}$。在训练当前任务时，$\mathcal{C}_{\mathrm{old}}^t$ 的文本特征还作为负样本参与当前图像区域的跨模态对比学习，从特征与几何两个维度稳稳锚定多模态空间。

3. 知识感知参数解耦：基于敏感度探测梯度的元素级更新掩码

虽然 RSSD 在特征表征层面提供了连续正则，但不同参数对旧知识记忆的承载权重存在天然异质性；无差别的优化容易在新概念吸纳与旧知识保护间产生局部参数更新冲突。KPD 机制旨在从参数层面进行细粒度解耦。在每个任务反向传播前，先利用轻量探测损失 $\mathcal{L}_{\mathrm{probe}}^t = \mathcal{L}_{\mathrm{abs}}^{E,t} + \mathcal{L}_{\mathrm{abs}}^{P,t}$ 计算可训练参数 $\theta_i \in \Theta_{\mathrm{tr}}$ 关于旧知识的敏感梯度： $$g_i^{\mathrm{probe}} = \frac{\partial \mathcal{L}_{\mathrm{probe}}^t}{\partial \theta_i}$$

梯度模长 $|g_i^{\mathrm{probe}}|$ 直接量化了修改参数 $\theta_i$ 时对既有语义结构的扰动风险。KPD 统计所有可训练参数的探测梯度绝对值，根据设定的保留比例 $r \in (0, 1)$ 计算分位数阈值： $$\tau^t = Q_r(\{|g_i^{\mathrm{probe}}| \mid \theta_i \in \Theta_{\mathrm{tr}}\})$$

进而生成元素级二值掩码 $m_i^t = \mathbf{1}(|g_i^{\mathrm{probe}}| \le \tau^t)$。在实际反向传播中，当前任务梯度 $g_i^{\mathrm{train}}$ 与掩码进行逐元素哈达玛积 $\tilde{g}_i^{\mathrm{train}} = m_i^t \odot g_i^{\mathrm{train}}$。这使得敏感度高（模长超过阈值）的关键旧知识承载参数被强制冻结保护，而敏感度低的冗余参数空间则被完全释放，专门用于学习当前的新概念绑定，实现了结构级别的无冲突协同演进。

损失函数 / 训练策略¶

在任务 $t$ 的端到端优化中，总目标函数包含常规目标检测回归/分类损失 $\mathcal{L}_{\mathrm{reg}}^t$、当前新概念视觉区域与文本的跨模态对比损失 $\mathcal{L}_{\mathrm{con}}^t$ 以及表征空间稳定性蒸馏损失 $\mathcal{L}_{\mathrm{RSSD}}^t$： $$\mathcal{L}_{\mathrm{task}}^t = \mathcal{L}_{\mathrm{reg}}^t + \mathcal{L}_{\mathrm{con}}^t + \mathcal{L}_{\mathrm{RSSD}}^t$$ 网络利用 AdamW 优化器训练 24 个 epoch，初始学习率设为 1e-3，权重衰减 1e-4，在第 11 与 20 epoch 各衰减 0.1。通用概念池随机抽取 100 个词，KPD 筛选分位数默认设为 $r=0.5$。

实验关键数据¶

主实验¶

论文在构建的全新持续学习基准 Novel-114（包含 Animals-25、Clothing-6、Cold Weapons-4、Food-28、Instruments-8、Plants-25、Vessels-18 七个异构连续阶段，共 114 个挑战性新概念）以及经典 MS COCO 验证集上展开评估。评价体系兼顾：① MS COCO 上的原生 OVD 能力保留；② 当前阶段新概念获取率；③ 历史阶段已注入概念的保留率；④ 经历全部 7 个任务后的全局综合平均精度（Avg.）。

方法	模型额外参数	MS COCO 保留 (AP50:95/AP50)	Novel-114 终态平均 (AP50:95/AP50)	Animals-25 终态	Vessels-18 终态
LLMDet (未注入)	0	54.4 / 70.8	18.3 / 23.6	5.9 / 7.3	4.1 / 4.8
ZiRa (NeurIPS'24)	重参数化	17.7 / 23.2	32.3 / 38.3	31.3 / 35.1	55.9 / 59.4
MoE-Adapters (CVPR'24)	动态膨胀 MoE	30.7 / 42.0	37.9 / 44.7	58.4 / 65.1	60.3 / 61.3
LADA (arXiv'25)	标签特异 Adapter	20.8 / 27.9	24.3 / 29.3	16.0 / 20.5	70.9 / 71.9
C-CLIP (ICLR'25)	跨模态微调	32.7 / 45.6	17.4 / 23.1	4.4 / 5.9	23.7 / 26.3
SGVF (PR'26)	视觉侧 Adapter	19.3 / 26.4	39.3 / 46.5	52.1 / 63.1	73.4 / 74.7
KeepLoRA (arXiv'26)	残差 LoRA	43.8 / 59.7	16.5 / 22.1	6.1 / 7.6	6.8 / 8.9
NoIn-Det (本文)	0 (零外挂参数)	41.7 / 54.8	44.3 / 53.5	50.1 / 57.3	70.4 / 73.7

在主实验对比中，未注入任何新概念的原生 LLMDet 在 Novel-114 上仅取得 18.3% 的 AP，证实这些类别对预训练底座具有极高的未知挑战度。相比之下，NoIn-Det 实现了 44.3/53.5 的全局最优综合 AP，领先先前最强基线 SGVF 达 +5.0% AP50:95，同时将 MS COCO 基础泛化能力的衰减幅度控制在极小范围（41.7% vs 基线的 17.7%~32.7%）。

消融实验¶

论文在 MS COCO 与 Novel-114 上逐步检验了核心模块 RSSD、KPD、文本编码器微调层数以及更新比例 $r$ 的有效性。

模块配置	COCO OVD 保留 (AP50:95/AP50)	新概念即时吸收均值 (AP50:95/AP50)	最终综合性能 (AP50:95/AP50)
LLMDet (原始零样本基线)	54.4 / 70.8	–	18.3 / 23.6
+ RSSD (仅表征空间稳定性蒸馏)	39.0 / 52.4	68.3 / 77.4	40.4 / 49.3
+ RSSD + KPD (完整 NoIn-Det, r=0.5)	47.1 / 61.7	68.8 / 77.5	44.3 / 53.5
— 微调 0 层文本编码器 (仅 Projector)	52.7 / 68.6	16.3 / 20.9	12.7 / 17.5
— 微调 2 层文本编码器	48.5 / 63.6	66.8 / 74.9	35.7 / 43.7
— 微调 4 层文本编码器 (默认配置)	47.1 / 61.7	68.8 / 77.5	44.3 / 53.5
— 微调 8 层文本编码器	34.9 / 46.5	68.1 / 76.9	42.6 / 51.9
— 微调 12 层文本编码器 (全文本编码器)	36.9 / 48.9	69.8 / 78.0	32.2 / 42.7

在超参数敏感度测试中，$r$ 控制 KPD 的参数更新比例：当 $r=1.0$（不执行掩码屏蔽，全更新）时，COCO 保留暴跌至 39.0/52.4，综合平均仅 40.4/49.3；当 $r=0.1$（过度限制参数更新）时，新任务吸收能力受阻，最终得分为 36.2/44.6；$r=0.5$ 达到了塑性与稳定性的最优平衡点（44.3/53.5）。

关键发现¶

纯文本概念蒸馏极其鲁棒：在附录通用概念池鲁棒性实验中，随机换用 5 组不同的 Common-100 词表，NoIn-Det 的最终性能波动极小（43.8% ~ 44.5% AP），表明旧知识稳定依靠的是通用的语义拓扑锚定，而非依赖特定的概念样本。
高阶语义层更适宜概念注入：更新 0 层文本主干会导致模型几乎丧失对生僻概念的吸纳塑性（即时仅 16.3% AP）；而更新过多底层（8~12层）则严重洗刷预训练语义。更新顶部 4 层展现了最优的语义适配特性。
支持多轮知识累积：在第二轮 Novel-114 循环注入实验中，NoIn-Det 性能从 44.3% 进一步跃升至 55.1%，大幅甩开 SGVF（49.2%）与 ZiRa（44.8%），证明模型展现了优异的可扩展终身学习能力。

亮点与洞察¶

独到的视觉表征不变性视角：指出了大规模预训练视觉编码器对未知概念的视觉基元早具备感知流形，将持续学习的焦点从“改动庞大视觉网络”转向“文本轻量语义重绑定”，设计立意高且计算开销极低。
零图像回放与零外挂参数：不依赖任何昂贵的历史图片回放，亦不引入随着任务不断线性膨胀的 Adapter 或专家网络，完全依靠纯文本概念池的表征蒸馏和元素级梯度掩码保持紧凑架构。
表征空间拓扑与参数敏感度的双层联动：宏观上通过关系矩阵 Smooth-L1 损失（RSSD）锚定特征空间的拓扑几何，微观上利用轻量探测损失的反向梯度（KPD）在反向传播前精准拦截高危参数更新，技术闭环非常工整。

局限与展望¶

依赖通用概念池的多样性假设：若引入的全新领域概念与通用概念池语义距离过大（如极其冷僻的分子式或特殊雷达图谱标注），仅凭日常物体词汇可能难以提供足够的拓扑约束力。
未涉猎跨模态协同微调边界：当前直接完全冻结视觉编码器，面对非刚性畸变极端严重的超未知领域（如显微病理切片），若视觉基元本身完全缺失，纯文本侧绑定的上界可能会受限。
未来方向：可进一步探索结合大语言模型生成概念层次结构树辅助 RSSD，或自适应根据概念相似度动态分配参数更新配额 $r$。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统形式化持续开放词汇目标检测（COVD），立足“视觉感知充足而语义绑定缺失”的关键洞察，立论扎实且视角新颖。
实验充分度: ⭐⭐⭐⭐⭐ 构建了高质量 Novel-114 基准，包含 7 阶段异构流式任务、跨域验证、两轮连续注入和详实的逐层/敏感度消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑主线清晰，动机推导自然，数学表达严谨，图表排版美观规范。
价值: ⭐⭐⭐⭐⭐ 为边缘端与实际生产环境中持续进化的开放词汇检测器提供了一套极具实用价值、不扩增参数且免存图像的通用解决方案。