Orthogonal Knowledge Refreshing for Domain-Incremental Object Detection¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/xxx
领域: 目标检测
关键词: 域增量目标检测、正交知识更新、低秩子空间扩展、拓扑感知一致性、参数高效微调

一句话总结¶

针对无范本域增量目标检测中的灾难性遗忘与跨域干扰问题，本文提出基于参数高效微调的正交知识更新（OKR）框架，通过为新域增量构建独立的低秩子空间并融合权重，利用梯度正交投影约束新域更新方向，并借助拓扑感知一致性对齐跨域语义原型，在无需历史数据与推理路由的前提下实现了抗遗忘与高性能增量检测。

研究背景与动机¶

深度目标检测器通常建立在训练与测试集服从独立同分布的假设之上，一旦遭遇真实环境中的连续域偏移（如自动驾驶中从晴天、雾天到雨天的时序变化），检测性能便会发生显著退化。现有的单步域自适应方法无法应对序列化域漂移，而连续学习中的域增量目标检测（DIOD）则要求模型在不访问历史旧数据的前提下，持续吸收新环境知识并保留所有已学域的检测能力。这一设定的核心症结在于灾难性遗忘：传统的范本回放方法受到严格的隐私合规与存储开销限制，输出蒸馏方法受限于主干网络固定的静态容量而难以抵御大幅度域偏移，动态扩展子网络则会带来随任务数激增的显存与计算负担。

近期兴起的参数高效微调（PEFT）方法为解决该矛盾提供了轻量化路径，但现有尝试依然面临严重的域间干扰问题。基于提示微调（Prompt-tuning）或偏置微调（Bias-tuning）的方案仅对输入表征或神经元偏置进行浅层扰动，在显著分布差异下的表征可塑性不足；而在共享参数空间内进行连续优化，不可避免地会改写对历史域至关重要的特征统计量，造成严重表征冲突。更关键的是，诸如 S-Prompt 或 SOYO 等基于路由选择的方法需要为每个测试样本预测所属域，不仅引入了多轮前向推理的计算冗余，一旦域判别发生误判，检测器性能便会剧烈崩塌。

针对上述瓶颈，诊断性实验（类不可知物体召回率 oRecall 分析）表明，冻结检测头而仅微调主干表征即可获得匹敌全参数微调的域适应可塑性，遗忘的根源本质上是共享参数空间的盲目覆写。因此，DIOD 的突破口在于实现非破坏性的特征解耦与累积。核心 idea：为每个新域增量构建专用的低秩适应子空间，利用 LoRA 的线性可加性在推理时免路由无缝融合权重，并通过将新域梯度投影至历史特征子空间的正交补空间以彻底消除干扰，辅以跨域类别原型拓扑对齐维护全局语义一致性。

方法详解¶

整体框架¶

OKR 建立在以 ViT 为骨干的 ViTDet 检测架构之上，包含主干特征提取器与物体定位分类检测头。在基础域（Session 1）上，模型利用标准检测损失优化完整网络权重；进入后续域增量阶段（Session \(t \ge 2\)）时，基础骨干权重完全冻结，采用纯无范本（exemplar-free）的方式持续适应。OKR 的整体流程由三大协同模块构成：低秩子空间扩展（Subspace Expansion, SE）、基于梯度的正交知识更新（Gradient-based Orthogonal Refreshing, GOR）以及拓扑感知一致性（Topology-Aware Consistency, TAC）。

在每个增量会话中，模型仅激活当前域专属的 LoRA 分支进行更新，历史分支保持冻结；通过 LoRA 矩阵分解的线性叠加特性，所有分支参数直接累加至主干权重矩阵中，前向传播与推理决策与单一常规网络完全一致，无需任何域分类器或多路前向操作。为了切断参数融合带来的隐式特征干扰，GOR 在每次反向传播时将梯度投影到历史子空间的正交补空间；同时，TAC 约束当前域的类别原型与基础域原型保持紧凑的拓扑几何结构。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入新域图像序列 D_t"] --> B["低秩子空间扩展<br/>注入专属分支 A_t, B_t 并冻结历史分支"]
    B --> C["权重线性融合<br/>W_t = W_0 + 累加低秩分支矩阵"]
    C --> D["拓扑感知一致性<br/>新旧域类别原型相似度拓扑对齐"]
    D --> E["基于梯度的正交知识更新<br/>SVD提取历史基底 M_t 并执行正交梯度投影"]
    E --> F["输出无干扰增量检测模型<br/>单次前向推理且免域选择路由"]

关键设计¶

1. 低秩子空间扩展：基于线性可加性实现无路由容量扩展

共享微调参数在连续域转移中必然导致后学知识覆盖先验特征。为了在不引入庞大子网络的前提下实现容量的解耦扩展，OKR 在 Transformer 模块的注意力投影（Query/Value 等）及 MLP 线性层中，为每个新域 \(t\) 增量注入专属的低秩适配矩阵 \(A_t \in \mathbb{R}^{r \times d}\) 与 \(B_t \in \mathbb{R}^{d \times r}\)（设置低秩 \(r \ll d\)）。在学习第 \(t\) 个域时，仅当前域的参数组 \(\{A_t, B_t\}\) 参与反向传播，此前所有历史分支 \(\{A_{1:t-1}, B_{1:t-1}\}\) 均被严格冻结。

由于低秩矩阵分解具备天然的线性可加性，第 \(t\) 个会话的等效前向权重可直接表示为历史权重累加与新分支的求和：

\[W_t = W_0 + \sum_{i=1}^{t} B_i A_i = W_{t-1} + B_t A_t\]

这种设计彻底摆脱了传统架构扩展方法中必须保存多套模型副本或依赖分类路由选择对应分支的缺陷。推理时，所有增量学到的矩阵直接融合进骨干网络的单个线性权重中，单次前向即可覆盖全域决策，在保持参数量轻量增长（仅约 1.8%）的同时实现了冲突隔离的渐进式容量扩充。

2. 基于梯度的正交知识更新：投影至历史子空间正交补消除干扰

虽然冻结历史分支能够在物理参数层面防止旧权重被直接覆写，但各分支在线性合并后作用于相同的隐层表征，新域特征反向传播产生的梯度依然会破坏旧域所依赖的隐式特征流形。根据连续学习中的正交投影原理，若网络参数更新的方向严格垂直于旧任务特征张成的子空间，则新梯度的步进将对旧任务表征造成近乎零的投影扰动。

基于线性层梯度处于输入表征张成空间的数学性质，OKR 在开启第 \(t\) 个域的训练前，利用当前批次数据输入由历史累积参数 \(W_{t-1}\) 参数化的网络中，提取各层特征矩阵 \(R_t \in \mathbb{R}^{m \times n}\)，并通过奇异值分解（SVD）提取历史子空间：

\[\text{SVD}(R_t) = U_t \Sigma_t V_t^T\]

通过设定 Frobenius 范数保留能量阈值 \(\epsilon\)（即 \(\|(R_t)_k\|_F^2 \ge \epsilon \|R_t\|_F^2\)），截取前 \(k\) 个最大奇异值对应的左奇异向量列构成历史特征正交基底矩阵 \(\mathcal{M}_t = [u_t^1, u_t^2, \dots, u_t^k]\)。在反向传播计算得到新分支参数 \(w=\{A_t, B_t\}\) 的原始梯度 \(\nabla_w L_t\) 后，将其投影并减去在历史基底上的分量，得到正交化的有效梯度：

\[\nabla_w L'_t = \nabla_w L_t - (\nabla_w L_t) \mathcal{M}_t \mathcal{M}_t^T\]

该机制强制模型在历史知识的“空隙”（即正交补空间 \(\mathcal{M}_t^\perp\)）中搜寻能够拟合新域特征的方向，不仅稳固了历史域的低层特征不变性，还引导模型专注于探索互补性的新域判别表征，达到优异的稳定性-可塑性权衡。

3. 拓扑感知一致性：跨域原型对齐缓解语义碎片化

由于各个域的低秩子空间被正交约束相互隔离，各自分支容易过度拟合当前域特有的低级纹理与视觉风格，使得相同语义类别的物体表征在连续域变化中彼此离散，导致全局语义流形碎片化。为了确保跨域特征在共享标签空间中保持严谨的拓扑对齐，OKR 引入拓扑感知一致性正则。

系统在基础域（Session 1）训练完成后，通过检测器置信度加权聚合计算各类别的全局基础原型 \(\mu_1^c = \frac{1}{N_c} \sum_{i=1}^{N_c} p_i^c \cdot f_\Phi(x_i^c)\)，并在增量过程中永久固化作为语义坐标系。在学习新域 \(t\) 时，同样提取当前批次的新原型 \(\mu_t^i\)，并通过软注意力匹配置信度 \(w_t^{ij}\) 对齐新旧原型间的余弦距离：

\[L_{tac} = \frac{1}{N} \sum_{i=1}^N \sum_{j=1}^N w_t^{ij} \cdot \left(1 - \cos(\mu_t^i, \mu_1^j)\right), \quad \text{其中 } w_t^{ij} = \frac{\exp(\mu_t^i \cdot \mu_1^j)}{\sum_{k=1}^N \exp(\mu_t^i \cdot \mu_1^k)}\]

该项损失以高匹配置信度强化类内紧凑性，同时拉开类间距离，使新域特征空间在几何拓扑上严格锚定在基础域的语义空间中，有效遏制了因参数隔离带来的类内离散与语义漂移。

损失函数 / 训练策略¶

在学习基础域（\(t=1\)）时，网络采用标准检测损失 \(L_{det}\)（涵盖边界框回归损失与分类交叉熵损失）对检测主干与预测头进行全参数监督训练。在进入增量会话（\(t \ge 2\)）后，主干网络冻结，最终优化目标由检测损失与拓扑感知一致性损失复合而成：

\[L_{final} = L_{det} + L_{tac}\]

在每次反向传播计算得到新分支参数对 \(L_{final}\) 的梯度后，代入正交更新公式实施梯度重定向，更新参数仅限于当前域的 \(\{A_t, B_t\}\)。优化器采用 AdamW，初始学习率设为 \(2 \times 10^{-4}\)，权重衰减为 \(0.1\)，LoRA 秩固定为 \(r=16\)。SVD 历史基底计算仅在每个会话开始前执行一次，后续迭代仅引入极轻量的矩阵乘法，整体训练耗时开销仅增加 0.02%。

实验关键数据¶

主实验¶

在 Pascal VOC 系列（VOC 2007 \(\to\) Clipart \(\to\) Watercolor \(\to\) Comic）以及高难度自动驾驶 BDD100K 系列（BDD100K \(\to\) Cityscape \(\to\) Rainy Cityscape）两个基准上，OKR 与主流无范本增量学习方法及上限进行了全方位评测对比。评估指标采用 IoU 阈值为 0.5 时的全历史域平均 mAP（%）。

方法	类型	范本量/域	VOC S2	VOC S3	VOC S4	VOC \(\Delta\)mAP	BDD S2	BDD S3	BDD \(\Delta\)mAP
Upper-bound	联合训练上限	-	72.6	69.4	67.7	-	58.7	59.1	-
TP-DIOD-B	范本回放	150/200	65.8	62.1	57.5	-7.7	53.4	51.5	-6.7
FT-Seq	序列微调	0	57.5	52.6	49.5	-15.7	51.6	43.6	-14.6
IRG	无源域自适应	0	51.5	43.7	33.2	-32.0	49.3	38.7	-19.5
LwF	蒸馏正则	0	60.4	53.6	53.2	-12.0	52.1	44.1	-14.1
L2P	提示学习	0	59.9	55.2	45.5	-19.7	51.5	47.7	-10.5
S-Prompt	提示学习+路由	0	59.4	54.3	45.0	-20.2	51.6	49.4	-8.8
LDB	偏置微调	0	68.1	64.2	56.8	-8.4	52.3	51.1	-7.1
LDB+SOYO	偏置+参数选择	0	69.2	65.3	59.6	-5.6	52.4	51.7	-6.5
OKR (本文)	正交子空间更新	0	73.0	67.3	65.2	-0.0	57.6	58.2	-0.0

在最终会话（Session 4 / Session 3）对具体各域的精细评测中，OKR 展现了极强的抗遗忘与新域适应平衡：

方法	VOC 2007 (旧)	Clipart (旧)	Watercolor (旧)	Comic (新)	VOC 平均 mAP	BDD100K (旧)	Cityscape (旧)	Rainy (新)	BDD 平均 mAP
L2P	78.2	32.5	43.3	27.8	45.6	49.7	48.8	44.8	47.7
S-Prompt	80.8	33.9	45.2	20.1	45.0	51.6	52.0	44.7	49.4
LDB	82.4	50.1	57.5	37.0	56.8	50.3	52.7	50.2	51.1
OKR (本文)	85.2	54.8	66.0	54.6	65.2	50.7	61.8	62.2	58.2

消融实验¶

在 Pascal VOC 系列上针对各核心组件（主干微调 FT-Back、低秩子空间扩展 SE、梯度正交更新 GOR、拓扑感知一致性 TAC）开展的消融结果如下表所示：

实验编号	FT-Back	SE (子空间扩展)	GOR (正交更新)	TAC (拓扑对齐)	Session 2 mAP	Session 3 mAP	Session 4 mAP	说明
#1	-	-	-	-	59.1	54.4	44.2	原始全模型微调基线，遗忘极严重
#2	✓	-	-	-	67.7	57.9	49.5	仅微调主干，验证主干对域适应的核心地位
#3	✓	✓	-	-	72.4	64.4	60.9	引入独立低秩子空间扩展，提升 +11.4%
#4	✓	✓	✓	-	72.4	66.9	64.9	引入梯度正交投影，进一步大幅压制旧知识干扰
#5	✓	✓	-	✓	72.6	66.0	63.3	无正交更新但对齐语义拓扑结构
#6	✓	-	-	✓	67.7	59.8	60.2	单独引入拓扑一致性，语义漂移得到抑制
#7 (完整模型)	✓	✓	✓	✓	73.0	67.3	65.2	各组件协同，达到最优抗遗忘与适应性能

关键发现¶

子空间解耦与正交投影的协同主导作用：从消融实验可以看出，引入低秩子空间扩展（SE）使 Session 4 mAP 从 49.5% 跃升至 60.9%（提升 +11.4%），进一步加入正交梯度投影（GOR）则将性能推至 64.9%（再升 +4.0%）。这证明物理隔离参数只能避免静态改写，动态反向传播时的梯度正交投影才是切断表征流形干扰的核心关键。
极度严苛域偏移下的卓越泛化能力：在风格跳跃极大的 Comic 数据集上，现有 SOTA 方法 LDB 仅取得 37.0% mAP，而 OKR 达到了 54.6% mAP，提升幅度高达 +17.6%，证明了低秩子空间直接干预权重矩阵相比偏置微调（Bias-tuning）具有高出数量级的表达容量。
高吞吐与极低开销：在 RTX-3090 GPU 上，OKR 的推理时延仅为 0.1348 秒/样本（显存占用 5.1 GB），相较于 LDB 的 0.2836 秒/样本（显存占用 6.0 GB）提速超过一倍，根源在于 LoRA 权重的零代价线性合并，彻底免去了动态路由和多次前向选择分支的系统开销。同时，正交投影基底仅在任务开始前通过 SVD 计算一次，使得训练耗时仅增加 0.02%。

亮点与洞察¶

LoRA 线性可加性与零代价推理融合：将每个域的增量低秩适配矩阵直接在权重层面进行静态累加，使得增量模型保持固定拓扑与参数量，规避了推理时域分类器误判造成的性能崩溃与额外延时。
基于输入张成特性的梯度正交投影：绕过了复杂的 Fisher 信息矩阵或高阶二阶导数计算，巧妙地利用前序累积特征的低秩 SVD 主基底作为历史敏感子空间的几何代理，以极低的线性代数计算开销实现了严苛的无干扰更新。
即插即用的轻量化迁移范式：将参数高效微调（PEFT）与几何正交化约束相结合的思路，能够直接推广至实例分割、大模型多模态对齐等连续迁移场景中，为长序列、多任务的持续适应提供了高性价比范式。

局限与展望¶

历史基底容量的累积饱和瓶颈：随着增量会话数量 \(T\) 持续大幅增加，各历史子空间张成的正交基向量将逐渐占据大部分参数维度，导致新任务能够自由更新的正交补空间 \(\mathcal{M}_t^\perp\) 越来越狭窄，可能出现新域塑性衰退或更新欠拟合。
固定基底阈值缺乏动态自适应：当前能量截断超参数 \(\epsilon\) 在全生命周期保持恒定，未来可设计根据新域与历史域相似度动态调节截断维度的自适应机制。
对首个基础域表示质量的依赖：拓扑感知一致性高度依赖 Session 1 提炼的类别原型坐标体系，若初始域数据分布存在较大偏差，可能向后续增量阶段传递结构性归纳偏置。

评分¶

新颖性: ⭐⭐⭐⭐☆ (巧妙融合 LoRA 线性合并与输入表征正交投影，架构设计简洁实用)
实验充分度: ⭐⭐⭐⭐⭐ (覆盖 VOC 系列、BDD100K 自动驾驶系列及 16 种细粒度毁损的 VOC-C，消融与分析详实)
写作质量: ⭐⭐⭐⭐⭐ (逻辑链条清晰严密，从动机实验出发层层推导方法，公式规范规范)
价值: ⭐⭐⭐⭐⭐ (彻底解决 DIOD 领域的推理开销与遗忘难题，兼具高学术价值与工程部署潜力)