GIFT: Representation Geometry Matters for Single-Domain Generalized Object Detection¶

会议: NeurIPS 2026
arXiv: 2610.35374
代码: https://github.com/zhangyin1996/GIFT
领域: 目标检测
关键词: 单源域泛化目标检测, 视觉基础模型, 几何不变性微调, Householder反射, 通道级缩放

一句话总结¶

本文针对单源域泛化目标检测（S-DGOD）中无约束微调破坏视觉大模型固有表征几何的缺陷，提出几何不变性微调（GIFT），通过正交 Householder 反射保留表征几何结构并结合通道级自适应缩放，仅用不到 1% 可训练参数在 Cityscapes-C 和 DWD 上分别提升 +7.9% 和 +2.9% mPC。

研究背景与动机¶

单源域泛化目标检测（Single-Domain Generalized Object Detection, S-DGOD）要求检测器在仅接触单一源域数据的情况下，能够鲁棒地泛化到具有显著光照、天气及图像破坏分布偏移的未知目标域。传统的基于 CNN 的方法主要依赖于数据增强模拟域多样性，或通过特征解耦显式剥离域特有特征。然而，这些方法通常受限于 CNN 的表达容量与中小规模预训练数据，难以抵御多样化、高强度的未知域分布偏移。随着 DINOv2、EVA 等大规模视觉基础模型（Vision Foundation Models, VFMs）的兴起，基于参数高效微调（PEFT，如 LoRA、VPT、Adapter）将大模型迁移至 S-DGOD 成为新趋势，但往往因单一源域监督不足而陷入对源域局部统计特征的过拟合。

现有方法在适配视觉基础模型时，普遍忽视了预训练模型内部蕴含的表征几何不变性。作者通过深入的几何统计分析（从特征幅值 $M$、全局绝对夹角 $A$ 和通道间结构相关性 $S$ 三个维度进行跨破坏域对比）发现：在面对各类图像破坏时，DINOv2 特征的幅值和全局方向会剧烈波动，但通道间的相对结构关联 $\Delta S$ 却展现出高度的跨域一致性；然而，以 LoRA 和 Cauvis 为代表的无约束微调方法在下游适配过程中大幅扭曲了这种预训练几何结构，造成目标域注意力弥散和检测性能退化。

面对「单一源域下无约束微调容易破坏预训练模型内生几何结构」与「下游目标检测任务必须进行针对性特征适配」之间的矛盾，本文指出：维持参数与特征空间的相对几何稳定性，比在单一域内强行拟合或剥离虚假特征更为关键。核心 idea：通过引入正交 Householder 反射变换限制权重旋转以严格保持预训练表征的相对几何结构，并结合轻量通道级自适应缩放增强检测稳定特征，实现结构保真与任务特化解耦的高效跨域泛化。

方法详解¶

整体框架¶

GIFT 作用于冻结的视觉基础模型（以 DINOv2 为代表）的各层多头自注意力（Multi-Head Attention）投影层（Q、K、V 及 Output 线性投影）。整个微调框架由两路协同分支构成：几何保持微调分支（Geometric Preservation）与通道级自适应缩放分支（Channel-Level Scaling）。对于每一个冻结投影权重 $\bm{W} \in \mathbb{R}^{D_{in} \times D_{out}}$，几何保持分支通过由若干可学习 Householder 反射矩阵连续相乘构成的正交旋转矩阵 $\bm{R}$ 进行参数空间正交旋转，并采用带门控矢量的残差机制调制权重旋转增量；通道缩放分支则引入对角缩放矩阵调制各特征通道重要度。两路增量与冻结原始权重线性组合后，直接替换原注意力投影权重，下游检测器前向计算不引入任何额外推理延迟。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像与主干 Patch Tokens"] --> B["多头自注意力投影输入 X"]
    B --> C["冻结原始预训练权重 W"]
    C --> D["几何保持微调分支<br/>Householder 正交反射积 R·W"]
    C --> E["通道级自适应缩放分支<br/>对角特征重要度矩阵 S·W"]
    D --> F["门控残差调制<br/>ΔW_mod = g ⊙ (R·W - W)"]
    E --> G["通道稳定特征重加权 W_sca"]
    F --> H["自适应权重融合<br/>W_new = W + μ·ΔW_mod + λ·W_sca"]
    G --> H
    H --> I["增强几何不变性与任务特化特征"]
    I --> J["下游检测头 (Faster R-CNN / DINO)"]

关键设计¶

1. 基于 Householder 反射的正交几何保持微调：约束参数空间保距旋转 无约束的低秩适配或加法微调会直接破坏预训练权重向量的内积、夹角和范数分布，从而导致冻结表征中跨域不变的语义几何结构发生畸变。为此，GIFT 将参数变换严格约束在正交群中。一个超平面由单位法向量 $\bm{v} \in \mathbb{R}^{d}$（$\|\bm{v}\|_2 = 1$）定义，其对应的 Householder 反射矩阵定义为 $\bm{H} = \bm{I} - 2\bm{v}\bm{v}^{\top}$。由于 $\bm{H}^{\top}\bm{H} = \bm{I}$，Householder 变换是严格的等距映射（Isometry），能够保持任意向量间的内积与欧氏距离不变。为了赋予旋转足够的自由度同时保持计算轻量，GIFT 串联 $r$ 个可学习单位向量 $\bm{v}_i$ 构成的 Householder 矩阵相乘，形成正交旋转矩阵 $\bm{R} = \prod_{i=1}^r (\bm{I} - 2\bm{v}_i\bm{v}_i^{\top})$。将 $\bm{R}$ 作用于冻结权重 $\bm{W}$ 得到旋转权重 $\bm{W}_{\text{rot}} = \bm{R}\bm{W}$，保证了权重向量间的内积 $\langle\bm{R}\bm{w}_1, \bm{R}\bm{w}_2\rangle = \langle\bm{w}_1, \bm{w}_2\rangle$ 和相对几何拓扑完全恒定，从根源上杜绝了对预训练表征结构的破坏。

2. 门控残差调制机制：渐进式稳定参数空间旋转 直接将完全旋转后的权重 $\bm{W}_{\text{rot}}$ 代入网络可能会在训练初期引发过大的特征扰动，造成优化震荡。GIFT 采用残差更新策略，仅学习旋转增量 $\Delta\bm{W} = \bm{W}_{\text{rot}} - \bm{W} = (\bm{R} - \bm{I})\bm{W}$。在此基础上，为了让模型能够依据各通道在特定检测任务上的需求灵活分配几何调整幅度，设计了一个可学习门控向量 $\bm{g} \in \mathbb{R}^{D_{out}}$（初始化为全 1），对残差矩阵的各列执行逐元素调制： $$\Delta\bm{W}_{\text{mod}} = \bm{g} \odot \Delta\bm{W} = \bm{g} \odot (\bm{R}\bm{W} - \bm{W})$$ 门控向量 $\bm{g}$ 使得模型能够在保证基底严格正交旋转的前提下，自适应控制权重空间不同维度的旋转参与程度，显著提升了跨域迁移的平滑度与收敛稳定性。

3. 梯度一致性驱动的通道级缩放：自适应强化跨域稳定检测特征 保持预训练几何结构确保了特征在未知域下的相对不变性，但这仅是泛化的必要非充分条件——目标检测任务仍需增强与目标定位、前景判别直接相关的任务特征。GIFT 引入轻量级通道对角缩放矩阵 $\bm{S} = \text{diag}(s_1, \dots, s_C)$（初始化为 0），生成缩放分支权重 $\bm{W}_{\text{sca}} = \bm{S}\bm{W}$。在单源域随机梯度优化过程中，第 $i$ 个通道的累积梯度更新量与该特征对检测损失的长期贡献直接挂钩：若某通道在源域各类样本扰动下持续降低检测损失，其期望梯度显著偏离零，缩放系数 $s_i$ 会稳定积累增强；相反，捕捉虚假相关或噪声的通道其梯度均值趋近于零且方差极大，无法获得有效强化。该设计在保持正交结构骨架的同时，以极小的参数开销实现了任务特化特征的自适应选择。

损失函数 / 训练策略¶

最终合并后的投影层权重表达为： $$\bm{W}_{\text{new}} = \bm{W} + \mu\,\Delta\bm{W}_{\text{mod}} + \lambda\,\bm{W}_{\text{sca}}$$ 其中 $\mu$ 和 $\lambda$ 为可学习标量缩放因子，用于平衡几何保持旋转分支与通道缩放分支的相对贡献。整体检测器使用标准的下游检测损失（在 Faster R-CNN 下包括 RPN 损失与 RoI 分类/回归损失；在 DINO 下包括二分图匹配损失、分类焦点损失与回归损失）在单一源域数据上端到端训练。主干基础模型权重完全冻结，仅更新 Householder 向量 $\{\bm{v}_i\}_{i=1}^r$、门控 $\bm{g}$、通道缩放系数 $\bm{S}$、标量因子 $\mu, \lambda$ 以及下游检测头参数。默认微调主干后 $n=16$ 个 Transformer 块，Householder 阶数设为 $r=6$，采用 AdamW 优化器，学习率为 $1\times 10^{-4}$，训练 12 个 epoch。

实验关键数据¶

主实验¶

在自动驾驶与通用恶劣天气两大权威 S-DGOD 基准上，GIFT 全面超越了传统 CNN 方法、现有代表性 PEFT 策略以及最新 SOTA 方案。

数据集	检测头 / 基干	GIFT (本文)	前任 SOTA (Cauvis)	冻结基线 (Baseline)	性能增益
Cityscapes-C (15种破坏域均值 mPC)	Faster R-CNN / DINOv2-L	43.5%	35.6%	29.3%	+7.9% (vs SOTA)
Diverse Weather (4种未知天气均值 mPC)	Faster R-CNN / DINOv2-L	57.0%	54.1%	52.1%	+2.9% (vs SOTA)
Diverse Weather (4种未知天气均值 mPC)	DINO-DETR / DINOv2-L	59.4%	57.5%	54.1%	+1.9% (vs SOTA)
Cityscapes (源域 Clean mAP)	Faster R-CNN / DINOv2-L	62.7%	54.6%	44.0%	+8.1% (vs SOTA)

在 Diverse Weather Dataset (DWD) 各细分天气场景下的 mAP 详细对比（以 DETR-based DINO 检测头为例）： - 白天多雾 (DF.): GIFT 达到 58.3%（Cauvis 为 56.5%，提升 +1.8%）； - 黄昏雨天 (DR.): GIFT 达到 65.9%（Cauvis 为 64.6%，提升 +1.3%）； - 夜间雨天 (NR.): 最具挑战性的极端低光雨夜环境，GIFT 达到 49.9%（Cauvis 为 47.6%，传统最佳仅 19.2%）； - 夜间晴天 (NS.): GIFT 达到 63.3%（Cauvis 为 61.2%）。

消融实验¶

表 4 评估了在 DWD 数据集上（DINO 检测头）几何保持分支（GP）与通道缩放分支（CS）各自的独立贡献：

实验配置	几何保持 (GP)	通道缩放 (CS)	DF.	DR.	NR.	NS.	mPC
Frozen Baseline	-	-	53.5	60.8	42.6	59.5	54.1
仅通道缩放	-	✓	57.1	62.9	46.8	60.7	56.9 (+2.8)
仅几何保持 (GP Only)	✓	-	57.8	64.2	49.7	62.5	58.6 (+4.5)
GIFT 完整模型	✓	✓	58.3	65.9	49.9	63.3	59.4 (+5.3)

权重更新方式与门控机制消融（Cityscapes-C，Faster R-CNN）： - 直接全量旋转更新 $\bm{W} \rightarrow \bm{W}_{\text{rot}}$：源域 55.8%，目标域 mPC 34.2%； - 引入残差更新 $\bm{W} \rightarrow \bm{W} + \Delta\bm{W}$：源域 57.3% (+1.5%)，目标域 mPC 36.5% (+2.3%)； - 引入门控残差调制 $\bm{W} \rightarrow \bm{W} + \Delta\bm{W}_{\text{mod}}$：源域 58.2% (+0.9%)，目标域 mPC 37.6% (+1.1%)。

插入位置消融（表 8）： - 仅 QKV 插入：mPC 达到 58.9%； - QKV + Output 插入（默认）：mPC 达到最高 59.4%； - QKV + Output + FFN 插入：mPC 微降至 58.7%，表明表征几何鲁棒性主要源自注意力交互层。

关键发现¶

几何结构是跨域稳健的核心屏障：仅凭几何保持分支（GP Only），模型在 DWD 上的 mPC 便从 54.1% 跃升至 58.6%，超越了现有所有复杂因果干预与提示微调方法；在此稳健几何基底上，通道缩放得以精准强化稳定特征，获得额外 +0.8% 增益。
参数开销与推理吞吐极具优势：GIFT 在主干上仅引入 0.52M 可训练参数（较 LoRA 的 2.76M 减少超 80%，较 Cauvis 减少近 90%）；训练耗时仅 0.83 s/iter，推理吞吐达 5.21 图像/秒，远超 Cauvis 的 1.93 s/iter 与 2.78 图像/秒。
不同视觉大模型与密集任务的强泛化性：在 EVA02-Large 与 SAM-Huge 上，GIFT 分别实现 +8.9% 与 +3.5% 的 mPC 提升；在跨域语义分割（DGSS，如 Cityscapes $\rightarrow$ BDD100K/Mapillary）中同样取得了优于主流微调方法的迁移精度。

亮点与洞察¶

从表征几何视角重构单源域泛化微调机制：打破了传统盲目模拟未见域分布或强行特征解耦的范式，揭示了视觉大模型预训练表征结构内生具备跨域不变性，为大模型时代解决分布偏移问题提供了新的理论视角。
Householder 紧凑正交参数化与任务自适应缩放正交解耦：巧妙利用有限个 Householder 超平面反射矩阵的连乘构造任意正交旋转，以极具约束的数学性质强保等距表征；同时用通道梯度一致性引导的缩放分支赋予网络适配下游检测的自由度，兼具严谨数学美感与工程实用性。
零推理延迟与即插即用特性：推断阶段学得的 Householder 反射旋转与通道缩放均可与原始静态线性权重离线融合为单个等效矩阵，无需更改部署架构或增加内存驻留。

局限与展望¶

依赖预训练与下游场景的表征相关度：当预训练模型的表征几何与下游任务数据分布存在极端割裂（如遥感高空俯视多光谱影像、红外夜视成像等非自然 RGB 场景）时，其几何不变性所带来的泛化红利可能被削弱。
开集未知类别的泛化有待扩展：当前评估框架局限于固定闭集类别的单源域迁移，尚未探索在开放词表（Open-Vocabulary）条件下面向未见域与未见类别的双重泛化机制。
显存与硬件算力开销：虽然微调参数量不足 1%，但前向传播与反向传播仍依赖大型基础模型（如 DINOv2-Large / SAM-Huge），在端侧或计算资源受限场景下的大规模部署仍需结合模型蒸馏或量化技术。

评分¶

新颖性: ⭐⭐⭐⭐☆ (从表征几何视角切入 S-DGOD，将 Householder 反射与通道梯度一致性自适应缩放相结合，机制清晰新颖)
实验充分度: ⭐⭐⭐⭐⭐ (全面覆盖两大通用基准、全等级破坏域与四类恶劣天气，并扩展至分割与多主干验证，统计消融极为扎实)
写作质量: ⭐⭐⭐⭐⭐ (动机推导逻辑严密，数学表达与图表设计精美直观，实验数据自洽清晰)
价值: ⭐⭐⭐⭐⭐ (针对大模型高效微调与鲁棒域泛化落地提供了开箱即用且性能卓越的实用方案)