LoCA: Spatially-Aware Low-Rank Convolutional Adaptation of Vision Foundation Models¶

会议: ECCV 2026
论文: ECCV 2026
代码: https://github.com/ssojungan/loca
领域: 语义分割
关键词: 参数高效微调, 低秩自适应, 卷积神经网络, 空间归纳偏置, 域泛化语义分割

一句话总结¶

针对传统 LoRA 粗暴展平 4D 卷积核破坏空间拓扑与有效感受野收缩的问题，LoCA 提出空间-通道解耦的卷积自适应框架，通过低秩通道混合结合预训练核协方差 SVD 空间基底微调与分层秩调度，在显著减少可训练参数的同时大幅提升跨域分割与视觉微调泛化性。

研究背景与动机¶

视觉基础模型（VFMs）在各类下游感知任务中展现出强大的特征表征能力。然而，对参数规模庞大的模型进行全量微调（Full Fine-Tuning, FFT）不仅会带来高昂的显存与计算开销，还极易引发灾难性遗忘，破坏预训练时习得的通用先验。以 LoRA 为代表的参数高效微调（PEFT）技术通过冻结主干并学习低秩增量矩阵，在基于 Transformer 的线性注意力层中取得了巨大成功。然而，现代视觉骨干网络（如 ConvNeXt、混合 MambaVision、甚至 Stable Diffusion 中的 U-Net 卷积层）依然严重依赖卷积算子来提供滑动窗口、权值共享以及天然的局部空间归纳偏置。

在将 LoRA 扩展至卷积层时，现有方法通常将 4D 卷积核张量粗暴展平为 2D 矩阵后再做低秩分解。这种做法强行将空间几何拓扑（局部性、方向性）压缩进单一的跨通道混合中，导致空间与通道信息深度纠缠，有效感受野（ERF）在微调过程中发生明显的“空间复敛（spatial reconvergence）”——感受野在短暂扩张后迅速萎缩回高度局域化模式，且高频噪声放大、低频结构信息流失。另一方面，近期的滤波器子空间分解方法（如 FSF）虽尝试将卷积核分解为空间原子基和系数，却依赖近似稀疏编码重建且冻结跨通道混合系数，不仅存在重构累积误差，更剥夺了模型适配新域时动态重构通道间相关性的能力。

面对“展平破坏空间几何”与“子空间近似重构误差且通道不可调”的两难困境，本文的核心思路是寻找一种既能保留预训练权重完全等价、又能将空间基底演进与跨通道混合正交解耦的卷积微调机制。核心 idea：提出卷积感知低秩微调框架 LoCA，将卷积增量权重解耦为负责跨通道密集交互的低秩通道分支与基于预训练核协方差矩阵 SVD 初始化的深度对角空间基底分支，配合自适应网络深度的分层秩调度，在零重构误差下实现空间归纳偏置与通道表征的协同演进。

方法详解¶

整体框架¶

LoCA 的核心机制在于将传统卷积核增量参数化解耦为两个独立但协同的流向：一是低秩通道自适应（Channel Adaptation）分支，二是基于奇异值分解（SVD）的空间基底微调（Spatial Basis Refinement）分支。输入特征经过冻结的预训练卷积核运算的同时，并行经过解耦的增量卷积核更新分支，两者输出逐元素相加。

在整体流程中，对于尺寸为 $C_{\text{out}} \times C_{\text{in}} \times k_h \times k_w$ 的卷积层，LoCA 冻结原始权重 $W_0$，不改变其原始权值数值。低秩通道自适应分支负责建模密集的跨通道变换；空间基底分支则通过对预训练权重计算空间协方差矩阵，提取正交的主空间几何基底，并在深度可分离（depthwise）的对角通道上分配可学习系数；两者结合后构成了结构化的增量张量 $\Delta W_{cs}$，并在训练之初严格满足零初始化条件以确保与预训练模型的等价性。此外，网络各阶段的通道秩依据特征图分辨率和通道宽度进行分层动态调度。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入特征图 X"] --> PreW["冻结预训练卷积层<br/>W0 ∈ R^{Cout × Cin × kh × kw}"]
    In --> LoCA_Branch["LoCA 解耦增量自适应分支"]

    subgraph LoCA_Branch["LoCA 核心模块"]
        direction TB
        ChAdapt["低秩通道自适应<br/>BcAc 密集跨通道混合"]
        SpAdapt["SVD 空间基底微调<br/>协方差 SVD 基底 S 与对角 Udw"]
        ChAdapt --> Comp["通道-空间组合<br/>ΔWcs = ΔWch + diag(ΔWsp)"]
        SpAdapt --> Comp
        Sched["分层秩调度<br/>按阶段通道宽度动态分配 r_ch"] -.-> ChAdapt
    end

    PreW --> OutAdd["逐元素相加 ⊕<br/>W' = W0 + ΔWcs"]
    Comp --> OutAdd
    OutAdd --> Out["输出特征图 Y"]

关键设计¶

1. 低秩通道自适应：显式隔离密集跨通道依赖

直接展平 4D 卷积核虽然能直接套用 LoRA 的线性乘法，但若同时承担通道变换与空间拓扑重构则会导致表征混叠。为此，LoCA 设立独立的通道自适应分支 $\Delta W_{\text{ch}}$，专门用于捕捉新任务中的跨通道特征交互，将通道 rank 记为 $r_{\text{ch}}$。该分支形式化为两个低秩矩阵的乘积： $$ \Delta W_{\text{ch}}^{\flat} = \frac{\alpha}{r_{\text{ch}}} B_c A_c $$ 其中 $A_c \in \mathbb{R}^{r_{\text{ch}} \times (C_{\text{in}} k_h k_w)}$ 采用 Kaiming 均匀分布初始化，$B_c \in \mathbb{R}^{C_{\text{out}} \times r_{\text{ch}}}$ 全零初始化，随后将其重塑回 4D 张量 $\Delta W_{\text{ch}} \in \mathbb{R}^{C_{\text{out}} \times C_{\text{in}} \times k_h \times k_w}$。零初始化的 $B_c$ 保证了微调起始阶段 $\Delta W_{\text{ch}} = 0$，完全消除了重构误差，从而保护了预训练模型的先验表征。

2. SVD 空间基底微调：通过协方差基底保持空间归纳偏置

为了精确微调空间几何形状（如边缘、纹理等方向性特征）而不受通道维度的杂乱干扰，LoCA 利用预训练核内蕴的空间统计先验构建确定性基底。首先将预训练权重每一切片展平并进行零均值单位方差标准化，构建出标准化矩阵 $W_{\text{norm}} \in \mathbb{R}^{C_{\text{out}}C_{\text{in}} \times k_h k_w}$，进而计算空间协方差矩阵： $$ C_{\text{sp}} = W_{\text{norm}}^\top W_{\text{norm}} \in \mathbb{R}^{(k_h k_w) \times (k_h k_w)} $$ 对 $C_{\text{sp}}$ 执行奇异值分解（SVD），设定空间秩 $r_{\text{sp}} = k_h k_w$（例如 $3 \times 3$ 卷积中为 9），得到初始基底张量 $\mathcal{S} \in \mathbb{R}^{r_{\text{sp}} \times k_h \times k_w}$。该基底在训练中保持可学习状态。为了彻底阻断跨通道泄漏并专注空间调制，空间更新量仅在深度对角线上定义。对于通道 $i$（$i \le D = \min(C_{\text{out}}, C_{\text{in}})$），由可学习系数矩阵 $U_{\text{dw}} \in \mathbb{R}^{D \times r_{\text{sp}}}$ 与基底做线性组合： $$ \Delta W_{\text{sp}}^{\text{diag}}[i] = \sum_{m=1}^{r_{\text{sp}}} U_{\text{dw}}[i, m] \cdot \mathcal{S}_m $$ 引入克罗内克符号 $\delta_{ij}$，三维空间增量张量定义为 $\Delta W_{\text{sp}}[i, j, :, :] = \delta_{ij} \Delta W_{\text{sp}}^{\text{diag}}[i]$。将 $U_{\text{dw}}$ 初始设为 0，使空间调制平滑介入，有效杜绝了传统微调中感受野在后期的空间复敛现象。

3. 通道-空间组合：构建正交统一的微调权重

解耦设计若无法紧密合成，将导致计算与内存开销膨胀。LoCA 将上述两路更新直接在权重空间逐元素叠加，构成统一更新量 $\Delta W_{cs}$： $$ \Delta W_{cs}[i, j, :, :] = \Delta W_{\text{ch}}[i, j, :, :] + \delta_{ij} \Delta W_{\text{sp}}^{\text{diag}}[i] $$ 最终推理时更新后的等效卷积核为 $W' = W_0 + \Delta W_{cs}$。在推理部署时，$\Delta W_{cs}$ 可以完全重参数化并折叠进冻结的 $W_0$ 中，无需引入任何额外的模块推理计算延迟或内存碎片。

4. 分层秩调度：依据骨干层级宽度自适应分配容量

现代卷积 VFM 通常采用金字塔层级架构，浅层通道数少但分辨率高（关注局部几何特征），深层通道数成倍增长（负责全局语义抽象）。统一使用固定的通道秩会造成浅层参数冗余而深层表达力受限。LoCA 提出针对卷积骨干的分层秩调度机制，保持空间秩 $r_{\text{sp}} = k_h k_w$ 固定，而将全局通道秩预算 $R$ 按各阶段输出通道宽度 $C_{\text{out}}^{(s)}$ 动态分配： $$ r_{\text{ch}}^{(s)} = \left\lfloor R \cdot \frac{C_{\text{out}}^{(s)}}{\sum_i C_{\text{out}}^{(i)}} \right\rfloor $$ 此举使得窄通道的 stem 阶段分配到极低秩，而复杂的深层语义块获得更充裕的秩预算，大幅优化了微调参数效率与下游几何表征的匹配度。

实验关键数据¶

主实验¶

在评估分布外泛化（OOD）能力的合成到真实域泛化语义分割（DGSS，GTAV $\rightarrow$ Cityscapes, BDD100K, Mapillary）以及视觉分类基准 VTAB-1k 上，LoCA 均展现了超越全量微调（FFT）及各类主流 PEFT 方法的卓越性能。

方法	骨干网络	可训练参数 (M)	GFLOPs	Cityscapes (mIoU)	BDD100K (mIoU)	Mapillary (mIoU)	平均 mIoU (%)
FFT	ConvNeXt-B	87.56	81	62.18	57.01	65.00	61.40
LoRA (Linear)	ConvNeXt-B	2.90	81	63.90	57.87	65.53	62.43
LoRA (4D Flatten)	ConvNeXt-B	17.20	81	64.17	56.98	65.74	62.30
Conv-Adapter	ConvNeXt-B	2.30	81	59.94	56.47	63.48	59.96
CoLoRA	ConvNeXt-B	2.20	81	61.87	55.70	64.04	60.53
FSF	ConvNeXt-B	0.60	81	60.15	56.98	63.70	60.27
LoCA (本文)	ConvNeXt-B	3.40	81	66.46	58.53	66.29	63.76
FFT	ConvNeXt-L	196.20	152	65.50	59.10	67.01	63.87
LoRA (Linear)	ConvNeXt-L	4.30	152	66.95	60.46	68.45	65.29
LoCA‡ (本文+SVD)	ConvNeXt-L	5.00	152	69.73	62.03	70.62	67.46
FFT	MambaVision-B	96.70	211	36.05	30.13	31.39	32.52
LoCA (本文)	MambaVision-B	2.50	211	45.21	41.68	45.70	44.20

在以 Stable Diffusion v1.4 为底座的 DreamBooth 主题驱动生成任务中，LoCA 展现出兼顾主体外观保真度与文本控制力的优越性：

方法	DINO 相似度 ↑	CLIP-I 相似度 ↑	CLIP-T 文本对齐 ↑	说明
Pretrained	0.320	0.643	0.267	原始模型零微调
Real Images	0.711	0.857	–	真实图像上限参考
Textual Inversion	0.564	0.739	0.213	仅优化文本嵌入
DreamBooth (全量)	0.642	0.794	0.236	原始全量扩散模型微调
LoRA	0.637	0.792	0.239	标准线性 LoRA
FSF	0.572	0.715	0.313	文本对齐高但主体崩塌严重
LoCA (r16, 本文)	0.709	0.801	0.280	主体保真度最优，兼顾文本响应

消融实验¶

在合成到真实域泛化语义分割（DGSS，以 ConvNeXt-L 为主干）上对提出的各个核心模块进行逐步递进式消融评估：

实验配置	Cityscapes (mIoU)	BDD100K (mIoU)	Mapillary (mIoU)	平均 mIoU (%)	较基线提升
LoRA Linear 基线	66.95	60.46	68.45	65.29	基准
＋朴素卷积 LoRA (4D Flatten)	65.74 (-1.21)	60.50 (+0.04)	68.62 (+0.17)	64.95	-0.34
＋低秩通道混合 (Channel Mixing)	68.22 (+1.27)	61.12 (+0.66)	69.13 (+0.68)	66.16	+0.87
＋ SVD 空间基底微调 (Spatial Basis)	69.44 (+2.49)	61.39 (+0.93)	70.26 (+1.81)	67.03	+1.74
＋分层秩调度 (Hierarchical Rank)	69.73 (+2.78)	62.03 (+1.57)	70.62 (+2.17)	67.46	+2.17

不同空间基底初始化策略在 VTAB-1k 与 DGSS 上的对比结果：

初始化策略	VTAB-1k 平均准确率 (%)	DGSS 平均 mIoU (%)	说明
全零初始化 (Zero)	75.7	65.6	空间分支起步无先验
展平核 SVD (Flatten SVD)	73.0	66.2	破坏空间几何拓扑，导致分类掉点严重
均匀随机分布 (Uniform)	75.7	66.3	缺少预训练核的方向性与纹理统计
空间协方差 SVD (Covariance SVD, 本文)	75.9	66.5	准确提取主成分方向与纹理几何先验

关键发现¶

朴素展平不仅无效甚至带来显著负迁移：直接对卷积核展平应用 LoRA 在 DGSS 上导致平均 mIoU 下降 0.34%，尤其在结构化精细道路场景（Cityscapes）下跌达 1.21%，直接证明了强行压缩 4D 几何空间对密集预测具有破坏性。
空间基底与通道解耦贡献最大增益：引入低秩通道混合和基于空间协方差 SVD 的空间基底分别带来了 +0.87% 与 +0.87% 的接连跳升（累计 +1.74%），说明独立优化跨通道相关性与局部几何拓扑能极大激活卷积的有效感受野。
混合型新兴骨干受益尤为显著：在 MambaVision 等结合了局部卷积与状态空间模型的新兴架构上，LoCA 相比 FFT 暴涨 +11.68 mIoU（相对提升达 35.9%），证明了小样本下游密集预测中，保留并正则化卷积归纳偏置远优于暴力全参微调。

亮点与洞察¶

空间-通道解耦的正交自适应架构：巧妙地将 4D 卷积权重更新拆解为全连通低秩跨通道映射和深度对角空间基底调节，从根本上化解了卷积算子在 PEFT 领域面临的拓扑塌陷难题。
协方差 SVD 空间基底重构：不盲目依赖随机初始化或有损的原子近似，而是从预训练核自身的空间自协方差矩阵中抽取出真正具备几何各向异性（如边缘、角落）的主干基底，使得下游调优得以沿着特征能量最高的正交子空间展开。
可无缝融入任意卷积/混合骨干：无论在经典的 ResNet、现代纯卷积 ConvNeXt、混合 MambaVision 还是扩散模型 U-Net 中，LoCA 均展现出高即插即用性和完全无损的推理时重参数化能力。

局限与展望¶

针对超大卷积核的计算复杂度扩展：空间协方差矩阵的维度为 $(k_h k_w) \times (k_h k_w)$，对于常规的 $3 \times 3$ 或 $7 \times 7$ 卷积开销极低；但若扩展至具有超大核（例如 $31 \times 31$）的极端卷积网络中，协方差 SVD 及全空间秩分解可能会带来额外的初始化计算负担。
自适应空间秩探索尚显不足：当前空间秩 $r_{\text{sp}}$ 固定取满为 $k_h k_w$，未针对浅层与深层之间不同频段的退化程度实现动态秩压缩，未来可探索通道与空间维度的联合稀疏动态分配。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从理论与结构上解耦 4D 卷积的通道与空间微调，巧妙引入空间协方差 SVD 基底。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 VTAB-1k 分类、DGSS 跨域密集分割、DreamBooth 生成与多类现代骨干，消融与感受野分析极其扎实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑线清晰，ERF 动态分析与数学定义紧凑严谨。
价值: ⭐⭐⭐⭐⭐ 为 ConvNeXt、MambaVision 以及扩散模型中的卷积微调树立了极具参考价值的 PEFT 新基准。