Understanding Geometric Representations in Self-Supervised Vision Transformers via Subspace Intervention¶

会议: ECCV 2026
OpenReview: https://eccv.ecva.net/virtual/2026/poster/4702
论文: CVF Open Access
代码: https://github.com/Zhou-Weichen/Geosubprobe
领域: 可解释性
关键词: 子空间干预, 几何表示, 自监督视觉Transformer, 任务亲和性, 可读性差距

一句话总结¶

本文提出了一种基于收敛线性探测头奇异值分解（SVD）的受控子空间干预分析框架，揭示了自监督视觉 Transformer（ViT）中显式几何特征的拓扑编码机制与跨层演化规律，证实 DINOv2 将丰富几何信息高度对齐于紧凑的低秩子空间中，而 MAE 则将几何信号离散化分布于全局空间与通道维度。

研究背景与动机¶

现代稠密几何预测任务越来越依赖自监督视觉 Transformer 作为基础骨干网络。大量实证研究表明，自监督 ViT 在缺乏显式 3D 监督信号的前提下，其隐空间内部能够自发涌现出精确的单视角几何与空间结构理解能力。然而，学术界长期以来主要依赖下游解码头的最终预测精度来评估这些预训练表征，这种“黑盒探测”范式极大地掩盖了底层特征的具体拓扑编码形式：模型究竟是将几何基元编码为易于线性抽取的对齐坐标系，还是将其离散、纠缠在整个高维特征流形之中，始终缺乏定量的分析手段。

这种评估范式的核心矛盾在于，它混淆了“信息本身不存在”与“解码器无法线性读取”这两种截然不同的失效模式。当一个简单的线性探测头表现欠佳时，研究人员无法判定几何线索究竟是彻底缺失、高度非线性折叠在单个 token 内部，还是离散化碎片化地分布在不相交的空间 patch 之间。现有的可解释性工作多聚焦于语义概念向量或注意力头行为，尚未建立起针对稠密空间几何结构从局部纠缠、全局离散到低秩子空间容量的完整因果诊断路径。

为了打破这一黑盒瓶颈，本文构建了由粗到细的层次化诊断管线，既通过受限容量解码器阶梯定量解耦局部非线性与全局空间依赖，又创新性地利用收敛线性分类头的权重正交分解反向抽取任务对齐子空间。核心 idea：对已收敛线性探测头权重执行奇异值分解（SVD）提取任务对齐基向量，通过冻结骨干与探测头的受控子空间正交投影及残差干预，在无需额外训练的条件下精确量化几何特征的线性可压缩性、跨层能量路由与逐层任务亲和性。

方法详解¶

整体框架¶

本文构建的受控子空间干预诊断框架包含两个核心分析阶段：第一阶段为“可读性差距（Readability Gap）解耦”，通过设置容量严格递进的三层探测阶梯（Linear Probe、Token-wise 1×1 MLP、全局多尺度 DPT 解码器），将特征不可读性显式解耦为点元局部的非线性折叠与跨 patch 的全局空间碎片化；第二阶段为“受控子空间干预（Controlled Subspace Intervention）”，在保持预训练骨干网络与探测头参数完全冻结的前提下，对线性探测矩阵实施 SVD 分解提取正交基，并分别将特征张量投影到任务对齐子空间、随机控制子空间及正交残差空间，量化几何信号的低秩压缩极限与层间能量流向。

整个诊断框架的计算流水线如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["冻结骨干网络特征<br/>Z ∈ R^(N×D)"] --> Tiers["三层探测阶梯解耦<br/>Linear vs MLP vs DPT"]
    Tiers --> SVDDec["线性权重奇异值分解<br/>W = U Σ V^T 提取任务对齐基"]
    SVDDec --> SubInt["受控子空间投影干预<br/>任务对齐 Sk / 随机 Rk / 正交残差 S_perp"]
    SubInt --> EPerf["谱加权能量路由与任务亲和性评估<br/>跨层能量 Ei 与 法线/深度/语义 逐层演化"]
    EPerf --> Out["输出几何表征拓扑诊断结论<br/>对齐压缩比、层级偏好与轻量解码指导"]

关键设计¶

1. 三层探测阶梯解耦：分离局部非线性折叠与全局空间离散

为了终结黑盒探测中“性能低下即特征缺失”的归因混淆，本文构建了感受野和非线性表达能力受控的三层探测架构。最底层的线性探测头采用 $1 \times 1$ 卷积将各 patch token 的特征映射至目标离散深度区间，严格测度无需跨 token 通信即可读取的显式几何线索；中间层 1×1 MLP 探针在维持相同单 token 局部感受野的前提下引入非线性 GELU 激活层，其与线性探针的性能差距直接量化了特征在单点上的局部非线性纠缠程度；顶层的 DPT 探针引入全局多尺度特征聚合机制，其与 MLP 探针的性能差距则精确分离出了由于几何基元分散在多个空间 token 上而导致的全局空间碎片化惩罚。三者层层递进，定量勾勒出自监督表征从隐式纠缠到显式可读的拓扑障碍。

2. 线性权重奇异值分解：无损提取任务对齐基与受控子空间投影

对于收敛的线性分类权重矩阵 $\mathbf{W}^{(l)} \in \mathbb{R}^{C \times D}$（其中 $C \ll D$ 代表预测目标维度，例如 $C=256$ 维离散深度区间），其映射秩严格受限于目标维度。通过对其直接执行奇异值分解： $$\mathbf{W}^{(l)} = \mathbf{U}^{(l)} \mathbf{\Sigma}^{(l)} (\mathbf{V}^{(l)})^\top$$ 右奇异矩阵 $\mathbf{V}^{(l)} \in \mathbb{R}^{D \times C}$ 的各列正交向量构成了表征空间中任务对齐几何方向的标准正交基。选取前 $k$ 个主方向构建低秩子空间 $\mathcal{S}_k^{(l)} = \text{span}\{\mathbf{v}_1^{(l)}, \dots, \mathbf{v}_k^{(l)}\}$，并将原始特征 $\mathbf{Z}^{(l)}$ 通过投影矩阵正交压缩为 $\tilde{\mathbf{Z}}_k^{(l)} = \mathbf{Z}^{(l)} \mathbf{V}_k^{(l)} (\mathbf{V}_k^{(l)})^\top$。此时直接将投影特征送入冻结的原线性头进行推断，不仅无需微调或二次训练，而且将下游精度的变化完全归因于该 $k$ 维子空间的几何承载力。同时，引入相同秩的随机正交子空间 $\mathcal{R}_k$ 与正交补残差特征 $\mathbf{Z}_{\text{res}}^{(l)} = \mathbf{Z}^{(l)} - \tilde{\mathbf{Z}}_k^{(l)}$ 作为双重对照，验证显式几何信号是否严格聚焦于主奇异子空间之中。

3. 谱加权能量路由与逐层任务亲和性评估：揭示表征从几何到语义的层级跃迁

当探针作用于跨层拼接特征 $\mathbf{W}_{\text{global}} \in \mathbb{R}^{C \times 4D}$（拼接层如 $l_6, l_{12}, l_{18}, l_{24}$）时，每个对齐奇异向量可拆分为四个层特异性分块 $\mathbf{v}_m = [(\mathbf{v}_m^{(l_6)})^\top, (\mathbf{v}_m^{(l_{12})})^\top, (\mathbf{v}_m^{(l_{18})})^\top, (\mathbf{v}_m^{(l_{24})})^\top]^\top$。为了定量刻画网络不同物理深度对下游任务的贡献份额，本文提出了基于奇异值方差解释度的谱加权层能量指标 $E_i$： $$E_i = \frac{\sum_{m=1}^C \sigma_m^2 \|\mathbf{v}_m^{(l_i)}\|_2^2}{\sum_{j=1}^4 \sum_{m=1}^C \sigma_m^2 \|\mathbf{v}_m^{(l_j)}\|_2^2}$$ 在此基础上，通过将相同骨干特征并行探测至表面法线预测、单目深度估计以及 40 类语义分割任务中，系统追踪各几何与语义目标随网络层数深化的性能峰值演变，从而在单一模型内部绘制出底层局部几何、中层结构三维以及顶层高度抽象语义的任务亲和性跃迁图谱。

实验关键数据¶

主实验¶

在 NYU Depth V2 室内单目深度估计基准上，针对 ViT-Large 规模的 DINOv2、iBOT 与 MAE 三种典型自监督预训练范式，对比了三层探测架构下的线性可读性差距及局部/空间解耦指标：

骨干网络 (Backbone)	预训练范式	Linear (SA-$\delta_1$ ↑)	1×1 MLP (SA-$\delta_1$ ↑)	DPT (SA-$\delta_1$ ↑)	局部非线性纠缠 Gap	空间碎片化 Gap
DINOv2-Large	自蒸馏 (Self-Distillation)	0.9157	0.9325	0.9483	+0.0168	+0.0158
iBOT-Large	混合掩码蒸馏 (Hybrid)	0.8198	0.8376	0.8524	+0.0178	+0.0148
MAE-Large	掩码自编码 (MIM)	0.6033	0.6390	0.7022	+0.0357	+0.0632

消融实验¶

在融合多层特征（Layer 6, 12, 18, 24）的全局线性探针上，分析各层特征在对齐奇异向量上的谱加权能量贡献率分配 $E_i$（%），基准均匀分布线为 25.0%：

骨干网络 (Model)	Layer 6 能量贡献 ($E_6$)	Layer 12 能量贡献 ($E_{12}$)	Layer 18 能量贡献 ($E_{18}$)	Layer 24 能量贡献 ($E_{24}$)	几何能量集中特征说明
DINOv2-Large	17.2%	35.8%	36.7%	10.3%	高度集中于中间层（$l_{12}+l_{18} > 72\%$），顶层发生显著衰退
iBOT-Large	26.9%	28.4%	22.4%	22.3%	各层能量围绕 25% 均匀线平缓波动，兼顾全局与局部
MAE-Large	19.5%	28.4%	32.7%	19.4%	几何能量分散于多层，需全层协同完成密集重构

关键发现¶

对齐与离散的范式鸿沟：DINOv2 的显式线性探测表现极佳（SA-$\delta_1$ 达到 0.9157），引入复杂的非线性 MLP 和全局多尺度 DPT 带来的提升极为有限（分别仅提升 +0.0168 和 +0.0158），表明自蒸馏机制已将单视角几何结构完美整流为线性正交基；相反，MAE 表现出严重的特征离散性，DPT 相比 Linear 产生高达 +0.0989 的巨大跨越，且空间碎片化 Gap（+0.0632）显著大于局部非线性 Gap（+0.0357），证明掩码像素级重建迫使几何基元分散在广阔的空间 token 之间。
几何特征极高的低秩可压缩性：在子空间干预中，将特征投影至随机子空间 $\mathcal{R}_k$ 或正交残差空间 $\mathcal{S}_k^\perp$ 时，线性探针性能直接崩塌至噪声基底（SA-$\delta_1 < 0.18$）；而在对齐子空间上，MAE 在 $k=32$ 时即可恢复其 98% 以上的线性潜能，DINOv2 在 $k=64$ 时即逼近全秩线性上限，证实稠密几何预测头完全可以被约束在极其紧凑的低秩子空间运行。
任务亲和性的层级演进与分离：在 DINOv2 内部，表面法线估计在 Layer 18 达到性能峰值，单目深度估计在 Layer 21 见顶，而语义分割直到最末端的 Layer 24 才达到最大值。这表明网络高层并非丧失了表征容量，而是表征重点从局部度量几何向全局抽象语义发生主动迁移。

亮点与洞察¶

后验无需训练的因果诊断：通过直接对已收敛线性头的权重视为投影矩阵进行奇异值分解，避免了重新训练低维探针时引入的优化器扰动与超参数方差，实现了极其纯净的几何表示结构测量。这一机制排除了优化器与正则化引入的测量假象，确立了衡量预训练模型原生表征能力的基准探针范式。
破解“黑盒探针”的解释模糊性：创造性地将传统标量精度指标拆解为由低秩子空间投影、随机空间基线与正交补残差构成的完整控制对照组，有力地回答了“几何信息究竟在哪个坐标方向上存在”的机制问题。正交补空间的零响应对比实验排除了表征维度冗余导致的虚假相关性。
对下游密集预测头设计的实用启发：指出直接采用 ViT 最后一层特征进行下游稠密几何预测是次优的，反向证明了特征多层路由（例如中间层用于几何、顶层用于语义）以及低秩轻量解码器的坚实理论依据。为轻量化感知架构设计提供了严密的经验支持与结构引导。
子空间干预为多模态世界模型对齐提供诊断工具：所提出的正交投影与残差干预协议不仅适用于纯视觉骨干，更能无缝迁移至视觉语言与具身决策模型内部，定量评估空间几何概念在跨模态对齐中的拓扑畸变与保留程度。

局限与展望¶

线性探测对深层非线性流形的局限：当前的子空间干预严重依赖于线性权重正交分解，对于完全深陷于复杂高度非线性李群流形中的隐式几何信息，仍无法通过正交投影直接展开。未来需要探索基于流形微分几何的非线性测地线探针。
评测基准对配对标注数据的强依赖：跨任务亲和性分析要求同一场景必须具备完美对齐的深度、法线和语义真值，受限于 NYUv2 等室内数据集规模，限制了更大规模野外跨域（如 KITTI、NAVI）多任务同构比对的广度。
超大规模视觉模型的算力验证约束：论文主要在 ViT-Base 与 ViT-Large 上展开剖析，受资源所限未将子空间干预直接拓展至十亿参数级巨型模型（如 ViT-Giant），超大模型的几何流形崩塌与相变现象仍待探索。
未来方向：计划将该正交分解探针扩展至视频扩散与动态世界模型，追踪时序因果推理过程中三维运动与几何场在隐空间的演化轨迹。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用已收敛线性权重 SVD 进行无训练因果干预，立意深刻且构思精巧。
实验充分度: ⭐⭐⭐⭐☆ 在多预训练范式（DINOv2/iBOT/MAE）、多尺度、多层级及跨任务亲和性上构建了完备的实证链条。
写作质量: ⭐⭐⭐⭐⭐ 概念清晰，数学推导简洁扎实，逻辑链条严丝合缝。
价值: ⭐⭐⭐⭐⭐ 为密集几何感知模型的骨干选择、跨层特征提取和轻量化解码器架构设计提供了极具实践指导意义的理论基石。