Why Linear Probing Works: Non-Vacuous Generalization Bounds via Effective Dimension¶

会议: ECCV 2026
论文: ECCV 原文
领域: 可解释性
关键词: 线性探测, 泛化界, PAC-Bayes, 有效维度, 视觉基座模型

一句话总结¶

针对视觉基座模型冻结特征线性探测所需样本量远低于传统理论下界的谜题，本文利用特征协方差谱急剧衰减特性构建与协方差对齐的数据依赖高斯先验，推导出首个依赖有效维度 $d_{\text{eff}} \ll d$ 与分类间隔 $\gamma$ 的非真空 PAC-Bayes 泛化界。

研究背景与动机¶

在现代计算机视觉评估中，冻结预训练骨干网络并仅在其特征上训练线性分类器（Linear Probing）已成为评估表征质量的标准范式。例如在 DINOv2 或 CLIP 的 768 维特征上，仅凭每个类别 10 个有标注样本即可取得高准确率。然而，这一在实际部署中极其成功的范式在经典统计学习理论中却面临严峻的理论脱节：经典的 $d$ 维多类线性分类器样本复杂度下界通常要求 $\Omega(dk \log k / \epsilon^2)$，当 $d=768$、$k=1000$（ImageNet）时，经典理论预测需要的标注样本量比实际需求高出数个数量级；基于环境维度 $d$ 的标准 PAC-Bayes 界上界形式为 $\mathcal{O}(\sqrt{d/n})$，在样本量有限时必然退化为平凡真空值（大于 1）。

出现这一理论鸿沟的核心矛盾在于：经典泛化理论（如 VC 维与 Rademacher 复杂度）对特征空间的全部环境维度一视同仁，不论某个特征维度是承载判别信息还是纯噪声，都对复杂度惩罚贡献同等权重。虽然表征学习的经验研究早已认识到特征具有内在低维流形结构，但现有的内在维度研究主要停留在直觉启发或受限设定上（例如强加现代自监督无法满足的多视角独立性假设，或依赖下游不可用的增强图结构），始终未能给出面向真实视觉基座模型线性探测的紧致、可计算且非真空（Non-vacuous）的正式泛化证书。

本文的切入角度是直接从视觉基座模型特征协方差矩阵的代数谱结构入手：视觉模型的特征方差绝大多数集中在极少的主成分特征方向上，特征协方差矩阵呈现幂律谱衰减。核心 idea：将特征协方差矩阵的有效维度（参与率）引入 PAC-Bayes 框架，构造与无标注特征协方差精确对齐的数据依赖高斯先验，使 KL 散度复杂度项受控于有效维度 $d_{\text{eff}} \ll d$ 与分类间隔 $\gamma$ 而非环境维度 $d$，从而推导出首个非真空且紧致的线性探测泛化界。

方法详解¶

整体框架¶

本文构建了一套针对冻结视觉特征线性探测的谱泛化理论分析框架。给定冻结编码器提取并经 $\ell_2$ 归一化的特征，首先基于无标注数据估计经验特征协方差矩阵并计算其参与率（有效维度 $d_{\text{eff}}$）；随后在 PAC-Bayes 框架下引入与特征协方差对齐的高斯先验分布，同时设计注水分配（water-filling）特征基后验分布，有效避免多类与高维度的 KL 爆炸；最终将经验间隔损失与谱复杂度结合，得到可数值求取的非真空泛化风险上界，并延伸出分布偏移预测定理与表征质量评分准则。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["冻结视觉特征输入<br/>ℓ2 归一化特征 z"] --> B["特征协方差谱分解与有效维度计算"]
    B --> C["协方差对齐的谱数据依赖先验构建"]
    C --> D["特征基注水后验与谱复杂度分解"]
    D --> E["多类间隔转换与谱 PAC-Bayes 泛化界导出"]
    E --> F["分布偏移预测与表征质量评分衍生"]

关键设计¶

1. 谱衰减与有效维度（参与率）：刻画特征能量集中的物理测度

为了克服环境维度 $d$ 在统计复杂度中对无用维度的机械惩罚，首先需要准确度量表征在特征空间中的实际自由度。给定 $\ell_2$ 归一化的特征向量 $z_i \in \mathbb{R}^d$（满足 $\|z_i\|=1$），其经验协方差矩阵定义为 $\hat{\Sigma} = \frac{1}{n} \sum_{i=1}^n z_i z_i^\top$，特征值分解为 $\hat{\Sigma} = \sum_{j=1}^d \lambda_j u_j u_j^\top$，其中 $\lambda_1 \ge \cdots \ge \lambda_d \ge 0$。

本文引入凝聚态物理中度量本征态局域化的参与率（Participation Ratio）作为有效维度 $d_{\text{eff}}$ 的严格定义： $$d_{\text{eff}}(\hat{\Sigma}) = \frac{(\operatorname{tr}(\hat{\Sigma}))^2}{\|\hat{\Sigma}\|_F^2} = \frac{(\sum_{j=1}^d \lambda_j)^2}{\sum_{j=1}^d \lambda_j^2}$$ 该定义满足 $1 \le d_{\text{eff}} \le d$：当所有方差均集中于单一方向时取最小值 1；当协方差为各向同性（特征值均等）时退化为环境维度 $d$。对于现代判别式基座模型（如 DINOv2），特征值呈现快速幂律衰减 $\lambda_j \propto j^{-\alpha}$（$\alpha > 1$），使得 $d_{\text{eff}} = \Theta(1)$ 完全独立于环境维度 $d$（例如 $d=768$ 时 $d_{\text{eff}} \approx 35$），为压缩假设空间容量提供了坚实的数学实体。

2. 协方差对齐的谱数据依赖先验：规避各向同性先验的维数惩罚

传统的 PAC-Bayes 理论通常假设各向同性高斯先验 $\pi = \mathcal{N}(0, \sigma^2 I)$，这导致后验与先验之间的 KL 散度直接对所有 $d$ 个维度施加均等惩罚，导致界在 $d$ 较大时直接失效。为此，本文设计了一种与无标注特征统计信息直接对齐的数据依赖高斯先验： $$\pi = \mathcal{N}\left(0, \frac{\sigma^2}{d_{\text{eff}}} \hat{\Sigma}\right)$$ 该先验的直觉机理在于：在方差大的主特征方向（$\lambda_j$ 较大）上赋予更宽的先验方差，允许后验权重在主要表征方向上自由探索而不产生高昂的 KL 代价；在接近噪声的微弱方向（$\lambda_j$ 接近 0）上收紧先验方差，重罚后验在噪声方向的能量分散。由此，KL 散度实质上仅对 $d_{\text{eff}}$ 个有效维度计入复杂度，从而在理论根源上切断了环境维度 $d$ 对泛化界的支配。先验仅依赖无标注特征统计量，通过独立拆分集保证了 PAC-Bayes 的形式合法性。

3. 特征基注水后验与谱复杂度分解：阻断多类与迹项爆炸

在构建多类线性分类器 $\hat{W} = [\hat{w}_1, \dots, \hat{w}_k] \in \mathbb{R}^{d \times k}$ 的后验分布时，若采用简单的各向同性高斯扰动，trace 项与对数行列式纠正项 $T_{\text{lower}}$ 将退化为 $\Theta(d)$。为了得到数值非真空界，本文设计了沿特征值基底对齐的注水后验（Water-filling Posterior）$\rho_c = \mathcal{N}(\hat{w}_c, \operatorname{diag}(p_j^2))$。

通过注水算法将后验方差沿各特征方向约束在分类间隔预算内（满足 $\sum_j \lambda_j p_j^2 \le \bar{\gamma}^2 / (8 \log(2kn))$），谱复杂度项被解耦为： $$\Phi(\hat{W}, \hat{\Sigma}) = \frac{1}{d_{\text{eff}}} \sum_{j=1}^d \frac{\frac{1}{k} \|\hat{W}^\top u_j\|^2}{\lambda_j + \varepsilon_0}$$ 由于 $\ell_2$ 正则化的分类器权重 $\hat{W}$ 自然与特征空间的主特征向量高度重合，能量主要集中于大 $\lambda_j$ 的分母项中，使得 $\Phi(\hat{W}, \hat{\Sigma})$ 极小，配合精细控制的 $T_{\text{lower}}$，彻底消除了各向同性后验在高维多类下的膨胀问题。

4. 谱 PAC-Bayes 泛化界导出与间隔损失转化：得到可计算的证书

结合多类逐类别 PAC-Bayes 组合技术与分类间隔 $\bar{\gamma} = \frac{1}{n} \sum_{i=1}^n (w_{y_i}^\top z_i - \max_{c \ne y_i} w_c^\top z_i)$，在扰动方差满足 $\varepsilon \le \bar{\gamma}^2 / (8 \log(2kn))$ 时，随机分类器的经验误差被经验间隔损失 $\hat{R}_{\bar{\gamma}}(\hat{W}) = \frac{1}{n} \sum_{i=1}^n \mathbf{1}[\gamma(z_i, y_i) < \bar{\gamma}]$ 严格控制。最终以至少 $1-\delta$ 的概率给出总体系 0-1 风险 $R(\hat{W})$ 上界： $$R(\hat{W}) \le \hat{R}_{\bar{\gamma}}(\hat{W}) + \sqrt{\frac{d_{\text{eff}} \cdot \Phi(\hat{W}, \hat{\Sigma}) + T_{\text{lower}}(\varepsilon_{\text{post}}, \sigma^2) + \log\frac{2k\sqrt{n}}{\delta}}{2(n-1)}}$$ 其紧致渐近行为在主成分对齐良好时呈现出 $\mathcal{O}\left(\sqrt{\frac{d_{\text{eff}} \cdot k}{n \cdot \bar{\gamma}^2}}\right)$ 的优异收敛速度。

5. 表征质量评分准则与分布偏移分析：打通实际应用的理论衍生

从主导误差界的关键因子出发，定义了表征质量评分准则： $$\mathcal{S}(f_\theta) = \frac{\bar{\gamma}^2}{d_{\text{eff}}}$$ 该指标中 $d_{\text{eff}}$ 完全无需标签即可在数十秒内由无标注特征直接计算，$\bar{\gamma}$ 仅需极少量样本（如 50 个）即可稳健估计，为模型选择提供了具备形式化泛化理论解释的代理度量。进一步，在分布偏移分析中，当目标域协方差 $\Sigma_T$ 在源域前 $r = \lceil d_{\text{eff}}^S \rceil$ 个特征向量正交补空间产生子空间不对齐 $\Delta_{\text{shift}} = \operatorname{tr}({U_r^\perp}^\top \Sigma_T U_r^\perp)$ 时，证明了目标有效维度满足 $d_{\text{eff}}^T \ge d_{\text{eff}}^S + \Delta_{\text{shift}} \cdot c_T$，给出了分布偏移导致泛化证书松弛的定量机制。

损失函数 / 训练策略¶

线性探测分类器采用常规的 $\ell_2$ 正则化交叉熵损失进行训练： $$\hat{W} = \arg\min_W \frac{1}{n} \sum_{i=1}^n \ell_{\text{CE}}(W^\top z_i, y_i) + \frac{\lambda_{\text{reg}}}{2} \|W\|_F^2$$ 在 ImageNet-1K 实验中，正则化系数设为 $C = 1/\lambda_{\text{reg}} = 0.316$（经独立验证集交叉验证）。在求取理论泛化界数值时，超参数对 $(\varepsilon, \sigma^2)$ 通过 $50 \times 50$ 的精细二维网格搜索直接联合优化最小化 PAC-Bayes 上界数值。

实验关键数据¶

主实验¶

在 ImageNet-1K 全量训练集（$n=1,281,167$，$k=1000$）及置信度 $\delta=0.05$ 下，针对 12 个代表性 Vision Transformer 编码器（涵盖判别式自监督、预测式自监督、语言监督、全监督及生成式预训练）测定谱特性与泛化界。

模型	预训练范式	环境维度 $d$	有效维度 $d_{\text{eff}}$	分类间隔 $\bar{\gamma}$	泛化界 (Bound)	kl-inv 界	真实误差 (Error)	泛化界/误差比率
DINOv2-g	判别式自监督	1536	22	2.81	0.112	0.098	0.065	1.72×
DINOv2-L	判别式自监督	1024	28	2.58	0.126	0.111	0.072	1.75×
DINOv2-B	判别式自监督	768	35	2.30	0.114	—	0.081	1.40×
DINOv2-S	判别式自监督	384	28	1.92	0.175	0.155	0.105	1.67×
I-JEPA-g	预测式自监督	1536	38	2.18	0.155	0.138	0.090	1.72×
I-JEPA-H	预测式自监督	1280	40	2.05	0.162	0.145	0.095	1.71×
CLIP-L	语言弱监督	768	50	1.97	0.198	0.178	0.120	1.65×
CLIP-B	语言弱监督	512	55	1.72	0.245	0.220	0.150	1.63×
Sup-ViT-L	有监督训练	1024	65	1.81	0.268	0.242	0.153	1.75×
Sup-ViT-B	有监督训练	768	72	1.48	0.315	0.285	0.188	1.68×
MAE-L	生成式自监督	1024	150	0.83	0.782	0.710	0.280	2.79×
MAE-B	生成式自监督	768	180	0.61	> 1.00	> 1.00	0.320	真空 (Vacuous)

消融实验¶

在 DINOv2-B / ImageNet-1K 配置下，分析谱先验组件、低维投影策略及正则化对界紧致性的贡献。

配置	有效维度 $d_{\text{eff}}$	泛化界 (Bound)	泛化界/误差比率	状态判定	说明
完整本文方法 (Theorem 3)	35	0.114	1.40×	非真空 (Non-vacuous)	采用协方差对齐谱先验与注水后验
各向同性先验 $\mathcal{N}(0, \sigma^2 I)$	768	2.340	—	真空 (Vacuous)	失去协方差谱对齐，KL 散度受 $d$ 惩罚暴增
硬 PCA 投影至 $d_{\text{eff}}$ 维后套经典界	35	0.172	2.12×	非真空 (Non-vacuous)	缺乏谱平滑加权与多类结构，明显变松
去除 $\ell_2$ 正则化 ($\lambda_{\text{reg}}=0$)	35	0.205	2.53×	非真空 (Non-vacuous)	权重向低特征值噪声方向扩散，$\Phi$ 变大
仅保留前 50 个主特征向量	25	0.138	1.70×	非真空 (Non-vacuous)	截断尾部轻微损害表征重构能力

关键发现¶

判别式表征的绝对非真空性：所有 10 种判别式/预测式模型均取得了严格非真空（$<1$）的泛化保证，DINOv2-B 的泛化界/误差比率达到了创纪录的 1.40×（界为 0.114，真实留出误差为 0.081），在样本量达到约 8000 时即可转为非真空。
预训练范式的谱结构分异：生成式预训练（MAE）表现出本质差异，其特征方差平摊于空间中（谱衰减指数 $\alpha < 1$），导致 $d_{\text{eff}}$ 居高不下（MAE-B 达 180），无法满足 $\Phi \ll k/\bar{\gamma}^2$ 的非真空判据，印证了生成式自监督特征在线性探测下的低效性。
无需标签的表征优劣排序：仅用无标注特征计算的有效维度 $d_{\text{eff}}$ 与实际线性探测准确率的 Spearman 秩相关系数高达 0.85（负相关，谱衰减越快表现越好）；而完整得分 $\mathcal{S} = \bar{\gamma}^2 / d_{\text{eff}}$ 相关性达到 0.91，显著优于 PACTran (0.82)、NLEEP (0.80)、LogME (0.78) 和 H-score (0.76)。
分布偏移下单调递增的理论预测：跨域评测显示，随着目标数据集（从 Oxford Pets、CIFAR-100 到 Camelyon17）的子空间偏移 $\Delta_{\text{shift}}$ 增大，目标有效维度 $d_{\text{eff}}^T$ 与泛化界严格单调上升（相关系数 $\rho = +1.00$）。

亮点与洞察¶

首次揭示了视觉基座模型能够以极少标注样本成功线性探测的数学物理根源：模型特征并未充斥整个高维环境空间，而是高度浓缩在有效维度 $d_{\text{eff}} \ll d$ 的超椭球体内。
巧妙地将数据依赖先验与特征谱分解结合，并利用注水分配后验将多类分类下的高维 trace 爆炸转化为由间隔预算精确界定的常数级惩罚。
导出的表征质量评分 $\mathcal{S} = \bar{\gamma}^2 / d_{\text{eff}}$ 兼具扎实的统计学习理论支撑与工程实用性，其中最具判别力的 $d_{\text{eff}}$ 耗时不到 30 秒且零标签开销，可以直接作为基座模型选型的通用工具。

局限与展望¶

理论成立的前提假设：理论极度依赖特征协方差矩阵 $\hat{\Sigma}$ 的估计精度，当无标注样本极少时虽然有效维度容易被高估，但泛化界仍需较大样本保证绝对紧致。
分布偏移预测的细粒度局限：定理 9 成功预测了分布偏移下有效维度膨胀与泛化界松弛的单调性，但由于未对类别条件分布进行细分，无法准确预测如 Flowers-102 因类别数少但在偏移下依然取得 98.2% 准确率的个例。
模型架构与下游适配拓展：当前理论严格针对冻结特征的线性探测头，尚未覆盖 LoRA、全参数微调或非线性探测头（如多层 MLP）；探索参数高效微调在低秩流形上的对应谱泛化理论是极具价值的后续方向。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立特征谱有效维度与 PAC-Bayes 线性探测非真空界的严格理论联系。
实验充分度: ⭐⭐⭐⭐⭐ 跨越 12 款模型、4 类预训练范式及 7 个评测数据集，理论预测与实证完美闭合。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，数学推导清晰且对简化形式的边界及反常现象均有透彻探讨。
价值: ⭐⭐⭐⭐⭐ 既回答了视觉表征为何易于迁移的基础理论问题，又提供了极具实用价值的免标签模型评估准则。