Your Self-Supervised Projection Head Captures Object Co-Occurrence Statistics¶
会议: NeurIPS 2026
arXiv: 2610.23915
OpenReview: https://openreview.net/forum?id=xIeX3NaTxT
领域: 自监督/表示学习
关键词: 自监督学习、投影头、物体共现统计、表征相似性分析、层次化语义表征
一句话总结¶
揭示自监督学习（SSL）经典预训练范式中投影头隐式建模自然物体共现统计的深层机制，证明视觉主干与投影头分别分工物体类别判别与上下文共现编码，且建模物体共现可大幅加速并提升下游类别表征学习。
研究背景与动机¶
现代视觉自监督学习（如 SimCLR、BYOL、DINO、VICReg）依赖图像增强流水线构建多视角对比或一致性预测，使模型学到对几何裁剪与颜色扰动具有不变性的高质量视觉表征。主流共识长期认为自监督数据增强的核心前提是“保持任务标签语义不变”，即随机裁剪出的两个视角应聚焦于同一物体的不同局部。然而，自然图像中不可避免地蕴含丰富的物体共现模式（例如餐桌场景中餐盘常与刀叉相伴，草地常与动物相邻）。在真实 ImageNet-1k 预训练中，随机裁剪机制以约 15% 的高概率采样到视觉内容完全属于不同类别的图块组合，使得模型客观上持续将共现物体的表征拉近对齐。
这种现象引出一个根本性的认知盲区：视觉自监督模型是否在无显式监督的情况下隐式编码了自然物体的共现统计规律？若确实存在，这些共现信息究竟储存在神经网络的哪一层结构中？传统做法通常在预训练完成后将多层感知机（MLP）投影头彻底抛弃，仅保留视觉主干用于下游任务，认为投影头仅是对抗特定数据增强畸变的过渡层。现有文献未能系统阐明投影头在语义表征演化中的真实功能，也未厘清物体共现先验在自监督表征学习中的因果增益。
本文的切入视角是解耦物体外观特征与场景上下文干扰，构建完全去除了背景上下文的孤立单物体分割评测集，进而探查多类经典 SSL 模型内部各层对真实场景物体共现矩阵的对齐程度。核心 idea：自监督视觉模型呈现显式的层次化语义组织结构——视觉主干网络专注于解耦细粒度物体类别，而此前被直接丢弃的非线性投影头则专注于编码物体间的自然共现统计规律，且主动引入合理的共现信号能够大幅加速主干网络类别表征的涌现。
方法详解¶
整体框架¶
为了系统探测自监督模型内部表征是否以及如何编码物体共现统计，评测数据必须彻底剥离图像原有的场景上下文背景，否则无法辨别表征相似性是源于测试图本身的背景视觉线索还是源于模型在预训练中学到的共现先验。研究流程包含三个核心阶段：首先利用大规模分割模型提取无背景的纯净单物体图库，并基于真实场景标注构建基准共现矩阵；其次采用表征相似性分析（RSA）与上下文分类准确率定量评估 SSL 模型各层对共现规律的捕获能力；最后通过人工可控的共现预训练干预实验验证共现统计对类别表征学习的因果驱动作用。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["自然场景标注数据集<br/>COCO / ADE20K / LVIS"] --> B["自然物体共现统计矩阵计算<br/>统计类别两两共现频次与上下文聚类"]
C["单物体图像数据集 THINGS / LVIS"] --> D["Lang-SAM 语义分割与背景滤除<br/>消除场景背景残留，保留纯净孤立目标"]
B --> E["表征对齐与上下文评测<br/>RSA Kendall's tau 与上下文分类准确率"]
D --> E
F["预训练视觉模型输入<br/>ViT-B / ResNet-50 主干 + 多层投影头"] --> E
E --> G["分层语义解耦发现<br/>主干捕获类别区分度 / 投影头捕获共现上下文"]
G --> H["受控共现先验注入预训练<br/>同上下文跨类别采样调控加速类别学习"]关键设计¶
1. 无上下文单物体数据集与场景共现矩阵构建：消除评测阶段的背景捷径混淆
针对评测图像若自带复杂背景会导致模型仅凭背景像素相似即可匹配共现的问题，设计了严格的单物体基准构建流程。基于 THINGS 数据集（涵盖 1,854 个日常物体概念的自然图像），使用集成 Grounding-DINO 目标检测与 SAM 2 高质量掩码分割的 Lang-SAM 流水线将前景目标精准扣出，彻底剥离背景纹理，并人工剔除分割缺陷样本；同时从 LVIS 验证集中截取尺寸大于 \(32 \times 32\) 像素的分割目标实例。对应地，利用包含完整全景语义标注的 COCO 训练/验证集、ADE20K 训练集与 LVIS 训练集，统计所有成对物体概念在单张图像中共同出现的总次数，构建成对共现频次矩阵 \(C\)。最终对齐交集类别，形成三组严格对齐的基准对：COCO-THINGS（53 类别，736 张纯净分割图）、ADE20K-THINGS（77 类别，918 张纯净分割图）以及大规模 LVIS-LVIS（1,002 类别，118,068 张提取物体图）。
2. 双重表征对齐评测指标：度量几何流形相似度与离散语义上下文归属
为了在不同量纲与表征维度下稳定测度模型各层神经元激活对共现统计的捕获效果，联合设计了连续流形与离散上下文两套评估体系。第一种指标基于表征相似性分析（RSA）：对模型任意特定层提取相同类别单物体图像的平均特征向量，计算所有类别两两之间的余弦相似度，构成类别表征相似性矩阵（RSM），进而计算 RSM 上三角元素与真实共现矩阵 \(C\) 上三角之间的 Kendall's \(\tau\) 秩相关系数： $\(\tau = \frac{P - Q}{\frac{1}{2} n(n-1)}\)$ 其中 \(P\) 与 \(Q\) 分别代表元素对的一致与不一致对数。第二种指标为上下文分类准确率（Context Classification Accuracy）：在 COCO 上人工定义 10 类典型空间场景（如“城市街道”、“厨房”、“卧室”等），在 ADE20K 与 LVIS 上则对共现矩阵归一化对数实施谱聚类（Spectral Clustering）划分语义上下文簇；评测时构建由锚点类别、同上下文正样本类别以及其余每个上下文各抽一个负样本类别组成的多元元组，度量锚点与同上下文正样本在表征空间中的距离小于所有跨上下文负样本的概率。
3. 受控共现先验注入机制：建立共现统计对下游类别学习的因果验证
为验证模型表征对物体共现的捕获是促进主干类别表征形成的因果驱动因素，而非单纯的统计副产物，设计了受控共现扰动预训练协议。在 ImageNet-1k 上将 1,000 个类别均匀划分为 \(n_c\) 个互斥的共现上下文簇（簇内包含语义无关的随机类别组合，模拟人造共现环境）。在自监督预训练的每次正样本对采样中，以概率 \(p_c\) 从同一上下文簇内的不同类别随机抽取第二张图像作为正样本增强视角，以 \(1 - p_c\) 概率执行标准的同图数据增强。通过系统性扫描共现混合概率 \(p_c \in [0, 1]\) 与上下文数量 \(n_c \in [0, 300]\)，量化隔离共现驱动信号对主干网络下游线性分类准确率的实际增益与边界。
损失函数 / 训练策略¶
分析实验覆盖 MoCoV3、BYOL、VICReg、SimCLR 与 DINO 等涵盖对比学习、特征去相关与非对称蒸馏的主流 SSL 范式。受控干预实验中模型在 ImageNet-1k 上统一预训练 100 个 epoch，ResNet-50 基础学习率设为 1.6，优化器与温度参数沿用 solo-learn 标准超参数配置。对于 DINO，采用 2 个大分辨率全局裁剪（尺寸比例 \([0.4, 1.0]\)）与 4 个小分辨率局部裁剪（尺寸比例 \([0.05, 0.4]\)）；评测时直接抽取冻结各层特征计算离线度量，主干下游性能采用标准在线线性探测（Linear Probing）准确率验证。
实验关键数据¶
主实验¶
在三套基准数据集上对比各主流自监督模型的视觉主干末层（B）与投影头内部各线性层（P.0、P.1、P.2）对自然物体共现统计的捕获效果。结果表明投影头中间层在两项度量上均显著优于主干末层。
| 数据集 | 模型架构 | RSA Kendall's \(\tau\) (B) | RSA Kendall's \(\tau\) (P 最佳层) | 上下文准确率 (B) | 上下文准确率 (P 最佳层) | 优势层级 |
|---|---|---|---|---|---|---|
| COCO-THINGS | MoCoV3-R50 | 1.5 | 13.7 (mP.0) | 39.2% | 47.7% (P.0) | P.0 |
| COCO-THINGS | BYOL-R50 | 3.5 | 22.3 (mP.0) | 38.6% | 42.0% (P.0) | P.0 |
| COCO-THINGS | VICReg-R50 | 2.6 | 16.8 (mP.1) | 35.1% | 40.8% (P.0) | P.0 / P.1 |
| COCO-THINGS | DINO-ViT-B | 9.0 | 33.4 (mP.1) | 43.5% | 50.3% (P.1) | P.1 |
| ADE20K-THINGS | MoCoV3-R50 | 14.1 | 17.7 (mP.1) | 22.0% | 23.6% (P.0) | P.0 / P.1 |
| ADE20K-THINGS | DINO-ViT-B | 19.3 | 22.4 (mP.2) | 22.8% | 33.0% (P.2) | P.2 |
| LVIS-LVIS | MoCoV3-R50 | 40.7 | 45.7 (mP.0) | 19.0% | 20.2% (P.0) | P.0 |
| LVIS-LVIS | VICReg-R50 | 37.1 | 49.0 (mP.1) | 19.0% | 19.7% (P.0) | P.1 |
| LVIS-LVIS | DINO-ViT-B | 39.8 | 43.3 (mP.0) | 21.4% | 23.9% (P.1) | P.0 / P.1 |
消融实验¶
消融分析非线性投影头的存在与否对模型编码物体共现统计的影响。对比配置为：不带非线性隐含层的纯线性投影头（without）vs 原始多层非线性投影头（with）。
| 数据集 | 模型架构 | RSA Kendall's \(\tau\) (线性 head) | RSA Kendall's \(\tau\) (非线性 head) | 上下文准确率 (线性 head) | 上下文准确率 (非线性 head) | 性能增量 |
|---|---|---|---|---|---|---|
| COCO-THINGS | SimCLR | 4.3 | 14.2 | 36.6% | 42.4% | \(\tau\) +9.9 / Acc +5.8% |
| COCO-THINGS | BYOL | 2.3 | 22.5 | 37.6% | 46.8% | \(\tau\) +20.2 / Acc +9.2% |
| COCO-THINGS | DINO | 12.8 | 21.4 | 36.9% | 41.7% | \(\tau\) +8.6 / Acc +4.8% |
| ADE20K-THINGS | SimCLR | 12.4 | 19.7 | 24.5% | 22.6% | \(\tau\) +7.3 / Acc -1.9% |
| ADE20K-THINGS | BYOL | 13.8 | 16.4 | 22.3% | 23.1% | \(\tau\) +2.6 / Acc +0.8% |
| ADE20K-THINGS | DINO | 16.1 | 19.9 | 26.4% | 26.7% | \(\tau\) +3.8 / Acc +0.3% |
| LVIS-LVIS | SimCLR | 26.9 | 38.3 | 18.3% | 20.9% | \(\tau\) +11.4 / Acc +2.6% |
| LVIS-LVIS | BYOL | 26.3 | 40.7 | 17.5% | 20.6% | \(\tau\) +14.4 / Acc +3.1% |
| LVIS-LVIS | DINO | 39.3 | 42.9 | 18.8% | 20.7% | \(\tau\) +3.6 / Acc +1.9% |
关键发现¶
- 层次化语义分工明确：单样本上下文内单次分类实验（In-context one-shot classification）表明，随着网络从主干深层走向投影头深层，物体具体类别的区分精度单调下降（如 DINO 在 COCO-THINGS 上主干精度达 92.9%，至 P.3 下降至 86.0%；LVIS-LVIS 上主干为 85.4%，至 P.3 降至 74.2%），而物体所属上下文环境的表征对齐程度却显著提升，证实了主干聚拢同一类、投影头连接共现类的层级分离特性。
- 与人类相似度判断高度契合：在 THINGS 数据集 400 万条人类三选一（odd-one-out）相似度行为评测中，投影头中间层与人类跨类别主观相似度判断的 Kendall's \(\tau\) 显著超越视觉主干（如 DINO P.1 达 31.1 vs 主干 30.5；BYOL P.0 达 22.7 vs 主干 18.3），证明投影头学到的共现表征更贴近人类基于环境联想构建的认知语义流形。
- 共现增强存在最佳平衡区间：在受控共现先验注入实验中，以 \(p_c = 0.3\) 的概率混合同一上下文跨类正样本时，ImageNet-1k 线性分类准确率比纯基于图像增强的基线大幅提升达 +5.52%；但当 \(p_c > 0.3\) 时性能显著下降，表明过强的跨类强制对齐会导致实例判别坍缩，适度共现才是表征学习的催化剂。
亮点与洞察¶
- 颠覆了投影头仅是“冗余过渡层”的传统偏见：通过纯净单目标图像严格证明投影头内部层深藏丰富的世界结构与场景共现知识，并非单纯丢弃判别信息的“信息瓶颈垃圾桶”。
- 揭示了自监督学习与语言建模的本质同构性：正如 Word2Vec 与语言模型通过词语共现建立概念表征空间，视觉 SSL 依赖随机裁剪无意识捕获的物体共现统计，驱动了概念级语义结构的自主涌现。
- 提供了设计新一代 SSL 代理任务的实用指引：打破“增强必须保持单目标同一性”的教条，直接利用真实视频帧间物体共现或物体检测包围盒构建结构化共现对，有望显著降低视觉预训练的数据和算力开销。
局限与展望¶
- 实验评估受限于公开模型投影头的开源现状：诸如 DINOv2、DINOv3 等前沿超大视觉基础模型官方未开源预训练投影头权重，本文主要在标准开源模型库与自行复现的模型上展开分析。
- 投影头内部更细致的微观层级演化规律仍未完全收敛：多层投影头随层数增加并未表现出单调线性的从粗到细共现层级，表明现有网络结构缺乏显式约束来分级解耦粗粒度场景与细粒度物体共现。
- 未来工作可探索保留投影头参数直接服务于需要常识上下文推理的下游视觉任务，如零样本多标签分类、场景图生成以及具身智能环境认知导航。
相关工作与启发¶
- vs Tian et al. (CMC / InfoMin): 传统视角选择理论强调“良好视角的交互信息应保持任务标签不变而丢弃冗余”，本文证明现实裁剪增强不可避免地采样到多目标组合，且这种非标签不变的“共现噪声”反而是模型获得语义联想能力的关键驱动力。
- vs Bordes et al. (Guillotine Regularization) & Ouyang et al. (Information Bottleneck): 以往工作主要从维度坍缩与不变性过载的几何角度解释丢弃投影头的必要性，本文从认知语义与统计共现的角度给出了更直观的正向解释：投影头并非损坏了表征，而是演化出了与纯分类任务正交的高阶场景关系流形。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性论证并量化了视觉自监督学习中投影头对自然物体共现统计的隐式建模机制。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 套定制单物体分割基准、多范式模型对比、400 万条人类相似度行为对齐及受控因果干预实验。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑论证环环相扣，从数据统计异常推导至表征探查与因果实证，洞察深刻。
- 价值: ⭐⭐⭐⭐⭐ 为重新审视自监督预训练架构中各组件的分工及设计下一代结构化预训练代理任务提供了核心理论依托。