SPHERE-JEPA: Spherical Prediction with Homogeneous Embeddings¶

会议: NeurIPS 2026
arXiv: 2605.26900
OpenReview: https://openreview.net/forum?id=yZ1VgiAJie
领域: 其他
关键词: 自监督学习, 超球面均匀性, 联合嵌入预测架构, 极小化极大最优性, Cramér-Wold定理

一句话总结¶

针对自监督学习中欧氏各向同性高斯先验因局部密度倾斜破坏近邻估计的缺陷，本文从极小化极大预测风险出发，证明了超球面均匀分布是线性回归、k 近邻与指数核岭回归的唯一样本最优几何分布，并据此提出利用 Cramér–Wold 随机切片投影与 Epps–Pulley 检验约束特征超球面均匀性的 SPHERE-JEPA 框架，在 ImageNet-1K 线性探测与非参数化纹理检索上均取得显著性能增益。

研究背景与动机¶

自监督学习（SSL）通过对输入图像施加不同数据增强并最大化不同视图在隐空间中的一致性，成功摆脱了对大规模人工标注的依赖，在表征泛化能力上展现出媲美甚至超越监督学习的优异特性。然而，自监督学习的核心技术难点始终在于如何避免表征坍缩（representation collapse）并在无监督约束下诱导高质量的潜在几何结构。长期以来，主流方法主要依赖各类启发式机制来维持表征多样性——例如 SimCLR 的负样本对比排斥、BYOL 与 SimSiam 的非对称预测网络与梯度截断、以及 VICReg 的逐维方差保持与协方差去相关。直到近期，LeJEPA（Balestriero & LeCun, 2025）首次尝试从统计学极小化极大（minimax）预测风险的理论视角刻画最优表征几何，指出在欧几里得空间 \(\mathbb{R}^d\) 中，各向同性高斯先验能够最小化下游线性回归与 k 近邻（k-NN）回归的最坏情况偏置。

然而，LeJEPA 的理论推导建立在欧氏空间平滑概率密度的假设之上，不仅无法自然推广到具有流形结构的紧致表征空间（如单位超球面 \(\mathcal{S}^{d-1}\)），更忽略了高斯密度非均匀性带来的本质缺陷。在欧氏高斯分布中，样本密度随到原点的距离呈现指数级衰减，导致局部近邻（k-NN）的测地或欧氏邻域严重向高密度中心区域偏斜（density-biased），产生强烈的局部各向异性与估计偏置。而在自监督表征评估中，k-NN 协议被广泛视为探查隐空间局部几何与聚类特性的核心基准，高斯先验的非均匀性恰恰破坏了这种局部等距对称性。

为了解决流形上的最优几何表征问题，本文将极小化极大分析拓展至黎曼流形上的平滑分布，严格证明了在紧致无边界黎曼流形上，均匀分布能够严格最小化 k-NN 的渐近最坏情况积分平方偏置（ISB）；进一步在指数点积核与线性核的核岭回归（KRR）下，超球面均匀分布 \(\text{Unif}(\mathcal{S}^{d-1})\) 是全局唯一的公共极小元。核心 idea：将高斯隐空间先验革新为超球面均匀先验，提出 SPHERE-JEPA 框架，通过基于 Cramér–Wold 定理的草图均匀超球面正则化（SUSReg）在一维随机投影切片上精确对齐边缘分布，同时在归一化隐空间中进行跨视图原型对齐，从几何上消除近邻估计的密度偏置。

方法详解¶

整体框架¶

SPHERE-JEPA 的整体流程遵循联合嵌入预测架构（JEPA）原则，由多视图数据增强、编码器骨干网络、多层感知机（MLP）投影头、超球面特征归一化、以及双支路目标函数构成。输入图像经过全局与局部多裁剪变换生成多个视图，由骨干网络与投影头提取表征并归一化到单位超球面 \(\mathcal{S}^{d-1}\) 上。训练目标包含两项互补机制：一项是基于全局视图均值原型的超球面均方误差对齐损失，用于保证模型在语义保持变换下的不变性；另一项是草图均匀超球面正则化（SUSReg），通过在单位球面上随机采样大量一维投影方向，利用一维特征函数距离（Epps–Pulley 检验）惩罚投影分布与解析参考分布之间的差异，从而迫使全局特征在超球面上均匀分布并防止表征坍缩。下游评估时直接提取冻结的骨干网络特征，舍弃投影头。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入多视图图像<br/>全局视图 Vg + 局部视图 Vl"] --> B["骨干网络与投影头<br/>提取特征并 L2 归一化到超球面"]
    B --> C["超球面归一化跨视图对齐<br/>全局视图均值原型与均方误差对齐"]
    B --> D["草图均匀超球面正则化<br/>随机一维投影切片与 Epps-Pulley 检验"]
    C --> E["联合优化目标<br/>平衡几何先验与语义不变性"]
    D --> E

关键设计¶

1. 黎曼流形与核岭回归下的极小化极大最优几何：证明超球面均匀分布是全局唯一最优先验

LeJEPA 在欧氏空间中推导的各向同性高斯先验虽然对线性回归有效，但由于高斯概率密度的梯度 \(\nabla \log p(x) = -x\) 非零，在进行非参数化局部估计（如 k-NN 回归）时，测地球内的密度倾斜会产生不可消除的“设计偏置”（design bias）。本文通过在紧致黎曼流形 \((M, g)\) 上的协变泰勒级数展开，推导出了考虑空间自适应邻域带宽的渐近点态偏置：

\[\text{bias}(x; r_k(x)) = \frac{r_k(x)^2}{2(m+2)} \left( \Delta_M f(x) + 2 \langle \nabla f(x), \nabla \log p(x) \rangle_g \right) + O(r_k(x)^3)\]

在紧致无边界黎曼流形上，要最小化最坏情况下的积分平方偏置（ISB），对数密度的梯度必须恒等于零，即表征分布必须在该流形上处处均匀（\(p_0 = \text{vol}(M)^{-1}\)）。反之，对于欧氏空间 \(\mathbb{R}^m\) 上的非退化高斯分布，其最坏情况 ISB 会随着样本量趋于无穷而发散。进一步地，本文将该极小化极大原则拓展至以指数点积核 \(K(x, y) = e^{\kappa x^\top y}\) 为代表的径向核岭回归（KRR）中。在特征协方差算子的谱分解下，最小化最坏情况偏置等价于极小化最大特征值 \(\mu_1\)。借助旋转群 \(O(d)\) 上的 Haar 测度对称化与琴生不等式，本文证明了使得最大特征值取到全局极小值的唯一解恰为单位超球面上的均匀分布 \(\text{Unif}(\mathcal{S}^{d-1})\)。这一结论将线性回归、k-NN 以及非线性核回归三者的最优先验在超球面几何上严格统一起来。

2. 草图均匀超球面正则化（SUSReg）：基于 Cramér–Wold 定理的轻量化高维均匀性约束

在高维超球面上直接估计连续分布的概率密度并计算散度在计算上极其昂贵且数值不稳定。受 Cramér–Wold 投影定理启发，高维球面分布 \(X \sim \text{Unif}(\mathcal{S}^{d-1})\) 充要等价于其在任意单位方向 \(a \in \mathcal{S}^{d-1}\) 上的一维正交投影标量 \(a^\top X\) 均服从具有解析闭式的一维边际参考密度：

\[\rho_d(t) = C_d (1 - t^2)^{\frac{d-3}{2}}, \quad t \in (-1, 1)\]

其中 \(C_d = \frac{\Gamma(d/2)}{\sqrt{\pi}\Gamma((d-1)/2)}\) 为归一化常数。根据中心极限定理，当维度 \(d > 256\) 时，该一维边际密度在数值上迅速指数级逼近高斯分布 \(\mathcal{N}(0, 1/d)\)。基于此特性，SUSReg 在每个训练步骤中从均匀超球面随机抽取 \(|A|\) 个投影方向（实践中固定 \(|A|=1024\)），并将批次特征投影到这些一维切片上。SUSReg 通过随机一维投影与 Epps–Pulley 检验惩罚投影分布与超球面均匀投影参考密度之间的偏差，从而强制隐表征在超球面上均匀分布并避免表征坍缩。该检验度量经验特征函数与参考特征函数之间的加权 \(L_2\) 范数距离，不仅全程闭式可微，而且完全消除了传统对比学习对海量负样本对的显式依赖。

3. 超球面归一化跨视图对齐：局部测地距离近似与稳定的原型预测

仅依赖全局均匀性正则化无法保证同一实体在不同视角下语义表征的一致性。为了在超球面上构建稳定的预测目标，SPHERE-JEPA 显式丢弃了欧氏空间中易受范数波动干扰的未归一化 MSE 目标，将所有投影特征严格限制在单位超球面上：\(\tilde{z}_{n,v} = z_{n,v} / \|z_{n,v}\| \in \mathcal{S}^{d-1}\)。对于单个样本的多个增强视图，模型首先汇总其 \(V_g\) 个全局视图计算均值原型：

\[\mu_n = \frac{1}{V_g} \sum_{v=1}^{V_g} \tilde{z}_{n,v}\]

随后定义跨所有 \(V_a\) 个全局和局部视图的归一化对齐损失：

\[L_{\text{inv}} = \frac{1}{V_a} \sum_{v=1}^{V_a} \|\mu_n - \tilde{z}_{n,v}\|_2^2\]

在单位超球面上，两个单位向量间的欧氏距离平方等价于 \(2 - 2 \langle \mu_n, \tilde{z}_{n,v} \rangle\)，在局部范围内高度近似于球面测地距离的平方，从而提供了平滑、有界且数值稳定的梯度反向传播。当引入动量编码器（EMA 教师网络，\(\tau=0.996\)）时，原型 \(\mu_n\) 由教师网络生成，进一步平滑了优化过程中的目标漂移。

损失函数 / 训练策略¶

SPHERE-JEPA 的总训练损失通过超参数 \(\lambda \in [0, 1]\) 平衡跨视图对齐与超球面几何正则化项：

\[\mathcal{L}_{\text{SPHERE-JEPA}} = (1 - \lambda) L_{\text{inv}} + \lambda L_{\text{SUSReg}}\]

在所有标准训练中，固定 \(\lambda = 0.05\)。对于 ViT-B/14 骨干网络（在 ImageNet-1K 上预训练 100 epochs），优化器采用 AdamW，批大小为 512，最大学习率设为 \(5 \times 10^{-4}\)，权重衰减为 \(5 \times 10^{-2}\)，配合 5 个 epoch 的线性预热与余弦退火策略；输入图像增强采用多裁剪策略（2 个 \(224 \times 224\) 全局视图，6 个 \(96 \times 96\) 局部视图）。对于 ResNet-18/50 骨干网络，预训练 200 epochs，采用 2 个全局视图，学习率为 \(5 \times 10^{-2}\)，权重衰减为 \(5 \times 10^{-4}\)。投影头采用 3 层 MLP，隐藏层维度为 [2048, 2048, 256]，激活函数为 GELU。

实验关键数据¶

主实验¶

论文在 ImageNet-1K 经典基准、下游多领域迁移、以及专门探查近邻几何结构的纹理图像检索任务上进行了充分评估。

数据集 / 评测任务	评估指标	SPHERE-JEPA（本文）	LeJEPA（对比基线）	性能提升
ImageNet-1K (ViT-B/14, 无EMA)	线性探测准确率 (%)	61.0	59.2	+1.8
ImageNet-1K (ViT-B/14, 无EMA)	k-NN 分类准确率 (%)	50.4	50.4	+0.0
ImageNet-1K (ViT-B/14, 有EMA)	线性探测准确率 (%)	69.3	68.2	+1.1
ImageNet-1K (ViT-B/14, 有EMA)	k-NN 分类准确率 (%)	62.6	61.7	+0.9
纹理近邻检索 (4数据集平均)	Recall@1 (%)	89.0	78.2	+10.8
纹理近邻检索 (4数据集平均)	mAP (投影头后)	92.9	85.6	+7.3
纹理近邻检索 (4数据集平均)	mAP (骨干表征)	91.8	85.5	+6.3
下游 7 个数据集线性探测平均	平均准确率 (%)	54.1	52.4	+1.7

在 ImageNet-1K（ViT-B/14，100 epochs）无 EMA 设定下，SPHERE-JEPA 的线性探测准确率达到 61.0%，相比基线 LeJEPA（59.2%）提升了 1.8 个百分点。在下游 7 个细粒度与分类数据集（DTD, Aircraft, CIFAR10/100, Flowers, Food, Pets）的冻结骨干迁移评估中，SPHERE-JEPA 同样全面领先（平均 54.1% vs 52.4%）。

消融实验¶

为验证正则化超参数 \(\lambda\) 的敏感性与稳定性，论文在 ImageNet-100 上使用 ResNet-18（单一随机种子）进行了系统消融：

正则化权重 \(\lambda\)	线性探测 Top-1 (%)	k-NN Top-1 (%)	说明
\(\lambda = 0.003\)	68.8	61.7	正则化过弱，特征分布约束不足
\(\lambda = 0.005\)	69.6	64.2	几何约束逐步起效
\(\lambda = 0.007\)	70.6	64.4	性能进入稳健平台期
\(\lambda = 0.009\)	70.7	65.7	k-NN 达到峰值性能之一
\(\lambda = 0.010\)	70.5	65.2	稳健区间
\(\lambda = 0.030\)	70.8	65.7	综合性能最优点
\(\lambda = 0.050\)（默认值）	70.8	64.8	默认权重，线性探测保持峰值
\(\lambda = 0.070\)	70.0	64.3	正则化开始对对齐产生轻微抑制
\(\lambda = 0.090\)	68.8	62.4	正则化过强，损伤跨视图语义不变性

此外，在 ImageNet-100 上预训练 ViT-Tiny 并迁移至 ADE20K 语义分割的稠密预测实验中（4 个独立种子），SPHERE-JEPA 获得 12.88 ± 0.39% 的 mIoU，显著超越 LeJEPA（11.76 ± 0.24%）、VICReg（9.20 ± 0.56%）与 InfoNCE（7.81 ± 0.45%），展现出强劲的密集空间迁移能力。

关键发现¶

超球面先验对非参数化近邻检索改善最为显著：在专门设计的程序化纹理检索任务中，骨干表征的近邻 mAP 从 85.5% 跃升至 91.8%（提升 6.36 个百分点），Recall@1 提升达 10.8 个百分点。这一结果直观验证了理论预测：高斯分布的非均匀密度梯度会严重破坏局部近邻测地邻域的对称性，而超球面均匀分布通过全局等距消除偏置，极大释放了非参数化度量方法的潜力。
全局线性可分性与空间稠密预测全面提升：即便标准基准主要测试线性探测（更偏向全局线性划分），超球面均匀先验依然在 ImageNet-1K 上获得 +1.8% 的准确率增益，并在 ADE20K 冻结特征分割探测上取得 +1.12% mIoU 提升，说明流形均匀性有利于特征沿正交维度解耦。
正则化权重 \(\lambda\) 具有良好的宽裕容忍区间：消融表明，在 \(\lambda \in [0.007, 0.05]\) 的宽广范围内模型均能稳定取得 70.5%~70.8% 的高线性探测精度，仅在两端极端过小（<0.005）或过大（>0.07）时发生衰减。
架构归纳偏置对分布几何敏感：在 ResNet-18（ImageNet-100）和 ResNet-50（Galaxy10）上，LeJEPA 表现略高于 SPHERE-JEPA。这表明卷积架构固有的强局部归纳偏置与欧氏欧式特征幅度可能存在一定协同，而各向同性超球面先验在 ViT 系列自注意力模型上优势更为明显。

亮点与洞察¶

从欧氏空间到黎曼流形的理论跃迁：突破了以往自监督表征理论局限于欧氏高斯先验的理论瓶颈，首次运用微分几何工具证明了紧致无界流形上均匀分布对近邻与径向核回归的唯一样本最优性，为超球面表示学习建立了坚实的数学基石。
高维切片投影与特征函数检验的巧妙组合：巧妙借助 Cramér–Wold 定理将高维流形密度对齐分解为随机一维切片投影，并利用 Epps–Pulley 特征函数距离规避了复杂的经验密度估计与近邻数值奇点，使得全局流形分布约束具备极高的计算效率与实现鲁棒性。
跨范式的正则化机制可迁移性：SUSReg 不仅适用于预测架构（JEPA），其无负样本、轻量投影的特性亦可即插即用迁移至对比学习（如取代 MoCo/SimCLR 中的温度系数与负样本池）或蒸馏架构（如取代 DINO 中的 KoLeo 熵正则项）。

局限与展望¶

大规模模型与长时间周期的验证欠缺：ImageNet-1K 实验仅采用 ViT-B/14 进行了 100 epochs 的单随机种子训练，缺乏在 ViT-Large/Giant 等超大规模模型及 300~800 epochs 充分收敛条件下的可扩展性验证。
在卷积骨干与特定小样本域上优势不明显：在 ResNet 架构及 Galaxy10 天文星系分类数据集上未展现出对 LeJEPA 的明显优势，揭示出超球面硬约束与不同神经网络归纳偏置及数据内在维度之间复杂的交互作用仍有待厘清。
理论假设与实际网络端到端训练动态存在间隙：最优几何分析假定下游任务基于固定的核算子或近邻插值，而现代深度学习在微调或多层非线性探测时表征空间会经历动态重塑，未被当前的固定几何极小化极大理论完全涵盖。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从黎曼流形协变展开与核算子谱理论论证了超球面自监督表征的最优性，视角开创且论证严密。
实验充分度: ⭐⭐⭐⭐ 覆盖了 ImageNet-1K、ImageNet-100、ADE20K、下游细粒度迁移及非参数化纹理检索，但在更大规模 ViT 与多种子验证上仍有提升空间。
写作质量: ⭐⭐⭐⭐⭐ 概念清晰，数学推导详尽完备，图文并茂地揭示了几何偏置的核心本质。
价值: ⭐⭐⭐⭐⭐ 为自监督学习隐空间的几何先验设计提供了坚实完备的理论指导，对未来流形表征学习具有重要启发意义。