PEIRA: Learning Predictive Encoders through Inter-View Regressor Alignment¶

会议: NeurIPS 2026
arXiv: 2605.17671
OpenReview: https://openreview.net/forum?id=NASMgUDs9w
代码: https://github.com/inria-thoth/peira
领域: 自监督/表示学习
关键词: 自监督学习、联合嵌入预测架构、非线性典型相关分析、表征坍缩、随机复合优化

一句话总结¶

针对非对比自监督学习中自蒸馏动力学缺乏严密优化目标及易表征坍缩的问题，本文从非线性典型相关分析（CCA）视角完整刻画了 JEPA 动力学的稳定不动点，并提出了基于最佳正则化线性回归器迹对齐的无约束目标 PEIRA，从理论上杜绝了退化解并给出了高效的随机复合训练算法。

研究背景与动机¶

非对比自监督学习（Non-contrastive SSL）在近年来取得了巨大成功，以 SimSiam、BYOL、I-JEPA、V-JEPA 和 DINO 为代表的自蒸馏方法能够无需负样本挖掘即可学习出强大的视觉与视频表征。然而，这类方法大多依赖梯度截断（stop-gradient）或指数移动平均（EMA）等启发式训练手段，其系统动力学并非任何全局目标函数的标准梯度流，导致学术界对其动力学行为、隐式偏置以及抗坍缩机制缺乏完备的数学理解；以往的理论分析多局限于线性编码器、各向同性协方差或正交初始化等严苛假设，无法解释深度非线性网络下的收敛本质。

现存理论的核心矛盾在于：基于显式正则项的非对比方法（如 VICReg、Barlow Twins、LeJEPA）具备明确的目标函数，且被证明与线性/局部谱嵌入或典型相关分析（CCA）子空间密切相关，但优化中常因高阶多项式惩罚项而导致训练不稳定；而自蒸馏体系虽然在实践中表现极其优越且抗噪性强，却因缺乏目标函数而难以刻画其收敛状态与潜在的表示坍缩模式。研究者亟需在非参数化非线性函数空间中，为联合嵌入预测架构（JEPA）建立完备的动力学稳定性理论，并以此设计出一个兼具明确优化目标、全局严格防坍缩、且易于随机梯度训练的端到端学习范式。

本文的切入角度是分析双视图互预测下的最优岭回归算子，通过证明自蒸馏动力学等价于非线性 CCA 谱分解的稳定不动点，揭示了正则化回归器迹（Trace）能够天然量化跨视图信噪比。核心 idea：将自蒸馏互预测目标重构为最大化正则化线性回归器的迹，提出无约束目标 PEIRA，证明其唯一稳定不动点必为捕获主导非线性 CCA 子空间的全域极小值点，并结合辅助损失实现无须反向穿透矩阵求逆的高效随机复合训练。

方法详解¶

整体框架¶

PEIRA 针对成对的多视图输入数据，旨在学习非线性特征编码器与跨视图线性预测器，使其在特征空间中实现双向互预测。整体算法将快速线性回归器求最优解的闭式表达代入系统，直接在编码器输出上构建信噪比迹矩阵优化准则，并利用等价辅助损失函数避免对矩阵求逆微分的高方差反向传播。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["成对多视图输入<br/>(x, y) ~ P"] --> B["特征提取与跨视图投影<br/>U_theta(x), V_psi(y)"]
    B --> C["协方差统计滑动估计<br/>EMA更新跨视图协方差与自协方差"]
    C --> D["线性回归算子闭式求解<br/>解析估计 P* = Sigma(N + lambda I)^-1"]
    D --> E["无导数辅助损失反向传播<br/>L_aux 更新编码器参数 (P*, Q* 固定)"]
    E --> F["非线性 CCA 子空间对齐<br/>自动排除全坍缩与低秩伪极小解"]

关键设计¶

1. 闭式正则化预测器与回归器迹目标：用信噪比迹统摄跨视图对齐与尺度控制 针对自蒸馏中双向均方预测误差目标易诱发全零退化解的痛点，PEIRA 考虑快速预测器极限。在特征维度为 $k$ 的投影空间中，定义跨视图信号互协方差矩阵 $\Sigma_{U,V}=\mathbb{E}[V(y)U(x)^\top+U(x)V(y)^\top]$ 与视图内自协方差矩阵 $N_{U,V}=\mathbb{E}[U(x)U(x)^\top+V(y)V(y)^\top]$。对应的岭回归闭式最优预测矩阵为 $P_{U,V}=\Sigma_{U,V}(N_{U,V}+\lambda I)^{-1}$。PEIRA 并不直接最小化残差能量，而是通过最大化该最优预测器的矩阵迹（即最小化负迹）来最大化跨视图共享互信息，并引入二次范数正则化项以稳定特征尺度：

\[\mathcal{E}_{\text{PEIRA}}(U,V) = -\frac{1}{2}\operatorname{Tr}\left(P_{U,V}\right) + \frac{\lambda}{2}\left(\mathbb{E}\left[\|U(x)\|_2^2\right] + \mathbb{E}\left[\|V(y)\|_2^2\right]\right)\]

由于 $\operatorname{Tr}(P_{U,V}) = \operatorname{Tr}\left(\Sigma_{U,V}(N_{U,V}+\lambda I)^{-1}\right)$，该项本质上驱动信号矩阵 $\Sigma_{U,V}$ 与噪声抑制逆矩阵 $(N_{U,V}+\lambda I)^{-1}$ 的特征基底自然重合，促使两视图在统计上实现谱对齐。

2. 动力学稳定性与非线性 CCA 谱恢复：杜绝全坍缩与严格鞍点 经典自蒸馏动力学虽然收敛于非线性典型相关分析（CCA）子空间，但作者证明全坍缩解 $U=0, V=0$ 以及低秩部分坍缩解均属于该动力学的稳定吸引子（Stable Attractor）。与之形成鲜明对比的是，PEIRA 的梯度流 $\dot{W}_t = -\nabla_{W}\mathcal{E}_{\text{PEIRA}}(W_t)$ 在无限维平方可积函数空间中展现出根本性的稳定性差异。设总体分布的非线性奇异相关系数序列为 $c_1 \geq c_2 \geq \dots \geq c_R > 0$，正则化超参数 $\lambda \in (0, 1)$，且 $r_{\max} \leq \min(k, R)$ 为满足 $\sqrt{c_r} > \lambda$ 的最大有效阶数。PEIRA 优化问题具有如下极小化解析解：

\[\min_{U,V} \mathcal{E}_{\text{PEIRA}}(U,V) = -\frac{1}{2}\sum_{i=1}^{r_{\max}}\left(\sqrt{c_i} - \lambda\right)^2\]

理论证明表明：PEIRA 的所有稳定驻点必须且仅能是达到全局最优值的非平凡解，其主成分严格恢复前 $r_{\max}$ 个非线性典型相关方向；所有未饱和展开的低秩驻点以及全零坍缩解对应 Hessian 算子均存在严格负特征值，因而全为严格鞍点（Strict Saddles）。由于梯度流在广义初始条件下几乎处处避开严格鞍点，PEIRA 从目标函数几何本身内生性地清除了表示坍缩。

3. 随机复合优化与无导数辅助损失：规避双层嵌套求导的高方差隐患 直接对 $\mathcal{E}_{\text{PEIRA}}$ 计算参数梯度需要对批量特征协方差求逆操作进行反向穿透传播，这在有限样本小批次下会导致极大的梯度方差并破坏数值稳定性。为解决可扩展性问题，作者推导了梯度等价的辅助损失函数 $\mathcal{L}_{\text{aux}}$。该函数在冻结预测器 $P^* = P_{U,V}$ 和精度加权矩阵 $Q^* = (N_{U,V}+\lambda I)^{-1}$ 时，对编码器的偏导数严格恒等于原目标的真实梯度：

\[\mathcal{L}_{\text{aux}}(U,V; P^*, Q^*) = \frac{1}{2}\mathbb{E}\left[U(x)^\top Q^*\left(P^* U(x) - V(y)\right) + V(y)^\top Q^*\left(P^* V(y) - U(x)\right)\right] + \frac{\lambda}{2}\mathbb{E}\left[\|U(x)\|^2 + \|V(y)\|^2\right]\]

在算法实现中（SC-PEIRA），利用小批次样本特征通过 EMA（滑动率 $\eta$）在线维护总体协方差缓冲池 $\Sigma$ 与 $N$，解析计算出瞬时静态算子 $\hat{P}^*$ 与 $\hat{Q}^*$，进而直接调用标准反向传播更新编码器网络参数，兼具单层优化的计算效率与全局解析回归的方差削减效果。

损失函数 / 训练策略¶

在参数化神经网络实践中，算法采用对称共享骨干网络 $U_\theta = V_\psi$，投影头采用三层 MLP。训练批次中计算特征矩阵 $\Phi_X, \Phi_Y \in \mathbb{R}^{B \times k}$，在线更新统计量： $$\Sigma \leftarrow (1-\eta)\Sigma + \frac{\eta}{B}(\Phi_X^\top \Phi_Y + \Phi_Y^\top \Phi_X), \quad N \leftarrow (1-\eta)N + \frac{\eta}{B}(\Phi_X^\top \Phi_X + \Phi_Y^\top \Phi_Y)$$ 求得 $\hat{P}^* = \Sigma(N+\lambda I)^{-1}$ 与 $\hat{Q}^* = (N+\lambda I)^{-1}$，随后利用 $\nabla_\theta \widehat{\mathcal{L}}_{\text{aux}}$ 更新网络权重。优化器采用带线性预热与余弦衰减的 LARS，学习率在前几轮设置短暂 warm-up，自第 4 轮起施加值为 1.0 的梯度裁剪以保证早期协方差估计器充分平稳。正则化系数 $\lambda$ 兼具平滑理论 Lipschitz 常数 $L=4/\lambda$ 与谱截断阈值 $\sqrt{c_i} > \lambda$ 双重调控作用。

实验关键数据¶

主实验¶

在统一的数据增强协议、线性探测评估流程下，PEIRA 在 ImageNet-1K（ResNet-50 预训练 100 轮）和 CIFAR-10（ResNet-18 预训练 1000 轮）上与代表性自监督方法进行了系统对比：

方法	学习机制	ImageNet-1K (Top-1 Acc %)	CIFAR-10 (Top-1 Acc %)	说明
BYOL	自蒸馏 (EMA)	69.3	–	依赖非对称预测头与 EMA 教师
SimSiam	自蒸馏 (Stop-Grad)	67.9	–	依赖预测头与梯度截断
SimCLR	对比学习	68.5	–	依赖大 Batch 负样本挖掘
VICReg	正则化优化	68.81 ± 0.09	90.92 ± 0.14	显式方差-协方差正则化约束
SIGReg / LeJEPA	正则化优化	66.26 ± 0.28	92.34 ± 0.21	经验特征函数正则化（无启发式）
PEIRA (本文)	优化理论 (回归器迹)	66.50 ± 0.02	90.97 ± 0.10	无启发式，显式迹目标，3次运行均值

消融实验与分析¶

针对 ImageNet-1K 尺度下正则化系数 $\lambda$ 的敏感度、有效表征秩（erank）演化以及无监督模型选择能力进行了深度分析：

实验维度 / 配置	关键指标	观察结果与机制解释
$\lambda$ 敏感性 ($\lambda \in [0.025, 0.5]$)	Top-1 Acc 波动 $\le 1.36\%$	在跨度达 20 倍的超参范围内性能高度平稳，无崩溃现象
投影头有效秩 ($d=256$)	erank $\approx 248$	投影头有效秩达到理论上限的 $97\%$（接近 $256$ 饱和），杜绝坍缩
骨干特征有效秩 ($d=2048$)	erank: $1314 \to 1285$	小 $\lambda$ 早期累积秩更快，随 $\lambda$ 增大呈现轻微谱收缩后保持平稳
验证集 Acc ↔ 负目标相关性	Spearman $\rho \ge 0.95$	验证准确率与负目标 $-\mathcal{E}_{\text{PEIRA}}$ 强单调正相关，支持无标签模型选择

关键发现¶

谱对齐现象完全契合理论：在 CIFAR-10 训练进程中，信号互协方差 $\Sigma_{U,V}$ 的主特征向量与自协方差 $N_{U,V}$ 的特征向量对齐度 $\alpha_i$ 迅速趋向于 1，且谱空间持续扩展显著模式，印证了理论上二者在驻点处具备联合对角化的预测。
无标签模型选择的可行性：训练过程中负损失 $-\mathcal{E}_{\text{PEIRA}}$ 与下游线性探测 Top-1 分数几乎单调对齐，克服了以往自蒸馏方法中训练损失无法直接指引模型评估的顽疾。
抗超参数扰动鲁棒性高：对比 SIGReg 在 $\lambda \ge 0.1$ 时容易发生训练崩溃，PEIRA 在 $\lambda \in [0.025, 0.5]$ 宽广区间内线性探测精度极差仅有 $1.36\%$，展现出极强的鲁棒性。

亮点与洞察¶

为自蒸馏动力学补全了严谨的泛函分析基石：首次在无限维平方可积空间中运用 Lojasiewicz-Simon 梯度不等式证明了非线性自蒸馏过程对非线性 CCA 方向的收敛性，并严格证明了全零平凡解是自蒸馏系统的稳定吸引子。
目标驱动消除表征坍缩：与以往依靠梯度截断、EMA、预测头网络瓶颈等工程技巧避开坍缩不同，PEIRA 将反坍缩内化为目标函数的几何属性，使退化解全部转化为不稳定的严格鞍点。
数学技巧与工程实现的精妙缝合：通过构造解析等价的辅助损失 $\mathcal{L}_{\text{aux}}$，巧妙避开了对逆协方差矩阵反向传播的数值不稳定性，使得基于经典动力系统推演的理论框架能够在大规模深度神经网络上无缝落地。

局限与展望¶

假设快速/最优线性预测器：理论推导立足于预测器处于瞬时闭式最优状态（Fast-predictor regime），虽然能通过奇异摄动理论在原则上扩展，但目前尚未覆盖深层非线性预测头或次优预测器的有限步联合动力学。
大规模复杂任务验证尚处初步阶段：论文主要在 ResNet 架构以及 ImageNet-1K / CIFAR-10 图像分类基准上展开验证，在更前沿的 Vision Transformer (ViT) 以及大规模视频理解/自监督世界模型（如 V-JEPA 2）上的拓展表现仍待未来工作检验。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立非参数化 JEPA 自蒸馏与非线性 CCA 的动力学等价性，并提出纯优化视角的回归器迹对齐目标，理论突破显著。
实验充分度: ⭐⭐⭐⭐☆ 理论证明极其严谨详实，ImageNet-1K 与 CIFAR-10 谱分析有力支撑了理论预言，缺少 ViT 架构对比稍显遗憾。
写作质量: ⭐⭐⭐⭐⭐ 数学推导层层递进、逻辑链条清晰完备，从动力系统稳定性到深度学习算法实现的过渡流畅自然。
价值: ⭐⭐⭐⭐⭐ 为自监督学习中自蒸馏机理的去黑箱化做出了坚实贡献，对未来构建鲁棒且具备理论保证的世界模型表征具有重要指导意义。

实验维度 / 配置	关键指标	观察结果与机制解释
\(\lambda\) 敏感性 (\(\lambda \in [0.025, 0.5]\))	Top-1 Acc 波动 \(\le 1.36\%\)	在跨度达 20 倍的超参范围内性能高度平稳，无崩溃现象
投影头有效秩 (\(d=256\))	erank \(\approx 248\)	投影头有效秩达到理论上限的 \(97\%\)（接近 \(256\) 饱和），杜绝坍缩
骨干特征有效秩 (\(d=2048\))	erank: \(1314 \to 1285\)	小 \(\lambda\) 早期累积秩更快，随 \(\lambda\) 增大呈现轻微谱收缩后保持平稳
验证集 Acc ↔ 负目标相关性	Spearman \(\rho \ge 0.95\)	验证准确率与负目标 \(-\mathcal{E}_{\text{PEIRA}}\) 强单调正相关，支持无标签模型选择