Beyond Isotropy in JEPAs: Hamiltonian Geometry and Symplectic Prediction¶

会议: NeurIPS 2026
arXiv: 2605.20107
OpenReview: https://openreview.net/forum?id=mkhuJqvXlz
代码: https://github.com/HamJEPA-HamSIGReg
领域: 自监督学习
关键词: 联合嵌入预测架构、各向同性代价、哈密顿相空间、辛几何积分器、非各向同性防坍塌

一句话总结¶

针对传统 JEPA 强制单视图嵌入服从欧氏各向同性高斯边缘分布所导致的结构失配与不可辨识问题，本文提出 HamJEPA，将结构先验从单视图边缘分布转移至跨视图预测耦合中，构建基于辛蛙跳积分器的相空间哈密顿预测机制，并在非各向同性谱下界正则化下显著提升自监督下游表征质量。

研究背景与动机¶

联合嵌入预测架构（JEPA）通过在潜空间中由一个视图预测另一个视图来学习数据表征，其下游迁移性能深度依赖于特征空间的几何特性。以 LeJEPA（基于 SIGReg 正则化）为代表的主流范式普遍采用“无先验下游结构”的欧氏各向同性高斯边缘作为正则化目标，强制要求编码器输出在所有坐标方向上统计可交换。然而在图像 patch 网格、离散序列与拓扑图等典型视觉结构中，特征索引本身即内含各向异性的空间关联与对称性，机械地追求欧氏球状均匀各向同性往往会抹杀这些关键内在几何。

更深层的理论困境在于先验目标的选取悖论与预测耦合的不可辨识性。理论推导表明，当已知的下游几何结构由对称正定算子 $H \succ 0$ 刻画且受限于哈密顿能量预算时，极小化极大最差任务方差与极大微分熵所唯一决定的最优协方差必须形如 $(c/d)H^{-1}$；强行套用欧氏各向同性会付出显式的“各向同性代价”。然而在无监督预训练中下游几何 $H$ 永远是先验未知的，由于正定锥中不存在与几何无关的普适固定协方差目标，任何固定边缘形状在面对特定下游结构时都会遭遇最大程度的失配；不仅如此，哪怕给出单视图的真实边缘协方差，其跨视图交叉协方差仍存在无穷多自由度，单视图边缘匹配在数学上根本无法辨识视图间的预测动力学映射。

面对这一矛盾，本文切入的角度是：JEPA 的结构归纳偏置不应作为刚性边缘约束施加在编码器的静态单视图表征上，而应内化为视图间双射传输的预测动力学耦合。核心 idea：将编码器表征拓展为包含内容坐标与共轭动量的相空间状态，构建保相空间体积且时间可逆的可分哈密顿辛蛙跳预测器，并配合尺度约束、投影对数行列式与参与比谱下界正则化，实现无须各向同性先验的鲁棒自监督表征学习。

方法详解¶

整体框架¶

HamJEPA 的输入为无标签样本经过不同数据增强生成的成对全局视图，输出为用于下游线性探测与 kNN 检索的内容特征。编码器将每个视图映射到相空间状态 $s=(q, p)$，其中内容坐标 $q$ 承载表征语义，辅助动量 $p$ 作为共轭潜变量支撑结构化动力学传输。跨视图预测由可分离哈密顿能量函数驱动的显式速度 Verlet（蛙跳）辛积分器完成，保证相空间变换处处保体积且时间可逆；编码器侧则通过几何不敏感的固定尺度预算、投影对数行列式底线与参与比底线协同阻止维度折叠与尖刺坍塌。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入样本成对视图<br/>v_a, v_b"] --> B["相空间状态编码<br/>s=(q, p) ∈ R^{2d_0}"]
    B --> C["可分哈密顿显式辛预测器<br/>K 步蛙跳积分器 (Velocity Verlet)"]
    C --> D["双向对称时间反演预测<br/>正向 +Δt 与逆向 -Δt 循环预测"]
    D --> E["非各向同性多重防坍塌桥梁<br/>尺度预算 + 投影 Log-Det + 参与比 PR"]
    E --> F["下游评估输出<br/>主读出 q 坐标 / 拼接 (q, p)"]

关键设计¶

1. 相空间状态编码：将静态嵌入提升为动量增强的动力学状态 针对单一欧氏向量无法承载可逆保体积非耗散传输的问题，编码器将每个图像视图映射为相空间状态 $s = E_\theta(v) = (q, p) \in \mathbb{R}^{2d_0}$。坐标 $q \in \mathbb{R}^{d_0}$ 充当显式可观测的内容表征，直接用于下游分类与度量检索评估；共轭动量 $p \in \mathbb{R}^{d_0}$ 扮演辅助动力学角色，为非单射的数据增强转换提供充要的动态相空间自由度。在实现层面，网络在无投影头模式下直接抽取主干骨干网 Stage-3 特征图通道，按通道维度对半划分为 $q$ 与 $p$，使得模型无须破坏物理意义的 MLP 混叠即可完成坐标构建。

2. 可分哈密顿显式辛预测器：保证局部体积守恒与奇异值倒数成对 为杜绝传统神经网络预测器容易导致的特征发散或耗散映射收缩，本文引入辛几何先验，采用可分哈密顿能量体系 $\mathcal{H}_\phi(q, p) = T(p) + V_\phi(q)$，固定标准二次动能 $T(p) = \frac{1}{2}\|p\|_2^2$，并由可微神经网络参数化势能函数 $V_\phi(q) = \frac{1}{2}\alpha \|q\|_2^2 + s \cdot f_\phi(q)$。连续哈密顿正则方程 $\dot{q} = \nabla_p \mathcal{H} = p$ 与 $\dot{p} = -\nabla_q \mathcal{H} = -\nabla_q V_\phi(q)$ 经由 $K$ 步蛙跳（Leapfrog / Velocity-Verlet）数值积分器离散化： $$p_{k+\frac{1}{2}} = p_k - \frac{\Delta t}{2} \nabla_q V_\phi(q_k), \quad q_{k+1} = q_k + \Delta t \, p_{k+\frac{1}{2}}, \quad p_{k+1} = p_{k+\frac{1}{2}} - \frac{\Delta t}{2} \nabla_q V_\phi(q_{k+1})$$ 该显式一步映射 $\Psi_{\phi, \Delta t}$ 的雅可比矩阵严格满足辛条件 $(D\Psi)^\top J (D\Psi) = J$（其中 $J$ 为标准辛矩阵），处处保持相空间局域体积不变（雅可比行列式恒为 1），且奇异值必然成对倒数出现（$\sigma$ 与 $1/\sigma$）。这一严格数学性质从根本上杜绝了预测器自身诱发表示空间各向收缩坍塌的可能。

3. 双向对称时间反演预测：利用力学时间反演消除独立反向预测头 在利用跨视图一致性时，传统自监督方法若要双向对齐往往需要构建独立预测头或承受非对称误差。得益于蛙跳积分器的严格时间反演可逆性（即 $\Psi_{\phi, \Delta t}^{-1} = \Psi_{\phi, -\Delta t}$），HamJEPA 实现双向预测时无须引入任何额外网络模块，只需将积分步长取负为 $-\Delta t$ 即可获得严格的解析逆向流 $\Phi_\phi^{(K)}(\cdot; -\Delta t)$。双向训练目标联合拉近正向演化预测与目标视图 stop-gradient 特征，不仅实现了跨视图因果对称，而且显著平滑了潜空间哈密顿能量面。

4. 非各向同性多重防坍塌桥梁：打破球状约束的谱几何非退化约束 辛预测器仅能保证动力学流不压缩相空间体积，却无法阻止编码器输出平凡的常数特征。为了在不强制规定任何各向同性高斯形状的前提下消除坍塌，本文设计了由三道互补几何防线组成的非退化正则化桥梁： - 固定尺度预算：利用 $\mathcal{L}_{\text{budget}} = (\frac{\mathbb{E}\|q\|_2^2}{d_0} - \alpha_q)^2 + (\frac{\mathbb{E}\|p\|_2^2}{d_0} - \alpha_p)^2$ 锚定相空间能量尺度，防止网络通过无限制收缩或放大坐标来满足匹配； - 投影对数行列式底线（Log-Det Floor）：若仅约束尺度，特征可能退化至极低维子空间。本文通过随机正交投影矩阵 $R \in \mathbb{R}^{d_0 \times k}$ 降维计算协方差矩阵 $\Sigma_Y = \frac{1}{B-1}Y^\top Y + \varepsilon I_k$，并施加单向铰链惩罚 $\mathcal{L}_{\text{vol}} = [\max(0, \tau - \frac{1}{k}\log\det(\Sigma_Y))]^2$；理论证明该底线直接给出了最小特征值的严格正下界，彻底排除满空间降维坍塌； - 参与比底线（Participation Ratio Floor）：针对对数行列式可能被“单极大特征值尖刺+诸多微小特征值”敷衍的 L 型失效谱，引入参与比 $\text{PR}(\Sigma_Y) = (\text{tr}(\Sigma_Y))^2 / \text{tr}(\Sigma_Y^2) \in [1, k]$ 并施加阈值惩罚 $\mathcal{L}_{\text{pr}} = [\max(0, r_0 - \text{PR}(\Sigma_Y))]^2$。联合定理严密证明，三者共同将协方差矩阵的条件数上界完全控制住，确保了谱分布既丰富饱满又允许高度各向异性。

损失函数 / 训练策略¶

HamJEPA 的整体训练目标为预测均方误差与各防坍塌正则项的加权和： $$\min_{\theta, \phi} \mathcal{L}_{\text{pred}} + \lambda_{\text{bi}} \mathcal{L}_{\text{bi}} + \lambda_{\text{budget}} \mathcal{L}_{\text{budget}} + \lambda_{\text{vol}} \mathcal{L}_{\text{vol}} + \lambda_{\text{pr}} \mathcal{L}_{\text{pr}} + \lambda_{\text{wd}} \mathcal{R}_{\text{wd}}(\theta, \phi)$$ 其中匹配损失支持仅针对内容坐标的 $q$-matching（CIFAR-100 默认）或全相空间状态的 $qp$-matching（ImageNet-100 提升稳定性）。在训练策略上，目标分支特征全部应用 stop-gradient 阻断反向传播；势能网络中的残差系数 $s$ 采用前置线性 warmup 策略，在训练初期退化为纯稳健二次势能，随后平滑过渡至具有高阶拟合能力的复杂非线性势场。

实验关键数据¶

主实验¶

评估遵循严格的受控协议：统一采用 ResNet-18 骨干网 Stage-3 特征图，不使用非线性投影头（Identity Projector）、无局部小裁剪（Local Crops）、无 EMA 教师网络。在 CIFAR-100（30 轮与 80 轮）及 ImageNet-100（45 轮）基准上，冻结特征进行余弦 kNN 与线性探测（Linear Probe）评估。

数据集	预训练轮数	评估协议	SIGReg（各向同性基线）	HamJEPA (q-读出)	提升幅度
CIFAR-100	30 轮 (3 seeds)	kNN@20 (%)	26.56 ± 0.18	31.45 ± 0.27	+4.89
CIFAR-100	30 轮 (3 seeds)	Linear Probe (%)	30.43 ± 0.30	33.95 ± 0.24	+3.52
CIFAR-100	80 轮 (单卡)	kNN@20 (%)	27.98	34.43	+6.45
CIFAR-100	80 轮 (单卡)	Linear Probe (%)	33.95	44.59	+10.64
ImageNet-100	45 轮 (单卡)	kNN@20 (%)	20.10	24.92	+4.82
ImageNet-100	45 轮 (单卡)	Linear Probe (%)	24.40	31.92	+7.52

消融实验¶

为验证下游邻域几何收益是否真正源于辛预测动力学，作者设计了严格配对的预测器家族消融实验（MLP-HJEPA）：保持相空间通道切分、非各向同性防坍塌正则项、无投影头结构及训练配置完全不变，仅将蛙跳辛积分器替换为无辛几何约束的残差 MLP 预测器。

配置 (CIFAR-100, 80 epochs)	读出方式	kNN@20 (%)	Linear Probe (%)	说明
SIGReg 基线	q-eval	27.98	33.95	欧氏各向同性 Gaussian 正则化
MLP-HJEPA（非辛残差 MLP）	q-eval	28.10	42.26	具备非各向同性正则，但无辛几何结构
MLP-HJEPA（非辛残差 MLP）	p-eval	28.30	41.90	辅助动量读出
MLP-HJEPA（非辛残差 MLP）	(q, p)-eval	28.15	42.77	维度翻倍至 2048-d
HamJEPA（本文辛积分器）	q-eval	34.43	44.59	相比 MLP-HJEPA 纯粹来自辛几何结构 (+6.33 kNN)
HamJEPA（本文辛积分器）	p-eval	32.96	44.44	动量表征具备极强判别力
HamJEPA（本文辛积分器）	(q, p)-eval	33.66	44.52	全相空间读出

在 ImageNet-100 上的读出与维度消融进一步表明：SIGReg 将特征维度从 1024 维（q 读出）拼接至 2048 维（qp 读出）时性能提升微弱（kNN 仅 20.10 → 20.94）；而 1024 维的 HamJEPA-q 读出（24.92 kNN / 31.92 Linear）直接大幅超越了 2048 维的 SIGReg 全拼接结果（20.94 kNN / 25.54 Linear），证明其优势源自特征空间的流形排布质量而非表征维数。

关键发现¶

辛动力学是近邻几何质量的核心源泉：MLP-HJEPA 消融清晰表明，单纯依靠相空间坐标拆分与非各向同性正则项虽然能显著拔高全局线性探测准确率（从 33.95% 升至 42.26%），但其局部流形度量能力（kNN 仅 28.10%）完全停留在 SIGReg 原地；唯有辛积分器的局部保体积与可逆动力学约束能直接将 kNN 跃升至 34.43%（净胜 +6.33%）。
表征有效秩显著扩展而无需各向同性：谱几何诊断表明，在 ImageNet-100 上 SIGReg-q 的有效秩（Effective Rank）仅为 38.33、参与比 PR 为 24.91；而 HamJEPA-q 提升至有效秩 94.73、PR 45.27。即使对比 2048 维全拼接的 SIGReg，HamJEPA 的谱空间利用率也高出近一倍，且特征奇异值呈现平缓渐近分布而非生硬的球状平权。
动量坐标具备极强信息富集能力：在全状态匹配的 ImageNet-100 设置下，动量坐标 $p$ 的线性探测准确率达到 32.08%，略高于内容坐标 $q$（31.92%），印证了相空间中共轭动力学通道对复杂不变性表征的承载价值。

亮点与洞察¶

从理论上戳破“欧氏各向同性普适性”假设：明确证明了当任务结构未知时，不存在任何普适最优的固定协方差形状；且单视图边缘分布与跨视图预测耦合间存在不可辨识的鸿沟，从而为自监督学习从“约束单图静态边缘分布”转向“建模跨图动态物理流形”提供了坚实的数学理论支点。
保体积可逆算子天然防御动力学塌缩：创造性地将哈密顿可分力学与辛蛙跳数值解法嫁接至无投影头的纯视觉 token 空间，依靠辛几何性质内生实现局部体积守恒与奇异值成对对称，使得预测网络不需要依靠重型启发式技巧（如 EMA 动量编码器或巨大的 MLP 投影头）即可保持极佳的稳定性。
微观谱约束替代宏观球形假说：联合使用尺度控制、随机正交投影对数行列式底线与参与比底线，既精准抑制了低秩坍塌与尖刺伪解，又彻底解放了各维度的相关性自由，该防坍塌设计理念可平滑迁移至生成式表征与对比学习等无监督分支。

局限与展望¶

受控协议与现代大模型预训练流水线存在算力鸿沟：本文着重于隔绝一切工程技巧的底层几何对照实验，仅在 ResNet-18 主干与无投影头、短训练周期的中等数据集上进行验证；尚未在 Vision Transformer、大规模掩码预训练及十亿级全量多模态数据集中考察大规模扩展律。
未能显式反演下游真实算子 $H$：理论部分展示了已知 $H$ 下的哈密顿提升规律，但在实际无监督预训练时，$H$ 仍处于隐式适应状态；未来可探索动态估计或元学习下游度量张量 $H$ 的机制。
相空间动量拆分的维度开销：将表征通道一分为二意味着同等特征维数下有效内容通道数减半，若针对极高维细粒度表征任务，需要探索动量参数的高效共享与隐式参数化方案。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从理论上量化 JEPA 中各向同性代价与边缘不可辨识性，创新性地以相空间辛几何作为预测结构偏置。
实验充分度: ⭐⭐⭐⭐ 受控消融极其严密，通过配对 MLP-HJEPA 彻底钉死辛几何的关键贡献；美中不足是缺乏大规模 ViT / 完整 ImageNet-1K 验证。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严丝合缝，几何直觉贯穿始终，理论与方法实例化映射清晰自然。
价值: ⭐⭐⭐⭐☆ 为后 LeJEPA 时代的自监督学习开拓了全新的几何力学视界，极具启发性与方法学迁移价值。