MorphJEPA: Morphology-Aware Latent Prediction for Hyperspectral Images¶
会议: ECCV 2026
论文: ECCV 2026 Poster
代码: https://github.com/amartya-ray/MorphJEPA
领域: 遥感
关键词: 高光谱图像、自监督学习、联合嵌入预测架构 (JEPA)、数学形态学、有限监督学习 (LLS)
一句话总结¶
针对高光谱图像自监督中掩码重建易过拟合传感器噪声与对比学习易破坏光谱语义的难题，MorphJEPA 首次将联合嵌入预测架构引入高光谱领域，通过预测按波段形态学开闭运算生成的像元对齐结构化目标形成定向结构瓶颈，并结合解耦空谱交叉注意力编码器与单侧锚定分布正则化（SIGReg），在极少样本（1/5/10-shot）与跨场景迁移下显著超越现有 SOTA。
研究背景与动机¶
高光谱遥感成像（HSI）通过数十至数百个连续狭窄波段捕获地表反射能量，能够精细区分化学组分与地表材质，在精准农业、环境监测与城市测绘中扮演着不可替代的角色。然而，高光谱数据的逐像素专业标注成本极为高昂，导致绝大多数实际应用面临严峻的极少标签瓶颈。针对这一挑战，有限监督学习（LLS）范式应运而生：其目标是在目标传感域中利用海量无标注像元块预训练通用表征，进而在下游仅利用每类极少数（如 1、5、10 个）标注样本完成自适应分类。但在高光谱立方体中，超高维度带来的休斯现象（Hughes phenomenon）使得模型极易过拟合，而密集空间邻域采样诱发的极高特征冗余，又往往会淹没细微的材质判别线索。
当前高光谱自监督学习主要遵循对比学习与掩码重建两条路径，但均面临难以调和的本质困境。对比学习极度依赖手工构建的数据增强视图，然而高光谱光谱曲线本身即是类别语义的物理指纹，标准视觉中的波段裁剪、扰动或随机丢弃会直接破坏物理吸收谱带，诱发语义漂移；掩码自编码器（MAE）虽然规避了负样本挖掘，但其像素级重建损失强迫模型耗费大量表征容量去恢复特定传感器和大气扰动产生的高频随机噪声，导致学到的表征泛化能力脆弱，跨场景与跨传感器迁移时性能断崖式下跌。此外，联合嵌入预测架构（JEPA）虽通过在潜空间进行预测避免了像素重建，但若直接套用标准空间掩码，会强行切断高光谱紧密的空间-光谱连续性，使预测目标陷入病态。
在这项工作中，研究者的核心洞察是：在高光谱遥感地物判别中，除了精细吸收光谱外，宏观拓扑结构（连通性、边界与几何轮廓）是跨越传感器与大气扰动的最强不变量。数学形态学中的开运算与闭运算正是提取这一结构不变量的数学工具——它们在平滑微小起伏、滤除高频随机残差的同时，严格保持物体的几何骨架与波段对齐关系。本文的核心 idea 是将数学形态学从传统的输入端预处理升格为 JEPA 的隐空间预测自监督前置任务，利用开闭运算生成像素对齐的平滑目标构建定向结构瓶颈，迫使编码器舍弃不可预测的高频扰动而专注于可迁移的宏观拓扑与光谱物理指纹。
方法详解¶
整体框架¶
MorphJEPA 的核心思想是通过隐空间跨视图预测来学习具有结构鲁棒性与高迁移性的表征。给定尺寸为 \(S \times S \times B\) 的未标注高光谱立方体局部 Patch \(x\)，模型构建三组像素级严格对齐的预测目标：包含几何翻转/旋转变换的几何锚点视图 \(x^{(g)}\)，以及通过逐波段数学形态学开运算与闭运算生成的结构滤波目标 \(x^{(o)}\) 与 \(x^{(c)}\)。学生网络输入原始 Patch \(x\) 生成上下文表征 \(z_c\)，而权重随 EMA 动量更新的教师网络则负责编码目标视图并截断梯度，生成稳定的预测目标。
整个处理流由轻量级解耦空谱编码器执行，分别提取空间拓扑与光谱特征后通过多头交叉注意力进行定向调制。学生提取的上下文向量经由三个专属的多层感知机预测头，分别向几何、开运算及闭运算潜嵌入发起预测，建立起只预测拓扑结构、忽略高频噪声的定向瓶颈。为了彻底根除高维密集采样带来的表征降维坍缩，模型在学生上下文端引入单侧锚定的各向同性高斯特征正则化（SIGReg），在保持教师目标稳定的同时使表征空间呈现近各向同性良好分布。下游微调时，冻结预训练编码器，仅训练单层线性分类器。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
IN["原始高光谱像元块 x<br/>S×S×B (经 PCA 降维)"] --> VIEW["形态学与几何视图生成<br/>逐波段开/闭运算 + 几何变换"]
subgraph STU["学生编码分支 (梯度更新)"]
direction TB
IN --> ENC_S["解耦空谱编码器 f_θ<br/>空间扩张卷积 + 光谱 1×1 卷积"]
ENC_S --> CA_S["空间查询光谱交叉注意力<br/>Q=空间, K/V=光谱"]
CA_S --> ZC["上下文潜表征 z_c"]
end
subgraph TEA["EMA 教师编码分支 (截断梯度)"]
direction TB
VIEW --> ENC_T["EMA 教师编码器 f_θ'<br/>动量更新 m=0.996"]
ENC_T --> T_EMB["目标潜表征<br/>z_geo, z_open, z_close"]
end
subgraph HEADS["定向预测与流形正则"]
direction TB
ZC --> PRED["任务专属预测头 (h_geo, h_open, h_close)<br/>MLP 映射生成预测向量"]
PRED --> LOSS_PRED["隐空间预测损失 L_pred<br/>L2 距离加和"]
T_EMB --> LOSS_PRED
ZC --> SIGREG["上下文锚定正则化 L_reg<br/>SIGReg 匹配各向同性高斯 N(0, I)"]
end
LOSS_PRED --> TOTAL["联合自监督目标<br/>L_total = L_pred + λ L_reg"]
SIGREG --> TOTAL关键设计¶
1. 形态学滤波目标与定向结构瓶颈：通过几何骨架预测阻隔高频噪声 传统的掩码自编码器通过强行擦除空间块或光谱波段迫使网络重建像元，在高光谱中常导致上下文割裂并诱发对传感器白噪声的过拟合。MorphJEPA 摒弃了破坏语义连续性的掩码机制，利用结构元为 \(3 \times 3\) 的平坦滤波核对未标注立方体 \(X\) 逐波段分别实施代数开运算（先腐蚀后膨胀）与闭运算（先膨胀后腐蚀），获得形态学平滑全景 \(X^{(o)}\) 和 \(X^{(c)}\)。开运算消除了细小的孤立明亮噪声斑点并分离了粘连物体，闭运算则填补微小暗凹孔隙并弥合了断裂轮廓，二者互补地构成了宏观拓扑剖面（Morphological Profile）。从原始 Patch \(x\) 出发，在潜空间中去对齐这些经过形态学过滤的教师表征，构建了一种不可逆的「信息瓶颈」：被开闭运算平滑掉的局域随机高频噪声由于在目标端已被抹去，学生网络便无法也不必对其进行编码，从而倒逼编码器仅保留物体的连通性、边缘走向与全局几何拓扑。
2. 解耦空谱交叉注意力编码器：空间拓扑对光谱吸收特征的定向查询 高光谱数据中空间邻域主要反映几何构型，而连续光谱波段反映分子与材质物理吸收特性。传统三维卷积或标准 Vision Transformer 将两者粗暴交织，既容易在极少样本微调时剧烈过拟合，又使得形态学操作对空间结构的扰动不可控地污染了纯净的光谱特征。MorphJEPA 设计了参数量仅 0.18M 的紧凑解耦架构：空间分支通过标准 \(3 \times 3\) 卷积与扩张率为 2 的空洞卷积并联，捕获多尺度局部空间结构；光谱分支则严格使用 \(1 \times 1\) 点卷积在像元内部进行波段间非线性重组，不产生任何空间跨像元混叠。随后，模型将两路特征图展平为长度为 \(T = S^2\) 的 Token 序列，构建跨注意力机制：以空间特征作为 Query，光谱特征作为 Key 与 Value，完成空间几何对材质语义的动态调制： $\(H = Q + \mathrm{softmax}\left(\frac{QK^\top}{\sqrt{D_h}}\right)V\)$ 这种设计确保了形态学视图引起的空间形变被严格限制在空间流，而纯净的光谱物理吸收特征则作为语义基底为几何结构提供准确的材质参照。
3. 上下文单侧锚定分布正则化（SIGReg）：根除高维空谱特征坍缩 由于高光谱遥感通常采用滑动窗口重叠切片提取 Patch，密集空间与光谱重叠使得输入数据本身具备极强的代数相关性。标准 JEPA 若在此类数据上训练，极易出现特征维度的退化（Dimensional Collapse），即所有嵌入向量退化到极低维的各向异性子空间中。近期出现的 LeJEPA 尝试引入基于特征函数匹配的各向同性高斯正则化（SIGReg），但其对所有表征视图实施双向对称约束，导致原本在空间高相关的高光谱表征强行扭曲，甚至引发流形整体退化为一维流形（实验证实其分类准确率仅 24.27%）。MorphJEPA 提出非对称设计：保留 EMA 动量更新的教师网络以提供稳定目标，同时仅将 SIGReg 作用于学生上下文嵌入集合 \(Z_c = \{z_c^{(k)}\}_{k=1}^M\)。该正则项度量经验分布与标准各向同性高斯 \(\mathcal{N}(0, I)\) 在随机投影下的特征函数差异，强力将潜表征协方差矩阵的迹与条件数约束在近各向同性状态。这在理论上紧致了极少样本线性分类器的 Rademacher 复杂度上界 \(\mathcal{O}\big(B\sqrt{\mathrm{Tr}(\Sigma)/N}\big)\)，从底层保证了下游少样本线性探测的良好泛化能力。
损失函数 / 训练策略¶
模型在预训练阶段采用多任务联合预测与流形正则化损失。给定几何视图预测误差 \(\mathcal{L}_{geo}\)、形态学开运算预测误差 \(\mathcal{L}_{open}\) 与闭运算预测误差 \(\mathcal{L}_{close}\)，预测损失定义为各视图预测值与教师真实潜表征之间的 \(L_2\) 欧氏距离平方和： $\(\mathcal{L}_{pred} = \|\hat{z}_{geo} - z_{geo}\|_2^2 + \|\hat{z}_{open} - z_{open}\|_2^2 + \|\hat{z}_{close} - z_{close}\|_2^2\)$ 其中几何视图强制模型保持绝对材质属性与空间等变性，充当语义锚点；开闭运算项则提供拓扑结构学习信号。联合总损失函数为： $\(\mathcal{L}_{total} = \mathcal{L}_{pred} + \lambda \mathcal{L}_{reg}\)$ 其中 \(\lambda = 0.05\) 为正则化权重。优化器采用 AdamW，初始学习率为 \(2 \times 10^{-4}\)，权重衰减为 \(10^{-4}\)，配合余弦退火策略训练 100 个 epoch，教师动量系数为 0.996。下游分类评测阶段，完全冻结主干网络权重，基于提取出的特征对单层线性分类器采用 AdamW 训练 100 个 epoch（学习率 \(10^{-3}\)，权重衰减 0.01）。
实验关键数据¶
主实验¶
论文在两个同场景基准（Houston 2013、Trento）以及两个极具挑战的跨场景、跨时间/空间迁移基准（Houston 2013 \(\to\) 2018 跨传感器时相迁移、HyRank Dioni \(\to\) Loukia 城乡跨空间地理迁移）上进行了 1/5/10-shot 极端低样本评估。评价指标采用总体分类精度（OA, %）、平均分类精度（AA, %）以及 Kappa 系数（\(\kappa \times 100\)），所有实验重复 10 次取均值。
| 数据集与任务协议 | 评测指标 | MorphJEPA (本文) | 次优方法 | 性能增益 (vs 次优) | 经典对比基准 (MAE / I-JEPA) |
|---|---|---|---|---|---|
| Houston 2013 (5-shot 同场景) | OA (%) AA (%) \(\kappa\) |
74.73 77.53 72.61 |
71.85 (SC-EADNet) 75.51 (SC-EADNet) 69.28 (SC-EADNet) |
+2.88% OA +2.02% AA +3.33 \(\kappa\) |
MAE: 68.45% / 71.23% I-JEPA: 48.57% / 51.22% LeJEPA: 24.27% (坍缩) |
| Houston 2013 (1-shot 同场景) | OA (%) AA (%) |
52.06 59.65 |
50.73 (SC-EADNet) 55.72 (SC-EADNet) |
+1.33% OA +3.93% AA |
MAE: 41.24% / 44.47% I-JEPA: 29.83% / 32.38% |
| Trento (5-shot 同场景) | OA (%) AA (%) \(\kappa\) |
89.62 84.40 86.20 |
87.26 (DMVL) 82.89 (CM-SCON) 84.28 (CM-SCON) |
+2.36% OA +1.51% AA +1.92 \(\kappa\) |
MAE: 83.17% / 78.44% I-JEPA: 68.43% / 64.18% |
| Houston 2013 \(\to\) 2018 (5-shot 跨时相少样本迁移) | OA (%) AA (%) \(\kappa\) |
67.21 62.43 51.33 |
66.01 (GGCL) 61.10 (SC-EADNet) 47.28 (SC-EADNet) |
+1.20% OA +1.33% AA +4.05 \(\kappa\) |
MAE: 37.53% / 37.22% SpectralDINO: 50.03% |
| HyRank Dioni \(\to\) Loukia (5-shot 跨区域少样本迁移) | OA (%) AA (%) \(\kappa\) |
60.37 71.22 54.11 |
61.43 (SC-EADNet) 68.01 (SpectralDINO) 52.04 (SC-EADNet) |
-1.06% OA +3.21% AA +2.07 \(\kappa\) |
MAE: 43.80% / 44.50% GGCL: 50.79% / 62.44% |
在计算复杂度方面，MorphJEPA 参数量仅 0.18M，推理浮点计算量仅 0.04 GFLOPs，单个 Patch 推理耗时仅 0.98 ms，全面优于 DMVL（24.62M / 2.12G / 5.87ms）和 SpectralDINO（21.55M / 0.75G / 12.16ms），展现了轻量实时的工业部署潜力。
消融实验¶
论文在 Houston 2013（同场景）与 HyRank Dioni \(\to\) Loukia（跨场景）的 5-shot 设定下对各组件进行了全面剥离分析。
| 实验编号 | 预测损失组成 (\(\mathcal{L}_{geo}, \mathcal{L}_{open}, \mathcal{L}_{close}\)) | 上下文正则 (\(\mathcal{L}_{reg}\)) | 编码器架构 / 融合机制 | Houston 2013 OA (%) | HyRank 迁移 OA (%) | 机制分析与结论 |
|---|---|---|---|---|---|---|
| (i) | 仅几何变换 (\(\mathcal{L}_{geo}\)) | \(\times\) | 解耦交叉注意力 | 53.23 ± 2.40 | 36.52 ± 4.12 | 仅靠几何对称性无法提供充足语义约束，缺乏结构拓扑先验 |
| (ii) | 仅形态学开闭 (\(\mathcal{L}_{open}+\mathcal{L}_{close}\)) | \(\times\) | 解耦交叉注意力 | 68.97 ± 3.72 | 54.85 ± 5.10 | 形态学目标大幅提升精度（+15.74%），但方差偏大，易发生全局语义漂移 |
| (iii) | 几何 + 形态学全目标 | \(\times\) | 解耦交叉注意力 | 73.97 ± 1.62 | 59.76 ± 3.90 | 几何目标充当绝对物理语义锚点，方差从 3.72 骤降至 1.62，大幅增稳 |
| (iv) | 完整模型 (\(\mathcal{L}_{pred}\) 全部) | \(\checkmark\) (SIGReg) | 解耦交叉注意力 | 74.73 ± 1.11 | 60.37 ± 3.15 | 流形正则化使特征空间呈各向同性分布，方差进一步削减 31%，精度达最优 |
| (A) | 从头训练（无预训练） | — | 解耦架构直接微调 | 31.92 ± 13.20 | 22.15 ± 14.50 | 极端少样本下直接训练发生严重灾难性过拟合与高方差坍缩 |
| (B) | 完整自监督目标 | \(\checkmark\) | 传统 3D-CNN (4.10M) | 64.12 ± 1.85 | 48.50 ± 2.90 | 参数量庞大，空谱强行缠绕导致对微调样本过拟合 |
| (C) | 完整自监督目标 | \(\checkmark\) | SpectralFormer (0.38M) | 69.50 ± 1.40 | 52.40 ± 2.55 | 标准 Transformer 缺乏针对高光谱局域连续性的强归纳偏置 |
| (D) | 完整自监督目标 | \(\checkmark\) | 解耦特征直接 Concat (0.12M) | 72.10 ± 1.15 | 56.90 ± 2.20 | 缺乏特征交互，空间拓扑无法动态感知光谱吸收特征 |
| (E) | 完整自监督目标 | \(\checkmark\) | 解耦特征 + CBAM 融合 (0.15M) | 73.05 ± 1.19 | 58.05 ± 2.35 | 简单的通道/空间重加权对跨维度对齐的建模能力有限 |
关键发现¶
- 形态学开闭运算的互补性：若仅采用开运算或仅采用闭运算，性能均明显落后于开闭联合预测；而原子级的腐蚀/膨胀由于破坏了目标几何面积和边界位置，甚至会导致预测表征出现系统性偏差。复合幂等的开闭运算提供了完备的拓扑剖面。
- 对称与非对称流形正则化的分野：LeJEPA 在高光谱上由于对所有视图强行施加对称 SIGReg 导致表征降维坍缩（t-SNE 呈现完全退化的一维流形，Houston 5-shot OA 仅 24.27%），而 MorphJEPA 将 SIGReg 仅锚定在学生上下文端，配合 EMA 教师生成的目标，成功构建了高区分度且近各向同性的潜表征流形（条件数 \(\kappa = 1.14\)）。
- 结构瓶颈对噪声的免疫与极细特征的权衡：定性分类图（Trento 数据集）显示，MorphJEPA 完全消除了以往 SOTA 方法普遍存在的“椒盐噪声”误分类，生成了极其平滑内聚的大块地物预测图；但由于形态学滤波的平滑本质，对极细线状地物（如窄道路）边缘精度存在轻微弱化，这是为换取超强少样本泛化力所做的主动权衡。
亮点与洞察¶
- 将经典数学形态学重构为现代自监督前置任务：过去遥感界仅将形态学剖面用作手工特征或网络浅层输入，MorphJEPA 巧妙地将其转化为隐空间预测的目标信号，通过开闭运算的信息不可逆性天然构筑了抑制高频传感噪声的定向结构瓶颈。
- 单侧正则化破解高光谱 JEPA 潜流形退化难题：指出了高维连续谱间高相关性容易导致自监督预测陷入低秩坍缩的本质机理，创造性地提出了“EMA 教师提供锚点 + 仅对学生上下文施加各向同性高斯约束”的非对称训练方案。
- 兼顾极高精度与极致轻量化：以仅 0.18M 参数和 0.04 GFLOPs 的微型解耦模型，击败了参数量大其上百倍的复杂大模型，为资源受限的星载实时高光谱边缘计算提供了示范性范式。
局限与展望¶
- 各向同性结构元对定向线性地物的抹蚀：当前开闭运算均使用各向同性的方块结构元（\(3 \times 3\)），这会导致细长连续道路、灌溉渠等强方向性线状特征在滤波中被过度平滑，削弱了对应地物的边界分辨能力。未来可探索引入方向自适应或路径形态学算子（Path Opening）。
- 完全预测范式在微观纹理重建上的短板：JEPA 范式专注于宏观语义拓扑的不变性，完全舍弃了底层像素重构，在需要极精细亚像元分解或致密纹理反演的任务中可能丢失局部高频细节。探索 JEPA 潜空间预测与局部轻量重建相结合的混合目标是值得推进的方向。
相关工作与启发¶
- vs I-JEPA (Assran et al., CVPR 2023)：I-JEPA 在自然图像中通过大面积空间掩码并由上下文预测目标块；在高光谱中，此类大块掩码会彻底切断光谱物理连续性诱发语义破损。MorphJEPA 提出像元全对齐的形态学滤波视图，在保持全波段光谱信息的同时过滤空间高频扰动，形成了专属于高光谱的 JEPA 范式。
- vs LeJEPA (Balestriero & LeCun, arXiv 2025)：LeJEPA 依靠对称的各向同性正则化完全废除动量教师，但在高光谱高度冗余的空间-光谱关联下会引发彻底的几何降维坍缩（OA 跌至 24%）。MorphJEPA 证明了在高维连续遥感数据中，EMA 教师与单侧学生上下文正则化结合的必要性。
- vs SC-EADNet / SpectralDINO (自监督与少样本 SOTA)：SC-EADNet 依赖非对称空洞卷积进行对比学习，视图脆弱且难以抗衡跨时相传感器扰动；SpectralDINO 依赖重型骨干与子空间低秩自适应。MorphJEPA 仅凭 0.18M 的解耦轻量网络便在跨传感器时相迁移与跨区域空间泛化中全面占优。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐（首次将数学形态学提升为 JEPA 潜空间自监督预测信号，构思极具针对性与启发性）
- 实验充分度: ⭐⭐⭐⭐⭐（覆盖 1/5/10-shot 极端低样本、跨时相跨传感器、跨地理空间全面评测，消融深入详实）
- 写作质量: ⭐⭐⭐⭐⭐（动机剖析入木三分，理论分析与复杂度评测完整自洽，定性图表直观且极富说服力）
- 价值: ⭐⭐⭐⭐⭐（有效攻克了高光谱领域标注昂贵与跨场景泛化差的核心痛点，且计算代价极低，实用性出众）