LESSViT: Robust Hyperspectral Representation Learning under Spectral Configuration Shift¶
会议: NeurIPS 2026
arXiv: 2605.18541
代码: https://uiuctml.github.io/LESSViT/
领域: 遥感
关键词: 高光谱遥感、跨谱泛化、低秩注意力、掩码自编码器、旋转位置编码
一句话总结¶
LESSViT 针对跨传感器高光谱波段配置漂移难题，提出基于结构化低秩分解的 LESS Attention，将空谱联合注意力复杂度从 \(\mathcal{O}(N^2 C^2)\) 降低至 \(\mathcal{O}(r N C)\)，结合通道无关 Tokenization 与物理波长 RoPE，在维持同分布表现的同时大幅提升跨谱迁移鲁棒性。
研究背景与动机¶
高光谱遥感成像（HSI）通过数百个连续狭窄波段捕捉地表的精细光谱指纹，在精准农业监测、矿物与材料分类、植被生化指标反演以及环境灾害评估中起着不可替代的作用。然而与自然 RGB 图像固定的三通道体系不同，高光谱通道是具有明确连续物理波长属性的离散采样。现实中不同卫星、机载平台（如 EnMAP、Hyperion、Specim IQ）所搭载的光谱传感器在波段覆盖范围、采样带宽和通道总数上存在剧烈差异，导致同一物理地表场景在不同设备下呈现完全不同的光谱响应，引发严重的“光谱配置漂移”（Spectral Configuration Shift）。在固定通道配置下训练的深度模型往往难以直接迁移至其他传感器。
为了实现跨传感器通用表征，模型必须同时满足通道无关标记化、显式空谱联合交互以及计算可扩展性三项严苛要求。然而现有 Vision Transformer 架构陷入了两难抉择：一方面，以 SpectralViT、SatMAE 为代表的主流方案将光谱通道压入特征隐藏维度或进行启发式分组，仅在初始 Patch 嵌入阶段进行隐式空间聚合，本质上仍依赖固定的通道数与通道排列，缺乏波长维度的显式结构建模；DOFA 虽引入波长条件调制，却未能在深层主干中显式建模空谱耦合。另一方面，ChannelViT 等方法将每个波段视作独立 Token 进行全局空谱自注意力计算，能显式建模细粒度波段关联，但其计算与内存复杂度高达 \(\mathcal{O}(N^2 C^2)\)，面对拥有上百通道的高光谱输入极易发生显存爆炸（OOM）；而 HyperSigma 采用完全解耦的平行分支，又削弱了局部空间与特定波段之间的联合依赖。
解决这一根本权衡的核心在于利用高光谱数据固有的物理结构可分离性——空间变化主要反映地物材质的空间几何分布，而光谱响应反映物质本身的波长吸收特征，二者交互具有极强的低秩结构。核心 idea：将高阶空谱联合注意力张量进行结构化低秩 Kronecker 分解，在空间与光谱独立投影上计算分离注意力并保持低秩耦合，将二次方复杂度降至线性混合项 \(\mathcal{O}(r N C)\)，实现高效且鲁棒的跨传感器光谱泛化。
方法详解¶
整体框架¶
LESSViT（Low-rank Efficient Spatial–Spectral ViT）接受任意通道数 \(C\)、高宽为 \(H \times W\) 的高光谱遥感立方体输入，通过通道无关的绑定 Patch 嵌入与三类特殊类别标记构建结构化空谱网格；主干网络堆叠多层 LESS Attention Block，利用注意力池化解耦出空间与光谱分支，分别注入结合二维物理坐标与连续中心波长的空谱旋转位置编码（SSRoPE）并计算单维度自注意力，再通过 Kronecker 积低秩重组；预训练阶段采用专门针对空谱分离结构设计的 HyperMAE 框架，配合分层通道采样（HCS）完成高维掩码重构。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["高光谱遥感立方体<br/>C × H × W"] --> B["通道无关绑定 Patch 嵌入<br/>共享权重线性投影 + 三重 [CLS] 标记"]
B --> C["分层通道采样与解耦掩码<br/>HyperMAE 空间 75% 且通道 75% 掩码"]
C --> D["注意力池化解耦<br/>AttenPool 提取空间与光谱特征"]
D --> E["时空谱旋转位置编码 SSRoPE<br/>空间 2D RoPE + 波长 1D 物理 RoPE"]
E --> F["LESS 低秩空谱分解注意力<br/>分支自注意力 + Kronecker 积重组"]
F --> G["下游多任务预测 / 重构输出<br/>语义分割 mIoU / 多标签分类 mAP"]关键设计¶
1. 通道无关绑定 Patch 嵌入：打破固定通道绑定的结构化 Tokenization
传统 ViT 的输入投影层直接将通道数固定在卷积核或线性映射权重中，一旦测试时波段增减便彻底失效。LESSViT 采用通道间完全共享参数的绑定 Patch 嵌入（Tied Patch Embedding）。对于大小为 \(C \times H \times W\) 的输入，将其切分为 \(C \times \frac{H}{P} \times \frac{W}{P}\) 个空间大小为 \(P \times P\) 的单通道 Patch，并使用共享线性投影矩阵 \(W \in \mathbb{R}^{P^2 \times D}\) 将每个 Patch 映射为 \(D\) 维特征，得到大小为 \(N \times C \times D\) 的空间-光谱网格，其中 \(N = \frac{H}{P} \times \frac{W}{P}\) 为空间 Token 数量。
为了有效捕获全局统计量，模型在空谱网格中引入了三重结构化类别标记：空间标记 \([CLS]_S\)（形状为 \(1 \times C \times D\)）用于汇总各个波段在全图上的全局响应；光谱标记 \([CLS]_C\)（形状为 \(N \times 1 \times D\)）用于在每个空间位置上汇总全光谱特征；全局标记 \([CLS]_G\)（形状为 \(1 \times 1 \times D\)）则负责联合建模全图全波段的语义。三者将特征网格扩展为 \((N+1) \times (C+1) \times D\)，为后续分支降维与高效池化提供了明确的全局查询锚点。
2. LESS Attention：基于 Kronecker 低秩分解的高效空谱注意力
直接对 \(N \times C\) 个 Token 展平计算全注意力矩阵会导致 \(\mathcal{O}(N^2 C^2 D)\) 的显存与计算灾难。LESS Attention 基于空间与光谱维度的结构可分离性，首先利用注意力池化层（AttenPool），以对应的 \([CLS]\) 标记作为 Query，对另一维度执行注意力加权汇聚，并将特征投影到子维度 \(d_1\) 与 \(d_2\)（满足 \(d_1 d_2 = D\)）： - 空间分支特征：\(X_S = \text{AttenPool}(X, \text{dim}=1) \in \mathbb{R}^{N \times d_1}\) - 光谱分支特征：\(X_C = \text{AttenPool}(X, \text{dim}=0) \in \mathbb{R}^{C \times d_2}\)
在分解得到的独立特征上，分别计算标准的空间自注意力与光谱自注意力，并通过低秩 Kronecker 积逼近全空谱注意力图：
在实际实现中采用秩 \(r=1\)。该操作无需显式物化大小为 \(NC \times NC\) 的联合注意力权重，总计算复杂度显著降至 \(\mathcal{O}(r N^2 d_1 + r C^2 d_2 + r N C D)\)。由于高光谱图像中光谱维度的本征维度通常较低，设计采用非对称子维度分配（\(d_1 / d_2 = 16\)），赋予空间特征更高的表征容量，在保持总体复杂度为线性混合项 \(\mathcal{O}(N C D)\) 的同时，兼顾了空间几何细节与细粒度光谱依赖。
3. 空谱旋转位置编码（SSRoPE）：物理波长感知的轴向相对编码
传统的绝对位置编码依赖固定离散的通道索引 \(0, 1, \dots, C-1\)，无法感知实际波段所代表的电磁波长物理意义，当输入波段发生稀疏抽取或范围偏移时位置信息会产生完全错位。LESSViT 将旋转位置编码扩展为轴向空间-光谱 RoPE（SSRoPE）： - 空间分支：对网格坐标 \((u, v)\) 采用标准二维 RoPE，将每头维度 \(d_s\) 均分为水平与垂直两组频率分量 \(\theta_i^{(u)} = u / \tau_i^{(u)}\) 与 \(\theta_i^{(v)} = v / \tau_i^{(v)}\)，构造对角分块旋转矩阵 \(R_s(u, v)\)。 - 光谱分支：利用传感器各波段真实的中心物理波长 \(\lambda\)（单位纳米，连续实数），计算几何旋转角 \(\theta_i^{(\lambda)} = \lambda / \tau_i^{(\lambda)}\)，构造光谱旋转矩阵 \(R_c(\lambda)\)。
旋转变换仅施加于非 \([CLS]\) 标记的 Query 和 Key 上：\(\tilde{Q}_s = R_s Q_s, \tilde{K}_s = R_s K_s\) 以及 \(\tilde{Q}_c = R_c Q_c, \tilde{K}_c = R_c K_c\)。由于内积满足相对平移与波长差不变性，使得模型不仅能外推至训练中未曾出现的波段采样率，还能自然适应任意连续波长分布的异构传感器。
4. HyperMAE：解耦空谱掩码与分层通道采样（HCS）
针对高维高光谱预训练显存开销过大的问题，论文提出了适配低秩轴向结构的自监督框架 HyperMAE： - 解耦空谱掩码：不采用破坏规则网格的完全随机 Token 丢弃，而是分别以 75% 的掩码率在空间 Patch 和光谱通道上独立掩码。所有保留通道在空间上应用相同的空间掩码模式，严格保持轴向对齐结构，迫使网络学习在部分观测下跨波段与跨空间的联合上下文推理。 - 分层通道采样（HCS）：尽管 LESS Attention 在编码器阶段实现了低复杂度，但 MAE 的密集像素级解码器面对数百通道仍存在巨大显存负担。HyperMAE 在预训练迭代中每次仅在预设比例区间 \([r_l, r_h]\)（默认 \([0.2, 0.3]\)）随机采样输入通道送入解码器计算重构 Loss，在微调与测试时移除解码器并处理全通道。这使得 200 个波段下的预训练时间缩短 17%，且不损失表征质量。
损失函数 / 训练策略¶
HyperMAE 预训练采用均方误差（MSE）作为重构损失，仅在被掩码的像素位置上计算。模型采用 ViT-Base 规模（12 层编码器，8 层解码器，特征维度分别为 768 和 512，12 头注意力机制，Patch 大小为 \(16 \times 16\)），在 4 块 NVIDIA H200 GPU（各 144GB 显存）上使用 SpectralEarth 数据的 120 波段子集（\(C_{120\text{VNIR+}}\)）预训练 200 个 Epoch。使用 AdamW 优化器，学习率为 \(1.5 \times 10^{-4}\)，权重衰减 0.05，有效 Batch Size 为 1024，混合精度为 bfloat16。微调阶段在各下游基准上统一微调 10 个 Epoch，结合余弦退火与网格搜索最优学习率。
实验关键数据¶
主实验¶
在基于 EnMAP 卫星高光谱数据的 SpectralEarth 基准上，评估了土地利用分类（CDL）、作物分类（EuroCrops）、地表覆盖多标签分类（CORINE）、森林类型细分（BDFORET）以及土地覆盖分割（BNETD）五大任务。所有模型在包含 80 个 VNIR 与 40 个 SWIR 波段的 \(C_{120\text{VNIR+}}\) 上训练，并在四种配置下测试以评测跨谱泛化能力： 1. 同分布（\(C_{120\text{VNIR+}}\)） 2. 光谱漂移（\(C_{120\text{SWIR+}}\)，40 VNIR + 80 SWIR） 3. 未见波长区域（\(C_{82\text{Full}\setminus\text{VNIR+}}\)，包含 20 VNIR 与 62 SWIR 的全互补波段） 4. 通道扩展（\(C_{202\text{Full}}\)，输入包含全部 202 个可用波段）
下表展示了代表性任务的绝对性能及跨谱配置下的相对衰减（\(\downarrow \%\)）：
| 模型 | 谱配置 / 任务 | CDL (mIoU) | EuroCrops (mIoU) | CORINE (mAP) | BDFORET (mIoU) | BNETD (mIoU) | 平均相对降幅 (%) |
|---|---|---|---|---|---|---|---|
| SpectralViT | \(C_{120\text{VN+}}\) (ID) | 70.29 | 70.27 | 79.21 | 76.28 | 43.54 | - |
| \(C_{120\text{SW+}}\) (Shift) | 13.71 (↓80%) | 33.65 (↓48%) | 35.82 (↓55%) | 48.25 (↓37%) | 14.54 (↓67%) | 57% | |
| \(C_{82}\) (Unseen) | 6.87 (↓90%) | 43.13 (↓39%) | 38.23 (↓52%) | 48.43 (↓36%) | 16.92 (↓61%) | 56% | |
| \(C_{202}\) (Expand) | 5.43 (↓92%) | 48.09 (↓32%) | 38.40 (↓52%) | 48.57 (↓36%) | 18.76 (↓57%) | 54% | |
| HyperSigma | \(C_{120\text{VN+}}\) (ID) | 39.45 | 56.07 | 68.54 | 64.23 | 25.80 | - |
| \(C_{120\text{SW+}}\) (Shift) | 15.91 (↓60%) | 51.04 (↓9%) | 40.00 (↓42%) | 49.59 (↓23%) | 17.54 (↓32%) | 33% | |
| \(C_{82}\) (Unseen) | 16.48 (↓58%) | 50.41 (↓10%) | 25.78 (↓62%) | 48.69 (↓24%) | 16.37 (↓37%) | 38% | |
| \(C_{202}\) (Expand) | 13.83 (↓65%) | 51.42 (↓8%) | 48.50 (↓29%) | 49.52 (↓23%) | 18.93 (↓27%) | 30% | |
| DOFA | \(C_{120\text{VN+}}\) (ID) | 37.65 | 54.61 | 54.04 | 57.60 | 25.20 | - |
| \(C_{120\text{SW+}}\) (Shift) | 18.11 (↓52%) | 42.20 (↓23%) | 36.87 (↓32%) | 52.26 (↓9%) | 18.08 (↓28%) | 29% | |
| \(C_{82}\) (Unseen) | 17.37 (↓54%) | 29.57 (↓46%) | 48.33 (↓11%) | 33.84 (↓41%) | 18.36 (↓27%) | 36% | |
| \(C_{202}\) (Expand) | 12.97 (↓66%) | 34.64 (↓37%) | 33.51 (↓38%) | 50.11 (↓13%) | 18.88 (↓25%) | 36% | |
| LESSViT (本文) | \(C_{120\text{VN+}}\) (ID) | 51.78 | 56.86 | 75.55 | 62.79 | 31.27 | - |
| \(C_{120\text{SW+}}\) (Shift) | 38.92 (↓25%) | 46.55 (↓18%) | 67.87 (↓10%) | 58.81 (↓6%) | 26.16 (↓16%) | 15% | |
| \(C_{82}\) (Unseen) | 28.51 (↓45%) | 51.34 (↓10%) | 58.92 (↓22%) | 54.00 (↓14%) | 18.87 (↓40%) | 26% | |
| \(C_{202}\) (Expand) | 46.52 (↓10%) | 54.89 (↓3%) | 75.54 (↓0%) | 62.46 (↓1%) | 28.33 (↓9%) | 5% |
消融实验¶
论文针对核心模块（位置编码机制与分层通道采样比例）进行了深入消融分析（采用 ViT-Small 架构预训练 50 个 Epoch）：
| 配置 | 位置编码 | \(r_{\text{HCS}}\) 采样比 | CDL (mIoU) ID / OOD-SW / Unseen / Exp | CORINE (mAP) ID / OOD-SW / Unseen / Exp | 分割均值 (mIoU) ID / OOD-SW / Unseen / Exp | 预训练时间 | 说明 |
|---|---|---|---|---|---|---|---|
| 默认设置 | SSRoPE | [0.2, 0.3] | 40.04 / 41.22 / 35.60 / 40.50 | 70.74 / 68.30 / 67.11 / 69.61 | 44.48 / 42.66 / 39.96 / 43.63 | 34 小时 | 基准配置，兼顾精度与训练开销 |
| 替换 PE 为 SIREN | SIREN | [0.2, 0.3] | 28.79 / 29.60 / 30.58 / 29.82 | 70.32 / 69.48 / 64.68 / 69.89 | 40.04 / 37.76 / 37.84 / 38.65 | 34 小时 | 分割任务全面掉点，跨谱适应性明显下降 |
| 增大采样比 | SSRoPE | [0.4, 0.5] | 40.93 / 40.87 / 35.88 / 39.13 | 69.68 / 69.04 / 64.61 / 69.83 | 45.44 / 44.09 / 40.70 / 43.95 | 41 小时 (+17%) | 性能变化轻微，但重构显存与耗时增加 |
关键发现¶
- 跨谱鲁棒性压倒性领先：在所有 15 个“任务–分布外配置”组合中，LESSViT 在 14 个上取得最优表现。在最困难的“全未见波段测试”（\(C_{82}\)）中，SpectralViT 平均性能折损 56%，而 LESSViT 仅衰减 26%；在通道扩充（\(C_{202}\)）设置下，LESSViT 平均性能降幅仅为 5%（在 CORINE 上甚至几乎无损：75.55 vs 75.54）。
- 同分布与泛化能力的权衡机制：在同分布（\(C_{120\text{VN+}}\)）下，SpectralViT 得益于更小的 Patch 尺寸（\(4 \times 4\) vs \(16 \times 16\)）与对固定通道相关性的深度过度拟合，取得了最高的绝对分割分数；但一旦通道改变，其预测 mask 会大面积崩塌并产生连贯性误判。LESSViT 通过将特征容量解耦到空间和光谱两个子空间，显著抑制了对特定通道布局的过拟合。
- 推理开销与通道解耦验证：在 2000 个样本的推理耗时测试中，随通道数从 10 增至 200，全局自注意力的 ChannelViT 延迟急剧飙升并在 \(C=200\) 时发生显存溢出（OOM）；而 LESSViT 的推理延迟保持平坦的近常数曲线，成功打破通道瓶颈。
亮点与洞察¶
- 结构化 Kronecker 低秩因式分解：巧妙利用遥感地物在二维空间平面的几何连续性与一维光谱维度的特征吸收曲线相互正交且低秩的物理先验，把复杂度从 \(\mathcal{O}(N^2 C^2)\) 化简为 \(\mathcal{O}(r N C)\)，真正打通了高光谱大模型在百量级通道下的显式注意力计算通路。
- 物理中心波长直接驱动旋转位置编码：将 RoPE 的旋转角与连续的物理波长 \(\lambda\) 挂钩，使模型在注意力计算时具备内生的“光谱波长距离相对感知能力”，从原理上消除了由于通道增减导致的离散索引错位。
- 可复用的遥感地学表征范式：解耦空谱掩码机制与基于波长的轴向位置编码可以无缝迁移至农业无人机多光谱相机、红外高光谱遥感、天基温室气体探测等跨载荷、多传感器的统一多模态基础模型构建中。
局限与展望¶
- 小 Patch 分辨率与高 Token 量的扩展挑战：当前 LESSViT 采用 \(16 \times 16\) 的 Patch 大小，导致密集像素分割任务在细微边缘处略逊于使用 \(4 \times 4\) Patch 的 SpectralViT；若直接减小 Patch 尺寸，空间 Token 数 \(N\) 将增加 16 倍，即使是线性的 \(N C D\) 混合项在海量通道下计算开销依然不容忽视。
- 极端稀疏波段与非重叠波长泛化仍有瓶颈：在完全未重叠的 \(C_{82}\) 配置下，即使最强的 LESSViT 在 CDL 农作物识别上也出现了 45% 的性能衰退，表明依赖特定窄带吸收特征的任务在缺失关键波段时仍然难以通过上下文无损推断。
- 跨领域通用性待拓展：目前实验仅在卫星地球观测（EnMAP）数据上验证，尚未拓展至显微医学高光谱病理切片和工业材料分拣等不同成像机理的非遥感场景。
相关工作与启发¶
- vs SpectralViT (Braham et al., 2024): SpectralViT 采用隐式通道融合，将所有波段在初始线性层压入隐藏空间，同分布拟合极佳但缺乏跨谱外推机制，面对通道变换性能断崖下跌；LESSViT 引入显式分离空谱交互与物理波长 RoPE，在跨谱配置下展现出高度的自适应性。
- vs ChannelViT (Bao et al., 2023): ChannelViT 采用全局扁平化自注意力，虽然能显式建模任意通道，但 \(\mathcal{O}(N^2 C^2)\) 的复杂度在 200 通道下直接显存崩溃；LESSViT 通过低秩分解不仅解决了显存爆炸，还保持了近乎平直的推理延迟。
- vs DOFA (Xiong et al., 2024) & HyperSigma (Wang et al., 2025): DOFA 仅在 Patch 嵌入阶段引入波长条件权重生成，深层主干缺乏波长感知；HyperSigma 采用完全割裂的平行空谱分支，缺乏联合特征耦合。LESSViT 则通过低秩 Kronecker 积以极低成本保留了细粒度空谱联合依赖。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 提出专为高光谱遥感量身定制的低秩空谱分解注意力与物理波长 SSRoPE，巧妙打破传统空谱建模的效率瓶颈。
- 实验充分度: ⭐⭐⭐⭐⭐ 构建了完备的跨谱传感器泛化基准（包含光谱漂移、未见波段、通道扩张等严格设置），涵盖 5 大下游任务及详实的消融与延迟评测。
- 写作质量: ⭐⭐⭐⭐⭐ 数学推导清晰严密，复杂度分析扎实，结构设计动机与高光谱物理特性紧密契合。
- 价值: ⭐⭐⭐⭐⭐ 为多源异构高光谱传感器融合与通用遥感大模型提供了极具实用价值的全新基础架构。