OneHSI: A Unified Hyperspectral Foundation Model with Physical Consistency¶

会议: ECCV 2026
论文: ECCV 2026 Poster
领域: 遥感
关键词: 高光谱成像, 基础模型, 跨传感器泛化, 物理一致性, 尺度等变性

一句话总结¶

针对高光谱成像中因波段离散化差异、空间分辨率跨数量级变化以及跨领域数据失衡导致的硬件绑定与泛化失效痛点，OneHSI 通过连续波长空间重参数化、尺度等变自适应专家变换和跨领域表示均衡化，构建了首个具备物理一致性的统一高光谱通用基础模型。

研究背景与动机¶

高光谱成像（Hyperspectral Imaging, HSI）凭借其数十至数百个连续狭窄波段的光谱信息，具备超越常规 RGB 视觉的物质分子级物理感知能力，在卫星农业与环境监测、工业分选、自动驾驶感知以及术中肿瘤精准评估等场景中发挥着核心作用。然而，长期以来深度学习在高光谱领域的发展深陷于“硬件绑定（device-dependent）”的泥潭：不同传感器之间的空间采样尺度跨越米级卫星到微米级显微镜的数个数量级，光谱波段数与波长响应函数（SRF）互不兼容，导致在一个传感器上训练好的模型在面临微小的硬件配置或离散化变动时直接失效，严重限制了高光谱模型的复用性与跨场景泛化能力。

虽然近期涌现了如 SpectralGPT、HyperSIGMA、SpectralEarth 及 HyperFree 等高光谱基础模型，试图利用掩码图像建模（MAE）进行大规模自监督预训练，但这些工作几乎全部拘泥于相对同质化的卫星遥感数据集，隐式假设波段配置与空间尺度固定。一旦将这类模型直接迁移到地面近地感知、自动驾驶或生物医学等具有剧烈波长分布与空间分辨率差异的下游任务，性能往往出现断崖式崩溃。尽管不同传感器获取的绝对测量值受大气衰减、介质吸收和传感器噪声影响各异，但其底层所观测的地表或生物组织物质反射光谱曲线的内在相对形状（如吸收峰、峰谷比值与光谱趋势）由客观物质成分决定，具备一致的物理基础。然而，传统流水线在处理高光谱张量时，粗暴地将波段数和空间网格作为任意离散张量维度对待，完全切断了这一物理连续性纽带。

打破跨传感器一致性的核心瓶颈清晰地体现在三个维度：传感器波长坐标不重合引起的光谱错位（C1）、跨数量级空间分辨率引发的尺度特征偏移（C2）、以及遥感数据远多于地面数据的跨领域样本极端倾斜（C3）。本文的切入角度是直接面向物质反射的物理规律构建归纳偏置，将离散波段和分辨率视为连续物理空间在不同密度下的采样。核心 idea：将高光谱表征学习与底层物质反射物理对齐，提出包含连续波长重参数化（SCORE）、尺度等变混合专家自适应（SEAT）以及领域平衡对抗均衡（CORE）的三位一体架构，建立无视离散硬件变动的传感器无关统一高光谱基础模型。

方法详解¶

整体框架¶

OneHSI 接收来自异质领域 \(m\) 的高光谱立方体输入 \(X_{m,i} \in \mathbb{R}^{H \times W \times C_m}\)，及其对应的传感器波长坐标向量 \(\lambda_m \in \mathbb{R}^{C_m}\) 和物理空间分辨率 \(s_m\)（米/像素）。整个架构在数据层、波谱层和空间变换层分级消化异质性：首先通过 CORE 的均匀多域采样构建无偏迷你批次；随后利用 SCORE 将离散传感器通道投影至统一维度的连续波长物理特征空间并做全局统计调制；接着进入遵循 MAE 掩码自编码范式的 ViT 主干网络，其中多头自注意力机制全局共享以捕捉尺度不变的长程语义关系，前馈网络部分则替换为由物理尺度调度的 SEAT 混合专家网络（MoE）；最后由轻量级解码器在物理对齐特征空间中重构被掩码的立方体。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["异质高光谱输入<br/>X, 波长λ, 空间尺度s"] --> B["跨领域表示均衡化<br/>四领域等量采样 + 梯度反转对抗"]
    B --> C["光谱坐标重参数化<br/>连续波长映射 + 统计调制"]
    C --> D["Patch & Mask 掩码编码<br/>保留可见物理 Patch Token"]
    D --> E["尺度等变自适应变换<br/>共享自注意力 + 物理尺度高斯路由专家"]
    E --> F["轻量级重构解码器<br/>物理对齐特征空间重构"]
    F --> G["多目标联合监督输出<br/>重构损失 + 专家平衡 + 领域对抗"]

关键设计¶

1. 光谱坐标重参数化：将离散通道投影至共享连续波长空间

传统模型将光谱通道直接映射为张量的 Channel 维度，当输入通道数 \(C_m\) 或中心波长发生变动时全连接层即刻失效。SCORE（Spectral Coordinate Reparameterization）抛弃对离散通道索引的依赖，将每个光谱通道视作连续波长函数的一个采样点。模型首先根据预训练阶段所有领域的全局最小波长 \(\lambda_{\min}\) 和最大波长 \(\lambda_{\max}\)，将传感器具体的波长坐标归一化到标准物理标尺 \([0, 1]\) 之间：

\[\hat{\lambda}_m = \frac{\lambda_m - \lambda_{\min}}{\lambda_{\max} - \lambda_{\min}}\]

随后，使用参数共享的坐标映射函数 \(\Phi_{\text{map}}: \mathbb{R} \to \mathbb{R}^D\) 作用于每一个归一化波长 \(\hat{\lambda}_m^{(c)}\)，动态生成该传感器专属的光谱投影基矩阵 \(W_m \in \mathbb{R}^{C_m \times D}\)。将输入立方体乘以 \(W_m\) 后得到消除通道维度差异的物理对齐张量 \(X'_{m,i} = X_{m,i} W_m \in \mathbb{R}^{H \times W \times D}\)。为了消除各传感器硬件前端残存的全局光照与系统统计偏差，SCORE 进一步引入轻量级 FiLM 统计调制：对 \(X'_{m,i}\) 执行空间自适应全局平均池化得到上下文向量 \(c_{m,i} \in \mathbb{R}^D\)，经仿射变换生成尺度调制因子 \(\gamma_{m,i}\) 和偏移因子 \(\delta_{m,i}\)，完成仿射变换 \(\tilde{X}_{m,i} = X'_{m,i} \odot (1 + \gamma_{m,i}) + \delta_{m,i}\)。

2. 尺度等变自适应变换：解耦共享长程依赖与尺度特异局部滤波

物理尺度的跨数量级缩放（如从卫星的数十米/像素到显微切片的亚微米/像素）会剧烈改变图像的局部空间频率响应与纹理，但物体各组成部分之间的长程拓扑与语义关系在物理上保持不变。SEAT（Scale-Equivariant Adaptive Transformation）敏锐地抓住了这一特性，在 Transformer 模块中全面共享多头自注意力层（Multi-Head Self-Attention）以沉淀普适的关系型先验，而将尺度依赖性严格局限在前馈网络（FFN）路径中，由物理尺度驱动的 MoE 专家网络承载。

为了精确刻画跨数量级分辨率的倍率跳跃，SEAT 在对数尺度空间 \(s'_m = \log_{10}(s_m)\) 中进行建模。系统设立了 \(E\) 个尺度感知前馈专家，每个专家由可学习的中心尺度针点 \(\mu_e\) 与有效带宽 \(\sigma_e^2\) 确定。领域 \(m\) 对专家 \(e\) 的匹配亲和度采用连续平滑的高斯核进行计算：

\[g_{m,e} = -\frac{(s'_m - \mu_e)^2}{\sigma_e^2}\]

经 Softmax 归一化为门控概率 \(G_{m,e}\) 后，选取亲和度最高的 Top-\(K_{\text{exp}}\)（实验默认 \(K_{\text{exp}}=2\)）个专家进行重归一化权重加权。此设计使得相邻或重叠物理尺度的输入平滑激活重叠的专家子集，兼顾了连续插值能力与离散极端尺度下的针对性特征滤波。

3. 跨领域表示均衡化：消除遥感主导偏差与域敏感残余特征

高光谱开源数据存在天然的极端倾斜——卫星遥感数据量动辄占据全网 80% 以上，而自动驾驶与病理显微数据极其稀缺。常规混合训练会使损失梯度完全被遥感主导，诱发特征表征崩溃并损害跨域通用性。CORE（Cross-Domain Representation Equalization）在数据批次级设立平衡策略：将数据划分为遥感（Remote）、近地（Proximal）、医疗（Medical）、自动驾驶（Driving）四个宏观领域池，每个 Batch 内强制从各领域各均匀抽取 \(K_{\text{dom}}\) 个样本，确保不同物理域在优化过程中的梯度贡献权重完全均等（各占 \(1/M\)）。同时，在特征输出端架设一个连接梯度反转层（GRL, \(\mathcal{R}_\eta\)）的领域对抗判别器，强制编码器压制任何易于区分传感器来源的伪特征，只保留具有物理反射本质的域不变深层表征。

损失函数 / 训练策略¶

模型在预训练阶段由三个损失项联合端到端驱动优化，总损失定义为：

\[\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{rec}} + \alpha \cdot \mathcal{L}_{\text{bal}} + \beta \cdot \mathcal{L}_{\text{dal}}\]

物理对齐重构损失 \(\mathcal{L}_{\text{rec}}\)：在物理特征空间计算掩码 Patch 的预测值 \(\hat{X}_{m,i,p}\) 与真实值 \(\tilde{X}_{m,i,p}\) 之间的均方误差（MSE）。为杜绝自编码过程出现平凡表征塌陷，计算该损失时真实特征 \(\tilde{X}_{m,i,p}\) 剥离梯度（detach），强制编码器学习端到端物理特征重建：

\[\mathcal{L}_{\text{rec}} = \frac{1}{|\mathcal{B}|} \sum_{(m,i) \in \mathcal{B}} \frac{1}{|\mathcal{M}_{m,i}|} \sum_{p \in \mathcal{M}_{m,i}} \|\tilde{X}_{m,i,p} - \hat{X}_{m,i,p}\|_2^2\]

专家负载平衡损失 \(\mathcal{L}_{\text{bal}}\)：为避免 SEAT 门控退化至单个专家，通过正则化所有层上的平均路由概率 \(P_e^l\) 与领域分配比例 \(f_e^l\) 的点乘，促使尺度针点 \(\mu_e\) 在对数物理尺度轴上均匀铺开，权重设为 \(\alpha = 0.10\)：

\[\mathcal{L}_{\text{bal}} = \frac{E}{L} \sum_{l=1}^L \sum_{e=1}^E f_e^l \cdot P_e^l\]

领域对抗损失 \(\mathcal{L}_{\text{dal}}\)：全局平均 Token 表征经梯度反转层进入多分类判别器 \(h_\psi\)，与粗粒度领域标签 \(y_m\) 计算交叉熵损失，权重设为 \(\beta = 0.05\)。预训练采用 ViT-Huge 骨干网络，在 8 张 NVIDIA A800 上训练 100 个 epoch（共 100,000 次迭代），掩码比例设为 0.75。

实验关键数据¶

主实验¶

论文在涵盖遥感、近距离感知、医疗病理和自动驾驶 4 大领域、跨越分类（HC）、分割（HS）、目标检测（HOD）、变化检测（HCD）、异常检测（HAD）和显著性检测（HSD）6 种任务的 16 个基准上进行了全面评测。以下提取其中最具代表性的跨尺度与跨领域基准测试结果：

数据集	领域 / 任务	指标	OneHSI (本文)	次优基准 (Prev. SOTA)	提升幅度
OHID-1	遥感 / 城市土地覆盖分割 (HS)	OA (%) / KA (%)	92.50 / 89.83	91.93 / 87.52 (MambaHSI)	+0.57 / +2.31
NaSC-TG2	遥感 / 自然场景分类 (HC)	OA (%) / AA (%)	95.53 / 95.03	94.66 / 94.01 (HyperFree)	+0.87 / +1.02
M2SODAI	遥感 / 海上多模态目标检测 (HOD)	Precision (%) / [email protected] (%)	81.02 / 78.24	76.58 / 74.03 (HyperFree)	+4.44 / +4.21
HSI-BAY	遥感 / 海湾多时相变化检测 (HCD)	OA (%) / F1 (%)	98.37 / 98.07	97.91 / 97.68 (CSDBF)	+0.46 / +0.39
HRSSD	遥感 / 高光谱显著性检测 (HSD)	\(F_\beta\) (%) / \(S_\alpha\) (%)	58.64 / 68.41	55.62 / 67.56 (DSSN)	+3.02 / +0.85
DeepHS	近地 / 水果成熟度分类 (HC)	OA (%) / KA (%)	72.36 / 54.06	68.73 / 52.13 (MambaHSI)	+3.63 / +1.93
HZDR	近地 / 印刷电路板缺陷分割 (HS)	OA (%) / mIoU (%)	77.02 / 62.15	75.23 / 59.42 (MambaHSI)	+1.79 / +2.73
LIB-HSI	近地 / 建筑立面材料分割 (HS)	OA (%) / mIoU (%)	93.08 / 86.72	92.14 / 85.06 (MambaHSI)	+0.94 / +1.66
HSI-AgriFoodAnomaly	近地 / 食品工业异物检测 (HAD)	OA (%) / F1 (%)	95.41 / 91.87	94.27 / 85.71 (GT-HAD)	+1.14 / +6.16
HSIDermoscopy	医疗 / 皮肤黑色素瘤诊断 (HC)	OA (%) / KA (%)	76.28 / 61.38	73.34 / 49.72 (PWS-CS)	+2.94 / +11.66
HistologyHSI-GB	医疗 / 显微胶质母细胞瘤分类 (HC)	OA (%) / KA (%)	88.36 / 76.85	86.43 / 72.01 (MambaHSI)	+1.93 / +4.84
HeiPorSPECTRAL	医疗 / 猪离体器官语义分割 (HS)	OA (%) / KA (%)	96.81 / 95.54	95.42 / 93.94 (MambaHSI)	+1.39 / +1.60
Hyper-Drive	驾驶 / 非结构化环境分割 (HS)	OA (%) / KA (%)	86.91 / 77.48	84.26 / 75.85 (MambaHSI)	+2.65 / +1.63
Hyperspectral City V2	驾驶 / 城市交通道路分割 (HS)	OA (%) / AA (%)	88.38 / 53.48	87.53 / 52.37 (MambaHSI)	+0.85 / +1.11
HyperRoad	驾驶 / 复杂路面语义分割 (HS)	OA (%) / AA (%)	98.54 / 97.96	98.02 / 97.43 (MambaHSI)	+0.52 / +0.53

在严格受控的同架构基础模型对比中（统一 ViT-H 骨干、相同 8×A800 训练 100 epoch）： - 参数量与计算效率：OneHSI 参数量为 953.8M，计算量仅为 363.25G FLOPs；显著低于 HyperSIGMA（1715.7M / 841.81G FLOPs）和 HyperFree（744.5M / 510.37G FLOPs）。 - 冻结特征泛化能力（Frozen Encoder OA）：在遥感 OHID-1 上 OneHSI 达到 90.65%（超越 HyperSIGMA 的 86.47% 与 HyperFree 的 86.14%）；在医疗 HeiPorSPECTRAL 上达到 94.10%（超越 HyperSIGMA 的 91.63% 与 HyperFree 的 90.46%），充分证实其学到的物理特征在冻结状态下即具备极强的开箱即用表达能力。

消融实验¶

表 1：SCORE 模块的光谱对齐（SA）与统计调制（SM）消融（评测指标：OA %）

模型变体	光谱对齐 (SA)	统计调制 (SM)	OHID-1 (遥感)	LIB-HSI (近地)	HeiPor (医疗)	HyperRoad (驾驶)
OneHSI (完整模型)	✓	✓	92.50	93.08	96.81	98.54
w/o SM (仅连续光谱对齐)	✓	–	91.65	90.12	95.41	95.83
w/ Proj. (替换为 CNN 投影)	–	✓	90.27	89.13	91.94	93.72
w/ Inter. (替换为波长线性插值)	–	✓	85.10	86.65	91.35	91.19

表 2：SEAT 专家路由机制与辅助损失消融（评测指标：OA %）

模型变体	模块 / 机制设计说明	OHID-1 (遥感)	LIB-HSI (近地)	HeiPor (医疗)	HyperRoad (驾驶)
OneHSI (完整模型)	尺度感知 MoE (Top-2) + \(\mathcal{L}_{\text{bal}}\) + \(\mathcal{L}_{\text{dal}}\)	92.50	93.08	96.81	98.54
SEAT, Top-1	尺度感知 MoE (单专家路由)	91.95	92.60	96.25	98.20
Base MoE, Top-2	通用无尺度先验路由 MoE (Top-2)	90.80	91.45	94.55	97.40
Base MoE, Top-1	通用无尺度先验路由 MoE (单专家)	90.45	91.12	94.20	97.15
No MoE	稠密标准 FFN 前馈网络	89.85	90.50	93.15	96.60
w/o \(\mathcal{L}_{\text{bal}}\)	移除专家负载平衡正则损失	90.68	92.01	93.94	97.09
w/o \(\mathcal{L}_{\text{dal}}\)	移除梯度反转领域对抗损失	89.73	89.24	92.37	96.14
SEAT-only	仅保留 SEAT 架构，移除全部辅助损失	87.41	89.82	92.13	95.78
ViT 基线	标准视觉 Transformer (无 SCORE / SEAT)	89.72	88.95	92.47	96.31

关键发现¶

物理对齐显著优于几何插值与纯数据驱动投影：在表 1 的光谱对齐消融中，将连续波长映射替换为业内常用的波长线性插值后，各数据集准确率发生坍塌（遥感 OHID-1 暴跌 7.40% 至 85.10%，近地 LIB-HSI 下降 6.43% 至 86.65%）。这证明高光谱通道间的非线性物理光谱吸收特征无法通过简单线性加权恢复，通过物理坐标函数动态生成的连续投影基具有决定性价值。
尺度感知路由的核心收益源于物理分辨率先验而非容量增加：对比表 2 中的 Base MoE（传统 Token 级路由）与 SEAT 发现，Base MoE 相比无 MoE 密集网络带来的精度收益极其微弱（在 HeiPor 上仅提升 1.05%~1.40%），而 SEAT Top-2 带来了 3.66% 的大幅跃升。这说明盲目依赖 Token 隐状态进行门控难以识别高光谱空间频率的实质差异，只有基于物理空间尺度对数引导的专家分工才能有效对齐宏观与微观跨度。
少样本与极端噪声下的物理鲁棒性：在仅有 1 个样本监督的极限少样本（1-shot）场景下，OneHSI 在 4 个领域展现出压倒性优势（遥感、近地、医疗、驾驶 OA 分别达到 80.76%、79.84%、85.06%、92.37%，超出 HyperSIGMA 达 1.83% 至 4.98%）。此外，在波长元数据存在 5 nm 扰动抖动时 OA 仅损耗 0.36%，在传感器混合噪声下平均精度降幅（2.59%）仅为 HyperSIGMA（5.03%）和 HyperFree（5.60%）的一半左右。

亮点与洞察¶

解耦“长程拓扑”与“局部尺度滤波”的架构智慧：将自注意力机制在全部领域与尺度间无缝共享，而仅将前馈网络（FFN）按对数物理尺度挂载离散专家，以极其精简的计算代价（363G FLOPs）解决了跨数量级空间尺度的表征自适应，避免了为多尺度构建多分支网络带来的参数冗余。
波长连续函数投影重构光谱基：以 \(\Phi_{\text{map}}(\hat{\lambda})\) 动态生成投影矩阵 \(W_m\)，打破了深度学习对输入固定 Channel 维度的强依赖，使模型推理时间对波段数目完全不敏感，且原生支持任意波段数量、任意采样间隔的异构传感器即插即用。
可迁移的物理先验范式：将多源异构传感器从“数据张量空间”先映射回“连续物理属性空间（波长、空间采样间隔）”再进行自监督学习的思想，可以广泛迁移至红外多波段成像、多通道雷达遥感（SAR）以及天文多光谱巡天等存在严重传感器异质性的物理观测领域。

局限与展望¶

依赖准确的波长物理元数据：SCORE 的投影矩阵生成强依赖于传感器提供的物理中心波长标定值 \(\lambda_m\)。当面对严重缺乏元数据记载的黑盒遥感图像、波段标定严重漂移或宽光谱滤光片重叠严重的情况时，连续波长参数化可能产生系统性偏差。
未显式建模大气与介质物理退化模型：当前方法主要基于地表与组织物质的反射率一致性假设，未将卫星遥感中的辐射传输方程、大气散射吸收（如水汽吸收带）以及水下/生物深层组织的混浊介质散射物理模型显式内嵌到预训练过程中。
未来改进方向：可进一步探索无元数据辅助下的盲波段物理参数估计网络（Blind Wavelength Estimator），并将大气辐射传输先验与自监督重建联合建模，推动基础模型向深空探测与跨介质感知等更极端场景延伸。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从物质反射的物理一致性切入统一高光谱表征学习，提出的波长连续重参数化与对数尺度等变 MoE 构思极其精巧。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大感知领域、6 种视觉任务、16 个独立基准，从全面主实验、受控对比、少样本迁移到极限物理噪声测试，论证极为扎实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰，问题定义数学形式规范，物理动机与实验现象环环相扣。
价值: ⭐⭐⭐⭐⭐ 彻底打破高光谱深度学习长年受困的传感器硬件壁垒，为通用高光谱跨设备基础设施提供了极具前景的落地范式。