Context-Aware Joint Alignment for Cross-Scene Hyperspectral Image Classification¶

会议: ECCV2026
论文: https://eccv.ecva.net/virtual/2026/poster/4764
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/7368.pdf
代码: https://github.com/BoshanCj/CAJA-ECCV26
领域: 遥感
关键词: 高光谱图像分类、单源域泛化、邻域同质性、上下文监督、联合对齐

一句话总结¶

CAJA 把中心像素周围的类别组成与混合程度变成训练时共享的上下文条件，同时校准监督、对齐真实与伪源视图的特征及预测，在无目标域数据的跨场景高光谱分类中，将 Houston 上 FSSG 的 OA 从 79.98% 提高到 85.05%，且不增加上下文相关的推理步骤。

研究背景与动机¶

高光谱分类不仅利用一个像素的光谱，还常将其周围的光谱—空间块输入网络，最后只预测中心像素的地物类别。这种做法能利用空间纹理，却容易把“某一类通常与哪些地物相邻”学成隐含规则。同一种地物换到另一个场景后，光谱响应、邻居组成和边界混合程度都可能变化；源场景中有效的空间线索未必仍可靠。因此，FSSG 等源域增强方法即使扩大了风格分布，也不自动解决类别共现关系改变的问题。

已有域泛化方法常匹配整体特征统计，或只要求不同视图给出相近预测。前者不能保证决策在复杂边界上稳定，后者也不能排除模型依赖不同的场景特有表征。更细的按类别对齐仍把“位于内部的同类像素”和“处于不同地物交界处的同类像素”混在一起。本文要补上的不是额外目标域适配，而是一个更合适的训练条件：先描述邻域是什么、混合有多强，再在相近条件下要求表示与决策共同稳定。

CAJA 的切入点是训练时已经可用的源域邻域标签，而非测试时额外获得的空间标注。核心 idea：将邻域类别直方图与同质性组成同一上下文，一方面控制中心像素的监督强度，另一方面决定哪些跨视图样本应联合对齐，从而保持单标签任务但不再把边界样本当成纯净内部样本。

方法详解¶

整体框架¶

输入是一个有标签的源场景及其中心像素图像块，目标场景完全不参与训练。FSSG 生成保留类别语义、改变风格统计的伪源视图；真实与伪源视图经过共享光谱—空间编码器和分类头，分别得到分类前特征与逐类 sigmoid 预测。

训练另有一条标签侧路径：先构建“共享上下文”，再将其同时交给“上下文感知监督（CAS）”与“上下文条件联合对齐（CCJA）”。CAS 负责中心标签、邻域先验与预测之间的关系；CCJA 负责相同上下文中的跨视图特征与决策一致性。它们并行约束同一个分类器，而不是两个先后执行的适配阶段。测试时只输入图像块并对中心像素取最大预测类别，不计算邻域标签统计、上下文桶或后处理。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["源域图像与标签"] --> B["FSSG 双视图<br/>共享编码器"]
    A --> C["共享上下文"]
    B --> D["上下文感知监督<br/>CAS"]
    C --> D
    B --> E["上下文条件联合对齐<br/>CCJA"]
    C --> E
    D --> F["联合训练<br/>推理仅保留分类器"]
    E --> F

关键设计¶

1. 共享上下文：区分邻居组成与混合程度

方法从以中心像素为锚点的窗口中取邻域标签，但排除中心本身，并忽略无效标签。对有效邻居按类别计数、归一化，得到类别直方图 \(q^\star\)；它记录的是邻居有哪些、各占多少，而不是把整块都赋成中心类别。默认邻域窗口与输入块同样大。源域与语义保持的伪源视图共享这份标签信息，因此即使影像风格发生变化，也可以以同一语义条件组织训练。

同质性 \(h\) 由直方图的归一化熵导出。若邻域几乎只有一种类别，同质性接近上限；若多类混合，则同质性降低。下式依据正文的文字定义写出，\(K\) 为类别数，零概率项按零处理：

\[ h=1-\frac{H(q^\star)}{\log K},\qquad H(q^\star)=-\sum_{c=1}^{K}q_c^\star\log q_c^\star. \]

共享上下文是 \(C=(q^\star,h)\)。这里 \(h\) 并非独立于直方图的新信息，而是显式提供一个可用于平滑、加权和分桶的混合程度标尺。只保留同质性会丢掉“混合的是哪些类别”；完整上下文则将组成相似与混合程度相似都纳入对齐依据。需要注意，同质性只描述邻域自身的一致性，并不直接检验邻居主类是否等于中心标签，因此它是边界混合代理而非精确边界判定器。

2. 上下文感知监督：CAS 对混合邻域降低过度自信

CAS 使用逐类 sigmoid 加二元交叉熵（BCE），而不是用 softmax 强制所有类别概率相加为一。训练仍以中心像素的单标签为主监督，只是在混合边界处允许各类别的不确定性单独表达；测试取 argmax，所以这不是把任务改成多标签分类。具体地，平滑强度随混合程度增大，中心类别目标稍微降低，其他类别获得小的非零目标：

\[ s=\alpha(1-h)+\beta,\qquad \tilde{t}=(1-s)\,\operatorname{onehot}(y)+\frac{s}{K}\mathbf{1}. \]

其中 \(y\) 为中心标签，默认 \(\alpha=0.2\)、\(\beta=0\)。同质区域接近原始 one-hot 监督，混合区域受到更强平滑。这个机制不把中心标签替换成邻域多数类，因此保留了“预测中心”的任务定义，也避免给所有位置施加同样的固定平滑量。

平滑之外，CAS 将多个视图的 sigmoid 预测求平均，再与邻域直方图逐类计算对称 Bernoulli KL：每类既比较该类概率，也比较其补概率，并将两个 KL 方向取平均后累加。这个中心—上下文一致性项使预测不要完全背离实际邻居组成。它的样本权重为 \(w_{\mathrm{ctx}}=\gamma(1-h)\)，默认 \(\gamma=1.0\)，所以额外约束主要作用于混合邻域；高度同质时则以中心标签监督为主。它是软正则项，不是要求中心预测严格等于邻域比例，分类损失仍负责中心类别的判别。

3. 上下文条件联合对齐：CCJA 在相同条件内同时约束表示与决策

CCJA 将同质性离散分箱，将邻域直方图编码到若干码字，并以两者组合形成上下文桶。默认使用 3 个同质性箱和 2 个组成码字；过小的桶合并，最小样本阈值为 64。这样先限定“哪些样本具有可比较的上下文”，再做统计匹配，而不是把不同边界状态混成一个全局分布。直方图编码属于上下文离散化，不是模型权重量化，也不改变本文的遥感分类主题。

在一个批次内，真实源视图与一个 FSSG 伪源视图按相同桶键分组，只有两侧均有有效样本的桶才参与对齐。特征侧对分类前表示计算无偏协方差，用 CORAL 风格的二阶统计匹配减少风格变化造成的表示差异；预测侧先求每桶平均 sigmoid 概率，再计算逐类对称 Bernoulli KL。前者约束表征几何，后者约束实际分类输出；两项绑定同一个桶，才是本文所说的联合条件不变性，而非仅把两个全局损失相加。

正文还给出桶级风险权重：取桶内 \(\gamma(1-h)\) 的均值，让混合程度较高的上下文获得更强对齐。方法总目标包含该权重，实验设置则称其可选，因此不能据此断言所有表格都启用了风险加权。无论是否加权，对齐对象都是训练中的真实/伪源视图，而非真实源域与未见目标域；协方差及平均预测的匹配也不等价于完整条件分布已经相同。

损失函数 / 训练策略¶

总训练目标由各视图的平滑 BCE、加权中心—上下文一致性，以及桶内特征/预测对齐组成。默认一致性系数为 0.20，特征对齐系数为 0.01，预测对齐系数为 0.30；两视图共享标签上下文。编码器每阶段含光谱分支（involution 与逐点卷积）和空间卷积分支，通过可学习 softmax 门控融合，最终线性层输出类别 logits。

训练仅用源域标签，源域训练/验证按 0.8/0.2 划分，并声明与目标域不存在空间重叠。使用 AdamW，学习率 \(3\times10^{-4}\)、权重衰减 \(5\times10^{-4}\)，批量 256，训练 400 个 epoch，混合精度与余弦学习率衰减。前 5 个 epoch 仅用 BCE 与平滑，之后启用 CAS 一致性和 CCJA，避免在表征尚不稳定时强行匹配桶统计。

数值稳定措施包括将概率截断到 \([10^{-6},1-10^{-6}]\)，协方差加入 \(10^{-4}I\)。本地 PDF 文本的多处公式有提取乱码，因此这里仅保留能由邻近文字明确核对的定义，并以文字解释联合目标；不补写无法确认的矩阵范数次方或常数。

实验关键数据¶

主实验¶

任务均为单源域泛化：Houston13→Houston18 使用 48 个对齐波段、7 类和 13×13 输入块；Pavia University→Pavia Center 使用 102 波段、7 类和 9×9 输入块；WHU-Hi 的 HongHu→HanChuan 使用 270 波段、3 类和 9×9 输入块。不同数据集的类别规模与难度不同，不能把其 OA 高低当作同一难度下的比较。

OA 是总体像素准确率；KC 是 Cohen's Kappa，此处按 \(\kappa\times100\) 展示；mIoU 是各类交并比的均值。以下三项均为越高越好。论文声明采用 10 个随机种子重复实验，但可读文本表只列单个汇总值，故不补造标准差。

数据集	配置	OA (%) ↑	KC ↑	mIoU (%) ↑
Houston	CAS	83.45	71.40	60.12
Houston	CCJA	84.26	72.42	61.99
Houston	CAJA	85.05	73.94	63.07
Pavia	CAS	87.21	84.56	75.38
Pavia	CCJA	88.07	85.62	77.04
Pavia	CAJA	89.75	87.57	79.31
WHU-Hi	CAS	85.85	77.62	72.84
WHU-Hi	CCJA	87.18	79.80	74.90
WHU-Hi	CAJA	87.77	80.84	76.14

这张表来自论文表 2，是完整方案与组件配置的比较，不是将 CAS 或 CCJA 标为此前 SOTA。完整 CAJA 相对 CAS 的三数据集平均 OA 从 85.50% 升至 87.52%，提高 2.02 个百分点；平均 mIoU 从 69.45% 升至 72.84%，提高 3.39 个百分点。论文图 3 还比较 SDENet、S2AMSNet、FDGNet、FSENet 和 FSSG，但缓存未保留其全部柱图数值，这里不从图形缺失处推测完整排行榜。

消融实验¶

下面是论文表 1 的 Houston 源域增强归因实验，所有数值均为 OA。它直接回答增益主要来自增强器，还是上下文监督与对齐。

配置	OA (%) ↑	比较解释
BCE	78.85	不加增强器的基线
CAS	82.61	无增强器，比 BCE 高 3.76 个百分点
AdaIN	79.42	仅使用对应增强
AdaIN + CAJA	84.29	比 AdaIN 高 4.87 个百分点
FSSG	79.98	比 BCE 高 1.13 个百分点
FSSG + CAJA	85.05	比 FSSG 高 5.07 个百分点

表 1 的 CAS 是无增强器配置，不能与表 2 的 CAS 83.45% 混成同一次实验；后者属于组件对照设置。上述提高量都是 OA 的绝对百分点差，不是相对百分比增长。

关键发现¶

完整 CAJA 在表 2 的每个数据集、每项指标上均高于单独组件，支持监督校准与条件对齐的互补性，但这不直接证明两个损失在所有其他任务中都缺一不可。
FSSG 单独相对 BCE 的增益小于加入 CAJA 后的增益；AdaIN 也受益，说明结果不能全部归于采用了 FSSG。
图 5–8 的文字分析报告边界区域 NLL、ECE 改善，以及联合对齐优于仅特征或仅预测对齐。NLL 衡量负对数似然，ECE 衡量按置信度分组后的置信度—准确率差距，均越低越好；缓存没有可可靠读取的对应数值，因此仅保留定性结论。

亮点与洞察¶

监督与对齐共享同一语义条件。 邻域信息不是只增加一条辅助损失，而是同时决定标签平滑、上下文正则与跨视图比较范围，使各项约束针对同一种场景变化。
不以改变部署协议换取上下文信息。 标签直方图只服务于训练，部署仍是中心像素分类；这里的“无额外推理开销”针对上下文模块，不代表训练没有附加计算。
把任务定义与概率参数化分开。 使用 sigmoid+BCE 并不必然意味着多标签任务，关键在于目标监督和最终决策仍围绕一个中心类别。

局限与展望¶

邻域标签的可用性是前提。 虽然不需要目标域标注，训练却需要足够的源域邻域标签来稳定估计直方图。正文说明屏蔽忽略标签，但未在可用缓存中完整交代邻域全部无效时的处理，以及源域划分后邻居标签的可见性策略。
条件匹配存在近似。 直方图码字、同质性分箱和小桶合并会损失细节；特征协方差与平均预测相近，也不能保证逐样本决策或整个条件分布一致。
实验可核对范围有限。 当前缓存包含完整主文与参考文献，但不含文中多次引用的补充材料；桶超参数敏感性、显著性检验细节和额外公平性指标无法独立核验。风险加权是否用于所有主表、sigmoid 输出计算多类校准指标时如何处理，也不宜从主文简写中自行补全。
作者将多源及半监督情形列为后续扩展方向；现有结果仍以三个共享类别跨场景基准为边界，不应外推到开放集或全新类别识别。

评分¶

新颖性: 3.5/5 — 将成熟的平滑、Bernoulli 一致性与统计对齐统一到共享上下文，组合目标清晰，但基础算子并非全新。
实验充分度: 3.5/5 — 三个跨场景基准与增强归因实验较完整，部分关键诊断仅有图示或依赖未提供的补充材料。
写作质量: 3/5 — 问题与设计对应明确，但散度命名、风险权重可选性及公式提取质量需要谨慎辨读。
价值: 4/5 — 对不接触目标域且希望保持现有中心像素推理流程的高光谱分类具有直接参考价值。