Rethinking Cross-Spectral Image Generation via Shared-Specific Representation¶

会议: ECCV 2026
论文: ECCV 原文
领域: 图像生成
关键词: 跨光谱图像生成、可见光转红外、共享特异性表征、特征解耦重构、语义对齐

一句话总结¶

针对可见光到红外图像跨光谱合成中语义失准和热辐射特性缺失的问题，本文提出 SHASP 网络，通过将跨模态生成重新表述为共享与特异性特征在隐空间的解耦与重构过程，结合语义结构对抗精炼，显著提升了生成红外图像的结构一致性与热辐射保真度。

研究背景与动机¶

可见光（VIS）与红外（IR）成像是视觉感知领域中两类关键的互补数据源。可见光传感器记录物体表面的反射光与丰富的纹理细节，而红外传感器则捕捉物体的热辐射与温度分布信息。在全天候自动驾驶、夜间安防监控、多光谱目标检测与行人重识别等任务中，两者的协同应用至关重要。然而在实际工程场景中，高质量红外数据的采集难度大、成本高、样本规模严重匮乏，难以支撑大规模深度神经网络的训练。因此，利用易于海量获取的可见光图像合成高保真、物理合理的等效红外图像，成为解决跨模态下游任务数据瓶颈的关键技术路径。

然而，现有的跨模态图像转换方法存在严重的表征缺陷。主流的生成对抗网络（GAN）或扩散模型多聚焦于跨模态的像素级非线性映射，试图通过全局样式迁移来学习红外成像分布。这种端到端的黑盒映射未能显式解耦跨光谱数据中的共享内容与独特属性，极易导致目标几何结构形变、轮廓边界模糊、语义对齐偏移，以及热辐射区域丢失。尽管部分对比学习方案尝试施加 Patch 级或特征级约束，但在可见光与红外之间巨大的跨光谱域间隙（Domain Gap）下，低层像素约束仍难以保证跨模态深层语义结构的一致性，生成的红外图像往往出现过度平滑或虚假的伪影。

物理机制与视觉感知理论表明，尽管可见光和红外图像在底层辐射机理上存在本质差异，但二者在深层几何拓扑与语义结构（如场景布局、目标位置轮廓、部件拓扑）上具备高度的统计规律性与不变性，即模态间的深层特征差异远小于共享结构的能量。本文的核心切入点正是跳出单纯的“样式迁移”范式，将跨模态转换重塑为“共享-特异性表征学习”：核心 idea：将跨光谱图像生成重构为共享几何结构与模态特异性光谱属性的解耦与重构范式，通过双分支编码器解耦模态不变量与独占物理属性，并在隐空间借助特征拼接与语义对抗精炼实现高保真红外合成。

方法详解¶

整体框架¶

SHASP（SHAred-SPecific generative network）构建了双向生成对抗与循环一致性框架，由前向生成器 \(G\)（VIS \(\to\) IR）、反向生成器 \(P\)（IR \(\to\) VIS）、目标域判别器 \(D_X, D_Y\) 以及语义结构判别器 \(D_{str}\) 组成。生成器内部划分为编码-解耦模块（Encoding-Decoupling Module）与解码-重构模块（Decoding-Reconstruction Module）。在输入阶段，可见光图像与红外图像分别输入结构内容编码器和光谱特征编码器，解耦出跨模态共享的结构特征向量与模态独占的光谱特征向量；在解码重构阶段，通过通道维度的特征拼接，将共享结构语义与目标模态的光谱先验充分融合，利用多级残差卷积和转置卷积重建高维目标图像；同时在共享特征层引入结构判别器施加对抗约束，驱动编码器彻底剥离模态特异性信息，保障深层语义空间的高精度对齐。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像<br/>可见光 VIS / 红外 IR"] --> B["结构内容编码器<br/>多尺度下采样 + 参数共享残差层"]
    A --> C["逆金字塔光谱编码器<br/>多尺度卷积 + 全局自适应池化"]
    B -->|"共享结构特征 F_shared"| D["解码重构模块<br/>通道拼接融合 + 多级残差与反卷积"]
    C -->|"模态特异性特征 F_spec"| D
    B -.->|"对抗结构约束"| E["语义结构对抗精炼<br/>结构判别器 D_str 监督不变性"]
    D --> F["生成跨模态目标图像<br/>等效红外 / 可见光图像"]
    F --> G["双向循环一致性与判别器<br/>循环重构损失 + 目标域对抗损失"]

关键设计¶

1. 结构内容编码器：权重共享的领域不变语义表征解耦

为了解决常规编码器无法有效剥离跨模态异质性、容易导致内容失真与形变的问题，结构内容编码器 \(En_{str}\) 专门负责从可见光与红外图像中提取跨模态通用的几何结构、场景布局与目标位置边界。网络设计了双路编码分支：首先采用 \(7\times 7\) 大卷积核配合非线性激活捕获初始大感受野并保留空间细节，随后通过级联 \(3\times 3\) 卷积块进行空间下采样和通道扩增，提取深层空间语义特征 \(F_{VIS}^{sem}\) 与 \(F_{IR}^{sem}\)。为了在深层建立模态不变性，\(En_{str}\) 在深层引入完全共享网络权重的残差结构块 \(W^{shared}\)，强制将双模态特征投影到同一度量语义子空间：

\[F_{VIS}^{shared} = F_{VIS}^{sem} + R(F_{VIS}^{sem}, W^{shared}), \quad F_{IR}^{shared} = F_{IR}^{sem} + R(F_{IR}^{sem}, W^{shared})\]

该设计使网络能够稳定捕获不依赖于成像光谱波段的本质物体拓扑结构，为后续跨模态生成提供了坚实的几何骨架支撑。

2. 逆金字塔光谱编码器：多尺度挖掘模态独占物理属性

可见光独占的色彩纹理和红外特有的热辐射温度分布，是跨光谱转换中不可忽略的领域特异性知识。为了精准捕捉这些模态专有属性，本文为两模态设计了独立参数的光谱特征编码器 \(En_{VIS}^{spec}\) 与 \(En_{IR}^{spec}\)。该模块采用多级反向金字塔卷积结构，浅层使用 \(7\times 7\) 大核卷积快速建模全局场景上下文，中层采用 \(5\times 5\) 卷积专注捕获局部纹理模式与辐射分布的统计特性，深层采用 \(3\times 3\) 卷积进行特征压缩与非线性映射。随后，引入自适应全局平均池化（Adaptive Global Average Pooling）与动态映射机制，将高维空间特征压缩为低维模态特异性向量 \(F_{VIS}^{spec}\) 和 \(F_{IR}^{spec}\)：

\[F_{VIS}^{spec} = En_{VIS}^{spec}(x), \quad F_{IR}^{spec} = En_{IR}^{spec}(y)\]

这种多尺度层次化设计使得特异性编码器能够专注于各自光谱独有的物理机制，在红外分支中有效沉淀热特征先验，在可见光分支中浓缩表面反射分布。

3. 解码重构模块：通道拼接融合与双分支图像生成

在完成共享几何语义与模态特异性特征的显式解耦后，如何将异质向量协同重构为目标域高保真图像是关键瓶颈。解码重构模块包含特征组合与图像生成两个阶段。在特征组合阶段，模块将源模态提取的共享结构向量与目标模态的特异性向量在通道维度进行级联拼接，实现几何骨架与光谱属性的深层绑定：

\[F_{IR}^{fused} = \text{Concat}(F_{VIS}^{shared}, F_{IR}^{spec}), \quad F_{VIS}^{fused} = \text{Concat}(F_{IR}^{shared}, F_{VIS}^{spec})\]

在可见光到红外的单向推理阶段，由于无需真实红外输入，\(F_{IR}^{spec}\) 的热辐射先验已隐式固化在网络训练好的参数分支中。在特征重构阶段，融合后的潜表征向量依次通过多级残差块与实例归一化（Instance Normalization）完成非线性特征重组，最后借助转置卷积（Transposed Convolution）进行空间上采样，恢复至原始图像分辨率：

\[\tilde{y} = G(x) = De_{IR}(F_{IR}^{fused}), \quad \tilde{x} = G(y) = De_{VIS}(F_{VIS}^{fused})\]

双分支解码设计确保了目标域图像在完整继承源域几何边界的同时，展现出逼真的目标域物理辐射质感。

4. 语义结构对抗精炼：判别器驱动的跨模态深层对齐

仅依靠编码器末端残差层的权重共享，并不能在理论上保证双模态提取的深层结构表示达到极大化的一致性。为了填补残差共享在跨模态对齐上的能力上界，本文引入了专用的语义结构判别器 \(D_{str}\)，以域对抗训练机制对共享特征实施语义精炼。\(D_{str}\) 的任务是判断输入的共享特征来自可见光分支还是红外分支，而双分支编码器 \(En_{str}\) 则被驱使生成让 \(D_{str}\) 无法区分的域不变特征：

\[\mathcal{L}_{sem} = \mathbb{E}_{x \sim p_{VIS}}\left[\log D_{str}(F_{VIS}^{shared})\right] + \mathbb{E}_{y \sim p_{IR}}\left[\log(1 - D_{str}(F_{IR}^{shared}))\right]\]

通过最小化域分类判别器的准确率，该约束强力抹除了共享特征中的残余模态私有信息，迫使 \(F_{VIS}^{shared}\) 与 \(F_{IR}^{shared}\) 形成严格的同构分布，从根本上防止了跨光谱生成过程中的语义漂移。

损失函数 / 训练策略¶

网络的总优化目标由语义结构损失 \(\mathcal{L}_{sem}\)、双向循环一致性损失 \(\mathcal{L}_{cyc}\) 以及目标域对抗损失 \(\mathcal{L}_{adv}\) 共同加权构成：

\[\mathcal{L} = \alpha \cdot \mathcal{L}_{sem} + \beta \cdot \mathcal{L}_{cyc} + \delta \cdot \mathcal{L}_{adv}\]

其中，循环一致性损失确保在非成对或弱对齐数据下的双向闭环重建稳定性：\(\mathcal{L}_{cyc} = \mathbb{E}_{x}[\|P(G(x)) - x\|_1] + \mathbb{E}_{y}[\|P(G(y)) - y\|_1]\)；对抗损失 \(\mathcal{L}_{adv} = \mathcal{L}_{adv}^x + \mathcal{L}_{adv}^y\) 由判别器 \(D_X\) 和 \(D_Y\) 判别生成图像是否逼近真实域分布。超参数敏感性消融验证表明，当权重配置为 \(\alpha=2, \beta=1, \delta=1\) 时模型综合性能最优，凸显了强化语义结构对齐对于跨越跨光谱域间隙的核心价值。训练采用 Adam 优化器，初始学习率为 \(1\times 10^{-4}\)，批大小为 1，共训练 200 个 epoch，并在每 50 个 epoch 后衰减 50%。

实验关键数据¶

主实验¶

评估在道路监控数据集 AVIID、车载驾驶数据集 IRVI 以及自建无人机海岸航拍数据集 DroneCoast 上展开，涵盖像素级（SSIM、PSNR）、特征级（FID、KID）以及计算效率多维度评测。实验独立重复 3 次记录均值与标准差：

数据集	指标	SHASP (本文)	次优方法	性能对比与优势
AVIID (道路监控)	SSIM ↑	0.852 ± 0.005	0.840 ± 0.007 (PID)	相比最强基线提升 0.012，结构保持最完整
AVIID (道路监控)	PSNR ↑	27.44 ± 0.21	27.04 ± 0.26 (DiffV2IR)	信噪比高出 0.40 dB，信号失真度最低
AVIID (道路监控)	FID ↓	41.08 ± 0.61	36.80 ± 0.95 (RGB-TIR)	仅次于针对边缘强拟合的 RGB-TIR，优于通用模型
IRVI (驾驶视角)	SSIM ↑	0.679 ± 0.002	0.671 ± 0.002 (StegoGAN)	显著领先主流生成模型
IRVI (驾驶视角)	PSNR ↑	21.93 ± 0.21	21.68 ± 0.19 (StegoGAN)	在复杂道路动态背景下保持最高保真度
IRVI (驾驶视角)	FID ↓	84.30 ± 0.87	89.11 ± 0.82 (Swin-UNIT)	特征分布距离显著降低 4.81
DroneCoast (无人机)	SSIM ↑	0.760 ± 0.002	0.744 ± 0.001 (DiffV2IR)	航拍小目标场景下轮廓保真度优势明显
DroneCoast (无人机)	PSNR ↑	24.89 ± 0.12	25.16 ± 0.17 (Swin-UNIT)	取得次优成绩，与第一名仅差 0.27 dB
DroneCoast (无人机)	KID ↓	0.0379 ± 0.0009	0.0401 ± 0.0010 (StegoGAN)	局部语义与精细特征分布最为贴合真实红外分布

在模型开销方面，SHASP 参数量为 24.81M，单张 \(256\times 256\) 图像推理耗时为 50.7 ± 1.0 ms；相比扩散模型基线 DiffV2IR（162.20M，185.9 ms）和 PID（309.18M，460.5 ms），在保持最优生成质量的同时大幅压缩了计算与延迟开销。

消融实验¶

在 AVIID 和 DroneCoast 数据集上对各个模块以及监督损失权重进行逐步递进式消融评估：

实验组别	核心配置 (\(En_{str}\) / \(En_{spec}\) / Refine)	AVIID SSIM ↑	AVIID FID ↓	DroneCoast SSIM ↑	DroneCoast FID ↓	模块贡献剖析
I (基线)	CycleGAN 原型架构	0.71	58.87	0.68	170.90	未解耦表征，结构失真严重
II	仅引入结构内容编码器 \(En_{str}\)	0.77	50.76	0.72	153.25	共享结构提取显著改善几何保持（SSIM +0.06）
III	仅引入光谱特征编码器 \(En_{spec}\)	0.76	54.23	0.72	157.33	专有光谱信息注入提升特征贴合度
IV	双编码器联合解耦 (\(En_{str} + En_{spec}\))	0.80	45.39	0.74	136.95	共享与特异性协同，FID 大幅下降 13.48
SHASP (完整)	引入结构判别器精炼 (\(\mathcal{L}_{sem}\))	0.85	41.08	0.76	125.28	对抗精炼进一步抹除模态域偏置，达最优指标
SHASP (4×数据)	数据增强拓展 4 倍训练样本	0.86	40.15	0.77	124.09	验证了解耦框架对更大样本分布的可扩展性

在损失权重配比消融中（以 AVIID 为例）： - 均匀权重控制组（\(\alpha=1, \beta=1, \delta=1\)）：SSIM 为 0.846，FID 为 43.77； - 加大语义约束组（\(\alpha=2, \beta=1, \delta=1\)）：SSIM 达 0.852，FID 达 41.08（最佳表现）； - 单独增大循环损失（\(\beta=2\)）或对抗损失（\(\delta=2\)）：SSIM 分别降至 0.844 与 0.835，FID 分别恶化至 42.29 与 41.62。

关键发现¶

共享与特异性协同解耦贡献最大：从纯 baseline（Model I）到双编码器解耦（Model IV），AVIID 上的 SSIM 从 0.71 飞跃到 0.80，FID 从 58.87 骤降至 45.39，证明了显式解耦两类特征比端到端黑盒样式转换具有根本性的结构优势。
语义对抗精炼是突破瓶颈的催化剂：加入 \(D_{str}\) 对抗精炼后，SSIM 进一步从 0.80 跃升至 0.85，t-SNE 可视化证实共享特征在隐空间完成了高度重叠对齐，彻底消除了由模态异质性引发的残余偏移。
下游目标检测验证极佳迁移性：将生成的伪红外数据送入 YOLOv9 进行训练并在真实红外测试集上验证，SHASP 合成数据训练出的检测精度大幅超越直接使用 VIS 数据训练的零样本迁移模型，在 AP50 和 Recall 指标上逼近真实红外数据训练的上限（Upper Bound），证明其生成的红外辐射分布具备高度的下游决策可用性。

亮点与洞察¶

跳出像素映射的解耦表征视角：巧妙地将可见光与红外跨模态转换重塑为共享内容与专有光谱的解耦重构问题，利用“深层语义差异远小于共享几何能量”的物理洞察破解了异质模态鸿沟。
参数共享与对抗判别双重对齐机制：在结构内容编码器深层采用权重共享残差层进行软性约束，同时在特征输出端引入专用的语义结构判别器进行对抗拉齐，双管齐下确保共享潜空间高度纯净。
卓越的质量-计算效率平衡：在生成质量全面比肩甚至超越超大参数量 Diffusion 翻译模型的前提下，保持了仅 24.81M 参数量和约 50ms 的轻量化推理速度，便于部署到机载或车载边缘计算平台。

局限与展望¶

作者承认的局限：模型主要针对静态图像对开展实验，尚未涉足视频流或时序序列；此外对于复杂恶劣天气或夜间极端低照度下的红外转换，极端跨模态差异可能增加解耦难度。
潜在不足：推理阶段红外特异性特征依赖训练集参数的先验沉淀，缺乏根据特定输入环境动态微调红外辐射温度区间的交互机制；自建 DroneCoast 数据集测试规模相对偏小（164对）。
改进方向：可进一步探索引入轻量化物理传热方程或传感器物理先验指导特异性特征建模；将共享-特异性解耦架构扩展至跨时空连续视频流的时序一致性生成任务中。

评分¶

新颖性: ⭐⭐⭐⭐☆ 重新思考跨光谱生成的解耦与重构本质，提出的共享-特异性网络结构设计清晰、机理扎实。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖道路监控、自动驾驶与无人机航拍三大场景，指标全面，主客观对比、组件消融、权重消融及下游检测验证极为充实。
写作质量: ⭐⭐⭐⭐⭐ 论述逻辑严密，动机推导与数学分析层层递进，方法图解与模块说明详略得当。
价值: ⭐⭐⭐⭐☆ 为跨光谱无监督翻译和数据受限场景下的下游感知模型（如夜间检测）提供了高质量、即插即用的数据增强范式。