AV2T-Gen: Aerial Visible to Thermal Generation with Environment and Vehicle State Guidance¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/3919
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/3703.pdf
代码: https://github.com/NPU-CVPG/AV2T
领域: 自动驾驶 / 航拍跨模态图像生成
关键词: 可见光到热红外、环境条件、车辆运动状态、基础模型引导、潜空间扩散

一句话总结¶

AV2T-Gen 在 Instruct-Pix2Pix 式扩散生成中加入环境提示和带运动状态的目标条件，使航拍 RGB 到热红外转换不只模仿外观，在四场景联合评测中将 ThermalGen 的 FID 从 83.16 降至 67.45，并提升合成红外图像上的车辆检测效果。

研究背景与动机¶

可见光和热红外不是同一场景的两套配色。RGB 主要反映可见光照明与反射，热红外表现还受物体温度、材料特性和大气条件影响。因此，两辆外观相似的车，可能因为运动状态或所处环境不同而呈现不同的热特征。把 RGB-T 转换只当作风格迁移，容易生成轮廓正确、热表现却不符合场景的图像。另一方面，同步且标定良好的航拍 RGB-T 图像对采集成本高，生成数据又确实能服务跨模态匹配和目标检测，这使转换质量具有实际价值。

已有 GAN 和扩散方法逐渐改善了清晰度与结构保持，F-ViTA 还用 SAM、Grounding DINO、CLIP 等基础模型提供语义和边界引导。但“知道这里是一辆车”不等于“知道这辆车此时应当如何发热”，只依赖单帧外观也很难可靠判断车辆是否在运动。作者于是引入两类外部证据：由航拍序列获得的车辆状态，以及由拍摄位置和时间关联的温度、湿度、气压、风速等环境信息，并构建包含这些元数据的配对数据集。

这里的目标是减少 RGB 到热红外映射中的条件缺失，而不是用一个生成网络替代完整热物理模型。核心 idea：用环境文本说明全局成像条件，用目标掩码及带运动状态的标签定位局部热特征，再将两者共同注入潜空间扩散去噪过程。

方法详解¶

整体框架¶

输入包含可见光图像、车辆状态标注和环境信息，输出为对应的热红外图像。训练时还需要配对真实热红外图像作为监督；部署时不需要真实热红外目标，但车辆状态依赖序列分析，环境条件依赖额外元数据，并非纯单帧 RGB 输入。

处理分为条件获取、上下文融合和条件去噪三部分。冻结的 VAE 将可见光图像编码为结构条件，将真实热红外图像编码为训练目标；环境提示经 CLIP 编码，目标标签与 SAM 掩码经可训练 MLP 融合，再一起指导 UNet 生成热红外潜变量。最后由 VAE 解码回图像空间。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["航拍 RGB 序列<br/>位置与拍摄时间"] --> B["环境与状态获取"]
    B --> C["掩码与语义融合"]
    B -->|环境提示经 CLIP| D["条件潜空间去噪"]
    C -->|目标上下文| D
    A -->|RGB 经冻结 VAE| D
    N["带噪热红外潜变量<br/>训练来自真实图像"] --> D
    D --> E["冻结 VAE 解码<br/>生成热红外图像"]

关键设计¶

1. 环境与状态获取：补上单帧 RGB 无法确定的条件

车辆状态并非由提示词随意指定。作者先训练航拍视角的 YOLOv11 可见光车辆检测器，再利用时间序列判断同一辆车是否移动，最终产生 stationary、moving、unknown 三类状态。unknown 保留了无法确定的情况，但正文没有给出轨迹关联、相机运动补偿或运动阈值的完整算法，细节被放在补充材料中，不能把这些环节补写成已知实现。这个输入的作用是为车辆热特征提供额外线索，而不是直接测出发动机温度；运动标签和真实热状态之间仍可能存在偏差。

环境分支根据 GPS 与拍摄时间，从开放气象平台取得相应的时间、温度、湿度、气压、风速，将离散观测插值为连续值，再组织成文本提示，经 CLIP 得到环境提示嵌入。使用文本接口便于接入原有图像编辑扩散模型，但这些气象量仍是学习到的条件，不是直接代入辐射传输方程的物理参数。作者将湿度、气压解释为大气衰减的代理变量，将语义关联解释为材料发射率的先验；这种解释具有合理性，但不等于实现了可标定的物理求解器。

2. 掩码与语义融合：让车辆状态作用于正确的目标区域

仅在全局提示里写“有移动车辆”，不能明确指定场景中的哪辆车应产生相应热特征。AV2T-Gen 使用 Ram-Grounding 获取通用目标标签和边界框，与自动车辆状态标注合并形成完整标签及对应位置；这些框交给 SAM 生成物体掩码。SAM 掩码提供边界和空间定位，CLIP 编码后的完整标签提供目标类别与状态语义。这里既包含车辆，也能包含建筑等背景物体，因此上下文并非只覆盖检测框中的车辆。

掩码嵌入与标签嵌入先拼接，再由可训练 MLP 转为联合上下文；这一分支随后与环境提示嵌入一起作为条件输入。原文式 (3) 将条件组织方式写为：

\[ E_c = \bigl(E_p,\operatorname{MLP}(E_m,E_l)\bigr). \]

其中 \(E_p\) 是环境提示嵌入，\(E_m\) 是掩码嵌入，\(E_l\) 是包含状态信息的标签嵌入。括号表示共同构成条件输入，正文没有明确最终融合究竟采用逐元素相加还是特定 token 拼接布局，也没有给出掩码编码器的完整维度，笔记不自行补定。关键区别是保留“哪个目标、在哪里、是什么状态”的关联，使全局环境条件与局部目标条件能分别发挥作用。

3. 条件潜空间去噪：在保持 RGB 结构的同时学习热表现

骨干沿用 Instruct-Pix2Pix 的 VAE 和扩散思路。冻结的 VAE 编码器把可见光输入压缩为潜变量 \(I_E\)，保留布局与目标形状；真实热红外图像编码为 \(Z\)，训练时向热红外潜变量加高斯噪声。带噪潜变量与 \(I_E\) 拼接成为 UNet 输入，联合条件 \(E_c\) 参与去噪，UNet 内的 QKV 注意力用于联系空间结构和文本语义。去噪产生的热红外潜变量再经冻结解码器还原图像，因此 RGB 的结构约束与热红外的输出分布并不是直接共享像素值。

这一设计让掩码边界和标签语义能够在多步生成中持续提供约束，而不只是输出后的修补。推理从随机热红外潜变量开始，在 RGB 与上下文条件下去噪；训练使用的真实热红外图像不能被理解为推理输入。正文式 (4) 只是去噪映射的简写，未明确采样器、噪声调度、步数或注意力各支路的具体张量组织，不能据此声称使用某种特定 DDIM 配置。基础模型保持冻结，作者说明可训练部分为 MLP 和 UNet；全系统参数量不能当成可训练参数量。

一个完整示例¶

设一段航拍序列中同一停车区域有移动车辆和静止车辆，这是解释流程的示例，不是新增实验。先由序列分析给各车附上 moving 或 stationary；无法判断的目标保留 unknown。位置与时间关联的温度、湿度、气压、风速组成共享环境提示，Ram-Grounding 与状态标注提供目标标签和框，SAM 再把各目标的空间区域分开。

MLP 接收这些区域和相应语义，UNet 同时看到全局气象条件、逐目标状态和 RGB 布局，生成一幅位置对应的热红外图像。若移除状态，模型只能依据外观推断车辆热特征；若移除环境提示，不同环境下相似外观可能被映射为平均热表现。两类消融正是用来检验这两个条件是否带来独立收益，不能将示例解读为“移动车辆必然更热”的物理定律。

损失函数 / 训练策略¶

训练监督包括预测热红外潜变量与真实潜变量之间的 L1 损失、对生成图像和真实图像应用 Sobel 后的边缘 L1 损失，以及 VGG 感知损失。潜变量监督约束整体转换，边缘项抑制场景结构与车辆边界退化，感知项补充图像级细节。按正文的三项文字说明与权重，目标可整理为：

\[ \mathcal{L}=1.0\mathcal{L}_{\mathrm{Latent}}+0.5\mathcal{L}_{\mathrm{Edge}}+0.25\mathcal{L}_{\mathrm{perception}}. \]

缓存式 (5) 的第三项连接符及系数标记存在抽取缺损，上式是依据紧邻正文明确列出的三项和权重整理，不是逐字符复刻；精确排版以原文为准。正文未给出 VGG 使用层、特征归一化或优化器设置，不能补造。训练为 100 epochs，使用 8 张 24GB RTX 4090，训练与测试分辨率均为 \(640\times512\)。

实验关键数据¶

主实验¶

自建配对数据集包含变电站、学校、广场、驾校四个航拍场景，共 29,672 对图像，各场景按 9:1 划分。正文称训练/验证，表 2 称训练/测试，以下沿用“评测划分”避免混淆。下表摘录原文表 1 的 All scenes 列，即四场景联合训练与评测，不是留一场景外推结果。PSNR 越高越好，单位为 dB；SSIM 越高越好，FID 和 LPIPS 越低越好。

方法	PSNR	SSIM	FID	LPIPS
DiffV2IR	22.35	0.620	108.54	0.39
PID	22.33	0.621	106.13	0.36
sRGB-TIR	22.34	0.619	110.83	0.39
ThermalGen	23.94	0.734	83.16	0.37
AV2T-Gen	24.08	0.750	67.45	0.29

相对 ThermalGen，PSNR 仅增加 0.14 dB，而 FID 减少 15.71、LPIPS 减少 0.08，收益更明显地体现在感知与分布指标上。相同数据划分并不意味着相同信息预算：本文额外使用环境及状态元数据，比较支持“增加这些条件的系统更好”，并非严格隔离骨干架构的比较。

消融实验¶

下表来自原文表 7，所有配置均保留潜变量损失，每行只移除所列项；移除项的顺序与图 6 的说明一致。

配置	PSNR	SSIM	FID	LPIPS
去掉感知损失	23.14	0.716	72.19	0.30
去掉边缘损失	22.90	0.722	68.00	0.30
去掉车辆状态	22.93	0.732	73.83	0.30
去掉环境提示	22.29	0.700	77.66	0.31
完整模型	24.08	0.750	67.45	0.29

移除环境提示使 PSNR 下降 1.79 dB、FID 增加 10.21，是该表影响最大的移除项；移除车辆状态使 PSNR 下降 1.15 dB、FID 增加 6.38。边缘损失对 PSNR 的影响比对 FID 更显著，说明各项改善的质量侧面并不相同。表 8 进一步逐个移除气象量，作者得到温度、湿度、风速、气压依次递减的重要性排序，但这不构成各变量具有因果可识别性的证明。

下游与泛化¶

原文表 9 在各方法生成的热红外图像上使用同一检测器，下表摘录与 ThermalGen 的比较，指标单位均为百分数。

方法	mAP	mAP50	mAP75	小目标 mAP
ThermalGen	11.7	29.4	6.9	10.7
AV2T-Gen	15.6	35.9	11.1	14.2

mAP 增加 3.9 个百分点，说明生成质量改善也体现在检测器可利用的特征上。注意这是“真实红外训练检测器、合成红外评测”的方向，不应混同于合成数据训练带来的真实域收益；原文表 10 的 Setup B 才采用合成训练、真实测试，其 AV2T-Gen moving/static mAP50 分别为 78.4/73.1。

LLVIP 跨数据集结果见原文表 4：零样本下 AV2T-Gen 与 ThermalGen 的 PSNR 为 13.82/12.58，微调后为 23.68/23.12。留一场景评测中，本文 PSNR 相对对应场景内结果下降 1.18 至 1.52 dB，支持一定迁移能力，但不是无损泛化。表 4 的可见行未包含 F-ViTA，不能据正文措辞补写它的比较数值。

亮点与洞察¶

条件设计针对跨模态映射中真正缺失的信息，而不只是增加网络层。序列提供车辆运动证据，气象元数据提供全局背景，使“外观相同却热表现不同”有了可学习的解释变量。
掩码与状态标签成对输入，比孤立的全局文本更容易保持对象归属。这个思路可用于其他需要逐对象属性控制的跨模态生成，但仍需验证掩码错误和标签不确定性如何传播。
消融、跨场景迁移及下游检测构成不同层面的证据。它们分别回答条件是否有用、是否依赖固定场景、生成结果是否具备任务价值，不能只看一项 FID 就概括全部结论。

局限与展望¶

物理真实性仍是间接证据。 作者明确不求解完整辐射传输方程，正文也没有给出绝对温度误差或辐射定标结果；PSNR、SSIM、FID、LPIPS 和检测指标不足以证明温度预测准确。可补充受控环境变化和辐射测量评测。
输入条件可能含误差。 运动不等于发动机热状态，停车后的余热、遮挡和相机运动均可能影响标签；正文未提供状态算法完整细节。作者提出将实时传感器和更细粒度跟踪历史用于后续改进。
数据划分和公平性有边界。 连续序列采用 9:1 划分，但正文未明确是否按拍摄时间块隔离，不能排除相邻帧相关性的影响；额外元数据和冻结基础模型也构成系统资源优势。留一场景与 LLVIP 实验有帮助，但未完全解决这些问题。
推理开销较大且硬件口径不统一。 全系统约 15.5B 参数，单图总耗时约 10.00 秒，扩散部分为 9.45 秒。正文将总耗时归于 RTX 4090，而表 3 标注 RTX L40，不能将二者当成一致的硬件实测；作者定位本就是离线数据生成，而非实时机载推理。
缓存与报告存在缺口。 补充材料未包含在本次缓存中，损失公式有抽取缺损，部分基线叙述与表格不完全对应。本笔记保留可核对结果，不补写采样超参、缺失基线或不明实现。

评分¶

新颖性: 4/5。环境元数据与逐车状态的联合控制有明确任务针对性，骨干和基础组件主要复用已有方法。
实验充分度: 4/5。包含主比较、组件消融、跨数据集、留一场景和检测验证，但物理定标与信息预算公平性仍不足。
写作质量: 3/5。总体流程易于理解，但硬件口径、基线叙述和部分实现信息需要澄清。
价值: 4/5。对离线航拍 RGB-T 数据构建有实际意义，尚不能替代真实热传感器或直接用于实时部署。