D3F-IR: Dual-Domain Deterministic Flow Matching for Visible-to-Infrared Translation¶

会议: ECCV 2026
论文: CVF Open Access
代码: https://github.com/WanrenZeng/D3F-IR
领域: 图像生成
关键词: 可见光转红外、流匹配、双域解耦、确定性轨迹、特征调制

一句话总结¶

针对可见光到红外图像转换中宏观热辐射语义与微观空间细节强耦合导致的模糊和伪影问题，D3F-IR 提出双域确定性流匹配框架，显式解耦潜空间语义流与像素空间结构流并通过块级对齐调制协同演化，实现了高保真与高物理可信度的红外图像生成。

研究背景与动机¶

可见光-热红外传感器融合是自动驾驶、低照度监视等恶劣感知任务的关键支撑，可见光传感器极度依赖光照，而红外传感器则能稳健捕捉热辐射特征。然而，采集高精度对齐、时空同步的可见光-红外跨模态图像对成本高昂，且受限于特定机位与传感器标定。因此，可见光转红外（Visible-to-Infrared, V2IR）图像生成技术成为了补充配对数据、提升下游感知鲁棒性的低成本且可扩展的重要途径。早期基于对抗生成网络（GAN）的方法容易因对抗训练不稳定而引入严重的几何畸变和纹理伪影，近期扩散模型与流生成模型虽提升了稳定性，但仍面临严峻瓶颈。

其核心矛盾在于：可见光转红外任务需要从完全缺失绝对温度线索的 RGB 输入中，同时推断宏观的物理热辐射分布，并精确保留微观的空间纹理与边缘结构。现存的大多数先进生成范式（如 PID、DiffV2IR、ThermalGen）均将该任务建模为单一连续流或单一潜空间中的统一生成过程，使得宏观热语义推断与微观空间细节重建在同一表征空间中发生纠缠。这种隐式纠缠迫使模型在全局热辐射分布合理性与局部纹理保真度之间做出妥协，导致目标边界模糊、热辐射强度失真（例如在阴影白漆树干等易混淆区域产生错误高亮）以及局部结构坍缩。

为了打破统一步长与单一空间的表征纠缠，本文提出显式双域解耦的生成范式，将转换过程拆解为宏观语义潜流与微观像素结构流两个平行又紧密咬合的确定性流，并以块级对齐建立跨域指导。核心 idea：将可见光转红外解耦为语义域与像素域两条同步演化的确定性流（Dual-Domain Deterministic Flow Matching），由预训练语义编码器引导 Diffusion Transformer 推断宏观热辐射场速度，再经由语义对齐调制层（SEAM）驱动像素级速度预测器精细构建空间结构。

方法详解¶

整体框架¶

D3F-IR 的核心思想是通过两条相互解耦又紧密同步的确定性连续流来完成可见光图像 $x_0$ 到目标红外图像 $x_1$ 的映射：一条是运行在 DINOv3 预训练潜空间中的语义域流（Semantic-Domain Flow），负责推断全局宏观热辐射特征；另一条则是直接运行在原始高分辨率图像空间中的像素域流（Pixel-Domain Flow），负责生成精细的局部空间结构。

在推理过程中，从输入可见光图像 $x_0$ 及其编码潜变量 $z_0 = \mathcal{E}(x_0)$ 出发，系统以 10 步 Euler 积分跨步演化。每一步首先由 Diffusion Transformer 计算当前语义速度场并经轻量 Fusion 模块融合生成动态语义指导信号 $s_t$，随后像素级速度预测器 $v^x_\phi$ 在该信号调制下估计像素位移速度 $v^x_t$，两域同步迭代至 $t=1$ 输出高保真红外图像。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入可见光图像 x0"] --> B["语义潜变量提取<br/>DINOv3 编码器生成 z0"]
    B --> C["语义域流演化<br/>Diffusion Transformer 预测 vzt"]
    C --> D["跨域特征融合<br/>z0 与 vzt 交叉注意力生成指导信号 st"]
    D --> E["像素级速度预测器<br/>双下采样卷积提取像素特征 p(0)"]
    E --> F["SEAM 块级对齐调制<br/>仿射参数缩放平移与空间通道注意力"]
    F --> G["双流欧拉同步积分<br/>zt 与 xt 同步推进至 t=1"]
    G --> H["输出高保真红外图像 x1"]

关键设计¶

1. 双域确定性流匹配：解耦宏观热分布与微观空间细节 针对单一空间同时学习物理温度分布与高频空间纹理时出现的特征纠缠与次优折中问题，模型建立双重 ODE 概率路径。基于确定性流匹配（Deterministic Flow Matching）机制，在时间区间 $t \in [0, 1]$ 内采用线性插值路径 $y_t = (1-t)y_0 + t y_1$（其中 $y$ 分别对应潜变量 $z$ 或像素 $x$），使得基准目标速度场恒定为位移矢量 $(y_1 - y_0)$。语义域端点取自可微调的 DINOv3 编码器 $z = \mathcal{E}(x)$，由 Diffusion Transformer $v^z_\theta(z_t, t \mid x_0)$ 拟合宏观热分布的语义速度；而像素域则直接以真实图像 $x_0$ 和 $x_1$ 为端点，由专门设计的像素级网络 $v^x_\phi(x_0 \mid s_t)$ 在动态语义指导下回归空间速度场。两域各自专注不同抽象层级的演化，有效杜绝了单一网络兼顾两种异构目标时的相互干扰。

2. 跨域融合与语义对齐调制（SEAM）：显式建立局部空间语义对应 语义流所预测的宏观速度 $\hat{v}^z_t$ 必须精确引导像素生成，但全图粗粒度调制（如 AdaIN）缺乏局部敏感性，而逐像素稠密调制（如 SPADE）或全注意力 Cross-Attention 又极易因跨模态未对准引发空间错位与高计算开销。为此，模型首先通过以 $z_0$ 为 Query、$\hat{v}^z_t$ 为 Key/Value 的 Cross-Attention 轻量 Fusion 层生成全局指导向量 $s_t$。在像素速度预测网络内部，进一步串联多个语义对齐调制层（SEAM Layer）。在第 $i$ 层中，语义特征 $s^{(i)}$ 先经由 Transformer Block 提炼上下文，再通过线性投影生成仿射变换的缩放参数 $\gamma^{(i)}$ 和偏移参数 $\beta^{(i)}$。该调制参数以 $4 \times 4$ 空间块（Patch-wise）广播至对应的下采样像素特征 $p^{(i)}$ 上实施局部仿射变换： $$p'^{(i)} = (1 + \gamma^{(i)}) \odot p^{(i)} + \beta^{(i)}$$ 随后经过空间-通道混合注意力层精细重塑。块级对齐既保留了局部空间结构的独立表达，又牢牢锚定了热辐射语义在空间局部的强约束。

3. 教师逼近双路径像素重建监督：稳定像素速度场学习 流匹配速度场的直接回归往往在初期阶段缺乏足够的像素级梯度平滑度，易导致局部边界塌陷。为了强化像素级速度预测器的收敛稳定性与边界敏感度，D3F-IR 在训练时为像素分支构建了双路径重建损失：一条是由 Transformer 预测速度驱动的预测路径（$\hat{x}_1^{\text{pred}} = x_0 + \hat{v}^x_t$），另一条是由真实目标位移 $(z_1 - z_0)$ 驱动的真实路径（$\hat{x}_1^{\text{gt}} = x_0 + \hat{v}^x_{\text{gt}}$）。两路径输出分别与真实红外图 $x_1$ 计算由 $\ell_1$、SSIM 以及感知损失 LPIPS 构成的综合重建损失： $$\mathcal{L}_{\text{rec}}(\hat{x}_1, x_1) = \|\hat{x}_1 - x_1\|_1 + \lambda_{\text{ssim}}\bigl(1 - \text{SSIM}(\hat{x}_1, x_1)\bigr) + \lambda_{\text{lpips}}\mathcal{L}_{\text{LPIPS}}(\hat{x}_1, x_1)$$ 真实路径作为 Teacher-forcing 锚点，将高可信度的空间位移监督直传给像素网络，确保网络即使在语义速度预测存在微小波动时也能保持高保真空间边缘。

损失函数 / 训练策略¶

模型采用端到端联合训练策略。总损失由双域流匹配回归损失 $\mathcal{L}_{\text{flow}}$ 与图像重建损失 $\mathcal{L}_{\text{rec}}$ 加权构成： $$\mathcal{L}_{\text{total}} = \lambda_{\text{flow}} \mathcal{L}_{\text{flow}} + \lambda_{\text{rec}} \mathcal{L}_{\text{rec}}$$ 其中双域流匹配损失结合了语义与像素两项位移回归： $$\mathcal{L}_{\text{flow}} = \lambda_z \mathbb{E}_{t, z}\left[\|v^z_\theta(z_t, t \mid x_0) - (z_1 - z_0)\|^2\right] + \lambda_x \mathbb{E}_{t, x}\left[\|v^x_\phi(x_0 \mid s_t) - (x_1 - x_0)\|^2\right]$$ 在训练实现上，采用 AdamW 优化器（$\beta_1 = 0.9, \beta_2 = 0.95$，无权重衰减），配合 Cosine Annealing with Warm Restarts 学习率调度策略（初始最大学习率 $4 \times 10^{-4}$，最小学习率 $4 \times 10^{-6}$，$T_0 = 25, T_{\text{mult}} = 1$）。主干语义编码器采用轻量级 DINOv3 (ViT-S/16)。在单张 NVIDIA A100 GPU 上，通过 Batch Size=1 与 8 步梯度累加完成训练；从头训练（From-scratch）80 个 epoch，预训练+微调版本则在大规模扩充红外数据集预训练 80 epoch 后在基准集微调 20 epoch。推理时使用 Euler ODE 求解器仅需 10 步即可快速生成高保真红外图像。

实验关键数据¶

主实验¶

在三个权威公开基准数据集 KAIST、FLIR 和 M3FD 上，与 13 种代表性 SOTA 方法（包括 Pix2Pix、CycleGAN、InfraGAN、DR-AVIT、UNSB 等经典模型，以及 ControlNet、T2I-Adapter、F-ViTA、PID、ThermalGen、DiffV2IR 等前沿生成模型）进行了量化对比。评估指标包括 PSNR（峰值信噪比）、SSIM（结构相似度）、LPIPS（感知相似度）以及 CLEAN-FID（分布距离）。

数据集	指标	D3F-IR (从头训练)	D3F-IR (预训练†)	之前最强 baseline	相对表现提升 / 说明
KAIST	PSNR↑ SSIM↑ LPIPS↓ FID↓	24.938 0.830 0.246 75.909	24.738 0.834 0.219 40.312	23.743 (ThermalGen†) 0.801 (PID / ThermalGen†) 0.261 (ThermalGen†) 35.958 (ThermalGen†)	PSNR 提升 +1.195 dB；SSIM 显著提升 +0.033；LPIPS 降低 -0.042
FLIR	PSNR↑ SSIM↑ LPIPS↓ FID↓	20.094 0.541 0.360 66.716	19.581 0.542 0.268 60.964	19.596 (DiffV2IR†) 0.532 (PID) 0.309 (DiffV2IR†) 55.399 (DiffV2IR†)	从头训练即打破扩散 baseline 记录，预训练版 SSIM 达 0.542，LPIPS 优化至 0.268
M3FD	PSNR↑ SSIM↑ LPIPS↓ FID↓	21.530 0.768 0.213 103.264	22.045 0.780 0.191 65.750	20.704 (DiffV2IR†) 0.744 (ThermalGen†) 0.214 (ThermalGen†) 63.154 (DiffV2IR†)	预训练版 PSNR 破 22 dB，SSIM 从 0.744 升至 0.780，LPIPS 显著降至 0.191

消融实验¶

1. 双域网络架构消融（验证双域解耦的必要性） 在 FLIR 与 KAIST 数据集上，验证剥离语义分支或像素分支对最终生成性能的影响：

配置	FLIR PSNR↑	FLIR SSIM↑	FLIR LPIPS↓	FLIR FID↓	KAIST PSNR↑	KAIST SSIM↑	KAIST LPIPS↓	KAIST FID↓	说明
仅语义分支 (Semantic Only)	18.938	0.530	0.375	74.542	24.692	0.828	0.253	87.316	缺乏显式像素流直接建模，边缘和微观空间纹理失真
仅像素分支 (Pixel Only)	17.542	0.504	0.487	163.088	22.079	0.762	0.338	126.868	缺失全局热辐射语义指导，FID 暴跌，严重残留可见光伪影
完整双域模型 (Ours)	20.094	0.542	0.360	66.716	24.938	0.830	0.246	75.909	两分支各司其职且紧密调制，综合指标最优

2. SEAM 层语义注入机制消融 对比了特征级拼接（Concatenation）、标准全局交叉注意力（Cross-Attention）与本文提出的块级对齐调制（Patch-wise Modulation）：

| 语义注入机制 | FLIR PSNR↑ | FLIR SSIM↑ | FLIR LPIPS↓ | FLIR FID↓ | KAIST PSNR↑ | KAIST SSIM↑ | KAIST LPIPS↓ | KAIST FID↓ | 说明 | |---|---|---|---|---|---|---|---|---| | 简单拼接 (Concatenation) | 19.790 | 0.528 | 0.361 | 79.882 | 24.897 | 0.829 | 0.257 | 85.622 | 虽保真度尚可，但全局统计分布对齐能力较弱（FID 偏高） | | 交叉注意力 (Cross-Attention) | 19.279 | 0.523 | 0.395 | 114.071 | 23.302 | 0.799 | 0.294 | 112.592 | 跨模态空间未对准引起感知与分布急剧劣化（FID 明显升高） | | 块级对齐调制 (Patch-wise, Ours) | 20.094 | 0.542 | 0.360 | 66.716 | 24.938 | 0.830 | 0.246 | 75.909 | 既保证局部空间对应，又稳定全局分布，各项指标全面领先 |

3. 生成建模范式对比（单域 vs 双域确定性流） 对比在相同基准下的不同生成建模范式：

建模范式	FLIR PSNR↑	FLIR SSIM↑	FLIR FID↓	KAIST PSNR↑	KAIST SSIM↑	KAIST FID↓	特点与局限
标准扩散 (Standard Diffusion)	18.871	0.480	158.517	23.622	0.800	77.282	单一潜空间无法兼顾温度先验与纹理，易产生可见光伪影
标准流匹配 (Flow Matching)	18.896	0.516	152.909	22.993	0.796	104.149	保留大体热分布但局部结构容易产生严重几何扭曲
确定性单流 (Deterministic Flow)	18.938	0.530	74.542	24.692	0.828	87.316	提升像素保真度，但受限于单域表征，热模式与纹理产生偏移
双域确定性流 (D3F-IR, Ours)	20.094	0.542	66.716	24.938	0.830	75.909	解耦语义与像素后协同演化，PSNR/SSIM/FID 全面占优

关键发现¶

双域解耦是消解伪影与模糊的核心：消融显示去掉像素分支导致边界与细节严重破损（KAIST FID 从 75.909 升至 87.316）；而去掉语义分支则引发不可逆的物理辐射失真，由于完全丧失全局热先验，FLIR 上的 FID 从 66.716 暴增至 163.088，生成的红外图本质退化为可见光灰度映射。
Patch-wise 块调制是跨域对齐的优选解：全局 Cross-Attention 因为在像素分支中强行做全图密集交互，在未配对或空间变形局部产生错误注意力绑定，导致 FLIR FID 恶化到 114.071；采用 4×4 局部 Patch 广播仿射调制则既保留了计算效率，又确保了宏观温度对微观像素的精准刚性约束。
10 步快速采样下的极佳几何一致性：在阴影白漆树干或低照度复杂行人的边缘区域，基线方法（如 CycleGAN、PID、DiffV2IR）均出现热辐射强度过度响应或人体轮廓糊成一团的问题，而 D3F-IR 仅通过 10 步 Euler 积分即在保持锐利身体轮廓的同时还原了真实的低温暗区响应。

亮点与洞察¶

解耦宏观物理语义与微观结构流：将 V2IR 这一非对称物理转换任务拆解为 DINOv3 潜空间热流与原始像素空间结构流，化解了单一表征空间内高低频信息互相妥协的根本病因。
确定性直线传输降低生成方差：利用确定性 Flow Matching 的直线 ODE 路径替代高方差的高斯扩散扰动，保证了可见光到红外严格的像素对应与几何结构不形变，并将推理开销大幅压缩至 10 步。
SEAM 块级参数调制的架构可迁移性：提出的 SEAM 模块证明了将低维语义 token 投影为仿射变换参数广播至局部 Patch，比重型密集 Cross-Attention 更能有效抵抗空间错位漂移，该机制对其他跨光谱转换任务（如微光增强、多光谱感知合成）具备通用借鉴价值。

局限与展望¶

从头训练下的跨分布指标（FID）仍受数据量制约：在未引入大规模红外预训练时，从头训练版本在 M3FD 和 KAIST 上的 FID 略逊于使用数万张额外红外数据预训练的 DiffV2IR 和 ThermalGen，表明高质量生成先验在小样本场景下仍高度依赖海量红外数据的预热。
对严苛光照与温差突变的极端物理场景泛化有待检验：当前依赖可见光图像预测宏观热辐射，当面对被雨雪湿润的遮挡物或完全无热对比度的极端黑夜材质时，依然存在由于 RGB 光学线索完全缺失导致先验估计偏离真值的物理不适定性。
未来改进方向：可考虑将浅层物理热力学传热方程（如热传导先验）作为物理归纳偏置注入语义流网络中，或探索结合测试时自适应（TTC）在线校正宏观热场。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次将确定性流匹配拓展为语义与像素双域解耦协同框架，SEAM 块级调制设计精巧。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 个基准数据集，对比 13 种代表性 SOTA 模型，包含了详尽的架构、目标、范式及机制消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，图表清晰，对物理热辐射推断与微观结构生成的矛盾剖析深刻。
价值: ⭐⭐⭐⭐⭐ 为跨模态跨光谱图像生成提供了全新的解耦流匹配范式，代码开源且硬件开销低，具备极高的实用价值。