MTVDiff: Multimodal Conditional Latent Diffusion for Enhanced Thermal-to-Visible Face Translation¶

会议: ECCV 2026
论文: ECCV 原文
领域: 人体理解
关键词: 热红外转可见光人脸生成, 多模态扩散模型, 跨注意力融合, 空间特征变换, 身份保持

一句话总结¶

MTVDiff 针对热红外到可见光人脸转换中的几何断裂、语义失配与身份退化难题，提出了一种冻结 Stable Diffusion 主干的多模态隐扩散框架，通过双分支跨注意力融合模块动态对齐热红外与深度特征、门控机制注入文本语义先验，并利用空间特征变换将多尺度几何与语义特征注入扩散残差块，在保持高保真面部拓扑的同时大幅提升了跨模态人脸识别性能。

研究背景与动机¶

跨光谱人脸图像生成（Thermal-to-Visible, T2V）是夜间监控、低照度安防及全天候生物特征识别的核心技术。在夜间红外成像条件下，热传感器仅能捕捉物体表面的热辐射分布，严重缺乏可见光波段丰富的表观色度、精细纹理与面部几何边缘。早期的跨模态生成方法主要基于生成对抗网络（GAN），例如 Axial-GAN，但对抗训练常面临模式崩溃与训练不稳定的瓶颈；近期诸如 T2V-DDPM、DiffTV 等去噪扩散概率模型虽然大幅提升了生成质量与身份一致性，但仍局限于单模态或弱语义引导，难以从本质上恢复复杂光照和姿态变化下丢失的三维面部结构与精细属性。

这一任务的核心矛盾在于热成像固有的几何边界模糊与高层语义缺失，与高保真可见光人脸合成所需的精细空间拓扑、结构几何和细粒度属性（如性别、年龄、配饰）之间存在巨大的模态鸿沟。现存方法如果仅采用简单的多条件级联或通用框架（如 Uni-ControlNet），既无法有效调和热红外与深度图之间的跨模态几何错位，也无法避免通用文本提示词与热图像特征相互缠绕导致的伪影与身份退化。

面对上述问题，本文的切入角度是：利用低照度监控场景下易于同步采集或离线预估计的互补模态——深度图提供精确的 3D 几何结构约束，结构化文本提示词提供高层语义先验，并将二者与热红外主干特征解耦后协同注入隐扩散过程。核心 idea：构建多模态隐扩散架构 MTVDiff，通过双分支跨注意力融合模块（DBCAF）动态提取并交互热红外与深度多尺度特征，配合门控跨注意力机制选择性对齐文本语义，再借助空间特征变换（SFT）将融合特征注入冻结的扩散网络残差块中，兼顾先验生成能力与跨模态几何一致性。

方法详解¶

整体框架¶

MTVDiff 的整体处理流程建立在潜空间扩散模型（LDM / 预训练 Stable Diffusion）之上，整体保持 Stable Diffusion 主干网络（约 1.3B 参数）完全冻结，仅训练轻量级的多模态编码器与条件注入层。系统以热红外图像作为主要输入，配合由轻量预估网络获取的人脸深度图以及结构化文本描述。双路 ResNet-18 编码器首先提取热红外与深度的多尺度特征，输入双分支跨注意力融合模块（DBCAF）实现几何尺度的双向交互与时间步自适应门控调制；随后，利用 CLIP 提取文本嵌入并通过门控跨注意力对齐多模态视觉特征；最后，通过空间特征变换（SFT）将多尺度多模态特征直接调制到 UNet 降采样残差块的归一化特征上，在保留扩散底座丰富纹理先验的同时完成端到端去噪与人脸合成。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据<br/>热红外图像 + 深度图 + 结构化文本描述"] --> B["双分支跨注意力融合 DBCAF<br/>双路 ResNet-18 多尺度提取 + 时间自适应调制 + 跨注意力交互"]
    C["文本嵌入提取<br/>CLIP 文本编码器"] --> D["门控文本-视觉特征对齐<br/>门控跨注意力 CA + 门控自注意力融合"]
    B --> D
    D --> E["空间特征变换 SFT 注入<br/>自适应预测 scale/bias 调制冻结 UNet 残差块"]
    E --> F["潜在空间迭代去噪与解码<br/>生成高保真可见光人脸图像"]

关键设计¶

1. 双分支跨注意力融合模块：解决热红外与深度跨模态几何错位 热红外图像的分辨率较低且面部器官边缘模糊，而深度图具有清晰的 3D 轮廓但常包含非结构化传感器噪声或缺失局部反差。传统硬拼接或前馈加法无法自适应调和两者在不同去噪阶段的需求。MTVDiff 采用双路 ResNet-18 并行编码提取多尺度特征（分辨率分别为 $64\times 64$、$32\times 32$、$16\times 16$），并在每个尺度引入扩散时间步 $t$ 驱动的 MLP 动态生成缩放与偏置参数： $$s_i, b_i, g = \text{MLP}(t)$$ 利用时间嵌入对各分支特征进行空间特征变换（SFT）调制后，模块在两分支间执行双向全局交叉注意力机制： $$Z_a = \text{softmax}\left(\frac{Q_b K_a^T}{\sqrt{\hat{C}}}\right) V_a$$ 其中 $Q_b$ 来自模态 $b$，$K_a, V_a$ 来自模态 $a$。随后拼接交互后的特征并通过 MLP 与 Softmax 自适应输出通道级权重 $w_a, w_b$，对双分支特征加权求和，最后经 $1\times 1$ 卷积、前馈网络（FFN）与时间门控信号 $g$ 调制输出，实现不同扩散阶段对粗糙轮廓与微观特征的平滑过渡。

2. 门控文本-视觉特征对齐：抑制语义幻觉并强化属性可控性 直接采用标准跨注意力注入文本先验容易导致文本过载，破坏热红外原有的面部结构，产生幻觉伪影；而若文本权重过弱，则无法恢复头发、胡须、年龄等热红外完全缺失的属性。为此，MTVDiff 设计了门控文本-视觉对齐机制，在将 DBCAF 融合视觉特征 $H$ 与 CLIP 文本嵌入 $c^*$ 交互时，引入可学习门控标量 $\gamma_1, \gamma_2$ 及平衡因子 $\lambda$： $$H' = H + \lambda \cdot \tanh(\gamma_1) \cdot \text{CA}(H, c^*)$$ $$H^* = H' + \lambda \cdot \tanh(\gamma_2) \cdot \text{FFN}(H')$$ 类似地，在 UNet 内部结合时采用门控自注意力。通过双曲正切函数 $\tanh(\cdot)$ 将门控值自然约束在稳定范围内，使模型在几何骨架与高层语义控制之间取得鲁棒平衡，避免无关或低质文本干扰核心身份特征。

3. 空间特征变换先验调制：无损保留扩散底座生成先验与保真度 为避免微调导致预训练扩散模型面部生成先验的灾难性遗忘，MTVDiff 完全冻结 Stable Diffusion 主干，专门引入 SFT 调制层作为多模态特征与扩散残差块之间的桥梁。在 UNet 的第 $l$ 个残差块中，多模态融合特征 $F_{\text{fusion}}^{(l)}$ 通过 $1\times 1$ 卷积映射出仿射变换参数 $\gamma_l$ 与 $\beta_l$，直接对原始残差特征 $h_l$ 的 GroupNorm 归一化结果执行仿射调制： $$[\gamma_l, \beta_l] = \text{Conv}_{1\times 1}(F_{\text{fusion}}^{(l)})$$ $$h'_l = \text{GroupNorm}(h_l) \odot \gamma_l + \beta_l$$ 由于 SFT 分布在 UNet 的多个尺度层级（对应 DBCAF 的 3 个尺度），使得热红外轮廓与面部几何能够逐层无缝引导去噪生成，在低照度乃至剧烈光照差异下稳定复原眼睛、鼻梁与唇部等易退化的身份关键区域。

损失函数 / 训练策略¶

MTVDiff 采用潜空间扩散目标进行优化。预训练变分自编码器（VAE）将可见光真实人脸编码至潜在空间 $z_0 = \mathcal{E}(x_0)$，训练目标为标准的潜空间去噪均方误差： $$\mathcal{L} = \mathbb{E}_{z_0, t, \epsilon \sim \mathcal{N}(0, I)} \left[ \left\| \epsilon - \epsilon_\theta(z_t, t, c) \right\|_2^2 \right]$$ 其中条件 $c$ 包含通过 SFT 和门控注意力注入的多模态引导信息。训练时保持 Stable Diffusion 主干网络（1.3B）完全冻结，仅更新轻量多模态模块（约 334M，占总参数 19.6%）。在 4 块 NVIDIA RTX 4090 GPU 上使用 AdamW 优化器，学习率设为 $5 \times 10^{-5}$，权重衰减 0.01，批大小为 12，训练 500 个 epoch，扩散步数设为 1000 步。

为了提升模型在真实推理场景下应对缺失模态的鲁棒性，训练期间采用非对称模态丢弃（Modality Dropout）策略：深度图独立丢弃概率设为 0.1，热红外图像丢弃概率为 0.1，文本描述丢弃概率为 0.5。这种非对称设计充分考虑了实际安防场景下深度图可由 RGB-D 传感器直接获取、而高质量语义文本需额外依赖大模型推理的现实特点。

实验关键数据¶

主实验¶

论文在 MCXFace（51 个受试者、6,120 面对齐图像对）和 SpeakingFaces（142 个受试者、7,700 对同步音视频热红外-可见光数据，覆盖 9 种视角）两个基准上展开评估。评价指标涵盖图像质量（FID、LPIPS、PSNR、SSIM）与基于 ArcFace 的人脸识别精度（Rank-1、VR@1%、[email protected]%）。

表 1：MCXFace 与 SpeakingFaces 图像质量对比

数据集	方法	模态输入	FID ↓	LPIPS ↓	PSNR ↑	SSIM ↑
MCXFace	Axial-GAN	热红外	129.62	0.2131	17.82	0.6441
	BBDM	热红外	127.06	0.1926	20.50	0.7629
	AT-DDPM	热红外	123.57	0.2851	17.35	0.6344
	T2V-DDPM	热红外	120.65	0.2445	18.37	0.6740
	DiffV2IR	多模态（文本+分割）	79.33	0.1401	21.32	0.7671
	Uni-ControlNet	多模态（热+深+文）	97.01	0.2151	20.01	0.7181
	ControlNet	热红外	86.13	0.2037	19.25	0.6797
	MTVDiff (本文)	多模态（热+深+文）	75.33	0.1128	24.05	0.8355
SpeakingFaces	Axial-GAN	热红外	46.69	0.1729	20.45	0.6673
	BBDM	热红外	41.40	0.2112	26.51	0.7161
	AT-DDPM	热红外	71.34	0.4063	8.75	0.5554
	T2V-DDPM	热红外	36.33	0.2705	15.53	0.6832
	DiffTV	多模态（ID+特征）	34.02	0.1650	29.45	0.7504
	DiffV2IR	多模态（文本+分割）	27.79	0.3440	17.31	0.6432
	Uni-ControlNet	多模态（热+深+文）	29.20	0.3017	19.81	0.7042
	MTVDiff (本文)	多模态（热+深+文）	14.37	0.1307	23.61	0.8623

表 2：人脸识别与验证性能对比（ArcFace 特征提取）

数据集	方法	Rank-1 ↑	VR@1% ↑	[email protected]% ↑
MCXFace	Axial-GAN	0.6815	0.0833	0.0033
	BBDM	0.7571	0.0960	0.0037
	AT-DDPM	0.5664	0.0704	0.0122
	T2V-DDPM	0.6815	0.1154	0.0256
	DiffV2IR	0.7834	0.1090	0.0192
	Uni-ControlNet	0.3758	0.0630	0.0126
	MTVDiff (本文)	0.8726	0.2774	0.0258
SpeakingFaces	Axial-GAN	0.2357	0.1606	0.0402
	BBDM	0.8659	0.5933	0.1257
	AT-DDPM	0.4169	0.3422	0.0782
	T2V-DDPM	0.4940	0.3357	0.0816
	DiffTV	0.6885	0.0754	0.0159
	DiffV2IR	0.5159	0.3660	0.0679
	Uni-ControlNet	0.8619	0.6987	0.4555
	MTVDiff (本文)	0.9376	0.8011	0.3131

消融实验¶

论文在 MCXFace 与 SpeakingFaces 数据集上对各模块进行了变体消融分析（变体 A–E，涵盖深度模块 D、文本提示词 T 与 DBCAF 中的交叉注意力 CA）。

表 3：模块消融实验结果

变体	深度 (D)	文本 (T)	跨注意力 (CA)	MCXFace FID ↓	MCXFace LPIPS ↓	MCXFace SSIM ↑	SpeakingFaces FID ↓	SpeakingFaces LPIPS ↓	SpeakingFaces SSIM ↑
A	✗	✗	✗	85.79	0.1918	0.7232	20.14	0.1979	0.7721
B	✓	✗	✗	80.61	0.1226	0.8263	17.35	0.1382	0.8597
C	✗	✓	✗	86.13	0.1864	0.7335	19.16	0.1853	0.7768
D	✓	✗	✓	75.38	0.1132	0.8348	17.12	0.1362	0.8627
E	✓	✓	✗	78.10	0.1129	0.8292	15.22	0.1309	0.8681
完整模型	✓	✓	✓	75.33	0.1128	0.8355	14.37	0.1307	0.8623

关键发现¶

深度几何约束贡献最大：从变体 A 到变体 B，仅引入深度图（无 CA、无文本）就使 MCXFace 上的 SSIM 从 0.7232 跃升至 0.8263，LPIPS 从 0.1918 骤降至 0.1226，表明深度信息对修复面部宏观轮廓和器官拓扑具有决定性作用。
跨注意力机制带来质的飞跃：对比变体 B 与变体 D（孤立评估 CA 的作用），加入双向交叉注意力后，MCXFace 的 FID 由 80.61 显著优化至 75.38（相对提升 6.5%），LPIPS 由 0.1226 降至 0.1132，证明特征空间充分的跨模态对齐远优于简单的通道拼接。
文本语义依赖几何支撑：单独引入文本提示词（变体 C）在 MCXFace 上的 FID（86.13）甚至略微弱于无文本基准（85.79），说明高层语义若缺少几何锚定，极易引发生成幻觉；但当文本与深度结合后（变体 E vs 变体 B），FID 进一步降至 78.10，体现了模态间的协同增益。
时间步参数演化规律：分析 DBCAF 门控参数的时间轨迹发现，早期扩散阶段（$t=800\sim 1000$）尺度参数保持较大值（$s_1=0.676, s_3=0.732$），强力把控宏观几何走向；而在生成末期（$t=0\sim 200$），尺度参数平稳递减（$s_1=0.589, s_3=0.633$），偏置参数开始活跃，专心进行微观纹理与身份特征的细腻打磨。
单模态退化性能依旧领先：在极端的单模态测试下（关闭文本与深度），仅依赖热红外输入的 MTVDiff* 在 SpeakingFaces 上的 FID 依然达到 14.69，优于 DiffTV（34.02），证实了轻量注入网络本身优异的架构设计。

亮点与洞察¶

模态解耦与针对性注入：将多模态条件分为“空间几何骨架（深度）”与“高层属性标签（文本）”，分别通过不同机制注入（前者用双分支交叉注意力和 SFT、后者用门控跨注意力），避免了多模态信息缠绕竞争。
自适应时间步调控机制：揭示了扩散生成各时间步对几何与纹理需求的动态变化规律，利用轻量 MLP 动态输出时间调制权重，实现了无需人为分段规则的自适应平滑过渡。
冻结大底座的高效调优：仅训练占总参数量 19.6% 的 334M 条件模块，在保留 Stable Diffusion 强大图像生成先验的同时，彻底规避了大模型端到端微调的灾难性遗忘与显存开销。

局限与展望¶

推理期对视觉大模型的依赖：文本提示词严重依赖前端 LLaVA 模型的预推理生成，若视觉语言模型产生属性误判，生成的假先验将导致面部生成出现严重不可逆失真。
固定输入分辨率瓶颈：当前架构固定在 $256\times 256$ 图像分辨率运行，扩展至 $512\times 512$ 或更高高清场景时，ResNet-18 感受野与 DBCAF 计算复杂度面临挑战。
极端单模态下的性能降级：虽然非对称模态丢弃缓解了模态依赖，但在缺失深度图与文本的极端场景下，指标相较完整多模态仍有可感知的下滑，需进一步探索单模态下的自监督几何重构兜底机制。

评分¶

新颖性: ⭐⭐⭐⭐☆ 提出了解耦融合深度与文本的多模态隐扩散架构及 DBCAF 动态时间调制机制。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖两大数据集、消融全面、深入分析了提示词敏感度、时间参数轨迹与模态缺失鲁棒性。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰，核心设计与公式推导自洽，可视化对比翔实。
价值: ⭐⭐⭐⭐☆ 为全天候跨光谱人脸监控与生物识别提供了极具落地可行性的高质量合成方案。