PCDFusion: Proposal-Context-Detail Bayesian Rendering for Infrared-Visible Image Fusion¶

会议: NeurIPS 2026
arXiv: 2610.23663
OpenReview: https://openreview.net/forum?id=RJBEmXTRsP
代码: https://github.com/BIT-RuiLiu/PCDFusion.git
领域: 图像恢复
关键词: 红外与可见光图像融合, 贝叶斯后验渲染, 提案-上下文-细节, 异质可靠性, 频带限制细节

一句话总结¶

针对红外与可见光物理不对称性与局部可靠性冲突，提出以可见光为锚点的三阶段贝叶斯后验渲染框架 PCDFusion，通过物理先验与对数证据自适应决定渲染动作权重，兼顾目标保留、曝光失效修复与伪影抑制。

研究背景与动机¶

红外与可见光图像融合（IVIF）旨在将可见光与热红外传感信息合成为统一表征，服务于全天候人类视觉感知及下游目标检测与分割任务。可见光相机捕捉反射光谱（0.4–0.7 μm），在适度光照下具备自然的色彩纹理与精细几何结构，但极易受到弱光低信噪比或局部强光过曝的退化破坏；长波红外成像（8–14 μm）通过测量物体温度辐射而成像，对黑暗与恶劣光照具备天然鲁棒性，却普遍缺乏自然纹理并包含大量平滑无结构的背景热噪声。两类模态在物理感知机理上呈现出显著的互补性与异质非对称性。

现有深度学习融合方法主要聚焦于特征表示学习、双路分支分解、跨模态注意力或任务驱动联合优化，但大都隐式预设了可见光与红外特征的对称聚合或全局平衡。当遭遇局部可靠性冲突时，这种对称混合范式暴露出严重缺陷：在可见光严重过曝或死黑区域，传统方法往往无法利用红外保留的结构彻底重构失效区域；反之，在可见光清晰且红外缺乏有效结构（如平滑背景、玻璃反射或传感器伪影）的区域，无差别注入红外信息会直接污染可见光正常纹理、引入大面积热串扰模糊。

解决这一矛盾的核心在于打破直接特征混合的模式，建立显式的局部决策机制以决定何时由可见光主导外观、何时引入红外响应。核心 idea：将红外-可见光图像融合重构为局部贝叶斯后验渲染问题，以可见光为主观外观锚点，解耦为「热目标提案（Proposal）-可见光上下文修复（Context）-红外细节渲染（Detail）」三阶段，结合物理先验与神经网络估计的对数证据（log-evidence）计算各动作后验权重以精准调控信息注入。

方法详解¶

整体框架¶

PCDFusion 采用以可见光为主干外观流的非对称架构。输入可见光亮度通道 \(\mathbf{Y}_v\) 和红外图像 \(\mathbf{Y}_r\)。系统首先使用 Swin Transformer 提取多尺度可见光特征，同时采用轻量级卷积编码器提取红外特征，并通过跨模态注意力机制将红外信息注入可见光流中，构建可见光锚定特征 \(\mathbf{F}\)。随后，网络依次执行提案、上下文与细节三级贝叶斯渲染，最终输出融合亮度 \(\hat{\mathbf{Y}}\)，并与可见光原始色度通道合成完整 RGB 图像。

整个框架的核心数理基础是将第 \(k\) 阶段的渲染视作二值潜变量 \(z_k \in \{0, 1\}\) 控制的局部决策（\(z_k=1\) 接受阶段渲染动作，\(z_k=0\) 保留基础状态）。物理先验 \(\mathcal{P}_k\) 给出先验发生概率 \(\boldsymbol{\pi}_k = p(z_k=1 \mid \mathcal{P}_k)\)，网络基于局部跨模态观测 \(\mathcal{O}_k\) 估计对数证据得分 \(\boldsymbol{\eta}_k = f_{\theta_k}(\mathcal{O}_k, \mathcal{P}_k)\)，由贝叶斯比值更新公式计算归一化后验动作权重 \(\mathbf{q}_k\)：

\[\mathbf{q}_k = \sigma(\operatorname{logit}(\boldsymbol{\pi}_k) + \boldsymbol{\eta}_k) = \frac{\boldsymbol{\pi}_k \exp(\boldsymbol{\eta}_k)}{1 - \boldsymbol{\pi}_k + \boldsymbol{\pi}_k \exp(\boldsymbol{\eta}_k)}\]

渲染输出即为基础结果 \(\mathcal{R}_{k,0}\) 与动作结果 \(\mathcal{R}_{k,1}\) 在后验权重下的数学期望 \(\widehat{\mathcal{R}}_k = (1 - \mathbf{q}_k)\mathcal{R}_{k,0} + \mathbf{q}_k \mathcal{R}_{k,1}\)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    In["输入图像<br/>可见光 Yv 与红外 Yr"] --> Feat["特征编码与跨模态注意力<br/>提取可见光锚定表征 F"]
    Feat --> Stage1["1. 贝叶斯热目标提案<br/>红外显著先验 + 动态增益调制"]
    Stage1 --> Stage2["2. 贝叶斯可见光上下文修复<br/>对称曝光失效先验 + 混合重构"]
    Stage2 --> Stage3["3. 贝叶斯红外细节渲染<br/>频带限制残差 + 梯度结构先验注入"]
    Stage3 --> Out["输出融合图像<br/>融合亮度 Y_hat + 可见光色度"]

关键设计¶

1. 贝叶斯热目标提案：以高召回率保留候选热辐射目标

该阶段旨在初步捕获潜在的人体、车辆等正向热辐射响应，使显著红外信息以候选形式进入渲染流程，但又不强制其直接硬写入最终结果。设计以归一化红外强度构造提案物理先验：

\[\boldsymbol{\pi}_p = \sigma(\tau_p (\operatorname{Norm}(\mathbf{Y}_r) - 0.5))\]

其中 \(\tau_p\) 调节先验响应锐度。在此基础上，网络综合特征 \(\mathbf{F}\)、\(\mathbf{Y}_v\) 和 \(\mathbf{Y}_r\) 预测对数证据得分 \(\boldsymbol{\eta}_p\)，得到提案后验权重 \(\mathbf{q}_p = \sigma(\operatorname{logit}(\boldsymbol{\pi}_p) + \boldsymbol{\eta}_p)\)。为确保提案更新为正向且受限于可见光亮度余量，网络预测条件增益 \(\mathbf{G}_p = \sigma(g_\theta^p(\mathbf{F}, \mathbf{Y}_v, \mathbf{Y}_r))\)，并仅在可见光未饱和余量 \((1 - \mathbf{Y}_v)\) 内施加正向修正：

\[\mathbf{Y}_p = \mathbf{Y}_v + \mathbf{q}_p \odot (1 - \mathbf{Y}_v) \odot \mathbf{G}_p\]

这样即便红外目标区域温度很高，增益与亮度的协同调制也能有效避免高光过载。

2. 贝叶斯可见光上下文修复：基于双向曝光失效先验修复过曝与欠曝

可见光图像由于动态范围有限，在极端场景下常出现欠曝（暗区噪声剧烈、信噪比崩溃）或过曝（亮区饱和、纹理彻底丢失）。针对这一物理失效，设计以对称的 U 型亮度物理先验描述上下文失效程度：

\[\boldsymbol{\pi}_c = 1 - 4\mathbf{Y}_v(1 - \mathbf{Y}_v) = (2\mathbf{Y}_v - 1)^2\]

在正常曝光区域（\(\mathbf{Y}_v \approx 0.5\)），\(\boldsymbol{\pi}_c \to 0\)；在死黑（\(\mathbf{Y}_v \to 0\)）与饱和（\(\mathbf{Y}_v \to 1\)）区域，\(\boldsymbol{\pi}_c \to 1\)。网络结合可见光结构支承 \(\mathbf{S}_v = \operatorname{Norm}(|\nabla\mathbf{Y}_v|)\) 与频带限制红外结构支承 \(\mathbf{S}_r^b\) 估计对数证据 \(\boldsymbol{\eta}_c\)，导出后验权重 \(\mathbf{q}_c\)。随后网络预测上下文基底 \(\mathbf{C}_\theta\) 与有界残差 \(\mathbf{R}_\theta\) 得到重构候选 \(\mathbf{Y}_{\text{ctx}} = \sigma(\mathbf{C}_\theta + \mathbf{R}_\theta)\)，并与前序提案 \(\mathbf{Y}_p\) 进行后验软插值：

\[\mathbf{Y}_c = (1 - \mathbf{q}_c) \odot \mathbf{Y}_p + \mathbf{q}_c \odot \mathbf{Y}_{\text{ctx}}\]

从而在可见光正常区域完整保留原始外观，而在可见光失效区域自适应调度红外结构辅助重建。

3. 贝叶斯红外细节渲染：利用频带限制滤波抑制热背景串扰

直接引入原始红外高频常会带入光滑背景热梯度、发射率突变或传感器热反射条纹。本阶段利用可见光与红外的局部结构支承强弱对比作为物理先验：

\[\mathbf{S}_v = \operatorname{Norm}(|\nabla\mathbf{Y}_v|), \quad \mathbf{S}_r = \max(\operatorname{Norm}(|\nabla\mathbf{Y}_r|), \operatorname{Norm}(\operatorname{Std}(|\mathcal{B}(\mathbf{Y}_r)|)))\]

\[\boldsymbol{\pi}_d = \frac{\mathbf{S}_r}{\mathbf{S}_r + \mathbf{S}_v + \epsilon}\]

其中 \(\mathcal{B}(\cdot)\) 为带通滤波操作，仅当红外结构支承显著强于可见光时先验倾向于激活。在此基础上结合中间状态 \(\mathbf{Y}_c\) 估计后验权重 \(\mathbf{q}_d\)。在渲染时，网络预测有界残差后强行施加带通滤波算子 \(\mathcal{B}\)，滤除低频热背景漂移，仅保留有效频带轮廓 \(\mathbf{D}_r = s_d \mathcal{B}(\tanh(d_\theta^d(\mathbf{F}, \mathbf{Y}_v, \mathbf{Y}_r, \mathbf{Y}_c)))\)，最终合成融合亮度：

\[\hat{\mathbf{Y}} = \mathbf{Y}_c + \mathbf{q}_d \odot \mathbf{D}_r\]

损失函数 / 训练策略¶

PCDFusion 采用无监督端到端联合训练策略，总损失函数包含三项：

\[\mathcal{L} = \lambda_{\mathrm{p}} \mathcal{L}_{\mathrm{p}} + \lambda_{\mathrm{c}} \mathcal{L}_{\mathrm{c}} + \lambda_{\mathrm{d}} \mathcal{L}_{\mathrm{d}}\]

提案响应召回损失 \(\mathcal{L}_p\)：构造松弛热目标 \(\mathbf{T}_r = \max(\mathbf{Y}_v - \boldsymbol{\pi}_c^2 \odot \operatorname{ReLU}(\mathbf{Y}_v - \mathbf{Y}_r), \mathbf{Y}_r)\)，配合红外显著掩码 \(\mathbf{M}_r\) 采用单侧召回惩罚 \(\mathcal{L}_p = \frac{\|\mathbf{M}_r \odot \operatorname{ReLU}(\mathbf{T}_r - \mathbf{Y}_p)\|_1}{\|\mathbf{M}_r\|_1 + \epsilon}\)，仅在热目标不足时惩罚，不阻止提案自适应抑制非目标热噪声。
上下文后验校准损失 \(\mathcal{L}_c\)：为避免后验权重退化，使用弱校准目标 \(\widetilde{\mathbf{q}}_c = \operatorname{sg}(\boldsymbol{\pi}_c \odot \mathbf{S}_r)\) 并引入对可靠可见光区域的保真惩罚项：\(\mathcal{L}_c = \|\mathbf{q}_c - \widetilde{\mathbf{q}}_c\|_1 + \lambda_{\text{keep}} \|\operatorname{sg}(1 - \boldsymbol{\pi}_c) \odot \mathbf{q}_c\|_1\)。
最终结构保真损失 \(\mathcal{L}_d\)：迫使融合亮度的梯度幅值对齐双模态逐元素最大梯度响应，\(\mathcal{L}_d = \||\nabla \hat{\mathbf{Y}}| - \max(|\nabla\mathbf{Y}_v|, |\nabla\mathbf{Y}_r|)\|_1\)。

模型仅在 MSRS 训练集上使用 AdamW 优化器训练 200 个 epoch（学习率 \(2\times 10^{-4}\)，余弦退火，patch 大小 \(256\times 256\)），未针对任何下游数据集做二次微调。

实验关键数据¶

主实验¶

在 MSRS、FMB 与 M3FD 三个主流多模态公开基准上，与近年代表性方法（包括 SwinFusion、TarDAL、CDDFuse、Diff-IF、EMMA、DCEvo、Deno-IF、SAGE、UPFusion 等）进行全面客观质量评测。

数据集	指标	PCDFusion (本文)	次优 SOTA	最优竞品方法	相对表现/优势
MSRS	AG \(\uparrow\)	3.84	3.79	EMMA	领先 0.05，边缘对比度更优
MSRS	SCD \(\uparrow\)	1.67	1.79	Deno-IF	保持适度相关性，避免强行过冲
MSRS	VIF \(\uparrow\)	1.12	1.10	Diff-IF	视觉信息保真度提升 0.02
MSRS	Qabf \(\uparrow\)	0.72	0.69	Diff-IF / DCEvo	边缘结构保留率最高
MSRS	Qcb \(\uparrow\)	0.59	0.59	Diff-IF / DCEvo	人眼视觉敏感对比度持平或微优
FMB	AG \(\uparrow\)	4.33	4.68	EMMA	滤除无用背景伪影使 AG 保持理性
FMB	VIF \(\uparrow\)	1.08	1.06	CDDFuse / DCEvo	跨模态信息传递量第一
FMB	Qabf \(\uparrow\)	0.71	0.69	DCEvo	显著提高边缘传输质量
FMB	Qcb \(\uparrow\)	0.49	0.47	CDDFuse / DCEvo / UPFusion	领先第二名 0.02
M3FD	AG \(\uparrow\)	5.04	5.33	EMMA	保持高梯度的同时无背景污染
M3FD	VIF \(\uparrow\)	0.95	0.92	CDDFuse / DCEvo	与 UPFusion 并列第一
M3FD	Qabf \(\uparrow\)	0.67	0.64	UPFusion	显著提升 0.03
M3FD	Qcb \(\uparrow\)	0.50	0.47	DCEvo / UPFusion	人眼感知质量大幅领先 0.03

在下游语义感知任务中（使用冻结架构的 SegFormerB2 进行 FMB 语义分割，YOLOv10s 进行 M3FD 目标检测），PCDFusion 取得最佳感知综合指标：FMB 分割 60.05% mIoU（超越次优 Diff-IF 的 58.98% 达 1.07%）；M3FD 检测 55.98% mAP50:95（超越次优 DCEvo 的 55.79% 达 0.19%）。

消融实验¶

基于 MSRS 基准进行的模块与先验形式消融分析：

配置	AG \(\uparrow\)	SCD \(\uparrow\)	VIF \(\uparrow\)	Qabf \(\uparrow\)	Qcb \(\uparrow\)	FMB mIoU \(\uparrow\)	M3FD mAP \(\uparrow\)	说明
Full model (P-C-D)	3.839	1.671	1.117	0.723	0.593	60.05	55.98	完整三阶段串联渲染
w/o P (无提案阶段)	3.810	1.594	1.116	0.723	0.592	58.44	55.18	目标召回受损，下游分割降 1.61%
w/o C (无上下文修复)	3.825	1.716	1.107	0.719	0.582	58.86	54.88	曝光失效区域修复缺失，感知下降
w/o D (无细节渲染)	3.846	1.618	1.110	0.723	0.592	58.89	56.13	缺失红外带通结构注入
only Prior (纯物理先验)	3.789	1.666	1.123	0.728	0.597	59.09	55.56	缺乏自适应对数证据校准
only Evidence (纯学习证据)	3.885	1.696	1.104	0.722	0.589	59.04	55.38	盲目拟合高频噪声，下游客观泛化下降
Product form (乘积先验)	3.835	1.596	1.102	0.722	0.588	58.89	55.76	比值对数几率更新比直接相乘更稳定
Parallel (三阶段并行门控)	3.824	-	1.107	0.718	-	56.49	55.33	无法利用阶段间显式依赖，大幅衰退
w/o \(\mathcal{L}_d\) (无梯度损失)	3.798	1.070	1.010	0.178	0.332	41.01	23.83	边缘结构完全瓦解，指标灾难性坍塌

关键发现¶

阶段时序依赖的关键性：渲染顺序研究证明，将提案、上下文、细节串行排列（P–C–D）能带来最佳收益。若颠倒次序（如 C–P–D 或 P–D–C），下游 mIoU 从 60.05% 分别暴跌至 56.30% 与 56.24%；而并行分支融合仅能达到 56.49% mIoU。这证实了从「热目标候选保留」到「曝光失效修复」再到「微观高频注入」的层级推进符合物理图像重构因果链。
物理先验与神经对数证据的互补性：仅靠物理先验虽具备稳健的底层画质，但在复杂语义下难以精细适应；仅依靠网络自学证据则容易将局部方差作为高频放大（AG 虚高但下游指标下降）。两者的 odds 比值更新在保持结构真实与灵活适应间取得最优折衷。
极佳的抗退化鲁棒性：在可见光极度暗黑、强光过曝、红外传感器噪声等 15 种输入损坏评测中，PCDFusion 在 11 项中拔得头筹，体现了可见光失效时红外迅速接管、红外失效时可见光外观牢固保留的容错能力。

亮点与洞察¶

将融合范式从特征混合重构为贝叶斯局部渲染：打破以往 CNN / Transformer 暴力拼接或软注意力的局限，以贝叶斯后验比值（Bayes factor）构建有物理先验锚定的动作权重，使每个像素的模态信息注入均有据可依。
带通滤波约束的频带限制细节注入：在红外细节分支中引入频带限制算子 \(\mathcal{B}\)，精准剥离导致热串扰的低频平滑温度场与虚假辐射反射，仅注入高频轮廓结构，直击红外融合长年存在的背景污染顽疾。
对称 U 型曝光先验公式设计：利用 \(1 - 4\mathbf{Y}_v(1-\mathbf{Y}_v)\) 优雅建模可见光相机的动态范围失效区间，极小化正常曝光区域的误修复概率，使得暗光补偿与高光抑制在统一公式下自适应展开。

局限与展望¶

作者承认的局限：在极端极暗光线与红外模态同时不可靠的极端场景下（例如夜间大树枝条阴影与红外冷背景重合处，或玻璃材质对红外的镜面热反射），局部纹理仍会出现轻微模糊或残留微弱红外伪影；且暗光下上下文后验权重可能处于偏高状态，导致对红外异常输入的容忍度偏宽。
实验设计局限：模型依赖双模态图像已经过严格几何空间配准，当存在机械振动引起的视差失准时，像素级先验与后验计算可能产生重影。
未来改进方向：可将贝叶斯后验渲染拓展至未配准或弱配准红外-可见光融合，并引入显式的红外退化/反射识别网络以增强先验判断的特异性。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性将多模态局部图像融合形式化为物理先验与神经对数证据驱动的三阶段贝叶斯后验渲染流程，理论构架精巧且具强解释性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖三大主流基准的全面画质评测、消融实验、输入损坏鲁棒性压力测试以及两类下游语义感知验证，证据链完整坚实。
写作质量: ⭐⭐⭐⭐⭐ 数学建模严密清晰，公式符号规范自洽，图示生动传神。
价值: ⭐⭐⭐⭐⭐ 为解决红外与可见光异质不对称性及热污染难题提供了切实可行的新范式，对全天候机器视觉落地具备显著推动作用。