Single Shot HDR Recovery via a Video Diffusion Prior¶

会议: NeurIPS 2026
arXiv: 2605.11628
OpenReview: https://openreview.net/forum?id=IZP0ggyeR6
领域: 图像恢复
关键词: 单图HDR恢复 / 视频扩散先验 / 曝光包围序列合成 / 曝光融合网络 / 计算摄影

一句话总结¶

将单帧 LDR 图像的 HDR 恢复重构为条件视频生成与轻量级曝光融合的两阶段问题，利用预训练视频扩散模型生成单调曝光递增的时序图像包围序列，再经轻量级 Fusion UNet 预测逐像素权重进行线性辐射融合，在保真度、物理可解释性与极端过暗过曝恢复上显著超越现有生成式基线。

研究背景与动机¶

高动态范围（HDR）成像能够有效弥合数字传感器捕获能力与人眼对真实世界宽动态范围感知之间的巨大差距，广泛应用于计算摄影、医疗影像以及高端工业视觉检测。传统的 HDR 成像主要依赖于多曝光括号（Exposure Bracket）序列合成：通过在不同曝光时间下连续拍摄多张低动态范围（LDR）图像，随后利用辐射度标定算法融合得到高动态辐射图。然而，多帧采集方案在手持拍摄或动态场景下极其容易引入运动鬼影与对齐伪影。单帧单发（Single-Shot）HDR 恢复技术应运而生，试图仅凭单张 LDR 图像恢复出完整的高动态场景信息，但该任务在物理层面严重不适定（ill-posed），必须对过曝高光区（丢失亮部细节）与欠曝阴影区（被传感器噪声淹没）进行合理的信息脑补与幻觉重建。

现有生成式单帧 HDR 重建方案存在明显的表征割裂与保真度瓶颈。诸如 LEDiff 等潜扩散方法，不得不训练两个独立的扩散模型分别处理暗部阴影与亮部高光，破坏了全局动态范围的连续物理演变；而像 X2HDR 这类直接在感知均匀空间（如 PU-21 空间）预测完整 HDR 图像的方案，则完全丢弃了中间曝光过程，使黑盒扩散网络容易在复杂几何区域凭空编造出不符合实际辐射物理的幻觉伪影，缺乏可解释性与对输入观测的忠实度。另一方面，传统前馈卷积网络（如 HDRCNN、SingleHDR）虽然推理迅速，但在极端曝光区域往往无法有效抑制传感器的 RAW 模式噪声或产生严重的破损色斑。

面对这一困境，本文提出了全新的视角：曝光包围序列在结构上与视频高度同构，其沿时间轴的特征变化本质上反映了场景曝光强度的单调连续调节，而非传统视频中的场景物体运动。通用视频扩散模型由于在海量动态连续视频数据上进行了预训练，天然内生了强大的光照变化与时空一致性先验。核心 idea：将单帧 HDR 恢复重塑为“条件视频生成 + 轻量曝光融合”范式，微调视频扩散先验（SVD）沿时间轴合成一组无运动伪影且曝光单调递增的 LDR 曝光包围序列，再通过紧凑的 Fusion UNet 学习逐像素融合权重，兼顾中间曝光过程的可解释性与高保真辐射重建。

方法详解¶

整体框架¶

本文提出的两阶段单发 HDR 重建流程涵盖输入条件生成与时空融合管线。给定单张任意曝光的原始 LDR 图像，第一阶段首先将其作为条件引导，送入微调后的隐空间视频扩散模型（基于 Stable Video Diffusion, SVD Backbone）中，沿时序维度并行采样并解码出一组按曝光时间单调递增的无运动 LDR 曝光包围序列；第二阶段将该合成曝光序列输入参数量仅约 0.5M 的轻量级 Fusion UNet，由其预测一组归一化的逐像素融合权重图，将各帧在线性辐射空间进行加权线性聚合，最终在标准感光尺度下输出高保真线性 HDR 辐射图。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["单帧原始 LDR 输入图像<br/>I_c (任意曝光)"] --> B["条件隐空间编码<br/>z_c = E(I_c)"]
    B --> C["条件视频扩散先验微调<br/>单调递增曝光序列生成"]
    C --> D["时序曝光包围序列解码<br/>合成 5 帧 LDR 序列 I_1~I_5"]
    D --> E["轻量级 Fusion UNet 预测<br/>逐像素归一化混合权重 W_i"]
    E --> F["线性加权融合聚合<br/>PU-21 空间感知监督"]
    F --> G["高保真线性 HDR 辐射图<br/>I_hat"]

关键设计¶

1. 条件视频扩散先验微调：以时序先验建模曝光单调渐进分布

为了克服传统多模型割裂或直接生成 HDR 导致保真度下降的问题，本文直接将预训练视频扩散模型（Stable Video Diffusion, 1.5B 参数 UNet）转化为单调曝光序列生成器。训练阶段利用真实成对的高动态真实辐射图 $I_{HDR}$，根据场景亮度的最大值 $Y_{\max}$ 和中位数 $Y_{\text{median}}$ 估算最小与最大曝光极限： $$t_{s} = \frac{v_{s}^{\gamma}}{Y_{\max}}, \quad t_{e} = \frac{v_{e}^{\gamma}}{Y_{\text{median}}}$$ 其中目标强度设定为 $v_s = v_e = 0.85$，伽马矫正设为 $\gamma = 2.2$。在 $[t_s, t_e]$ 的对数空间内均匀采样 $N=5$ 个曝光步长，构造出单调递增的 Ground Truth LDR 序列。扩散模型输入由加噪的曝光序列隐变量 $\mathbf{z}_k$ 与条件帧隐变量 $\mathbf{z}_c = \mathcal{E}(I_c)$ 沿通道维度拼接而成。至关重要的是，为了强制生成结果对输入条件像素严格对齐、避免自由度过大引入无关幻觉，模型在训练时禁用了条件丢弃（Conditional Dropout），在推理阶段完全舍弃了无分类器引导（Classifier-Free Guidance, CFG=1.0），从而将视频扩散模型的时空一致性完整聚焦于保真度恢复。

2. 轻量级 Fusion UNet 预测：约束辐射度聚合与可解释性保障

与端到端黑盒生成不同，本框架特意将最终 HDR 重建约束为生成包围序列的线性聚合。为此，设计了一个参数量仅 0.5M 的紧凑轻量级 Fusion UNet $U_\theta$。该网络接收合成的 5 帧 LDR 序列，预测每帧对应的逐像素融合权重 $W_i(\mathbf{p})$，并满足每个像素位置严格归一化 $\sum_{i=1}^N W_i(\mathbf{p}) = 1$。通过反向伽马映射 $x \to x^\gamma$ 将 LDR 帧恢复至线性光强度后，最终辐射图由加权求和得到： $$\hat{I} = \sum_{i=1}^N W_i \odot I_i$$ 这种极端轻量的线性权重预测不仅保证了计算效率与空间平滑性，更在物理架构上形成了强约束：只有当扩散网络合成的中间曝光序列切实包含真实暗部与高光结构信息时，线性混合才可能还原高质量 HDR。这种设计使中间曝光序列具有清晰的可视化诊断与物理可解释性。

3. 推理期包围序列一致性优化：与传统辐射学标定算法无缝解耦

由于基础视频扩散模型在无显式曝光刻度指导下合成时可能出现相邻帧间曝光步长（$\Delta \text{EV}$）的漂移，本文证明了该框架具备独特的扩展兼容性。借鉴潜变量推断优化技术，可在推理阶段优化初始噪声隐变量，强行约束相邻帧满足固定的 1-EV 曝光增量（即 $\Delta \text{EV} = \log_2(t_i/t_{i-1}) = 1$）。经过该时序约束优化后，合成序列与理想曝光比率的平均绝对偏差从原版 SVD 的 0.326 大幅降低至 0.233（提升约 29% 一致性），使其无需经过 Fusion UNet 即可直接输入经典的 Debevec 等传统物理光度融合算法中，展现了模块解耦的强大工程韧性。

损失函数 / 训练策略¶

本系统采用两阶段解耦训练策略，完全隔离了视频生成先验学习与融合权重学习： 1. 视频模型微调：采用 EDM 扩散公式与 AdamW 优化器，在 8 张 AMD MI300X GPU 上以学习率 $5 \times 10^{-5}$ 训练 16K 次迭代，最小化潜空间加权均方误差： $$\mathcal{L}_{\text{diff}} = \mathbb{E}_{\mathbf{z}, \bm{\epsilon}, \sigma_k}\left[w(\sigma_k) \|\hat{\mathbf{z}} - \mathbf{z}\|_2^2\right]$$ 2. Fusion UNet 训练：在 4 张 AMD MI250 GPU 上以批大小 64 独立训练 25K 次迭代。使用从纯净真实 HDR 图像渲染得到的合成 LDR 序列作为输入，以学习率 $1 \times 10^{-5}$ 最小化在标准化感知空间 PU-21 下的 $L_2$ 损失： $$\mathcal{L}_{\text{fusion}}(\theta) = \left\|h(\hat{I}) - h(\tilde{I}_{\text{HDR}})\right\|_2^2$$ 其中 $h(L) = a(\log_2 L - L_{\min})^2 + b(\log_2 L - L_{\min})$，确保模型针对暗部与人眼敏感区间分配充裕的梯度监督。

实验关键数据¶

主实验¶

在标准公开基准 SI-HDR（96 个涵盖室内、室外、自然和城市复杂场景的原始 RAW 测试集）上，采用尺度不变的 $Q^*$ 评价指标（通过最优曝光优化抵消全局亮度缩放偏差）以及符合人类主观视觉感知偏好的 HDR-VDP3 $Q$-JOD 指标进行评估。与同体量生成式扩散基线（LEDiff、X2HDR-SD2.1、BracketDiff）及代表性前馈网络（HDRCNN、SingleHDR）的全面对比见下表：

方法	模型类型	$Q^*$-PSNR (dB) ↑	$Q^*$-SSIM ↑	$Q^*$-MAE ↓	$Q^*$-LPIPS ↓	$Q$-JOD ↑	推理耗时 ↓
Ours	视频扩散 + Fusion UNet	22.36 ± 3.48	0.664 ± 0.156	0.060 ± 0.027	0.289 ± 0.111	7.51 ± 0.99	~15s
LEDiff	双图像扩散模型	18.97 ± 3.07	0.552 ± 0.128	0.098 ± 0.043	0.384 ± 0.128	6.55 ± 0.98	~15s
BracketDiff	扩散测试期潜变量优化	21.41 ± 3.87	0.734 ± 0.128	0.077 ± 0.044	0.353 ± 0.161	7.51 ± 1.21	~6min
X2HDR-SD2.1	图像扩散（直出HDR）	21.24 ± 3.32	0.585 ± 0.150	0.068 ± 0.030	0.335 ± 0.120	7.17 ± 0.97	~15s
HDRCNN	前馈 CNN	21.50 ± 6.27	0.601 ± 0.281	0.098 ± 0.073	0.342 ± 0.246	7.66 ± 1.68	<1s
SingleHDR	物理可逆成像网络	21.61 ± 3.93	0.698 ± 0.176	0.075 ± 0.039	0.302 ± 0.180	7.56 ± 1.40	<1s

此外，在基于 1600 nits MacBook Pro Liquid Retina XDR 原生显示器上进行的 1920 次严格双盲受试者偏好评测中，本文方法取得了对全部基线的统计学显著优势（$p < 10^{-4}$）：对 LEDiff 胜率为 86.2%，对 HDRCNN 胜率为 73.6%，对 SingleHDR 胜率为 71.5%，对 BracketDiff 胜率为 67.6%，对 X2HDR-SD2.1 胜率为 60.8%，整体胜率高达 72.0%（二项式检验 $p = 2.8 \times 10^{-85}$）。

消融实验¶

针对融合模块选型、引导尺度及网络参数微调方式进行了系统消融评测：

实验组别	具体配置 / 变体	$Q^*$-PSNR (dB) ↑	$Q^*$-SSIM ↑	$Q^*$-MAE ↓	$Q^*$-LPIPS ↓	说明 / 结论
融合策略消融	经典 Mertens 融合	18.87	0.513	0.096	0.352	基于手工对比度/饱和度规则，边缘噪声大
	经典 Debevec 合成	15.23	0.503	0.141	0.433	依赖精确相对曝光元数据，未标定时失效严重
	Ours (Fusion UNet)	22.36	0.664	0.060	0.289	学习特定分布权重，生成平滑连贯且指标最优
CFG 引导尺度	CFG = 1.0 (无引导)	22.33	0.654	0.060	0.293	严格遵循输入像素条件，保真度最高
	CFG = 1.5	22.26	0.655	0.061	0.294	略微增加多样性，保真度开始下降
	CFG = 4.0	21.88	0.655	0.064	0.300	高引导权重引入多余幻觉，PSNR 下降 0.45dB
微调容量消融	LoRA 微调 (rank 128)	22.00	0.656	0.063	0.296	低秩微调在复杂曝光分布下存在表达瓶颈
	全参数微调 (Full FT)	22.36	0.664	0.060	0.289	全量时空注意力微调确保复杂光照渐变分布

在 Oracle 上限分析中，若将 Ground Truth LDR 包围序列输入 Fusion UNet，其 $Q^*$-PSNR 可高达 44.84 dB（$Q^*$-SSIM 达 0.989），直接证实了紧凑的 Fusion UNet 绝非系统性能瓶颈，最终恢复表现的核心上限取决于视频扩散先验生成的曝光包围质量。

关键发现¶

低边缘密度区域优势巨大：相关性分析表明，测试样本输入边缘密度与 $\Delta \text{SSIM}$ 呈极强负相关（$r = -0.79$）。在严重过曝或死黑欠曝的区域（由于动态范围受限导致输入表观边缘密度极低），本文方法大幅超越基线，能够准确消除 RAW 传感器条纹噪声并生成符合场景几何结构的饱满光影。
全局曝光偏差与结构无损：针对生成包围序列的每帧分析表明，合成帧与真实帧之间的主要误差源于全局 EV 尺度的微小常数偏移（曝光对齐补偿后 darkest 帧 PSNR 骤增 11.8 dB），但在结构与纹理层面展现了极高的一致性，证明时序扩散先验能够有效捕捉光照演变。
通用计算摄影拓展能力：该“输入引导序列生成 + 轻量融合”范式可直接平移至其他逆问题。在单图散焦全焦恢复（All-in-Focus）任务中，利用该框架合成渐进焦深序列并融合，在 NYUv2 上取得了 31.26 dB PSNR 与 0.90 SSIM 的高精度表现。

亮点与洞察¶

将物理光强轴等价为视频时序轴：首次揭示了预训练视频扩散模型中内生的时空注意力机制能够无缝迁移为物理光学曝光渐进先验，避免了手工设计复杂非对称双路扩散架构。
受约束的线性聚合设计：通过有意将后处理限制为极小参数量的线性加权网络，强迫扩散模型生成具有物理有效性的中间包围序列，巧妙达成了黑盒生成力与物理可解释性的和谐统一。
无分类器引导的有效反转：明确指出生成式重建与文本生成任务在 CFG 使用上的本质对立——在严格要求保真度的逆问题中，丢弃 CFG 并保留全维度条件通道能最大化保障像素级真实还原。

局限与展望¶

高频精细纹理与文本退化：由于 Stable Video Diffusion 的底层 VAE 压缩瓶颈，在图像经过 Latent 压缩时损失了部分高频能量（实验证实 VAE 在高纹理场景自身就会丢失 31% 的高频能量），导致在包含精细文本或密集树叶的画面中偶见细节模糊。
已正常曝光图像收益边际递减：当输入图像本身动态范围适中、没有显著过曝或欠曝时，方法性能相较轻量级前馈网络没有明显优势，甚至可能受 VAE 瓶颈轻微拖累。
推理速度与蒸馏潜力：目前单张 15 秒的扩散采样耗时虽然比测试期优化方案（~6 分钟）大幅加快，但仍远慢于前馈网络（<1 秒）。未来结合一步扩散蒸馏技术（如 Consistency Distillation / Flow Matching Distillation）将有望实现毫秒级超实时单发 HDR 拍摄。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将曝光渐变序列创新映射为视频扩散时序先验，视角独特巧妙]
实验充分度: ⭐⭐⭐⭐⭐ [SI-HDR 全指标覆盖、双盲 HDR 原生显示器用户评测、细致的 VAE 瓶颈与全焦拓展实验]
写作质量: ⭐⭐⭐⭐⭐ [动机明确连贯，数学建模清晰，实验分析逻辑自洽且兼顾失败案例剖析]
价值: ⭐⭐⭐⭐☆ [为单图 HDR 及计算摄影多图融合类逆问题开辟了全新的低成本视频先验利用路径]