X2HDR: HDR Image Generation in a Perceptually Uniform Space¶

会议: NeurIPS 2026
arXiv: 2602.04814
OpenReview: https://openreview.net/forum?id=xjyKFJeXLL
论文: https://arxiv.org/abs/2602.04814
代码: https://X2HDR.github.io/
领域: 图像生成
关键词: 高动态范围图像生成, 感知均匀编码, PU21, 扩散变换器, RAW图像重建

一句话总结¶

X2HDR 提出在感知均匀空间（PU21）中表征 HDR/RAW 图像，发现无需微调的预训练 LDR VAE 即可无损重建 PU21 编码的 HDR 内容，仅通过对扩散骨干进行参数高效的 LoRA 微调即可统一实现高质量 Text-to-HDR 生成与单张 RAW-to-HDR 重建。

研究背景与动机¶

高动态范围（HDR）图像与显示设备能够精确还原真实物理世界的辐射亮度与色彩层次，提供远优于传统低动态范围（LDR）图像的视觉沉浸感。然而在实际应用中，HDR 真实内容的采集极其繁琐：传统的多曝光括号曝光（exposure bracketing）方法在动态场景中极易产生运动伪影与鬼影，而专用 HDR 传感器由于高昂的制造成本难以广泛普及。与此同时，以 Stable Diffusion 和 FLUX 为代表的文本到图像（T2I）扩散生成模型已展现出前所未有的视觉合成能力，但受限于大规模成对 HDR 训练数据的稀缺，主流模型仍被严格束缚在 LDR/sRGB 输出空间中。

为了打破这一瓶颈，近期如 LEDiff 和 Bracket Diffusion 等代表性工作尝试模仿经典多曝光合成流程，先让扩散模型生成多张不同曝光的 LDR 括号图像，再通过传统反向色调映射或曝光融合算法合并为 HDR 输出。然而，这种多曝光合成范式引入了显著的架构与算法复杂度：LEDiff 必须分别训练高光幻觉网络与暗部恢复网络，并重训 VAE 解码器；Bracket Diffusion 则需要在多曝光潜空间中执行联合去噪，导致单张推理耗时高达数百秒并消耗巨额显存，且曝光间极易出现暗部裁切或融合伪影，难于迁移到更新更大的扩散骨干中。

本文指出，上述复杂度的根源在于 LDR 与 HDR 数据之间的表征空间失配。现有扩散模型是在数十亿张经过非线性显示伽马压缩的 sRGB 图像上预训练的，而原生 HDR 和 RAW 数据存在于线性光强度空间。由于人眼视觉系统对暗部亮度微小变化的敏感度远高于高光区域，线性空间的亮度和色彩统计分布与 LDR 模型习得的隐空间严重脱节。本文的切入视角是直接消除这种表征鸿沟：通过感知均匀转换重塑 HDR 亮度分布，使冻结的 LDR 预训练 VAE 天然具备重建 HDR 的能力。核心 idea：将 HDR 与 RAW 数据映射到感知均匀空间（PU21），保持预训练 VAE 完全冻结，仅通过 LoRA 微调扩散降噪骨干，以无括号合成的极简架构实现高质量 Text-to-HDR 生成与单张 RAW-to-HDR 联合重建。

方法详解¶

整体框架¶

X2HDR 构建了一个无需多曝光融合的极简生成与重建流程，核心管线涵盖数据端感知均匀编码、隐空间流匹配去噪以及线性 HDR 解码重建。整个系统支持两种工作模态：文本引导的 HDR 图像生成（Text-to-HDR）以及单张传感器 RAW 输入的高保真 HDR 重建与修补（RAW-to-HDR）。在整个管线中，预训练 VAE 和文本编码器全程保持冻结，仅引入低秩适配（LoRA）模块优化去噪轨迹。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据<br/>文本提示词 cp / 单张传感器 RAW"] --> B["感知均匀空间映射与无损表征<br/>PU21 对数二次非线性压缩至 0-1"]
    B --> C["冻结 VAE 编码与潜在表示映射<br/>保持 FLUX.1-dev VAE 冻结获取潜在特征"]
    C --> D["冻结VAE的低秩流匹配微调<br/>DiT 骨干流匹配目标 + 注入 LoRA 参数"]
    A -.->|RAW 条件输入| E["统一端到端RAW条件注入与联合重建<br/>EasyControl 拼接 RAW Token 联合去噪与补全"]
    E --> D
    D --> F["冻结 VAE 解码器重构 PU21 图像"]
    F --> G["逆 PU21 变换与物理亮度反归一化<br/>输出线性物理辐射度 Lpeak=4000 cd/m² HDR 图像"]

关键设计¶

1. 感知均匀空间映射与无损表征：解决线性光分布与 LDR 潜空间表征失配

HDR 图像通常以线性 RGB 空间存储，物理像素值与场景辐射度成线性正比，造成数值范围极宽且大量比特精度被冗余分配给极高光区域，而人眼极为敏感的暗部细节却被过度压缩。若将归一化的线性 HDR 直接送入预训练 VAE 编码，会导致潜在表征分布剧烈偏移，解码输出产生毁灭性的结构扭曲和色偏。为了解决这一表征错配，X2HDR 引入基于人眼对比敏感度函数设计的 PU21 感知均匀编码，通过对数二次变换压缩极端高光并重新分配暗部精细分辨率。

具体而言，对于物理绝对亮度范围 $L \in [0.005, 10000]\ \mathrm{cd/m^2}$ 内的线性像素值，PU21 映射函数近似表征为： $$V = f_{\mathrm{PU21}}(L) = a\left(\log_2(L) - L_{\min}\right)^2 + b\left(\log_2(L) - L_{\min}\right)$$ 其中拟合参数固定为 $a = 0.001908$、$b = 0.0078$，$L_{\min} = \log_2(0.005) \approx -7.64385$。在实际数据预处理阶段，所有 HDR 图像的峰值亮度统一重缩放到商业 HDR 显示设备的常见规格 $L_{\mathrm{peak}} = 4000\ \mathrm{cd/m^2}$，然后逐通道应用 $f_{\mathrm{PU21}}(\cdot)$ 映射到 $[0, 1]$ 区间。在最终生成或重建推断结束时，利用其严格的解析逆变换将感知像素值无失真地反转回线性光物理辐射度： $$L = f_{\mathrm{PU21}}^{-1}(V) = 2^{\frac{2aL_{\min} - b + \sqrt{b^2 + 4aV}}{2a}}$$ 实验证实，经 PU21 编码后的 HDR 图像在完全冻结的 FLUX.1-dev VAE 下解码重建指标几乎持平于原生 sRGB LDR 图像（JOD 达到 9.44 vs LDR 的 9.86），从数学和生理感知根源上规避了重训复杂 VAE 的开销。

2. 冻结VAE的低秩流匹配微调：规避重训退化并实现轻量高效的生成适应

由于感知均匀编码成功对齐了 LDR 与 HDR 的潜在分布流形，模型无需再对大规模扩散模型的 VAE 编解码器或多模态文本编码器做破坏性修改。若直接对数十亿参数的扩散模型或 VAE 进行全参数重训，极易在有限规模的 HDR 训练集上产生过拟合与模式崩溃。因此，X2HDR 确立了冻结 VAE 与文本编码器、仅对扩散去噪骨干进行低秩适配（LoRA）的核心方案。

在基于 FLUX.1-dev 的 Diffusion Transformer（DiT）架构中，模型采用修正流匹配（Flow Matching）目标进行监督训练。对于加噪时间步 $t \in [0, 1]$，采样高斯噪声 $\epsilon \sim \mathcal{N}(0, I)$ 并在感知隐变量 $x_0$ 上构建线性插值潜变量 $z = (1-t)x_0 + t\epsilon$。LoRA 模块被注入至注意力块的投影层（Query、Key、Value 与 Output 投影），参数更新被参数化为低秩分解 $W' = W + \frac{\alpha}{r}BA$。训练仅优化低秩参数 $\Theta$，其流匹配损失定义为： $$\ell_{\mathrm{flow}}(\Theta; c_p, x_0) = \mathbb{E}_{t, \epsilon}\left\|v_\Theta(z, t, c_p) - (\epsilon - x_0)\right\|_2^2$$ 在文本引导生成阶段，模型使用专用的触发标记 [PU21] 激活 HDR 潜在流形学习。此设计不仅将可训参数压缩至极低量级，更使 Text-to-HDR 推理速度达到 11.2 秒（基于 SD-1.5 骨干时仅需 2.2 秒），彻底摆脱了 Bracket Diffusion 多曝光协同采样数百秒的算力瓶颈。

3. 统一端到端RAW条件注入与联合重建：单帧传感器测量下的暗部降噪与高光外推

针对现有单图像 HDR 重建大多依赖已被机内 ISP 非线性处理破坏的 sRGB 图像、或是依靠启发式多曝光网络而导致伪影频出的痛点，X2HDR 将上述框架自然拓展至传感器 RAW 图像的 HDR 重构。单张 RAW 图像具有未经 ISP 色调映射截断的线性传感器响应，但暗部被严重的泊松-高斯感光噪声污染，强光区则存在饱和截断（Clipping）。

X2HDR 提出的重构范式跳过了传统繁杂的反向 ISP 拟合，通过去马赛克（Demosaic）将 Bayer RAW 数据恢复为三通道线性辐射信号，同样按 $L_{\mathrm{peak}} = 4000\ \mathrm{cd/m^2}$ 执行峰值对齐并映射至 PU21 空间。随后，借助支持变长序列的 DiT 架构与 EasyControl 机制，将编码后的 RAW 图像 token $c_{\mathrm{RAW}}$ 与文本 token $c_p$、加噪潜变量 $z$ 直接在序列维度拼接，并配合注意力掩码与位置编码克隆送入 DiT。模型以端到端方式同时学习对暗部感光噪声的生成式滤除，以及对过曝饱和区域（如刺眼阳光、白云纹理）的语义级外推补全（Inpainting）： $$\ell_{\mathrm{flow}}(\Theta; c_p, c_{\mathrm{RAW}}, x_0) = \mathbb{E}_{t, \epsilon}\left\|v_\Theta(z, t, c_p, c_{\mathrm{RAW}}) - (\epsilon - x_0)\right\|_2^2$$ 在训练中以 50% 的概率随机丢弃文本提示（$c_p = \emptyset$）以实现纯 RAW 条件下的无偏恢复；而在推断时若保留具体文本提示，该框架更可无缝作为单张 RAW 的多风格 HDR 调色与创意生成工具。

损失函数 / 训练策略¶

Text-to-HDR 训练配置：以 FLUX.1-dev 为骨干，LoRA rank 设置为 32，学习率为 $1 \times 10^{-4}$，缩放因子 $\alpha = 32$，使用专用触发词 [PU21]。批大小在 512×512 分辨率下单卡为 8，1024×1024 分辨率下单卡为 2，梯度累积步数为 4，在 4 块 GPU 上训练约 3000 步即快速收敛。
RAW-to-HDR 训练配置：集成 EasyControl 机制，LoRA rank 设置为 128，学习率为 $1 \times 10^{-4}$，$\alpha = 128$。文本 prompt 以 50% 概率随机置空。在 512×512 分辨率下以 batch size 2 在 4 块 GPU 上训练 8 个 epoch。

实验关键数据¶

主实验¶

论文在评估时采用了多维度的量化评价体系：使用基于微调视觉语言模型 Qwen2-VL-7B 的 Q-Eval-100K 评测生成图像质量与图文对齐度；通过去除极端异常值（0.5% 至 99.5% 分位数）并在高斯平滑后计算有效动态范围（$\text{DR}_{\text{stops}} = \log_2(\tilde{L}_{99.5}/\tilde{L}_{0.5})$）；在重建任务中使用基于人类视觉系统生理特性的 ColorVideoVDP 计算恰可察觉差异（JOD，1 个 JOD 约对应 75% 的观测者偏好一致率），并配合曝光优化逆显示模型计算 $Q^*$ 家族图像质量指标。

表 1：Text-to-HDR 文本生成 HDR 图像主客观对比（100 个由 ChatGPT 生成的多样化场景提示词，512×512 输出）

方法	图像质量 $\uparrow$ (Q-Eval-100K)	图文对齐度 $\uparrow$ (Q-Eval-100K)	动态范围 (Stops) $\uparrow$ ($\text{DR}_{\text{stops}}$)	推理耗时 (s) $\downarrow$	显存占用 (GB) $\downarrow$
LEDiff (CVPR 2025)	0.488	0.623	4.3	7.4	8.6
Bracket Diffusion (2025)	0.524	0.671	11.1	557.5	38.0
X2HDR (Ours, SD-1.5 骨干)	0.568	0.672	14.4	2.2	2.9
X2HDR (Ours, FLUX.1-dev 骨干)	0.668	0.831	14.2	11.2	33.0

表 2：RAW-to-HDR 单帧传感器 RAW 图像重建性能对比（SI-HDR 独立测试集 96 个场景，512×512 分辨率）

方法	JOD $\uparrow$ (ColorVideoVDP)	$Q^*_{\mathrm{PSNR}}$ (dB) $\uparrow$	$Q^*_{\mathrm{SSIM}}$ $\uparrow$	$Q^*_{\mathrm{LPIPS}}$ $\downarrow$	$Q^*_{\mathrm{DISTS}}$ $\downarrow$
RawHDR (ICCV 2023)	6.58	19.3	0.591	0.282	0.133
LEDiff (CVPR 2025)	6.74	19.7	0.570	0.319	0.151
Bracket Diffusion (2025)	7.08	21.6	0.727	0.282	0.148
X2HDR (Ours)	7.57	22.5	0.741	0.174	0.089

此外，在经过精细光学辐射校准的 ASUS ProArt PA32UCXR Mini-LED HDR 监视器（实测峰值亮度 1987 cd/m²，对比度极高）上开展的 26 人双盲主观实验中，基于 Thurstone Case V 模型的最大似然估计表明：在 Text-to-HDR 任务上，X2HDR (FLUX) 获得 1.81 JOD 的最高评分（显著领先于 Bracket Diffusion 与 LEDiff）；在 RAW-to-HDR 任务上，X2HDR 斩获 1.87 JOD，逼近 Ground Truth 真实多曝光合并基准，证明了真实人眼观察下的压倒性画质优势。

消融实验¶

表 3：输入编码表征在 Text-to-HDR 与 RAW-to-HDR 任务中的消融对比

实验任务	表征配置与训练设置	图像质量 / JOD $\uparrow$	图文对齐 / $Q^*_{\mathrm{PSNR}}$ $\uparrow$	动态范围 / $Q^*_{\mathrm{LPIPS}}$
Text-to-HDR	HDR (线性归一化) + LoRA 微调	0.578	0.744	5.5 stops
	HDR (SMPTE PQ 编码) + LoRA 微调	0.661	0.822	14.5 stops
	HDR (PU21 编码) + LoRA 微调 (默认)	0.668	0.831	14.2 stops
RAW-to-HDR	HDR (线性归一化) + LoRA 微调	5.60	12.9 dB	0.551
	HDR (SMPTE PQ 编码) + LoRA 微调	7.48	22.3 dB	0.178
	HDR (PU21 编码) + LoRA 微调 (默认)	7.57	22.5 dB	0.174

表 4：预训练 VAE 独立重建保真度对比（512 对严格时间对齐的蓝光影视 LDR/HDR 图像，FLUX.1-dev VAE）

编码设置	JOD (ColorVideoVDP) $\uparrow$	$Q^*_{\mathrm{PSNR}}$ (dB) $\uparrow$	$Q^*_{\mathrm{SSIM}}$ $\uparrow$	$Q^*_{\mathrm{LPIPS}}$ $\downarrow$	$Q^*_{\mathrm{DISTS}}$ $\downarrow$
原生 LDR (sRGB)	9.86	38.8	0.961	0.026	0.008
HDR (线性光直接输入)	8.54	27.9	0.867	0.129	0.067
HDR (PU21 感知编码)	9.44	35.6	0.965	0.020	0.010

关键发现¶

感知均匀编码是打破 HDR 模态壁垒的核心要素：直接使用线性 HDR 不仅导致 VAE 重建质量断崖式下跌（JOD 由 9.86 暴跌至 8.54，PSNR 下降超 10 dB），在 Text-to-HDR 生成中更使动态范围坍缩至仅 5.5 stops，高光区域严重发白模糊。而无论是采用 PU21 还是 SMPTE PQ，只要符合人眼感知非线性压缩规律，动态范围均能达到 14 档以上，全面释放骨干网络的先验潜力。
冻结 VAE 优于强制微调 VAE：在附录拓展实验中，作者尝试在 6 万张 HDR 图像上微调 FLUX VAE，虽然其自身重建高光的 JOD 提升到 9.72，但将其引入 RAW-to-HDR 训练后，去噪重建的整体 JOD 反而从 7.57 微跌至 7.34。这是因为有限规模的 HDR 训练集诱发了微小的潜表征漂移，扰乱了扩散去噪对复杂结构的恢复，进一步证明了冻结 VAE 策略的稳健性。
摆脱多曝光生成的多重收益：相比 Bracket Diffusion 需要协同采样多张曝光切片并面临灾难性的暗部裁切（Shadow Clipping）与耗时膨胀，X2HDR 能够直接单次预测全动态范围物理辐射度，在 EV -4（强光源保真度）与 EV +4（暗部层次丰富度）下均展现出优异的曝光延展性。

亮点与洞察¶

抓住表征失配的物理本质：没有盲目跟随工业界与学界繁复的“多曝光生成-融合”惯性思维，而是精准切中“线性物理光强 vs 人眼感知非线性”的矛盾根源，用极其优雅的 PU21 预处理拉齐了数据分布。
即插即用的大模型生态兼容性：整个框架无需重构复杂网络，保持 VAE 与文本端完全冻结，仅凭标准的 LoRA 注入即可让任意通用 LDR 扩散底座（无论是卷积架构的 SD 还是注意力架构的 FLUX）瞬间获得物理级 HDR 生成能力。
从生成到修补的多功能统一：不仅攻克了纯文本生成 HDR 的空白，还利用强大生成先验解决单张 RAW 图像在极端光照下的降噪与高光外推难题，为计算摄影 ISP 的端到端重构提供了极具实用价值的全新范式。

局限与展望¶

作者承认的局限：
领域外艺术风格泛化受阻：当前训练集主要由真实世界的物理风光与室内摄影 HDR 构成，面对动漫、手绘等非常规风格文本生成时，输出画质和真实感存在退化。
极端曝光区域的幻觉偏差：在 RAW-to-HDR 任务中，若大面积画面遭受绝对过曝或暗部无信号截断，模型偶发不符合客观物理真相的结构幻觉或局部纹理不连续。
显示器属性无关性：当前生成目标固定对应峰值 4000 cd/m² 空间，未显式根据目标特定显示设备的实际亮度上限、局部调光分区与色域边界进行自适应约束。
自身分析与改进方向：
- 在半精度（BF16）推断平滑低亮度渐变区域时容易出现微弱的色彩断阶（Banding，论文附录提到使用 FP32 可有效缓解），未来可探索针对感知均匀量化误差的专用低比特补偿正则项。
- 目前仅探索了单帧静态图像，将 PU21 感知均匀表征推广至视频扩散模型（Video DiT），解决 HDR 视频生成中的时序一致性与曝光抖动问题，将是极具前景的重要课题。

评分¶

新颖性: ⭐⭐⭐⭐⭐（颠覆了 HDR 依赖多曝光合成的传统范式，首次证明冻结 LDR VAE 在感知均匀空间下的无损重建能力）
实验充分度: ⭐⭐⭐⭐⭐（涵盖两类核心任务、严格的蓝光成对真实数据 VAE 验证、全方位客观指标与专业 HDR 硬件双盲主观实验）
写作质量: ⭐⭐⭐⭐⭐（问题剖析一针见血，数学公式凝练严谨，图表完备详实）
价值: ⭐⭐⭐⭐⭐（为 HDR 生成与 RAW 增强提供了兼具理论自洽性与工程落地可行性的极简范式）