Video Generation Models Are Inherent Lighting Estimators¶

会议: ECCV 2026
论文: ECCV 原文
项目: OpenReview / ECVA
领域: 视频生成 / 3D视觉
关键词: 动态光照估计, 视频扩散模型, HDR环境图, 视频补全, 光照探针

一句话总结¶

V-LITE 借鉴影视特效中的镀铬球光照探针机制，将单目自然视频的动态 HDR 光照估计重构为引导式视频补全任务，通过对数域 HDR 感知 VAE 与 LoRA 轻量微调，成功释放了大规模视频扩散模型内生的高保真时空物理光照先验。

研究背景与动机¶

从单目自然视频中恢复完整的动态高动态范围（HDR）环境图，是逼真增强现实、虚拟物体插入以及场景动态重照明的核心基石。然而在复杂非受控的真实场景中，相机剧烈运动、物体频繁遮挡以及非朗伯体多变材质的存在，导致相机能够观测到的光照信息高度不完整；传统物理反渲染方法往往被迫假设光照恒定、表面朗伯反射或几何已知，难以泛化至随手拍的自然视频。

现有的深度学习光照估计方法主要分为两类路径，但各自存在显著瓶颈：单图方法（如 DiffusionLight、StyleLight）逐帧独立估计时不可避免地产生严重的高光闪烁与色温突变，完全丢失了时间连贯性；而基于多视角或显式视频条件翻译的方案，大多先预测低动态范围（LDR）图像再做多曝光融合成 HDR，不仅计算开销极其昂贵（单个视频耗时长达数天），更将生成模型矮化为简单的像素翻译器，容易产生曝光融合伪影与颜色偏差。

与外挂翻译器的思路不同，以 Wan 2.1 为代表的现代视频扩散模型在无监督预训练中已经展现出极具物理真实感的光影交互与时空演化能力，说明其隐空间内天然蕴含了对真实世界光照传播的深层理解。本文的核心切入点是直接唤醒视频模型自身固有的光照先验。核心 idea：将单目视频动态光照估计重构成在场景中心补全虚拟镀铬球（Chrome Ball）的视频 inpainting 任务，配合对数域 HDR-aware VAE 与 LoRA 微调，仅用 80 秒即可从单目自然视频直接解码出时间连贯的 HDR 动态环境图。

方法详解¶

整体框架¶

V-LITE 基于流匹配（Flow Matching）架构的 Wan 2.1-1.3B 视频生成骨干，整体流程由三大协同模块构成：输入阶段首先在输入 LDR 视频中心放置掩码区域并分离场景与环境条件；核心生成阶段利用 HDR 感知 VAE 将表征压缩至稳定对数域，并在文本提示词（Prompt）与视觉条件控制下通过微调后的扩散 Transformer 补全物理逼真的镀铬反射球；最终阶段通过 HDR 解码器输出 HDR 视频，并经等距柱状投影（Equirectangular Projection）展开为 256×512 的全景 HDR 动态环境图序列。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入自然 LDR 视频<br/>中心施加圆形掩码 M"] --> B["条件解耦与编码<br/>环境区域与场景上下文分离"]
    B --> C["HDR 感知 VAE 映射<br/>可学习色调映射适配器转入对数域"]
    C --> D["固有光照补全生成<br/>LoRA 扩散 Transformer 补全反射球"]
    D --> E["HDR 逆映射与解码<br/>输出全时空 HDR 视频帧"]
    E --> F["等距柱状解包输出<br/>生成动态 HDR 环境图序列"]

关键设计¶

1. 光照探针视频补全：将全局逆向估计降维为局部物理反射合成

直接回归 360° 全景环境图需要模型从极度受限的视场角（FoV）向未知视角做激进的外推（Outpainting），容易出现几何畸变与虚假光源。V-LITE 借鉴影视工业特效（VFX）在片场放置镀铬反光球（Light Probe）记录全景照明的标准做法，将全局环境图反演转化为标准的视频中心区域 inpainting 任务。给定输入 LDR 视频 \(x_{\text{LDR}}\) 和中心圆形掩码 \(M\)，输入被构造成 \(x_{\text{input}} = x_{\text{LDR}} \odot (1-M) + C \odot M\)（\(C\) 为灰色常数）。模型被显式注入条件提示词 "A perfect mirrored reflective chrome sphere, near the camera, on top of everything"，迫使视频扩散模型充分利用周围场景随时间变化的高光、阴影运动与反射线索，自洽地在球体表面“折射并反射”出周围完整 360° 动态照明。补全完成后，仅需通过标准的球极投影逆变换 \(f_{\mathcal{R}}\) 即可将球体表面反射解包为全动态 HDR 环境图序列。

2. 对数域 HDR-aware VAE：打通 LDR 预训练基座与线性 HDR 表征的鸿沟

主流视频生成模型的 VAE 均针对 [0, 1] 区间的 LDR 内容预训练，无法直接表征包含数万倍亮度差异的线性 HDR 辐射率。以往采用多曝光生成再融合的方法极其耗时且易累积误差。V-LITE 提出在保留原有 LDR VAE 编码器 \(E\) 与解码器架构的前提下，在编码端与解码端分别嵌入轻量级的 3D 卷积可学习色调映射适配器（Tonemap Adapters）\(\mathcal{F}\) 与 \(\mathcal{G}\)。在 Rec. 2020 宽色域线性空间下，输入 HDR 信号首先被压缩至对数域，通过 3D 卷积与可学习缩放参数 \(\mathbf{s}\)、偏置 \(\mathbf{b}\) 动态适配极值动态范围：

\[x_{\log} = \mathbf{s} \cdot \log(x_{\text{HDR}} + \epsilon) + \mathbf{b} + \mathcal{F}(x_{\text{HDR}})\]

经过 LDR VAE 压缩至隐空间后，解码器 \(D_{\text{HDR}}\) 与逆色调映射层 \(\mathcal{G}\) 协同将对数域特征无损恢复回线性 HDR 域 \(x'_{\text{HDR}}\)。训练采用两阶段微调：第一阶段冻结 VAE 参数仅训练适配器建立稳定的对数流形；第二阶段解冻 VAE 解码器联合端到端微调，确保严苛色温与光斑强度的物理真实性。

3. 动静混合训练与加权流匹配：锚定真实绝对物理亮度与时空连续性

为了使预训练的扩散 Transformer 适应 HDR 隐空间，同时防止灾难性遗忘预训练的几何与运动物理常识，模型仅对注意力层施加秩为 32 的 LoRA 微调。然而真实拍摄的自然 HDR 动态视频极端匮乏，若仅用单曝光 LDR 伪逆色调映射视频，模型无法学到真实的太阳/天空光强比。为此，研究团队构建了动静混合的 V-LITESet 数据集，以 10:1 的比例将包含动态时空演化的 8K 动态视频序列与来自 PolyHaven 的 800 张超高精度静态 HDR 全景图（复制为静态视频序列作为绝对物理强度“锚点”）混合训练。在流匹配训练目标中，引入中心加权调制掩码 \(M' = 1 + (\alpha - 1) M\)（取 \(\alpha = 5\)）：

\[\mathcal{L} = \mathbb{E}_{z, \epsilon, t} \left[ \left\| M' \odot (v_{\theta}(z_t, \mathcal{C}, t) - v) \right\|_2^2 \right]\]

通过对中心探针补全区域施加 5 倍损失权重，强迫扩散模型将主要注意力聚焦在物理光照反射的精准生成上，同时兼顾背景画面向 HDR 域的保真映射。

损失函数 / 训练策略¶

模型基于 Wan 2.1-1.3B 架构在 8 块 NVIDIA H100 GPU 上训练 100K 步，全局 Batch Size 为 64，优化器选用 AdamW，学习率为 \(1 \times 10^{-5}\)。输入视频帧分辨率统一为 480×832，解包输出的 HDR 全景环境图为 256×512。推理时使用 ODE 数值求解器沿流场从 \(t=1\) 到 \(t=0\) 积分求解，单条视频仅需 80 秒即可生成全部帧的高清环境图。

实验关键数据¶

主实验¶

在 Editable Indoor 室内渲染基准和 EnvMapNet 主光源方向估计基准上的定量对比如下（表 1 原文数据，含 10 个视频子集评测与完整全集对比）：

方法	Editable Indoor MSE ↓	SI-MSE ↓	AER (rad) ↓	LS ↓	EnvMapNet AED (°) ↓	AS ↓	推理耗时 (s) ↓
DiffusionLight† [29]	0.10	0.05	4.58	0.03	40.07	16.76	145,800
Ours† (V-LITE)	0.09	0.03	4.68	0.03	42.53	15.96	80
DiffusionLightTurbo [11]	0.11	0.05	4.90	0.04	37.74	16.68	713
StyleLight [37]	0.13	0.07	6.01	0.05	44.22	17.83	2,002
Ours (V-LITE 全量)	0.10	0.03	4.77	0.03	41.63	16.30	80

注：† 表示在相同的 10 个视频测试子集上评测；LS（Lighting Stability）为 SI-MSE 随时间的标准差，AS（Angle Stability）为角度误差标准差；DiffusionLight 单视频耗时超过一天（145,800s），V-LITE 提速超 1800 倍。

消融实验¶

表 1 下半部分展示了不同关键模块剥离后在相同测试协议下的性能表现：

配置	Editable Indoor MSE ↓	SI-MSE ↓	AER (rad) ↓	LS ↓	EnvMapNet AED (°) ↓	AS ↓	说明
完整模型 (Ours)	0.10	0.03	4.77	0.03	41.63	16.30	完整 V-LITE 模型
LDR Baseline	0.11	0.04	5.45	0.03	44.71	15.87	无 HDR VAE 及微调，用真值曲线后处理逆色调映射
Frozen backbone	3.00	0.07	12.95	0.04	51.71	19.45	引入 HDR VAE 但未对扩散主干做微调（域不匹配严重）
Video-only	0.10	0.03	4.82	0.02	41.96	15.81	去除 800 张静态真实 HDR 图像锚点，仅用视频微调

关键发现¶

HDR 域对齐是生成有效性的前提：当把 HDR VAE 直接挂载至未经微调的扩散主干（Frozen backbone）时，MSE 急剧恶化至 3.00，AER 恶化至 12.95 rad，说明原本在 LDR 空间训练的 Transformer 无法直接解析 HDR 对数特征流形，必须通过 LoRA 完成隐空间对齐。
静态 HDR 锚点决定绝对辐射强度精度：仅使用视频数据训练（Video-only）时，虽然时序稳定性表现良好（LS 0.02），但在主光源角度精度（AED 41.96° vs 41.63°）和综合辐射度误差上落后于完整模型，证明真实静态 HDR 提供的绝对物理发光强度先验不可或缺。
虚拟物体插入用户评测卓越：在 Blender 3D 虚拟物体插入实验中，10 名受试者对 20 个复杂视频的盲测结果显示，V-LITE 的渲染真实感有 64% 被评为“Perfect”，28% 评为“Acceptable”；光照一致性有 66.5% 被评为“Perfect”，整体失败率低于 2%。

亮点与洞察¶

任务视角转换极其巧妙：没有采用生硬的网络拟合来预测高维环境贴图，而是巧妙利用影视特效中历经检验的物理反光球探针（Chrome Ball），将非直观的逆渲染问题转化为视频生成模型最擅长的条件局部 inpainting。
对数域轻量适配器保护预训练基模：通过在 VAE 首尾引入 3D 卷积对数色调适配器，仅耗费极少参数就打破了视频扩散模型原生仅支持 LDR 像素的死穴，使生成模型直接具备 Rec. 2020 宽色域 HDR 输出能力。
效率呈数量级跃升：相比于传统优化类或逐帧重扩散方法（如 DiffusionLight 需 145,800 秒），V-LITE 端到端前向推理仅需 80 秒，在实现更优光照时序稳定性的同时，使自然视频重照明与虚拟物体插入具备了真正的实用落地价值。

局限与展望¶

极端分布外场景的鲁棒性受限：模型依赖数据驱动学习，当遭遇极端畸变曝光、强反差剧烈频闪或极其罕见的特殊人造光源时，生成的镀铬球可能产生局部光照方向误判（论文中展示了失败案例）。
长序列视频生成的时序衰减：当前基础生成模型（Wan 2.1）在长程视频生成上仍存在上下文窗口限制，对于数分钟以上的超长视频，如何在无缝滑动窗口下保证极长程的光照色温绝对漂移一致性仍需进一步探索。
自阴影与非局部遮挡几何感知：目前探针默认置于相机视野正前方，若真实场景中存在强烈的局部空间深度阻隔（如穿过狭长隧道或树荫斑驳交错），单个中心探针无法完全反映多光源在空间各点复杂的遮挡衰减。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将光照估计优雅地转化为视频虚拟镀铬球补全，构思极富物理直觉与美感]
实验充分度: ⭐⭐⭐⭐⭐ [主实验、消融实验、动静数据集构建、真实物体插入盲测全方位闭环验证]
写作质量: ⭐⭐⭐⭐⭐ [动机叙述一气呵成，架构图与物理原理严丝合缝，实验与消融结论扎实]
价值: ⭐⭐⭐⭐⭐ [彻底解决单目视频动态 HDR 光照估计耗时长、时序抖动的痛点，具有极高工业落地价值]