Temporally Stable Generative Illumination with a One-Step Diffusion Model¶

会议: ECCV 2026
论文: ECCV 2026
领域: 图像生成
关键词: 神经光照生成, 全局光照, 单步扩散模型, 时序自编码器, 屏幕空间渲染

一句话总结¶

针对神经全局光照生成推理缓慢与时序闪烁的瓶颈，本文提出基于蒸馏单步扩散模型和双 Adapter 多条件注入的屏幕空间间接光照生成方案，并搭配即插即用的时序 VAE 解码器，在单帧仅需 0.29 秒下实现了几何严格对齐且高度时序稳定的前向神经渲染。

研究背景与动机¶

基于物理的图像合成是计算机图形学与视觉的核心，渲染方程对场景光线传输的模拟是生成逼真图像的基础。光线追踪与路径追踪虽然能够逼真刻画复杂光影交互，但其计算代价严重依赖场景几何和材质复杂度，难以满足实时交互需求。屏幕空间近似技术（如 G-buffer 表示）能够将渲染成本与场景几何复杂度解耦，而近年来以神经渲染与扩散模型为代表的生成技术，凭借从大规模数据学到的强先验，展现出直接合成逼真光照的巨大潜力。

然而，将大规模扩散模型引入前向光照渲染面临两大严峻矛盾。一方面，传统扩散模型的多步迭代去噪过程极度耗时，无法应对长视频序列的高帧率生成，而直接引入视频扩散模型（Video Diffusion）则带来不可承受的计算开销与显存膨胀；另一方面，逐帧使用 2D 潜在扩散模型极易在时间轴上产生剧烈的高频闪烁与伪影，且简单拼接条件图像极易破坏扩散 UNet 的特征分布，导致生成光照与输入的法向、几何结构产生严重幻觉错位。

本文的切入角度是：将神经全局光照解构为「直接光引导的单步去噪」与「跨帧运动补偿的时序潜在解码」解耦两阶段。核心 idea：基于单步潜在扩散模型（SD 2.1-Turbo），结合反照率解调-调制机制与双 Adapter 多尺度多条件注入生成间接光照，并在推理阶段替换为集成运动向量重投影历史编码器的时序 VAE 解码器，实现无需视频扩散开销的高保真、时序稳定前向全局光照合成。

方法详解¶

整体框架¶

本文将屏幕空间全局光照（GI）近似建模为多条件约束的图像生成任务。输入包括渲染引擎提取的内生几何与材质特征（法线、反照率、粗糙度、金属度）以及光照线索（直接光、单采样稀疏噪声 GI、辐射度线索）。首先在输入处理阶段对直接光进行反照率解调并做 $\mu$-Law 色调映射；随后将带噪直接光潜码送入单步扩散 UNet，同时利用双 T2I-Adapter 分别注入材质几何与光照特征；最后扩散生成的潜码由时序 VAE 解码器结合前一帧历史特征进行时序平滑解码，再经反色调映射与反照率调制恢复高频纹理与直接光合成最终全局光照。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据流<br/>直接光 / G-buffer / 稀疏光照线索"] --> B["反照率解调与色调映射<br/>消除纹理干扰与 HDR 动态压缩"]
    B --> C["双 Adapter 多尺度条件注入<br/>解耦注入几何材质与多跳光照特征"]
    C --> D["单步去噪扩散 UNet<br/>SD-Turbo 潜在空间快速预测间接光"]
    D --> E["时序 VAE 解码器<br/>运动向量重投影与历史特征融合解码"]
    E --> F["反调制与直接光合成输出<br/>恢复真实动态范围与表面纹理"]

关键设计¶

1. 反照率解调与非线性色调映射：解耦纹理与光照生成 直接在包含丰富纹理与高对比度颜色的画面上预测间接光照，极易造成扩散模型生成与材质无关的光斑幻觉。为此，方法在输入阶段将直接光照除以反照率（Albedo Demodulation），去除表面贴图对扩散先验的干扰，使模型专注于光线传输机制的纯净辐射度推断。针对真实渲染中高动态范围（HDR）辐射度超出预训练 VAE 编码分布的问题，采用 $\mu$-Law 色调映射（设定 $\mu = 5011$）将最高 1000 nits 的线性辐射度精确非线性压缩至 $[0.0, 1.0]$ 区间： $$y = \frac{\ln(1 + \mu x)}{\ln(1 + \mu)}$$ 在解码生成间接光照后，系统应用逆 $\mu$-Law 色调映射恢复至线性物理空间，再乘以反照率恢复表面材质与微观纹理细节，最后与原始直接光合成最终画面。

2. 双 Adapter 多尺度特征注入：规避条件拼接分布偏移 在单步去噪模型中，若将法线、粗糙度、金属度、稀疏噪声 GI 等诸多条件通道直接与潜在噪声在通道维度拼接，会导致输入分布严重偏离预训练单步骨干网络，造成严重的生成结构崩溃。本文采用两个轻量级 T2I-Adapter 分工协作：一个专门编码几何与材质约束（法线、粗糙度、金属度），另一个专门编码光照线索（1-spp 噪声单跳 GI、辐射度线索）。各 Adapter 提取的多尺度空间特征被等权相加并注入到 UNet 各阶段下采样与上采样层中。实验表明，将稀疏噪声 GI 经 Adapter 分层注入，相较于直接作为 VAE 潜在输入，能显著提升镜面高光与多跳光泽反射的保真度。

3. 时序 VAE 解码器（TVAE）：即插即用的轻量长时一致性机制 常规 VAE 解码器对每一帧潜在向量独立反卷积解码，潜码极其细微的波动就会被解码器放大为强烈的屏幕高频闪烁。为避免视频扩散模型昂贵的 3D 注意力开销，本文设计了独立的时序 VAE 解码器，在推理时无缝替换原始冻结的 SD-VAE 解码器。TVAE 引入紧凑的卷积下采样历史编码器（History Encoder），接收由运动向量（Motion Vectors）重投影对齐后的前一帧输出，在多尺度下提取时间上下文，并通过零卷积层（Zero Convolutions）残差注入到解码器各个主干层。在当前潜在特征与重投影历史区域一致处强力约束像素连续性，从而完全消除了视频闪烁。

损失函数 / 训练策略¶

模型采用解耦的两阶段独立训练策略： - 扩散 UNet 与 Adapter 联合微调：保持预训练 SD-VAE 冻结，以 SD 2.1-Turbo 权重初始化 UNet，采用 DDIMScheduler 在 $t = 499$ 步加噪。优化目标设定在像素空间，联合监督预测图像与真实高采样参考帧之间的 $L_1$ 损失与感知损失： $$\mathcal{L}_{\text{diff}} = \mathcal{L}_1(I_{\text{pred}}, I_{\text{ref}}) + \lambda_{\text{LPIPS}} \mathcal{L}_{\text{LPIPS}}(I_{\text{pred}}, I_{\text{ref}})$$ 使用 AdamW 优化器（$\beta_1 = 0.9, \beta_2 = 0.999$，权重衰减 $0.01$，学习率 $5 \times 10^{-5}$），在 AMD Instinct™ MI210 GPU 上以 batch size 32 训练 50 个 epoch。 - 时序 VAE 解码器微调：保持 VAE 编码器冻结，以 sd-vae-ft-mse-original 初始化解码器。训练时向当前帧真实潜码中注入高斯噪声，迫使历史编码器引导解码器重建当前帧，以像素空间 $L_1$ 损失优化 10 个 epoch；同时在 DIV2K 数据集上以零历史帧作为输入联合训练标准 VAE 重建，杜绝长时间推断下的色彩漂移与退化。

实验关键数据¶

主实验¶

在包含动态相机轨迹、移动光源和复杂物体材质的合成室内测试序列（分辨率 $512 \times 512$）上，对本文方法与神经 GI 基准 BCNN、扩散前向渲染模型 RGB↔X 以及视频扩散模型 DiffusionRenderer 进行了全方位客观评估（其中 White Room、Kitchen、Living Room 为训练集未见过的全新场景）：

场景	指标	BCNN	RGB↔X	DiffusionRenderer	本文 (Ours)
White Room	PSNR↑ / SSIM↑ / LPIPS↓ / FovVDP↑	33.18 / 0.97 / 0.04 / 6.8811	10.21 / 0.65 / 0.26 / 0.6669	18.70 / 0.79 / 0.13 / 3.0763	33.80 / 0.98 / 0.04 / 7.0661
Kitchen	PSNR↑ / SSIM↑ / LPIPS↓ / FovVDP↑	21.93 / 0.88 / 0.11 / 6.0229	16.68 / 0.53 / 0.36 / 4.5451	13.46 / 0.58 / 0.38 / 3.8247	23.96 / 0.91 / 0.10 / 6.4124
Living Room	PSNR↑ / SSIM↑ / LPIPS↓ / FovVDP↑	21.41 / 0.83 / 0.15 / 5.1514	14.43 / 0.58 / 0.28 / 3.3022	16.33 / 0.57 / 0.27 / 2.9937	23.63 / 0.86 / 0.14 / 5.8753
Staircase	PSNR↑ / SSIM↑ / LPIPS↓ / FovVDP↑	25.86 / 0.95 / 0.05 / 6.1955	18.98 / 0.60 / 0.22 / 4.1449	13.84 / 0.50 / 0.27 / 3.1187	30.23 / 0.97 / 0.04 / 6.4422
Shadow Room	PSNR↑ / SSIM↑ / LPIPS↓ / FovVDP↑	19.39 / 0.90 / 0.10 / 4.8756	14.34 / 0.79 / 0.16 / 2.6496	12.11 / 0.74 / 0.23 / 2.2668	21.12 / 0.95 / 0.05 / 5.8838

消融实验¶

在视频感知质量指标 CGVQM（兼顾空间失真与时序伪影）上的消融实验，验证了 TVAE 解码器与反照率解调组件对生成质量的决定性作用：

测试场景	完整模型 (Ours)	去除 TVAE (w/o TVAE)	去除反照率解调 (w/o Demod.)	两者皆去除 (w/o Both)
White Room	80.36	80.60	75.18	75.99
Kitchen	75.97	74.74	73.86	72.86
Living Room	75.08	73.95	74.02	73.39
Staircase	69.80	70.18	60.94	60.27
Shadow Room	87.23	86.55	87.66	87.91

同时在真实 RTX 3090 GPU 上，针对 $512 \times 512$ 分辨率进行的推理效率对比表明：本文方法单帧耗时仅需 0.29 秒（显存占用 8.68 GB），轻量条件版 Ours-C 仅耗时 0.284 秒（显存 7.97 GB）；而 RGB↔X 耗时 3.25 秒，基于 24 帧视频扩散的 DiffusionRenderer 耗时高达 52.09 秒且显存占用 21.81 GB。本文速度达到 baseline 的 11× 至 179×。

关键发现¶

反照率解调对结构保真度影响最显著：缺少解调时，在含丰富几何贴图的场景（如 Staircase）中 CGVQM 从 69.80 断崖式跌落至 60.94，生成结果充斥着与光照无关的纹理幻觉斑块。
时序感知指标 FovVDP 表明：RGB↔X 因单帧无约束去噪导致长视频闪烁剧烈（White Room 仅 0.6669），DiffusionRenderer 因硬切 24 帧视频拼接在边界处产生跳变（FovVDP 仅 3.0763），而本文凭借 TVAE 的连续运动对齐历史注入达到了 7.0661。
双 Adapter 架构对比单 Adapter 能够将间接光照与材质反射解耦，专用光照 Adapter 显著增强了光滑台面与金属表面的镜面高光与多跳反射真实度。

亮点与洞察¶

将时序一致性后置到 VAE 隐式解码阶段：规避了直接修改扩散 UNet 引入时序注意力的沉重计算负担，使用零卷积注入重投影前帧特征，在完全不降低单步扩散推理吞吐的前提下根治了高频闪烁。
解耦式条件注入与反照率调制的协同：通过反照率除法让扩散模型单纯预测光照辐射流，输出端再行调制还原，使得大模型强大的生成先验精准服务于间接光照而非破坏既有几何材质。
对无精确 G-buffer 真实场景的强泛化鲁棒性：仅需单通道亮度线索与反演的粗糙内生特征（Ours-C），甚至在利用 RAFT 光流替代运动向量时，仍能在真实无标注图像与长视频序列中维持高度稳定的重着色。

局限与展望¶

深层遮挡阴影与远距离反射瑕疵：在完全处于直射阴影背光面的区域，多跳漫反射阴影偶尔出现欠预测；对于距离较远物体的复杂反射，由于训练数据中长程高光样本有限，反射颜色会出现轻微丢失。
对运动向量的先验依赖：TVAE 当前设计依赖精确的运动向量进行跨帧重投影；尽管通过 RAFT 光流能够在真实世界视频上运行，但在光流估计模糊的边界区域易产生过平滑现象。未来探索无需显式运动向量（Motion-Vector-Free）的自适应时序特征对齐机制极具价值。

评分¶

新颖性: ⭐⭐⭐⭐☆ 巧妙利用单步扩散与外置时序 VAE 解码器解耦光照生成与时间稳定性。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖合成与真实世界场景，详尽汇报 PSNR、FovVDP、CGVQM 及帧率显存开销。
写作质量: ⭐⭐⭐⭐⭐ 架构与消融逻辑环环相扣，实验与动机紧密对应。
价值: ⭐⭐⭐⭐⭐ 为游戏与虚拟制作领域的实时/近实时神经全局光照提供了极具工业落地潜力的范式。