SyncLight: Single-Edit Multi-View Relighting¶

会议: NeurIPS 2026
arXiv: 2601.16981
论文: https://arxiv.org/abs/2601.16981 https://openreview.net/forum?id=zkf4gdBviG
代码: https://color.cvc.uab.cat/synclight/
领域: 其他
关键词: 多视角重光照, 潜空间桥接匹配, 跨视角注意力, 单步推理, 参数化光源控制

一句话总结¶

SyncLight 提出一种免相机位姿的多视角室内场景生成式重光照框架，用户仅需在单张参考图像上点击光源并设定强度与色度，模型通过多视角扩散变换器与潜空间桥接匹配（Latent Bridge Matching），即可在单次前向推理中将光照编辑零样本扩展并严格一致地传播至任意视角。

研究背景与动机¶

在多机位广播、立体电影和虚拟制作等专业级影视与图形管线中，拍摄后对多视角画面的照明进行一致、精确的参数化重光照是一项关键但极具挑战性的基础任务。室内场景往往包含多组复杂的人工光源、相互遮挡以及严重的非局部间接光照与反弹。从有限的捕捉图像中恢复并编辑光照，本质上是一个病态的欠定逆问题，因为观测图像是由未知的几何、材质反射率和环境照明耦合渲染而成的，无法从单张或无标定图像中进行唯一的解耦。

现有的解决方案陷入了两难困境。一方面，基于逆渲染或神经辐射场（NeRF / 3DGS）的三维物理一致性方法依赖精确已知的相机位姿与密集的场景扫描，不仅需要耗费数十分钟乃至数小时进行逐场景优化，而且在几何估计存在误差或弱纹理区域极易产生严重的伪影；另一方面，以 LightLab 和 ScribbleLight 为代表的二维扩散生成模型虽然能生成逼真的单图光照重绘，但它们对各个视角进行独立处理，各视角之间缺乏刚性几何与光度约束，导致阴影朝向冲突、高光错位以及多相机间的光照严重不一致。近期如 GR3EN 和 LuxRemix 等尝试将生成先验蒸馏至 3D 表达的方法，依然要求显式的 3D 重建与逐视角密集标注分割掩码。

针对上述瓶颈，SyncLight 探索了一种纯二维生成式且免相机位姿（pose-free）的解决路径。其核心洞察在于：无需显式估计三维几何或恢复场景网格，利用预训练大规模图像扩散模型的先验，通过跨视角的注意力交互，模型能够隐式学会视角之间的对应关系与三维光度传播规律。核心 idea：将多视角重光照建模为基于多视角扩散变换器的条件潜空间流匹配问题，结合潜空间桥接匹配（LBM）实现仅需在单张参考视角上指定圆形光斑参数、即可在单步前向推理中将光照编辑零样本泛化至任意数量非标定视角的全局一致重光照。

方法详解¶

整体框架¶

SyncLight 的整体输入包含一组静态场景在源光照下的同步非标定图像集合，以及用户仅在选定的单张参考视角上标记的光源控制信号；输出为所有视角在目标照明下的重光照图像。整个处理流程在潜空间中以单步前向传播方式运行，无需任何相机内参、外参或显式三维几何代理。

系统首先利用预训练的 VAE 编码器将源图像集合编码为潜在表征。用户在参考视角上通过简单的圆形标记指定需要调节的光源位置，并输入其开关状态以及目标亮度和色度（在 CIE Lab 空间中定义）。该控制信号被编码为 4 通道光照图，在潜空间中与每个视角的潜在特征沿通道拼接（扩展为 8 通道输入）。随后，这些特征被送入经过结构改造的 Multi-View SDXL 骨干网络中。在每个变换器块内部，特征沿 token 维度拼接进行全局跨视角自注意力交互，使各视角能够感知参考视角的编辑意图并保持严格的几何与光度一致性。最后，通过潜空间桥接匹配的速度场估计器预测目标潜变量，经由 VAE 解码器重构出所有视角的最终重光照图像。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入同步未标定多视角图像<br/>参考视角与附加视角"] --> B["VAE 编码与潜变量构建"]
    C["参考视角单点交互<br/>点击光源设定 CIE Lab 亮度/色度"] --> D["4通道光照图编码与通道拼接"]
    B --> E["跨视角注意力变换器<br/>Token 级多视角特征联合自注意力"]
    D --> E
    E --> F["潜空间桥接匹配速度预测<br/>基于 LBM 的单步确定性前向传输"]
    F --> G["VAE 解码输出<br/>严格一致的全局重光照多视角图像"]

关键设计¶

1. 跨视角注意力变换器：解耦位姿依赖的隐式几何与光度交互 传统单视角扩散模型或独立批处理策略中，不同视角的特征被堆叠在批次维度（batch dimension），各视角之间互不通信，无法实现光照效果的 cross-view 传播。SyncLight 借鉴多视角生成思想，重构了 SDXL 的变换器模块：在执行跨视角注意力前，各视角的空间特征先经过独立的初始卷积，随后被展平并在 token/序列维度上拼接为形如 $[B, N \cdot T, F]$ 的统一表征，在此之上执行全局自注意力计算。这种机制使模型能够在完全不需要相机外参和深度图监督的前提下，利用自注意力权重的动态匹配，隐式建立跨视角的特征对应关系与空间遮挡推理。特别地，尽管训练阶段仅使用双视角图像对（$N=2$），但由于 token 级自注意力对输入序列长度天然无关，配合 FlashAttention 内存优化，SyncLight 在推理阶段能够零样本直接扩展到 $N > 2$（如 7、32 乃至 142 帧）的密集视角阵列，内存占用仅随视角数呈线性增长 $\mathcal{O}(N \cdot T)$。

2. 潜空间桥接匹配：多步随机监督与单步确定性前向推理 标准的潜在扩散模型（LDM）从纯高斯白噪声出发进行迭代去噪（通常需要 50 步以上），不仅推理极其缓慢，而且违背了图像重光照任务中“源图像已经包含大量场景纹理与空间结构”的前提特性。SyncLight 采用潜空间桥接匹配（Latent Bridge Matching, LBM）范式，构建连接源光照潜变量 $\mathbf{z}_{\text{src}}$ 与目标光照潜变量 $\mathbf{z}_{\text{tar}}$ 之间的随机插值路径： $$\mathbf{z}_{t}=(1-t)\mathbf{z}_{\text{src}} + t\mathbf{z}_{\text{tar}} + \sigma\sqrt{t(1-t)}\boldsymbol{\epsilon}, \quad \boldsymbol{\epsilon}\sim\mathcal{N}(0, \mathbf{I})$$ 其中噪声扰动系数取 $\sigma=0.005$。模型学习预测驱动潜变量演化的速度场 $\mathbf{v}_{\theta}(\mathbf{z}_t, t, c)$。关键在于，虽然训练过程中在 $t \in [0, 1]$ 之间均匀采样 4 个时间步以确保沿轨迹学习到良态、非平凡的速度场矢量（避免退化为单步回归带来的过拟合与脆性），但在推理时直接采用单步前向截断计算目标潜变量：$\hat{\mathbf{z}}_{\text{tar}} = \mathbf{z}_{\text{src}} + \mathbf{v}_{\theta}(\mathbf{z}_{\text{src}}, 0, c)$。由于源图像潜变量提供了极佳的初始点，单步推理避免了多步离散化积分累积的数值误差，在保持卓越视觉质量的同时将推理速度提升了 10 至 50 倍（双视角仅需 1.58 秒），契合实时/交互式生产管线需求。

3. 参考视角参数化光照图：解耦亮度与色度的极简交互 为了免除传统方法需要逐帧标注像素级精准分割掩码（如 LightLab、GR3EN）或估计 Plücker 光线嵌入（如 LuxRemix）的繁琐操作，SyncLight 将光照条件压缩为定义在参考视角上的 4 通道空间光照图 $L \in [-1, 1]^{H \times W \times 4}$。用户仅需在参考图像中可观测的光源位置点击并生成一个圆形标记：第 1 通道编码光源的启闭状态（1 为开启，-1 为关闭），第 2 至 4 通道采用 CIE Lab 颜色空间编码目标光照。采用 CIE Lab 相比 RGB 的核心优势在于将感知亮度（$L$）与色度通道（$a, b$）正交解耦，赋予用户独立调节照明强度和光色的直观控制力。在输入网络时，这一光照图统一广播并拼接到所有视角的输入潜变量中。即使在其他视角中该光源因视角旋转而位移、甚至被前景物体完全遮挡，模型内部的注意力机制也能通过参考视角的标记识别出具体物理灯具，并准确在其他视角中合成相应的全局反射与阴影变化。

损失函数 / 训练策略¶

SyncLight 采用端到端混合目标函数进行优化，联合约束潜空间速度场匹配与像素级感知重构： $$\mathcal{L} = \mathcal{L}_{\text{lbm}} + \lambda \mathcal{L}_{\text{pix}}^{0} + \lambda \mathcal{L}_{\text{pix}}^{1}$$ 其中潜空间流匹配损失为： $$\mathcal{L}_{\text{lbm}} = \mathbb{E}_{t, \mathbf{z}_{\text{src}}, \mathbf{z}_{\text{tar}}} \left[ \left|\left| \frac{\mathbf{v}_{\theta}(\mathbf{z}_t, t, c)}{1-t} - (\mathbf{z}_{\text{tar}} - \mathbf{z}_{\text{src}}) \right|\right|_2^2 \right]$$ $\mathcal{L}_{\text{pix}}^i$ 为第 $i$ 个视角预测图与真实图像之间的 LPIPS 感知损失，权重设为 $\lambda=10$。LPIPS 能够有效惩罚图像模糊和均值化倾向，迫使模型生成轮廓清晰、反差明确的刚性阴影边界与高光细节。

训练细节与数据集构建： - 模型以预训练 SDXL 为基础，首层卷积输入通道扩展为 8 通道（新增 4 通道零初始化）。在 6 张 NVIDIA A40 GPU 上训练 100,000 步，batch size 为 6，图像分辨率为 $1280 \times 720$，学习率为 $1 \times 10^{-5}$，耗时 8 天。 - 提出了包含近 100 万对图像的大规模混合数据集 SyncLight Dataset，采用逐个光源独立点亮（OLAT, One Light At a Time）方案，在线性色彩空间中通过线性组合生成任意照明配置：包含 365 个场景的 Infinigen 程序化生成数据（92 万对，提供几何先验）、40 个精细 BlenderKit 室内场景（4.7 万对，提供真实家具材质与灯具）以及通过 Canon 单反和 iPhone 遥控拍摄的 40 个真实物理场景（1.8 万对 RAW 格式图像，缩小现实域差距）。训练时对三个子集进行均匀采样以平衡领域分布。

实验关键数据¶

主实验¶

论文在 SyncLight 提出的留出测试集（覆盖 Infinigen、BlenderKit 与真实拍摄场景）上进行了严格评测。为了衡量视角之间的真三维几何一致性，论文引入了基于视觉几何基础模型 VGGT 的跨视角一致性指标 VGGTm (%)：计算模型生成的两视角间高置信度对应点数占 Ground Truth 两视角间对应点数的比例。

表 1：测试集多视角重光照定量对比（摘自原文表 1）

评估视角	方案	Infinigen (PSNR / SSIM / $\Delta E_{00}$)	BlenderKit (PSNR / SSIM / $\Delta E_{00}$)	Real captures (PSNR / SSIM / $\Delta E_{00}$ / LPIPS)	VGGTm (%)	推理时间 (s)
参考视角 (Ref.)	ScribbleLight	10.89 / 0.518 / 30.67	11.02 / 0.528 / 29.26	11.78 / 0.483 / 28.36 / 0.375	—	58.2
	Flux.2-dev	14.23 / 0.672 / 20.31	16.71 / 0.704 / 17.22	18.32 / 0.757 / 14.28 / 0.264	—	55.6
	LightLab*	29.86 / 0.941 / 3.08	26.38 / 0.907 / 4.92	28.42 / 0.880 / 4.61 / 0.199	—	1.17
	GR3EN	25.92 / 0.893 / 4.38	21.74 / 0.803 / 8.93	22.31 / 0.782 / 9.31 / 0.238	—	72.3
	SyncLight (本文)	31.32 / 0.950 / 2.47	27.16 / 0.915 / 4.02	30.34 / 0.895 / 3.73 / 0.196	—	—
第二视角 (Sec.)	Scribble+LNet	13.41 / 0.498 / 19.67	12.72 / 0.507 / 23.91	14.48 / 0.518 / 23.77 / 0.318	50.1%	69.6
	Flux.2-dev	12.75 / 0.617 / 25.82	14.92 / 0.604 / 20.40	16.35 / 0.685 / 19.13 / 0.305	52.7%	111.0
	LightLab*+LNet	17.36 / 0.817 / 7.89	15.92 / 0.863 / 9.82	20.46 / 0.815 / 8.46 / 0.279	68.3%	13.1
	GR3EN	25.88 / 0.891 / 4.47	21.43 / 0.800 / 9.08	22.03 / 0.772 / 9.52 / 0.244	82.7%	76.4
	SyncLight (本文)	31.45 / 0.949 / 2.45	28.19 / 0.925 / 3.72	30.23 / 0.897 / 3.56 / 0.197	95.8%	1.58
附加视角 (Add.)	Scribble+LNet	13.36 / 0.494 / 19.65	12.88 / 0.509 / 23.47	14.29 / 0.525 / 23.92 / 0.320	49.8%	89.7
	Flux.2-dev	12.55 / 0.616 / 26.03	14.90 / 0.606 / 20.03	16.21 / 0.678 / 20.42 / 0.328	54.1%	273.0
	LightLab*+LNet	17.22 / 0.808 / 8.35	16.07 / 0.871 / 10.43	20.40 / 0.809 / 8.93 / 0.287	66.8%	38.5
	GR3EN	25.94 / 0.894 / 4.32	21.55 / 0.804 / 8.94	21.87 / 0.769 / 9.72 / 0.246	82.1%	91.9
	SyncLight (本文)	31.42 / 0.941 / 2.57	28.01 / 0.929 / 3.78	30.44 / 0.905 / 3.57 / 0.194	94.9%	2.38

在未参与训练的外部基准 LuxRemix 数据集（500 对未见图像）测试中，SyncLight 在第二视角上达到 25.97 dB PSNR、0.808 SSIM 与 90.6% VGGTm，分别领先 GR3EN 达 5.11 dB，领先 LightLab*+LNet 达 11.09 dB。

消融实验¶

论文在真实数据划分的第二视角（Real split - Second view）上进行了系统消融，验证了各数据子集、网络结构与流匹配设计的关键贡献。

表 2：方法组件与数据源消融分析（摘自原文表 4, 5, 6, 7）

消融维度	配置变体	PSNR (dB)	SSIM	$\Delta E_{00}$	LPIPS	说明
网络结构	移除跨视角模块 (w/o MV-SD)	22.47	0.833	5.03	0.236	性能断崖式下跌 7.76 dB，证明跨视角注意力是传播编辑的核心
数据集划分	移除真实数据 (w/o Real)	25.61	0.860	4.92	0.238	掉点 4.62 dB，说明实拍数据在跨越真实域鸿沟中不可或缺
	移除程序化数据 (w/o Infinigen)	26.91	0.863	4.59	0.281	掉点 3.32 dB，几何多样性先验受损
	移除高质量资产 (w/o BlenderKit)	27.29	0.872	4.42	0.247	掉点 2.94 dB，灯具与家具多样性受损
训练步数 $T_{\text{train}}$	单步训练 $T_{\text{train}}=1$ (退化为 L2)	25.47	0.858	5.02	0.243	掉点 4.82 dB，验证了多时间步监督能构建平滑向量场
	四步训练 $T_{\text{train}}=4$ (默认)	30.29	0.896	3.65	0.196	具备良好泛化性的流场路径
推理步数 $T_{\text{infer}}$	单步推理 One-step (默认)	30.29	0.896	3.65	0.196	速度最快且指标最高（源潜变量提供强初值，无累积积分误差）
	双步推理 Two-step	30.04	0.893	3.71	0.197	离散累积误差导致指标轻微下降
	四步推理 Four-step	29.98	0.893	3.74	0.200	步数增多指标反而略微劣质化
桥接噪声 $\sigma$	确定性流匹配 $\sigma=0$	29.71	0.883	3.91	0.203	缺乏随机轨迹扰动，泛化能力偏弱
	最优随机扰动 $\sigma=0.005$	30.29	0.896	3.65	0.196	轨迹平滑性与保真度达到平衡
	过大扰动 $\sigma=0.01$	26.48	0.863	4.76	0.228	噪声破坏了源潜变量先验导致重光照失真
完整模型	SyncLight (Full Model)	30.23	0.897	3.56	0.197	真实数据测试集第二视角全项最优

关键发现¶

跨视角注意力的双向促进效应：引入第二视角的特征自注意力交互后，参考视角本身的 PSNR（31.32 dB）甚至超过了仅专精于单视角重光照的强基线 LightLab*（29.86 dB）。这证明多视角几何互补信息（如另一视角可见的漫反射反弹或遮挡几何线索）有助于反哺单视角本身的光照预测。
对大视角夹角具有极强的鲁棒性：当参考视角与第二视角夹角在 $0^{\circ}$ 至 $180^{\circ}$ 间剧烈变化时，SyncLight 的 PSNR 曲线始终维持在 30 dB 左右的平稳高位，证明模型是在三维物理空间中推理阴影投射和光色反弹，而非简单地对临近像素进行纹理拷贝。
出色的视角数量扩展性：在 BlenderKit 上将视角数从 $N=2$ 扩展至 $N=32$ 时，PSNR 始终稳定在 27.8~28.1 dB，显存仅从 15.4 GB 增加至 20.9 GB；在单张 RTX 4090 上可处理高达 96 个 2K 分辨率视角。

亮点与洞察¶

将多视角光度一致性转化为序列维度的注意力交互：巧妙避开了逆渲染不可解的欠定反求过程与 NeRF 依赖密集位姿的脆弱优化，让图像生成模型的先验直接充当三维光照传输媒介。
训练用多步、推理仅一步的 LBM 机制：充分利用源图像潜变量天然包含场景轮廓的特性，通过训练期多时间步监督得到平滑流场，在推理期单步直达目标分布，打破了扩散模型速度瓶颈。
极简用户交互界面与自适应遮挡处理：单张参考图的一个圆圈即代表全部控制指令，即使该光源在其他摄像机视角中完全处于盲区或被遮挡，模型依然能够准确感知其空间影响并生成全局物理反射。

局限与展望¶

光源几何形状先验受限：当前采用圆形标记控制点光源/局部面光源，对于大型复杂天窗、条形灯带以及室外自然天空光照的处理能力相对有限。
静态场景假设：模型目前假设捕捉瞬间场景几何保持静止，扩展至动态多人或物体运动的多相机视频阵列需进一步融入时间维度的协同匹配。
极端复杂灯具的漏检风险：在视觉线索极其匮乏、高度过曝或结构异常繁复的定制艺术吊灯场景中，缺乏显式几何深度先验可能导致高光反射位置发生微小偏移。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次实现免位姿、单参考图点击交互、单步推理的任意多视角参数化室内重光照]
实验充分度: ⭐⭐⭐⭐⭐ [构建近百万级 OLAT 混合数据集，涵盖程序化、高质量三维与实拍 RAW 数据，定量引入 VGGTm 几何一致性评测及大规模用户调研]
写作质量: ⭐⭐⭐⭐⭐ [论文逻辑严密，图表详实，问题切入与设计动机交代极为清晰]
价值: ⭐⭐⭐⭐⭐ [为影视虚拟制作、多相机广播和 3DGS 新视角渲染下游提供了生产级的高效重光照工具]