跳转至

Do Image Editing Models Understand Lighting?

会议: NeurIPS 2026
arXiv: 2606.26738
OpenReview: https://openreview.net/forum?id=YDISH8weQa
论文: Project Page
领域: 图像生成
关键词: 图像编辑评测, 物理光照传输, 真实场景HDR数据集, 光度不变性指标, 重光照分析

一句话总结

本文提出了基于 1,000 对真实室内高动态范围（HDR）开关灯图像对的 3D-anchored Light Probe (3DLP) 基准，并设计了对全局白平衡、曝光与光源色温强度变化完全不变的 标准化强度误差（SIE） 与 低频梯度误差（LFE） 两个像素级物理指标，系统揭示了主流图像编辑模型在真实物理光线传输上的能力边界与视觉语言模型（VLM）评判的失效现象。

核心贡献

  • 真实世界 3D 锚定光探针 HDR 数据集（3DLP Dataset）：采集了 1,000 对真实室内场景下的高动态范围（14-bit 双组 9 档曝光融合）开关灯配对图像，灯座与球形灯泡在画面中完整可见以锚定三维空间位置；并对高光、投射阴影、环境阴影以及金属、镜面、透明材质等关键光学交互区域（占总像素 10.92%）进行了精细的多边形标注。
  • 抗摄影参数偏移的像素级物理评测指标（SIE 与 LFE）：针对生成模型在开关灯编辑时自发调整全局曝光、白平衡以及灯泡发光强度和色温的问题，推导出比值图像空间下的逐通道仿射变换模型，并基于中位数与中位绝对偏差（MAD）构建了严格仿射不变的标准化强度误差（SIE）与低频衰减梯度误差（LFE），克服了传统 PSNR/SSIM/LPIPS 对白平衡极其敏感且无法惩罚“不作为模型”的缺陷。
  • 主流图像编辑模型与 VLM 裁判的系统性物理评测：对 6 个最先进的商业与开源图像编辑模型（及 2 个扩展模型）进行了全面评测，发现商业模型 Nano Banana Pro 综合排名第一、开源模型 Qwen-Image-Edit 位列第三且显著领先其他开源模型；同时揭示了所有模型在远离光源的低光强区域误差显著增大，且 Gemini 3.1 Pro 和 GPT-5.5 等 VLM 在二元 A/B 测试中甚至偏好带有伪影的生成图像，无法胜任像素级物理光照传输评估。

研究背景与动机

指令驱动的图像编辑模型近年来在非编辑区域的像素级场景保持能力上取得了突破性进展，这使得它们不仅被广泛用于商业摄影虚拟商品插入和影视背景重光照，还频繁作为本征图像分解、单目深度估计和室内光照估计等下游视觉任务的基座模型。然而，一个根本性的科学问题始终悬而未决：这些生成式图像编辑模型究竟在底层真正理解了三维几何与材质交互的物理光线传输规律，还是仅仅拟合了迎合人类视觉感知的浅层外观先验？如果缺乏严格的像素级物理验证，下游任务的瓶颈究竟源于特定方法设计还是基座模型物理先验缺失便无从厘清。

现有评测体系难以回答这一问题。一方面，主流图像生成与编辑基准普遍依赖视觉语言模型（VLM）打分或人类主观偏好，这类方案关注的是宏观语义合理性而非辐射度量学（radiometric）精度，极易忽略局部阴影方向错误或高光缺失；而传统的像素指标（PSNR、SSIM、LPIPS）不仅对模型自动施加的全局色温与曝光调整高度敏感，在面对完全没有开灯的“原图照抄”输出时甚至会给出接近最优的高分。另一方面，在测试数据层面，OLAT（One-Light-at-a-Time）光场采集局限于孤立物体而非复杂室内全场景，合成渲染数据集存在难以消除的真实感域差，而现有的少量真实开关灯数据集要么使用手机拍摄缺乏高精度线性辐射校准，要么包含几何形状复杂的灯具，导致发射光场歧义与光线传输误差相互纠缠。

为了将“物理光线传输能力”从“灯具几何歧义”与“全局摄影风格偏移”中彻底解耦出来，作者注意到最新编辑模型近乎完美的非目标区域对齐能力使得像素级比值分析成为可能。如果在真实室内场景中放置一个底座和球形灯泡均清晰可见的落地灯，模型的三维空间定位歧义与各向同性发光模式歧义便被最小化；再通过线性辐射空间下的图像比值与鲁棒统计标准化，就能精确剥离模型自发调整的曝光、白平衡与光源强度。核心 idea：构建包含 1,000 对真实室内 14-bit HDR 开关灯图像及精细材质/光效标注的 3D 锚定光探针（3DLP）基准，并利用在线性比值空间具有逐通道仿射不变性的标准化强度误差（SIE）和低频梯度误差（LFE），在像素级别定量测定图像编辑模型的真实物理光照传输能力。

方法详解

整体框架

3DLP 评测管线的核心目标是在不限制生成模型自由选择灯泡亮度、色温以及全局相机白平衡与曝光的前提下，严格对比模型生成的开关灯编辑结果与真实世界物理辐射测量值。整体流程分为三个核心阶段：首先通过固定相机参数的多曝光包围采集与校准，获取线性空间下的真实开灯图像 \(I_{R}^{\text{on}}\) 与关灯图像 \(I_{R}^{\text{off}}\)，并将吨映射（tonemapped）后的 8-bit sRGB 图像输入待测模型以生成对应的反向状态图像 \(I_{AI}^{\text{on/off}}\)；随后在线性 RGB 空间计算编辑图像与真实参考图像相对于背景状态的辐射比值图像，并应用有效性掩码剔除过曝截断、极低信噪比及窗户区域；最后通过基于中位数与中位绝对偏差（MAD）的鲁棒标准化算子，分别计算衡量全局光强分布的标准化强度误差（SIE）与衡量平滑光衰减及朗伯着色梯度的低频误差（LFE）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：真实室内场景采集<br/>Sony α6600 14-bit RAW 双9档包围曝光"] --> B["三维锚定光探针数据构建与标注<br/>堆栈降噪、HDR融合、畸变/暗角校正与区域标注"]
    B --> C["双向指令编辑推理与线性化<br/>输入1024×1536 sRGB，生成开/关灯图并逆sRGB线性化"]
    C --> D["物理辐射比值建模与掩码过滤<br/>计算比值图 E_R 与 E_AI，应用有效掩码 Ω"]
    D --> E["鲁棒标准化强度误差（SIE）<br/>中位数-MAD标准化消除仿射偏移，计算全图MAE"]
    D --> F["去强边缘低频梯度误差（LFE）<br/>Sobel梯度提取，80%分位掩码 Ω_80 过滤后计算MAE"]

关键设计

1. 三维锚定光探针数据构建与标注：消除空间深度与发光几何歧义的高精度 HDR 采集

现有真实重光照数据要么无法提供精确的辐射地面真值，要么因灯具遮光罩复杂、悬挂高度不明导致模型无法推断光源的三维坐标与发射模式。为此，3DLP 在多样化的真实室内场景（包含 425 个自然光、190 个人工光和 385 个混合光场景）中统一采用带有清晰可见底座与黑色灯杆的单一约 2500 流明球形灯泡作为“光探针”（Light Probe）。底座和灯杆的完整可见性将该点光源锚定在场景三维几何中，而球形灯泡具备简单的径向发射分布，使评测聚焦于光线与场景几何、材质的传输交互而非灯具形状猜测。在硬件采集上，每个视角固定对焦距离（约 1.5m）、光圈（f/8.0）以及以开灯状态标定的基准曝光时间，在开灯与关灯两种状态下分别拍摄两组 14-bit、9 档曝光（步长 1.0 EV）的 RAW 图像序列；通过两组曝光平均降低传感器噪声后融合为线性 HDR 图像，并利用 EXIF 参数消除镜头畸变与暗角。每个相机视角采集 5 个不同光探针位置的图像对，总计 1,000 对。此外，为了防止关灯图 \(I_{R}^{\text{off}}\) 欠曝影响模型理解，输入模型前根据 EXIF 将其回调至 0 EV 基准曝光，并在评测时将模型输出统一还原至真实开灯图的基准曝光且缩放至 \(832\times 1248\) 分辨率。团队还基于真实差分图 \(I_{R}^{\text{on}} - I_{R}^{\text{off}}\) 手工标注了三类核心区域（共占 10.92% 像素）：困难材质（金属、镜面、透明物体）、光探针产生的直接投射阴影与高光，以及关灯图中已有的环境光高光与环境阴影。

2. 物理辐射比值建模与掩码过滤：将未知的光源属性与相机白平衡转化为逐通道仿射关系

现代生成式编辑模型（如 Flux 2、Nano Banana 系列）在执行开灯或关灯指令时，往往会像专业摄影师一样自动调整整张照片的全局曝光与白平衡（用逐通道三维常数向量 \(K\) 表示），同时模型生成的灯泡亮度和色温也是未知且不可控的（用逐通道正向量 \(C > 0\) 表示）。如果直接在线性空间做差值对比，这些全局摄影调整会严重污染物理光线传输的测量。为此，作者提出了针对开灯与关灯任务的物理成因假设：记光探针在场景中产生的真实直接与间接辐射贡献为 \(L_{R} = I_{R}^{\text{on}} - I_{R}^{\text{off}}\)，则开灯任务生成的图像满足 \(I_{AI}^{\text{on}} = C \odot L_{R} + K \odot I_{R}^{\text{off}}\)，关灯任务生成的图像满足 \(I_{AI}^{\text{off}} = K \odot I_{R}^{\text{on}} - C \odot L_{R}\)。将开灯状态除以真实关灯背景图（或将关灯状态除以真实开灯图），即可定义开灯比值图像 \(E_{AI}^{\text{on}} \coloneq I_{AI}^{\text{on}} / I_{R}^{\text{off}}\) 与 \(E_{R}^{\text{on}} \coloneq I_{R}^{\text{on}} / I_{R}^{\text{off}}\)（关灯任务对称定义为 \(E_{AI}^{\text{off}} \coloneq I_{AI}^{\text{off}} / I_{R}^{\text{on}}\) 与 \(E_{R}^{\text{off}} \coloneq I_{R}^{\text{off}} / I_{R}^{\text{on}}\)）。经过这一比值变换后，模型输出比值与真实物理比值之间在每个颜色通道上严格退化为一个未知的全局线性缩放与平移（即逐通道仿射变换）：

\[E_{AI}^{t} = C \odot E_{R}^{t} + K - C, \quad t \in \{\text{on}, \text{off}\}\]

为了确保比值计算在辐射度量上有效，评测引入了严格的有效性掩码 \(\Omega\)，自动剔除三类无效像素：其一是真实图或生成图在 sRGB 空间任一通道发生过曝或欠曝截断（clipping）的像素；其二是极低信号区域，即先用标准差为 \(\sigma = 0.02 \cdot \max(\text{height}, \text{width})\) 的高斯核平滑真实光照贡献 \(L_{R}\)，剔除平滑均值低于其 99% 分位数 1% 的远端暗区（平滑操作能保留强光照附近的锐利投射阴影）；其三是所有标注为未遮挡窗户的像素，因为室外景物移动或云层变化会破坏室内重光照真值的一致性。

3. 鲁棒标准化强度误差（SIE）与去强边缘低频梯度误差（LFE）：兼顾全局光强结构与局部平滑衰减的仿射不变度量

由于比值图像 \(E_{AI}^{t}\) 与 \(E_{R}^{t}\) 之间仅相差逐通道的正向缩放 \(C\) 和平移 \(K - C\)，任何对正仿射变换 \(x' = cx + k\ (c>0)\) 保持不变的标准化算子都能彻底消除摄影参数与光源强度的影响。考虑到 AI 生成图像常伴有高频伪影，且 8-bit sRGB 图像中的高斯噪声在逆伽马线性化后会演变为长尾分布，传统的均值-方差标准化极不稳定。本文因此采用基于中位数（median）与中位绝对偏差（MAD）的鲁棒标准化算子 \(\mathcal{S}(X) = (X - \text{median}(X)) / \text{MAD}(X)\)。在此基础上，标准化强度误差（SIE） 直接计算真实比值图与生成比值图在有效掩码 \(\Omega\) 内的逐通道标准化平均绝对误差，用于评估场景全局光强分布的准确性；而 低频误差（LFE） 则专门评估平方反比光强衰减与朗伯（Lambertian）表面漫反射着色的平滑空间过渡。由于比值图像的原始空间梯度 \(|\nabla E|\) 会被物体几何边界或纹理等高频边缘主导（生成模型在这些高频边缘上的微小像素错位会掩盖真实的光衰减梯度），LFE 首先计算各通道的 Sobel 梯度幅值 \(G_{E} = |\nabla E|\)，并构建边缘过滤掩码 \(\Omega_{80}\)——仅保留真实图与生成图的梯度幅值同时低于各自 80% 分位数的平滑区域像素。由于正数缩放 \(c\) 不改变梯度的单调排序，\(\Omega_{80}\) 的像素选择本身对 \(C\) 和 \(K\) 完全不变，随后在 \(\Omega \cap \Omega_{80}\) 上对梯度幅值执行 \(\mathcal{S}(\cdot)\) 标准化并计算 MAE。

损失函数 / 训练策略

本文为纯基准测试与物理评测方法工作，不涉及模型参数训练或损失函数优化，其核心数学度量方程汇总如下。

对于鲁棒标准化算子 \(\mathcal{S}(\cdot)\)，给定任意正仿射变换 \(x' = cx + k\ (c>0)\)，由于 \(\text{median}(cx+k) = c\cdot\text{median}(x)+k\) 且 \(\text{MAD}(cx+k) = c\cdot\text{MAD}(x)\)，可得严格仿射不变性：

\[\mathcal{S}(X) = \frac{X - \text{median}(X)}{\text{MAD}(X)}, \quad \mathcal{S}(cX + k) = \mathcal{S}(X)\]

基于该算子，开灯与关灯任务 \(t \in \{\text{on}, \text{off}\}\) 的 标准化强度误差（SIE） 定义为有效掩码 \(\Omega\) 上三通道的 평균绝对误差：

\[\text{SIE}^{t} = \text{MAE}_{\Omega}\big(\mathcal{S}(E_{R}^{t}),\, \mathcal{S}(E_{AI}^{t})\big)\]

定义比值图像的 Sobel 空间梯度幅值为 \(G_{R}^{t} = |\nabla E_{R}^{t}|\) 与 \(G_{AI}^{t} = |\nabla E_{AI}^{t}| = c|\nabla E_{R}^{t}|\)，并在双侧低于 80% 分位数的平滑区域掩码 \(\Omega_{80}\) 与有效掩码 \(\Omega\) 的交集上计算 低频误差（LFE）：

\[\text{LFE}^{t} = \text{MAE}_{\Omega \cap \Omega_{80}}\big(\mathcal{S}(G_{R}^{t}),\, \mathcal{S}(G_{AI}^{t})\big)\]

在评测协议中，为排除个别指令误解样本的极端干扰，主实验默认取每个模型误差最低的前 80% 样本计算均值；同时作者通过 \(N=64\) 次蒙特卡洛采样验证了 8-bit sRGB 量化箱不确定性 \(q \sim \mathcal{U}(\frac{k-0.5}{255}, \frac{k+0.5}{255})\) 对 SIE 与 LFE 的传播标准差仅在 \(10^{-6}\sim 10^{-5}\) 量级，可完全忽略。

实验关键数据

主实验：六大图像编辑模型在 3DLP 基准上的物理光照传输表现

下表展示了 6 个主流模型在 3DLP 主基准（球形光探针，取前 80% 样本）上的开灯（Turning Light On）与关灯（Turning Light Off）定量结果，同时结合附录 Table 5 给出与传统指标（PSNR、SSIM、LPIPS）及“不作为基线”（Do Nothing，即直接输出未编辑原图）的对比：

模型 类型 开灯 SIE \(\downarrow\) 开灯 LFE \(\downarrow\) 开灯 PSNR \(\uparrow\) 开灯 SSIM \(\uparrow\) 关灯 SIE \(\downarrow\) 关灯 LFE \(\downarrow\) 关灯 PSNR \(\uparrow\) 综合平均排名 \(\downarrow\)
Nano Banana Pro 商业闭源 0.813 1.641 20.14 0.877 0.769 1.651 30.12 1.0
Nano Banana 2 商业闭源 0.882 1.641 17.58 0.840 0.871 1.652 27.27 1.8
Qwen-Image-Edit (2511) 开源权重 1.239 1.772 14.03 0.732 0.982 1.656 27.42 3.3
Flux 2 Max 商业闭源 1.571 1.710 21.96 0.857 1.303 1.691 19.80 3.8
Flux 2 Dev 开源权重 1.747 1.775 20.26 0.821 2.136 1.797 21.99 5.5
GPT Image 1.5 商业闭源 2.336 1.933 17.95 0.697 1.887 1.734 18.88 5.5
Bagel 7B MoT（扩展评测） 开源权重 2.655 1.851 23.80 0.923 2.322 1.706 21.68 —
OmniGen2（扩展评测） 开源权重 3.159 1.959 20.71 0.823 2.700 1.771 20.48 —
Do Nothing（原图不改） 失效基线 39.901 5.513 21.19 0.922 59.733 5.939 21.19 —

视觉语言模型（VLM）二元 A/B 裁判可靠性实验

为了检验现有基准（如 PICABench）广泛使用的 VLM 裁判能否识别真实物理光照，作者让 Gemini 3.1 Pro 与 GPT-5.5 在真实开灯图 \(I_{R}^{\text{on}}\) 与模型生成开灯图 \(I_{AI}^{\text{on}}\) 之间进行二元 A/B 盲测（数值为 VLM 正确选出真实物理图像的百分比，50% 为随机猜测，低于 50% 表示 VLM 反过来认为 AI 伪造光照比真实物理更真实）：

VLM 裁判模型 vs Nano Banana Pro vs Nano Banana 2 vs Qwen-Image-Edit vs Flux 2 Max vs Flux 2 Dev vs GPT Image 1.5
Gemini 3.1 Pro 65.7% 76.0% 65.4% 24.6% 60.3% 65.9%
GPT-5.5 48.6% 66.0% 73.3% 28.0% 66.6% 67.6%

关键发现

  • 商业与开源模型的梯队分化明显：Google 的 Nano Banana Pro 与 Nano Banana 2 在开灯和关灯的 SIE/LFE 上全面统治榜单（开灯 SIE 分别为 0.813 和 0.882）；而在开源模型中，Qwen-Image-Edit（开灯 SIE 1.239，关灯 SIE 0.982）不仅大幅击败同为开源的 Flux 2 Dev（1.747 / 2.136），甚至超越了商业闭源的 Flux 2 Max（1.571 / 1.303）和 GPT Image 1.5（2.336 / 1.887）。
  • 传统指标与 VLM 裁判在物理重光照上双双失效：如主实验表所示，“Do Nothing”完全不执行开灯指令，其 SSIM（0.922）和 LPIPS（0.077）却高居全场前二，且在色温偏移测试中 PSNR 波动高达 -6.20 dB，而 SIE/LFE 对色温偏移保持 0.000 的绝对不变并对 Do Nothing 给出 39.901/59.733 的严厉惩罚。同时，在 PICABench 中排名第一的 GPT Image 1.5 在 3DLP 物理评测中垫底；VLM 面对 Flux 2 Max 时仅有 24.6%（Gemini 3.1 Pro）和 28.0%（GPT-5.5）的概率选出真图，证明 VLM 更偏爱夸张的生成式光效而非真实辐射物理。
  • 距离光源越远、材质越复杂则相对误差越高：按平方反比定律划分的 6 个光强频段（从最高的 16%–100% 到最低的 0–1%）分析表明，所有模型的 SIE 均随光强减弱（即离光探针三维距离增加）而单调恶化，但在低光强区 LFE 保持相对平稳，说明模型具备基本的朗伯余弦着色与平滑衰减先验，但在长距离复杂多次反弹上误差累积严重。在材质与光效分类上，开灯任务中各模型在镜面反射（Mirrors）上的差距最大、在直接高光（Specular Highlights）上差距最小；而在包含透明玻璃展柜的高阶光线反弹场景中，所有现有模型均告失败。

消融实验

作者围绕 光探针几何形状（Light Probe Geometry）、场景环境光类型（Light Regime） 以及 样本分位数截断比例（Percentile Filtering） 进行了详尽消融。下表汇总了 6 种不同灯具几何形状（在额外采集的 150 张图像上评测，见正文 Table 3）以及 3 类环境光机制（见附录 Table 6）对物理光线传输指标的影响：

实验维度与子条件 Nano Banana Pro (SIE / LFE \(\downarrow\)) Nano Banana 2 (SIE / LFE \(\downarrow\)) Qwen-Image-Edit (SIE / LFE \(\downarrow\)) 核心观察与物理原因分析
开灯：球形灯泡 Spherical（默认） 1.210 / 2.202 1.547 / 2.163 1.767 / 2.662 各向同性径向发光，无方向歧义，所有模型开灯误差最低
开灯：带灯罩 Shaded 2.160 / 2.067 2.474 / 2.115 2.345 / 2.528 灯罩开口限制光束角，模型需额外猜测遮光边界，SIE 明显上升
开灯：定向射灯 Directional 2.566 / 2.276 2.803 / 2.371 3.103 / 2.831 强方向性聚光束投射方向难以仅凭灯头外观精确推断
开灯：条形灯 Light Bar 3.607 / 2.652 3.401 / 2.680 4.387 / 3.198 线光源积分光场复杂，SIE 相比球形灯退化约 2.2 至 3.0 倍
开灯：日光灯管 Daylight 3.481 / 2.636 3.747 / 2.669 5.190 / 3.295 大面积高亮度漫射，Qwen-Image-Edit 的 SIE 退化至 5.190
开灯：镂空竹篮灯 Basket 3.076 / 2.239 3.571 / 2.272 4.035 / 3.102 镂空灯罩产生全屋高频结构化投射阴影，生成模型难以对齐
关灯：球形灯泡 vs 带灯罩 1.058 vs 0.578 (SIE) 1.173 vs 0.584 (SIE) 1.314 vs 0.708 (SIE) 关灯时输入图已展现真实光场分布，无发射歧义且灯罩照射面积小
环境光：纯自然光 Natural（425对） 1.083 / 1.693 1.211 / 1.701 1.620 / 1.877 远场平行自然光分布均匀，模型更容易解耦光探针增量
环境光：纯人工光 Indoor（190对） 1.195 / 1.719 1.226 / 1.716 1.785 / 1.833 近场多点光源引入局部高光与重影，难度略高于纯自然光
环境光：混合光照 Mixed（385对） 1.469 / 1.831 1.655 / 1.825 1.995 / 2.010 自然光与室内灯混合时本征分解最困难，所有模型误差均达到峰值

此外，在分位数截断消融（附录 Table 8，从 Best 100% 到 Best 50%）中，除 OmniGen2 在 100% 全量样本下因完全误解指令出现极端离群值（开灯 SIE 达 511.869，但在 Best 90% 时迅速回落至 3.374）外，主基准 6 个模型从 100% 到 50% 分位数的相对排名完全稳定（Nano Banana Pro 在 100% 全集下开/关灯 SIE 为 1.247 / 1.012，依然稳居第一）。而在相机后方放置 6 种不同复杂度背景灯的 300 对受控实验（附录 Table 7）则表明，单纯增加相机后方环境光源的几何复杂度并不会显著降低模型表现，真正的瓶颈在于环境光与场景内复杂几何交互产生的多重环境阴影与环境高光（如 Qwen-Image-Edit 在关灯时常错误抹除原本属于环境光的墙面高光和椅子阴影）。

局限性与未来方向

  • 局限于室内场景而未覆盖室外强日光环境：作者使用的球形光探针光通量约为 2,500 流明，在晴朗室外日光下其光强增量完全被环境阳光淹没，导致开灯与关灯之间的辐射差异低于传感器噪声下限而无法测量。未来若要将 3DLP 拓展至室外场景，需要引入大功率闪光灯或高流明工业光源。
  • C-不变性对“仅调暗而不彻底关灯”的潜在盲区：为了保持开灯与关灯指标在数学形式上的对称性，关灯任务同样对光源缩放系数 \(C\) 保持不变。作者坦承这种设计在理论上无法惩罚“只把灯泡按比例调暗但未完全关闭”的模型（尽管在当前评测的 8 个模型中均未观察到此类投机行为）。未来可在关灯任务中结合真实开灯图的已知灯泡辐射强度引入定标约束。
  • 像素级严格对齐要求限制了对早期编辑模型与闭源专用模型的覆盖：由于比值图像 \(E_{AI}^{t}\) 需要像素级除以输入参考图，任何对背景产生微小几何漂移的模型都会受到严厉惩罚，同时近期专为重光照设计的 LightLab、SyncLight、LuxRemix 等方法因未开源权重而未能纳入评测。

关联工作

  • vs 感知与 VLM 驱动的图像编辑基准（如 PICABench、PhyBench、I2EBench）：这些基准通过构建多样化编辑指令并依赖 VLM 或人类裁判评估物理合理性（例如 PICABench 将 GPT Image 1.5 评为多数类别第一）；本文则基于真实采集的 14-bit HDR 辐射真值在像素级评估光线传输，并直接证明 VLM 在区分真实物理光场与生成伪影时甚至低于随机猜测水平。
  • vs 合成数据集与光场采集重光照数据集（如 Hypersim、OpenRooms、OLATverse）：合成数据集受限于渲染器材质与真实相机噪声的域差，而 OLAT 光场系统（如 OLATverse、Relight My NeRF）仅能拍摄光舞台中心的孤立物体；本文的 3DLP 则提供了 1,000 对真实复杂室内全场景的高精度 HDR 开关灯图像对。
  • vs 近期真实场景开关灯数据集（如 LightLab 内部数据集、SyncLight 小规模集）：LightLab 使用的 600 对内部数据未公开且由手机拍摄、包含复杂灯具几何，SyncLight 仅包含约 40 对真实图像；3DLP 不仅规模达到 1,000 对且完全开源，还通过 Sony \(\alpha6600\) 双 9 档包围曝光堆栈与球形光探针设计保证了辐射度量精度与发光模式无歧义。

代码与资源

相关论文