Large-Scale Light Field Synthesis from Videos Enables Geometrically Consistent Bokeh Editing¶

会议: ECCV 2026
论文: ECCV Official
代码: https://www.hm-cai.com/vid2bokeh/
领域: 图像生成
关键词: 散景编辑, 光场合成, 几何一致性, 扩散模型, 前馈3D重建

一句话总结¶

针对传统散景编辑受限于单目深度估计误差在镜面反射和精细遮挡处崩溃的问题，本文提出了 Vid2Bokeh 数据获取管线，利用前馈 3D 重建从普通视频直接合成密集 25×25 光场以绕过深度估计，构建包含超 10 万场景的高几何保真散景数据集，并基于此训练扩散模型实现了对复杂几何体鲁棒的双向对焦与景深编辑。

研究背景与动机¶

焦点与景深（Depth of Field, DoF）是视觉叙事中引导受众注意力与控制画面虚实的核心工具。在拍摄后散景编辑（Post-capture Bokeh Editing）中，创作者渴望获得具备全参数控制能力的编辑范式：既能连续平滑地前后移动对焦平面，又能任意缩放光圈大小以调节模糊量，且无论输入是全焦图像还是带有自然散景的照片。然而，现有的散景编辑模型在面对镜面反射、水面虚像、透明容器以及镂空网格（如网球网、车轮辐条）等复杂几何场景时，往往会产生严重的边缘光晕、虚实错乱和结构伪影。

这一系统性缺陷的深层根源在于现有训练数据获取范式面临的根本两难：在几何保真度与可扩展性之间无法兼得。物理采集方案（如多相机阵列或机械光圈连拍）虽然能提供光学真实的弥散圆与遮挡过渡，但硬件门槛极高且标定繁琐，难以扩展到多样化的野外复杂场景；而基于合成的数据管线虽然具备大规模扩充能力，却几乎无一例外地依赖于单目单张图像的深度估计（如 Depth Anything），将场景粗暴简化为单层 2.5D 几何。当深度模型误将镜子中的远景倒影判定为近处镜面平面、或将网状空隙与背景混为一谈时，不可逆的几何错误便直接注入到散景监督数据中，导致下游编辑网络学到错误的模糊规律。

本文的切入视角在于：密集光场天然内嵌了多视点视差与半透明透视信息，在光线积分过程中能自然消解反射与局部遮挡歧义，而前馈 3D 重建技术的突破使得从任意单目随意拍摄的动态视频中快速泛化生成密集光场成为可能。核心 idea：利用前馈 3D 重建模型从普通视频中直接合成 25×25 密集光场，彻底绕过深度估计并消除几何误差，构建超 10 万场景的 Vid2Bokeh 数据集，以物理光学积分提供高保真监督，赋能基于扩散模型的鲁棒双向对焦与景深编辑。

方法详解¶

整体框架¶

Vid2Bokeh 框架由两大部分构成：离线的大规模高质量光场数据生成管线，以及基于该数据集训练的端到端双向焦点-景深扩散编辑网络。首先，系统从 DL3DV-10K 视频数据集中提取带标定相机轨迹的单目视频片段，在选定的参考关键帧周围构建局部 \(25 \times 25\) 的微小基线虚拟相机网格，并利用自适应视差校准保证多视角视差尺度恒定；随后调用前馈 3D 视图合成网络 LaCT 单次前向推理出完整的 4D 稠密光场。在模型训练阶段，光场无需额外渲染存储，而是在线通过物理光场重聚焦公式动态采样两种随机光学参数 \((\kappa_1, a_1)\) 与 \((\kappa_2, a_2)\)，生成成对的源图像与目标真值；最后将相对光学偏移量 \((\Delta\kappa, \Delta a)\) 注入基于 SDXL 的潜空间扩散模型中，驱动模型执行双向焦点迁移与景深缩放。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["单目视频序列 + 标定轨迹"] --> B["自适应基线校准<br/>光流驱动视角间距调节"]
    B --> C["前馈 3D 光场合成<br/>LaCT 模型生成 25x25 视角网格"]
    C --> D["在线光场重聚焦渲染<br/>物理积分采样参数对 (κ, a)"]
    D --> E["双向焦点-景深扩散模型<br/>空间拼接输入并注入光学偏移量"]
    E --> F["几何一致的散景编辑输出"]

关键设计¶

1. 自适应基线校准：保证不同深度场景下的视差与重聚焦稳定性

直接在虚拟相机平面上设置固定的子孔径物理间距会导致在景深跨度巨大的野外场景中产生视差失衡：对于近景极近的特写，固定基线会引入过大视差，在光场积分时形成走样裂纹（aliasing）；而在远景开阔的开阔场景中，固定基线导致的视角视差趋近于零，使得重聚焦虚化效果极度微弱。为了在超 10 万个复杂场景中建立统一、物理合理的视差连续性，本文引入了基于光流的自适应基线缩放机制。在给定选定参考视角的前提下，管线首先利用预训练的 RAFT 光流模型估计相邻虚拟子视角之间的平均光流位移，随后反向动态缩放虚拟相机的基线步长，强制约束相邻视角间的平均光流幅度落在 1 到 3 个像素的经验最优区间内。这一自适应校准确保了无论真实场景尺度如何变化，合成光场均具备平滑且足够支撑显著散景的视差基础。

2. 前馈 3D 光场合成：彻底摆脱单目深度估计的几何陷阱

为了打破传统管线对 2.5D 深度估计图的病态依赖，Vid2Bokeh 采用前馈式神经辐射/高斯场重建架构（LaCT）直接从视频片段进行多视角外推。该模型无需针对每个场景进行耗时的逐场景优化（Per-scene Optimization），单卡 A100 仅需不到 30 秒即可一次性推理输出完整的 \(25 \times 25 = 625\) 个子视点图像 \(L(u, v, s, t, c)\)，其中 \((u, v)\) 表示合成光圈平面上的角度坐标，\((s, t)\) 为空间像素坐标。光场的多视点光线堆叠特性从物理原理上规避了深度估计的单义性假设——镜面反射背后的虚拟像距、透过车轮细密钢丝网看到的背景物块，都在微小视线变动下呈现真实的相对视差与遮挡揭示（disocclusion），从而完全杜绝了深度估计在边界溢出或虚像表面产生的结构性伪影。

3. 在线光场重聚焦渲染：连续覆盖全参数双向光学空间

拥有了稠密 4D 光场表示后，训练散景编辑模型所需的成对监督图像不必作为静态大图固化存储，而是在数据载入时根据经典平动-叠加重聚焦光学模型在线积分生成。对焦平面深度由剪切参数 \(\kappa\) 控制，光圈孔径大小由积分半径 \(a\) 调节，其连续重聚焦公式为：

\[I(s, t, c;\, \kappa, a) = \iint_{\mathcal{A}(a)} L(u, v,\, s + \kappa u,\, t + \kappa v,\, c) \, \mathrm{d}u \, \mathrm{d}v\]

其中 \(\mathcal{A}(a)\) 为半径为 \(a\) 的虚拟圆形光圈积分域。当 \(a \to 0\) 时退化为全焦针孔图像，随 \(a\) 增大则平均更多的视角视线，产生边缘柔和且弥散斑真实的景深模糊。在训练每个迭代中，管线独立随机采样源参数 \((\kappa_1, a_1)\) 与目标参数 \((\kappa_2, a_2) = (\kappa_1 + \Delta\kappa, a_1 + \Delta a)\)，并将对应的 \(I_{\text{in}} = I(s,t,c;\kappa_1, a_1)\) 与 \(I_{\text{gt}} = I(s,t,c;\kappa_2, a_2)\) 组合为训练样本。由于参数偏移量 \((\Delta\kappa, \Delta a)\) 符号可正可负，模型被同时赋予了前焦移向后焦、后焦移向前焦、虚化浅景深以及去模糊（复原全焦）的全向双向编辑能力。

4. 双向焦点-景深扩散模型：潜空间条件引导与残差解耦

在下游编辑网络构建上，本文以强大的预训练扩散模型 SDXL 为底座进行轻量化适配。源图像 \(I_{\text{in}}\) 通过预训练且冻结的 VAE 编码器映射至源潜变量 \(z_s\)。连续的光学调整量 \((\Delta\kappa, \Delta a)\) 首先通过高频傅里叶特征编码（Fourier Features）升维，再经由多层感知机（MLP）投影为条件嵌入向量，注入到 U-Net 的交叉注意力机制中。借鉴 InstructMove 的空间通道拼接设计，U-Net 的输入端将带噪目标潜变量与源潜变量 \(z_s\) 在通道维度拼接输入。在测试推理阶段，网络只需接受单张任意焦点的图片及目标数值偏移量，便能以去噪生成的方式高质量重建目标焦平面与目标光圈下的高保真图像。

一个完整示例¶

假设用户输入一张特写自行车前轮的自然拍摄照片 \(I_{\text{in}}\)，此时焦点位于前轮花鼓处，背景中的自行车后轮及远处的建筑物处于自然离焦模糊状态。用户希望实现两大调节：将焦点拉远至背景建筑物，同时收缩光圈使整幅画面具有更大的清晰景深。 1. 光学偏移参数设定：输入相对焦点变化量 \(\Delta\kappa = +1.5\)（由近向远推移行程）及光圈缩减量 \(\Delta a = -0.6\)（减小散景模糊半径）。 2. 条件编码注入：偏移量 \((\Delta\kappa, \Delta a)\) 经过高频傅里叶映射后进入条件投影 MLP，生成表征对焦后移与景深扩展的特征张量。 3. 空间拼接与协同去噪：输入图像经由 VAE 编码得到的源潜变量 \(z_s\) 与纯高斯噪声拼合；在去噪过程中，扩散网络凭借在 Vid2Bokeh 大规模几何一致数据中学到的结构先验，识别出车轮辐条之间的透视区域是远景而非附着在近处的平面，精准恢复远景建筑物的锐利砖纹，同时将原先弥散的前轮花鼓边缘以可控的物理规律做轻度重构，生成自然、无光晕且结构无撕裂的双向重聚焦图像。

实验关键数据¶

主实验¶

论文在 Blender 合成基准（验证数据获取保真度）、Vid2Bokeh 测试集重聚焦任务、以及 EBB! 真实散景渲染任务上进行了全面的定量对比。

表 1：Blender 物理模拟场景下的数据获取保真度对比 该实验在 Blender 中渲染近全焦视频作为输入，对比 Vid2Bokeh 与基于深度估计的 SOTA 散景合成方法（BokehDiff）相比物理路径追踪真值（Blender Direct Bokeh）及光场理论上限（Blender LF-based Bokeh）的几何与光学精度（100 个视角平均）：

方法	Direct PSNR↑	Direct SSIM↑	Direct MS-SSIM↑	Direct LPIPS↓	LF PSNR↑	LF SSIM↑	LF MS-SSIM↑	LF LPIPS↓
Blender LF (理论上限)	31.03	0.956	0.978	0.069	\(\infty\)	1.000	1.000	0.000
BokehDiff (深度合成基线)	28.70	0.900	0.948	0.141	30.72	0.889	0.954	0.216
Vid2Bokeh (本文管线)	29.71	0.929	0.971	0.108	33.37	0.931	0.984	0.147

表 2：Vid2Bokeh 测试集上的双向重聚焦性能对比 测试从近景对焦移向远景（Near to Far）以及从远景对焦移向近景（Far to Near）的双向重聚焦效果：

方法	近到远 PSNR↑	近到远 SSIM↑	近到远 LPIPS↓	近到远 DISTS↓	远到近 PSNR↑	远到近 SSIM↑	远到近 LPIPS↓	远到近 DISTS↓
DRBNet + Dr.Bokeh	28.03	0.841	0.294	0.169	27.90	0.838	0.299	0.171
DRBNet + BokehMe	28.18	0.846	0.286	0.166	28.05	0.843	0.291	0.168
DRBNet + BokehDiff	28.82	0.834	0.232	0.132	28.67	0.861	0.238	0.145
DiffCamera	28.32	0.864	0.202	0.125	28.84	0.872	0.201	0.138
本文方法 (Ours)	29.62	0.907	0.198	0.108	29.51	0.893	0.183	0.121

消融实验¶

表 3：Vid2Bokeh 测试集上 5 档递增光圈半径（AR）下的散景渲染平均对比

模型配置 / 方法	Vid2Bokeh PSNR↑	Vid2Bokeh SSIM↑	Vid2Bokeh LPIPS↓	Vid2Bokeh DISTS↓
BokehMe	26.91	0.833	0.261	0.194
Dr.Bokeh	27.10	0.838	0.269	0.180
Bokehlicious	27.42	0.842	0.198	0.152
BokehDiff	27.36	0.846	0.231	0.148
本文完整模型 (Ours)	28.05	0.897	0.129	0.092

关键发现¶

对单目深度误差的彻底免疫：在镜面反射场景中，深度估计基线将镜中倒影误判为贴在镜面上的近景，导致对焦远景时镜面产生剧烈且错误的虚化；而 Vid2Bokeh 数据集训练的模型能够准确分辨倒影的虚拟景深，将镜中远景完美保留为锐利像。
微小视角多视点平滑的鲁棒容错机制：即便前馈 3D 模型在极少数稀疏视点输入下出现单个视角的局部重建瑕疵（如局部缺失或纹理变形），在 \(25 \times 25\) 的稠密光圈积分平均下，独立单视角的随机伪影会被积分操作自然平滑抵消，最终渲染的散景依然保持绝对的无伪影纯净度。
细长结构透视（See-through Effect）的精准保留：在网球网、细长杆状物及树枝边缘等经典挑战场景中，传统两阶段（去模糊+深度散景重构）方法普遍将网眼误作整块平面，造成背景线条被完全抹除；本文模型展现了出色的镂空穿透渲染能力。

亮点与洞察¶

跳出单帧深度范式，回归物理光场本质：以往散景工作过度执着于改进单张图深度估计或层级 Alpha 遮罩，却不可避免地被 2.5D 表面的本征缺陷锁死；本文敏锐地意识到多视角前馈 3D 模型已具备毫秒级生成致密微基线光场的能力，用高维连续光场直接降维积分，在根源上彻底斩断了深度伪影传播链路。
巧用光圈积分的误差自抵消特性：通常学界认为 3D NVS 的重建瑕疵会损害下游训练数据，但论文揭示了散景物理成像公式本身就是一个绝佳的空间平滑低通滤波器，单个子视角的随机失真在 \(25 \times 25\) 的网格面积分中会被均值化稀释，从而在享受前馈模型超高生成速度的同时获得了纯净的训练监督。
泛化视频无监督采集奠定大规模拓展空间：无需任何专业光场相机或定制导轨阵列，任何手持设备拍摄的静态场景日常视频均可直接转变为高质量 4D 训练资源，将高质量散景训练集的规模直接拉升至 10 万场景量级。

局限与展望¶

孔径模型与高光光斑（CoC）物理特性的简化：当前管线默认采用理想圆形孔径模型，未建模多边形光圈叶片产生的星芒与特定光斑形状；此外，真实高光弥散圆的精准重现需在 RAW 线性亮度空间进行计算，而现有开源前馈 3D 重建网络大多基于 sRGB 非线性空间训练，容易造成极高动态范围亮斑处的饱和裁切。
极端动态场景下的多视点不一致风险：由于依赖单目视频提取相机轨迹与重建多视角，管线假设场景处于静态环境；若输入视频包含剧烈自主移动的动态物体，可能导致前馈模型重构的多视角发生结构抖动。
未来方向：探索与 RAW 空间 3DGS/NeRF 重建管线的结合以支持真实的摄影级大光斑渲染，并将视频输入扩展至单图像前馈光场生成网络。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆了散景数据依赖深度图合成的惯性思维，首创利用前馈 3D 重建从海量日常视频合成 4D 密集光场作为高保真散景数据源。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 Blender 物理光线追踪真实上限对比、双向焦点平移、散景渲染、去模糊等多维定量实验及复杂野外挑战样本质检。
写作质量: ⭐⭐⭐⭐⭐ 概念清晰，动机链条紧凑严密，方法设计图文呼应，物理原理与实验结果说服力强。
价值: ⭐⭐⭐⭐⭐ 为计算摄影、全参数可控图像编辑及未来基于生成式模型的物理光学模拟提供了扎实而大规模的数据资产与范式启发。