Enhancing Novel View Synthesis via Geometry Grounded Set Diffusion¶

会议: NeurIPS 2026
arXiv: 2601.07540
OpenReview: https://openreview.net/forum?id=Tsa68eSMjP
论文: https://arxiv.org/abs/2601.07540
领域: 重建与渲染
关键词: 新视角合成, 3D高斯泼溅, 扩散模型, 几何接地, 集合注意力

一句话总结¶

针对 3DGS 在大基线轨迹外推时渲染质量衰退严重且扩散增强模型易过度幻觉的问题，SetDiff 将 3DGS 累积坐标图与 Plücker 光线嵌入注入单步扩散模型，并通过无序集合注意力机制联合处理多参考与多目标视点，实现了高保真、强几何一致性的实时新视角图像增强。

研究背景与动机¶

端到端智能系统与具身决策模型的演进，催生了对高保真闭环仿真器（世界模型）的迫切需求。全扩散生成式仿真器虽然生成多样性丰富，但在长时间序列和多相机视点间的几何一致性难以保证；与之相对，基于 3D 高斯泼溅（3DGS）的传感器仿真方法具备卓越的时间连贯性与渲染吞吐。然而，3DGS 严重依赖训练轨迹中密集的视点重叠，一旦测试车辆在闭环仿真中偏离既有采集路径（例如执行换道或路口大转弯等轨迹外推），未见视角的渲染便会迅速退化，产生严重的悬空伪影（floaters）、纹理拉伸与几何撕裂。

现有应对新视角合成伪影的方案主要面临两重困境。传统的几何正则化重建方法（如引入深度或法线约束）在面对稀疏观测和大基线外推时极为脆弱；而最近兴起的图像级扩散增强方案（如 DiFix3D、DiFix++）虽能提升感知清晰度，但其网络仅以低质 RGB 渲染图作为条件输入，缺乏显式的三维空间几何引导，在信噪比极低的外推区域容易凭借生成先验凭空“脑补”出偏离真实场景的幻觉内容。此外，现有增强器通常局限于单参考图与单目标图的一对一处理范式，无法在多相机或多时间步的互补参考帧之间实现全局视线信息交换。

本文的切入角度是：3DGS 自身蕴含了显式的三维高斯几何分布，可以零成本提取出像素对齐的三维空间结构；若将这些几何先验显式引入扩散模型，并将单视角增强扩展为全视点集合交互，就能从根本上约束扩散去噪的幻觉并最大化利用参考信息。核心 idea：提出几何接地集合扩散增强框架 SetDiff，将 3DGS 渲染的像素对齐三维坐标图与 Plücker 光线嵌入注入去噪网络，并通过无序集合注意力机制联合处理任意数量的目标与参考视点，在单步去噪下兼顾高保真几何一致性与实时渲染效率。

方法详解¶

整体框架¶

SetDiff 接收由预训练 3DGS 渲染得到的低质目标视点集合，并检索最相关的真实高质量参考视点集合。系统首先从 3DGS 表征中提取像素对齐的三维世界坐标图（C-maps），并计算各相机的归一化 Plücker 光线嵌入；随后通过浅层卷积几何编码器将几何线索压缩并与 VAE 提取的图像潜在特征逐元素相加。接着，无序集合混叠器（Set Mixer）打破视点顺序与数量限制，将所有参考与目标视点的特征 Token 拼接进行全局跨视点自注意力交互，最后通过单步 SD-Turbo 扩散去噪头与联合微调的 VAE 解码器重构出高保真目标新视角图像。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：3DGS目标渲染图<br/>与检索的高质量参考集"] --> B["几何接地表征<br/>体积分数累积坐标图与光线嵌入"]
    B --> C["无序集合注意力<br/>跨视点Token全局聚合"]
    C --> D["单步去噪与联合优化<br/>SD-Turbo蒸馏与LoRA微调"]
    D --> E["输出：高几何一致性<br/>新视角增强图像"]

关键设计¶

1. 几何接地表征：像素级三维坐标图与光线嵌入联合编码

纯 RGB 扩散增强模型缺乏显式空间结构，容易在低信噪比的外推视角中产生结构性幻觉。为了将三维场景先验显式提供给去噪网络，SetDiff 提出了双重几何接地机制。首先，在进行常规 RGB 渲染的同时，利用 3DGS 的高斯中心位置进行不透明度加权体积分数累积投影，为目标与参考视点中的每个像素 \((u,v)\) 计算对应的三维世界坐标图（Coordinate Map，简称 C-map）\(\mathbf{c}(u,v) \in \mathbb{R}^3\)：

\[\mathbf{c}(u,v) = \sum_{i} \alpha_i(u,v) \prod_{j=1}^{i-1} \big(1 - \alpha_j(u,v)\big) \mathbf{x}_i\]

其中 \(\mathbf{x}_i\) 为沿光线采样的第 \(i\) 个高斯中心世界坐标，\(\alpha_i(u,v)\) 为其在像素上的有效不透明度。该坐标图天然携带了跨视角的遮挡感知与空间对应关系。其次，为了消除跨场景尺度模糊，模型将包内所有相机位姿归一化到首个目标相机的局部规范坐标系中（使最大相机间距为 1），并计算各像素的 Plücker 光线嵌入 \(\mathbf{p} = (\mathbf{o} \times \mathbf{d}, \mathbf{d}) \in \mathbb{R}^6\)。最后，通过一个包含 5 个卷积块（带 GroupNorm 和 SiLU）的轻量几何编码器 \(\Psi\)，将下采样 8 倍的几何特征 \(\mathbf{g} = \Psi(\mathbf{c}, \mathbf{p})\) 与 VAE 图像隐变量直接逐元素相加。这种加法融合不仅维度天然匹配，消融实验更证实其效果优于计算开销更大的交叉注意力机制。

2. 无序集合注意力：多参考视角跨视线全局信息聚合

传统增强方法通常采用单参考图像输入或刚性向量堆叠，限制了参考图像数量且对输入顺序极度敏感。为了充分挖掘多个视角中的互补可见区域，SetDiff 构建了自适应参考检索与无序集合处理架构。在参考集构建阶段，系统基于视线夹角余弦相似度与相机中心归一化欧氏距离计算视点重叠得分：

\[\text{score} = \alpha \cdot \frac{v_i \cdot v_j}{\|v_i\| \|v_j\|} + \beta \cdot \left(1 - \frac{d(c_i, c_j)}{\max_{i,j} d(c_i, c_j)}\right)\]

采用超参数 \(\alpha=0.8, \beta=0.2\) 从历史观测中为 \(M\) 个目标视点挑选出 \(N\) 个最匹配的参考图像。在特征聚合阶段，去噪 U-Net 移除了所有时序卷积与时序位置编码，将自注意力层替换为集合混叠器（Set Mixer）：它将批次中所有目标与参考图像的 Token 展平并拼接为统一集合（形状为 \(b \times (MNhw) \times c\)），施加全局多头自注意力（MHSA）。这使得目标图像中的任意受损区域均能自主索引到任意参考视点中对应的清晰局部特征。此外，训练过程中对帧序列施加随机时间置换操作 \(\pi(\mathbf{z})\)，使得网络对输入相机的排序和数量具备天然的置换等变性与可扩展性。

3. 单步去噪与联合优化：SD-Turbo蒸馏与感知重构微调

自动驾驶传感器闭环仿真对推理延迟有着极其严苛的要求，多步扩散迭代无法满足系统吞吐。SetDiff 选用单步蒸馏模型 SD-Turbo 作为去噪主干，将去噪扰动步长固定为较低噪声水平 \(\tau=200\)，并采用 \(v\)-prediction 目标函数优化潜在扩散损失：

\[\mathcal{L}_{\text{Diffusion}} = \mathbb{E}_{\mathbf{z}^r, \mathbf{z}^t, \mathbf{y}^t} \left[ \left\| \mathbf{y}^t - f_\theta([\mathbf{z}^t; \mathbf{z}^r], \tau) \right\|_2^2 \right]\]

为了进一步缓解冻结 VAE 解码器带来的高频纹理模糊与伪影残留，SetDiff 引入了端到端像素级重构损失 \(\mathcal{L}_{\text{Reconstruction}}\)。该损失由 \(\ell_2\)、SSIM 和 LPIPS 按等权重加权组成，联合微调几何编码器、去噪 U-Net 以及通过 LoRA 参数化适配的 VAE 解码器。考虑到全量多视角高分辨率像素解码对显存的巨大压力，训练时仅随机解码部分目标潜变量，并辅以梯度累加，在保证感知高保真度的同时实现了显存与计算效率的最优化。

一个完整示例¶

以自动驾驶车辆向右执行双车道横向变道的外推仿真为例：3DGS 在变道后的右侧车道渲染出 6 路环视低质目标帧，路面标线断裂且右前侧护栏出现大面积悬空雾状伪影。系统首先基于重叠度准则从车辆历史行驶轨迹中检索出 6 张视角最近的干净参考帧。3DGS 在光栅化过程中同步输出 \(576 \times 1024\) 分辨率的像素对齐三维世界坐标图与 Plücker 光线。几何编码器与 VAE 分别对 12 张图像（6 目标 + 6 参考）进行下采样编码，Set Mixer 将展平后的所有空间 Token 汇入统一多头自注意力中。目标视点中破损的护栏与道路区域，通过几何坐标一致性迅速关联并借调左侧历史参考帧中清晰的高频纹理，经单步去噪与 LoRA 解码后，在单张 A100 GPU 上仅耗时 555.5 ms 即可完成多视点联合高保真重构。

损失函数 / 训练策略¶

模型总优化目标结合了潜在空间去噪损失与像素空间感知重构损失：

\[\mathcal{L} = \mathcal{L}_{\text{Diffusion}} + \lambda_{\text{rec}} \mathcal{L}_{\text{Reconstruction}}\]

训练配置基于 4 张 NVIDIA A100-80GB GPU，批大小为 4，迭代训练约 40k 步。输入图像分辨率为 \(576 \times 1024\)。为支持无分类器引导（CFG），训练时对输入的 C-map 和相机位姿分别施加 15% 的随机丢弃率（dropout）；推理阶段 CFG scale 设为 2.0。

实验关键数据¶

主实验¶

论文在三个极具代表性的自动驾驶基准（EUVS、Para-Lane、nuScenes）以及通用场景基准（DL3DV-10K）上进行了全面评测。在 EUVS 上涵盖纯平移、纯旋转以及最严苛的平移+旋转三种轨迹外推设定；在 Para-Lane 上评估单车道与双车道横向变道合成。所有扩散增强器均构建在相同的 3DGS 基线之上。

数据集与评测设定	指标	原始 3DGS	之前最佳SOTA (DiFix3D++)	本文 (SetDiff)	相比前SOTA提升
EUVS Setting 1 (纯平移外推)	PSNR ↑ / SSIM ↑ / LPIPS ↓	16.37 / 0.720 / 0.260	17.94 / 0.782 / 0.218	17.84 / 0.796 / 0.192	-0.10 dB / +0.014 / -0.026
EUVS Setting 2 (纯旋转外推)	PSNR ↑ / SSIM ↑ / LPIPS ↓	19.53 / 0.751 / 0.267	21.68 / 0.772 / 0.209	22.55 / 0.796 / 0.172	+0.87 dB / +0.024 / -0.037
EUVS Setting 3 (平移+旋转复合外推)	PSNR ↑ / SSIM ↑ / LPIPS ↓	14.99 / 0.717 / 0.405	15.91 / 0.743 / 0.335	16.60 / 0.745 / 0.291	+0.69 dB / +0.002 / -0.044
Para-Lane (单车道变道)	PSNR ↑ / SSIM ↑ / LPIPS ↓	17.05 / 0.524 / 0.446	19.25 / 0.559 / 0.275	20.20 / 0.586 / 0.208	+0.95 dB / +0.027 / -0.067
Para-Lane (双车道变道)	PSNR ↑ / SSIM ↑ / LPIPS ↓	16.26 / 0.505 / 0.472	18.55 / 0.538 / 0.311	19.47 / 0.564 / 0.233	+0.92 dB / +0.026 / -0.078
nuScenes (5秒动态时序外推)	PSNR ↑ / SSIM ↑ / LPIPS ↓	17.15 / 0.645 / 0.448 (OmniRe)	18.74 / 0.696 / 0.375	21.58 / 0.716 / 0.303	+2.84 dB / +0.020 / -0.072

消融实验¶

消融实验在 DL3DV 数据集上系统检验了几何接地组件以及集合扩散视点规模对增强质量的影响。

实验组：几何接地组件消融 (DL3DV)	PSNR ↑	SSIM ↑	LPIPS ↓	说明
无几何接地 (None)	17.59	0.164	0.278	纯图像扩散增强，结构相似性大幅崩塌
仅输入三维坐标图 (+ Coordinate maps)	18.39	0.557	0.282	提供空间点对应，SSIM 跃升 (+0.393)
仅输入光线嵌入 (+ Camera poses)	18.43	0.560	0.288	显式相机约束，PSNR 提升显著
完整几何接地 (Both: C-map + Pose)	18.74	0.587	0.265	结构与光度保真度全面最优

实验组：集合规模消融 \(\mathcal{I}^r + \mathcal{I}^t\) (DL3DV)	PSNR ↑	SSIM ↑	LPIPS ↓	说明
1 参考 + 1 目标 (\(1 + 1\))	17.80	0.552	0.280	单视角基线，信息参考源受限
2 参考 + 1 目标 (\(2 + 1\))	18.57	0.578	0.258	引入第二参考帧显著改善补全质量
3 参考 + 1 目标 (\(3 + 1\))	18.67	0.581	0.255	参考视角覆盖趋于饱和
3 参考 + 2 目标 (\(3 + 2\))	18.69	0.582	0.255	目标间相互交换时序相关信息
3 参考 + 4 目标 (\(3 + 4\))	18.72	0.583	0.255	跨目标帧增强持续增益
3 参考 + 6 目标 (\(3 + 6\))	18.79	0.590	0.256	批处理规模扩大带来最优结构恢复

关键发现¶

几何接地的不可替代性：完全剔除几何先验后，模型的 SSIM 从 0.587 骤降至 0.164，表明在视角外推导致的严重伪影下，纯 2D RGB 扩散极易产生与真实三维场景割裂的“脑补”伪影，而三维坐标图与光线嵌入是拉齐多视角几何对应关系的关键。
集合多视角的规模红利：将参考图像从 1 增加到 3 时，PSNR 获得了近 0.9 dB 的大幅跃升；随后增加目标集合帧数也能持续获得更优的跨帧连贯性，验证了无序集合注意力的跨视点补全能力。
卓越的推理效率与瓶颈分析：在 A100 GPU 处理 \(576 \times 1024\) 图像时，SetDiff 单帧耗时仅 555.5 ms（1.8 FPS），优于逐帧处理的 DiFix（800.0 ms / 1.2 FPS）。分析显示，U-Net 主干运行速率高达 9 FPS，实际耗时瓶颈为 VAE 解码器（3.25 FPS），无序集合多头注意力并未引入显著计算负担。

亮点与洞察¶

零成本的显式几何提取：巧妙复用 3DGS 本身的体积累积光栅化渲染出像素级 3D 坐标图，既不引入额外的离线网络预测深度，又天然具备遮挡感知与跨视角一致性。
无序集合混叠器打破刚性约束：通过全全局注意力统一目标与参考视点，摆脱了以往模型固定相机数量和严格时序排列的枷锁，真正实现了任意多相机环视外推的端到端增强。
单步蒸馏与轻量微调结合：基于 SD-Turbo 单步模型，配合对 VAE 解码器的 LoRA 微调与几何特征加法融合，成功规避了多步扩散昂贵的采样开销，为自动驾驶闭环仿真落地铺平了道路。

局限与展望¶

极端几何遮挡下的先验退化：当外推视角与参考轨迹之间几乎不存在几何视线重叠时，提取的 C-map 趋近于无效噪声，模型仍会退化为依赖纯图像生成先验，可能产生局部幻觉。未来可探索引入不确定性估计对几何引导进行自适应加权。
动态物体一致性依赖前序表示：在 nuScenes 这类高度动态的场景中，增强效果高度受制于前端动态 3DGS（如 OmniRe）对运动前景的建模质量，若底层几何跟踪漂移严重，扩散网络难以完全校正剧烈运动形变。

评分¶

新颖性: ⭐⭐⭐⭐☆ (巧妙结合 3DGS 体积坐标累积图与无序集合扩散，跨视角增强结构严谨且架构精简)
实验充分度: ⭐⭐⭐⭐⭐ (覆盖 EUVS、Para-Lane、nuScenes 与 DL3DV 四大基准，包含详尽的外推消融与效率剖析)
写作质量: ⭐⭐⭐⭐⭐ (动机清晰、数学推导与模块关系阐述极为连贯完整)
价值: ⭐⭐⭐⭐⭐ (直接击中自动驾驶闭环仿真中轨迹外推渲染崩溃的工业级痛点，兼具高质量与落地可行性)