MVGS: Multi-view Regulated Gaussian Splatting for Novel View Synthesis¶

会议: ECCV2026
论文: ECCV 原文
项目: MVGS Project Page
作者: Xiaobiao Du, Yida Wang, Xin Yu
领域: 重建与渲染
关键词: 高斯泼溅、多视角一致性、新视角合成、粗到细训练、自适应增密

一句话总结¶

MVGS 将高斯泼溅的单视角逐步拟合改为多视角联合更新，并结合跨内参引导与两类增密，在 Mip-NeRF 360 上将 3DGS 的 PSNR 从 28.69 提高到 29.61，但训练时间也从 0.3 小时增加到 2.4 小时。

研究背景与动机¶

3D Gaussian Splatting（3DGS，高斯泼溅）把场景表示成具有位置、形状、颜色和不透明度的显式高斯基元，再通过投影与混合得到图像。相对于依赖大量采样和网络查询的神经辐射场，这种表示能够兼顾较高画质和实时渲染。然而，渲染效率不等于训练过程已经充分利用多视角信息：传统 3DGS 通常每次迭代只随机选一张训练图像。一个高斯在当前照片里看似合适的位置或形状，换到另一张照片却可能需要反向调整，局部拟合因此出现不稳定更新。

本文关注的不是再设计一种高斯形状，而是同一组高斯如何接收来自不同视角的监督。把多张照片放进同一次更新，可以让共同可见的结构同时接受多个观察方向的约束，但直接增加视图数也有困难。全分辨率图像的计算代价较高，而重叠很少、视角差异很大的图像又可能要求现有基元表达更多细节。因此，只把单视角训练改成更大的批次，并不能完整解决初始化质量与局部表示容量的问题。

MVGS 将这几个问题放在一套优化流程中处理：先以低分辨率容纳更多视角，再逐级细化，同时根据相机差异和跨视图误差定位需要增密的位置。这里的多视角一致性主要通过共享高斯参数上的联合图像监督实现，并不是额外训练一个匹配网络，也不要求预训练特征作为教师。 核心 idea：让多个视角共同决定高斯的更新方向，用粗到细训练改善起点，再把新增基元集中到视角差异大或多视图共同难以拟合的区域。

方法详解¶

整体框架¶

输入是场景的多视角训练图像、相机参数，以及由 SfM 等方式得到的初始化点云。高斯状态包含三维位置、协方差所描述的旋转与尺度、外观参数和不透明度；训练始终优化这个共享场景表示。输出是优化后的高斯集合，给定新相机即可沿用相应基线的渲染过程生成新视角图像。 MVGS 是作用于逐场景优化的通用训练方案，不是一次前向预测整个场景的可泛化重建网络。

流程从跨内参引导的尺度计划开始，在每个尺度内执行多视角约束学习，并结合多视角增强增密与交叉射线增密补足表达容量。前者根据抽样相机的差异调整增密门槛，后者把多个视图中的高误差区域映射回共同的三维空间。这些增密操作服务于训练，并非新视角推理时还要额外执行的图像分析分支。下图表示训练逻辑关系，不规定两类增密在实现中必须以逐步串行的频率调用。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Input["多视角图像与相机<br/>SfM 初始化高斯"] --> CIG["跨内参引导"]
        CIG --> MVRL["多视角约束学习"]
        MVRL --> MVAD["多视角增强增密"]
        MVAD --> CRD["交叉射线增密"]
        CRD --> State["更新后的高斯"]
        State -->|训练继续| MVRL
        State -->|训练结束| Render["新相机下渲染"]
        Target["当前尺度真实图像"] -.->|图像监督与误差图| MVRL
        MVRL -.->|多视图误差图| CRD

关键设计¶

1. 跨内参引导：先让更多低分辨率视图约束场景，再细化纹理

跨内参引导（Cross-intrinsic Guidance，CIG）采用下采样因子为 \(s\in\{8,4,2,1\}\) 的四层图像金字塔。每层不仅改变监督图像的大小，还将相机焦距和主点坐标按相同因子缩放，以保证图像与投影使用一致的像素坐标系。它并不是重新估计真实相机标定，而是为不同分辨率构造对应的有效内参。在低分辨率下，每次处理一张图像的代价较低，因此能够在一个更新中使用更多视图，让更多方向参与决定粗略场景结构。随着分辨率升高，训练继承上一层已经得到的高斯状态，而不是在全分辨率上重新初始化。

前三个尺度只进行数千次迭代，不要求把低分辨率图像彻底拟合到收敛。原因是这些图像本身没有足够的细节，继续优化也无法提供最终纹理需要的监督。最后一个尺度不做下采样，主要在已有结构上精修细节。作者认为最大下采样因子 8 已足以容纳多视角训练；过大的因子反而会模糊监督，增加后续恢复细节的难度。原文用各尺度对应的视图数表示这一计划，但当前全文没有列出一套可直接照抄的完整视图数与迭代数组，因此这里不补造配置。

2. 多视角约束学习：让共享基元在一次更新中接收多个方向的梯度

多视角约束学习（Multi-view Regulated Learning，MVRL）对当前抽样的 \(M\) 个视图分别渲染，并计算对应的图像重建损失。每个损失都对同一组高斯参数反向传播，只有对该视图渲染产生影响的基元获得相应的梯度贡献。第 3.1 节明确强调采用梯度求和，而不是求平均；依据式 (4) 及紧接的文字，其核心更新量可写为：

\[ \nabla_{\theta}\mathcal{L}_{\mathrm{MV}} =\sum_{m=1}^{M}\nabla_{\theta}\mathcal{L}_{m}. \]

这里 \(\theta\) 表示待优化的高斯参数，\(\mathcal{L}_{m}\) 是第 \(m\) 个视图的损失。若不同视图都要求某个位置朝相似方向移动，这些贡献会增强共同的更新信号。若它们的更新方向彼此冲突，向量相加则可能抵消一部分冲突分量。这是共享参数上的联合优化作用，不能理解成系统显式算出了几何真值并强制所有视图完全一致。论文所谓多视角 coherent constraint，也不等于另有一项已经给出具体形式的跨视图匹配损失。

求和同时改变了更新幅度，因此它不仅改变方向，还会提高被多个视图共同观察到的高斯的有效更新强度。原文将这一作用解释为自适应增大有效学习率；它不是显式按可见视图数更新一个学习率表。这一区别使“多视角信息”和“更大的更新幅度”成为需要区分的因素。从复现或进一步实验的角度，固定有效学习率的求和与平均对照比单纯增加视图数更有助于识别收益来源。

理论部分讨论梯度方差与方向一致性，但不能把“相对噪声变小”直接写成“求和梯度的绝对方差必然变小”。在独立噪声并且平均信号方向一致的假设下，噪声标准差按 \(\sqrt{M}\) 增长，而信号可以按 \(M\) 增长，因而信噪比改善。原文第 8 页也给出了随视图数和相关性增长的求和梯度方差关系。因此图 3 所称相对方差下降需要结合归一化口径理解；本文笔记不将其推广成任意相关梯度下都成立的收敛保证。

3. 多视角增强增密：视图差异大时降低基元细化门槛

多视角增强增密（Multi-view Augmented Densification，MVAD）处理多个训练视图覆盖差异较大的情况。原有有限数量的高斯可能足以拟合某一方向，却不足以同时满足来自不同侧面的细节需求。 MVAD 先把抽样相机的平移归一化到单位球，再结合两两相对平移距离和旋转矩阵相似度衡量视图差异。归一化避免了同一个距离门槛直接受不同场景世界坐标尺度影响。对于 \(M\) 个视图，需考虑的相机对数为 \((M^2-M)/2\)。

当差异达到预设阈值时，将原本的增密阈值减半，使更多符合原增密条件的基元获得细分机会。它不是让所有高斯无条件翻倍，而是调整密度控制的触发门槛。这一步的目标是提高表示容量，让联合监督不至于只是迫使少量基元在不同视图之间反复妥协。当前全文没有清楚给出平移与旋转如何组合成单个差异量、以及多对相机如何汇总触发的完整规则。因此笔记保留可确认的相机归一化与阈值减半机制，不把损坏的公式补成精确实现。

4. 交叉射线增密：把多张误差图中的困难区域定位回三维空间

交叉射线增密（Cross-ray Densification，CRD）进一步回答“新增高斯应放在哪里”。它先为多个训练视图生成损失图，用大小为 \((h,w)\) 的滑动窗口定位平均损失较大的图像区域。窗口平均值将关注点放在一片难以拟合的区域，而不是仅凭一个孤立高误差像素决定三维增密位置。每个被选中的窗口从四个顶点各发出一条相机射线，把二维图像区域对应到空间范围。随后，论文描述通过不同视角射线所形成的相交平面构造若干长方体，以近似定位多视图重叠的高误差区域。

位于这些空间区域内的高斯再被选择性增密，使多张照片都依赖的局部结构拥有更多表达自由度。这和 MVAD 互补：MVAD 调整是否更积极增密，CRD 则提供误差驱动的空间定位。 CRD 的射线用于训练时选择增密区域，不表示整个 3DGS 渲染器被改成了依赖射线追踪的渲染器。射线交会也不是已被严格验证的表面恢复，当前正文没有提供完整的几何容差和长方体构造细节。因此更合适的理解是多视图误差引导的容量分配，而非精确三维对应关系求解。

一个完整示例¶

考虑一个已完成相机标定的静态室内场景，几张照片从不同方向拍到同一张桌子；这是机制示例，不是新增实验。训练先在 \(s=8\) 的图像上利用较多视角建立粗略结构，再经过 \(s=4\)、\(s=2\) 和 \(s=1\) 继续细化同一组高斯。在某个尺度内，来自桌子正面与侧面的渲染误差会在一次 MVRL 更新中共同影响桌边基元，而不是分到不同迭代互相修正。若抽样相机的差异达到门槛，MVAD 会降低增密阈值，让复杂边缘更容易得到额外基元。若多个视图的桌边区域仍有较高窗口平均误差，CRD 将这些窗口反投影到空间，并优先增密共同涉及的区域。训练结束后只保留学到的高斯场景；新相机不需要真实图像、误差窗口或多视角联合反向传播即可渲染。

损失函数 / 训练策略¶

单视图监督沿用 3DGS 的图像损失，由 L1 误差和 D-SSIM 按权重混合，再对选出的视图联合优化。本文的关键改变是多视图梯度聚合、分辨率计划与密度控制，而不是用预训练模型生成额外的监督目标。尺度切换继承粗阶段的高斯状态，视图数与图像分辨率共同决定一次更新包含的工作量。因此比较相同迭代数的损失曲线并不等于比较相同墙钟时间的收敛速度。当前全文未完整给出各尺度视图数、窗口大小、相机差异阈值及精确训练预算，笔记不将这些缺项写成默认超参数。

实验关键数据¶

主实验¶

下表摘取原文表 1（第 11 页）的同基线前后对比，均为真实场景新视角合成结果。 PSNR 单位为 dB，PSNR 与 SSIM 越高越好，LPIPS 越低越好；具体划分与分辨率未在当前正文中完整列明。

数据集	方法	PSNR ↑	SSIM ↑	LPIPS ↓
Mip-NeRF 360	3DGS	28.69	0.870	0.182
Mip-NeRF 360	3DGS + MVGS	29.61	0.873	0.173
Tanks&Temples	Scaffold-GS	23.96	0.853	0.177
Tanks&Temples	Scaffold-GS + MVGS	25.54	0.902	0.093
Deep Blending	3D-HGS	29.76	0.905	0.242
Deep Blending	3D-HGS + MVGS	29.74	0.906	0.236

3DGS 在 Mip-NeRF 360 上提高 0.92 dB，Scaffold-GS 在 Tanks&Temples 上提高 1.58 dB。但 3D-HGS 在 Deep Blending 上的 PSNR 从 29.76 降至 29.74，即下降 0.02 dB，虽然另外两项指标改善。因此“整体改善”有实验支持，“所有基线在所有指标上都提升”则不符合表 1。

消融实验¶

下表来自原文表 3（第 14 页），使用 Mip-NeRF 360 和 3DGS 基线，按表中顺序累计加入组件。各行并非独立去掉一个模块的消融，不能把相邻增益直接视为与加入顺序无关的贡献。

配置	PSNR ↑	SSIM ↑	LPIPS ↓
基线	28.69	0.870	0.182
+ 多视角约束学习	29.26	0.871	0.179
+ 交叉射线增密	29.37	0.872	0.178
+ 多视角增强增密	29.52	0.872	0.175
+ 跨内参引导（完整模型）	29.61	0.873	0.173

首先加入 MVRL 带来 0.57 dB；按这一顺序继续加入 CRD、MVAD 和 CIG，分别再增加 0.11、0.15 和 0.09 dB。这支持联合更新是主要收益来源之一，也说明仅有联合梯度尚未达到完整模型效果。

第三张表摘自原文表 2（第 11 页），同样在 Mip-NeRF 360 上比较表示规模和训练时间。数量沿用原表 Num. 的口径，以百万为单位；不能直接把它当成精确显存、文件大小或渲染速度。

方法	Num.（百万）	训练时间（小时）	PSNR ↑
3DGS	1.1	0.3	28.69
3DGS + MVGS	0.8	2.4	29.61
Scaffold-GS	0.4	0.2	28.84
Scaffold-GS + MVGS	0.3	1.5	29.82
3D-HGS	0.7	0.4	29.66
3D-HGS + MVGS	0.5	2.6	30.21

关键发现¶

按表 2 的报告值计算，3DGS 的训练时间达到基线的 8 倍，表示数量却由 1.1 降至 0.8 百万；局部更积极增密不意味着最终基元总量一定更多。
图 9（第 15 页）报告视图数增加到一定程度后性能下降，作者解释为局部视域过拟合；曲线精确最优值不从当前文本抽取结果中猜读。
图 7（第 13 页）的横轴是迭代次数，支持优化轨迹改善，但不能覆盖表 2 已明确显示的墙钟时间代价。

亮点与洞察¶

优化过程可以成为通用改进对象。 MVGS 不绑定某一种高斯形状，而是在 3DGS、Scaffold-GS 和 3D-HGS 上复用训练逻辑，展示了表示改进之外的增益空间。
低分辨率承担更多几何约束，高分辨率承担细节修正。 CIG 的意义不仅是常见的图像金字塔，还在于把分辨率节省的计算用于容纳更多视角。
误差图可用于分配三维表示容量。 CRD 将二维重建困难转化为三维增密线索；这种思路值得迁移，但精确空间定位仍依赖相机与几何实现。

局限与展望¶

训练成本是明确的实际代价。 三个基线的训练时间都明显增加，论文的通用性不应被理解为低成本即插即用；等时预算下的质量对比尤其值得补充。
联合信息与有效步长存在混合因素。 求和会放大更新，当前展示的消融没有单独隔离固定有效学习率下的求和与平均，进一步对照有助于解释收益。
理论表述需要区分绝对方差与相对噪声。 原文图 3 的相对方差叙述不能推出求和的绝对方差总下降，相关性假设也不能替代真实场景的实测梯度分析。
复现细节与证据覆盖有限。 当前全文部分公式提取损坏，MVAD 差异量、CRD 几何构造和训练配置尚不完整；引言提到动态与大场景应用，但这里可核验的主表主要覆盖静态真实场景，不据此补造其他任务结果。

评分¶

新颖性: 4/5。多视角联合优化本身直观，但与尺度计划和空间增密组成了具体可复用的方案。
实验充分度: 4/5。具备多基线、多数据集、累计消融及成本表，但缺少等时预算和有效学习率解耦对照。
写作质量: 3/5。方法主线清楚，理论噪声口径和若干实现细节需要更明确说明；公式抽取缺损另属当前可读来源的限制。
价值: 4/5。适合愿意增加离线训练成本以换取新视角画质的场景，不适合直接视为快速训练替代品。