Predictive Photometric Uncertainty in Gaussian Splatting for Novel View Synthesis¶

会议: ECCV 2026
论文: ECCV 原文
领域: 3D 视觉
关键词: 3D 高斯泼溅、不确定性估计、新视角合成、线性最小二乘、主动视角选择

一句话总结¶

把不确定性做成每个 3D 高斯上一条与颜色同构的球谐通道，用训练视图残差图作为监督、以冻结的 α 混合权重构造线性最小二乘并用 Bayesian 先验正则求解，从而在任意新视角下渲染出逐像素不确定性图——Mip-NeRF360 上把 AUSE(DSSIM) 从 0.495 压到 0.214、Pearson 相关从 0.160 提到 0.547，额外训练开销仅 12.8%。

研究背景与动机¶

辐射场正在从单纯的新视角合成引擎变成自主智能体的空间地图，但用 2D 图像逆推三维场景本身是病态的。真实部署中严重的遮挡、未观测区域和几何歧义不可避免，所以「这张渲染图哪里不可信」和「这张渲染图像不像」变得同等重要。3DGS 因为可微光栅化加显式图元的组合迅速成为主流表示，保真度、几何一致性和效率都被反复改进，但把系统级的不确定性估计（UE）装进这套表示仍然是一个被忽视的环节。已有的 3DGS UE 工作分成互补的两族：一族量化学到的表示（高斯参数）有多确定，另一族量化渲染出的辐射场（像素）有多可信。

问题出在前一族占了绝大多数。随机形式的方法（Stochastic-GS、Variational-3DGS、Manifold sampling、Continuous Semantic Splatting）在高斯参数上建模分布、用多样本方差导出像素不确定性，代价是采样式优化带来的高延迟、必须修改架构与训练流程、以及保真度的下降，更关键的是它们与快速膨胀的 3DGS 变体生态完全不兼容；后处理路线则用 Hessian 近似在参数空间估 epistemic 不确定性（FisherRF 用 Fisher 信息，POp-GS 进一步用 P-最优实验设计并建模参数间相关），不改架构，但正如本文实验所示，这类参数中心的方法对视角相关的不确定性捕捉得很差——FisherRF 的预测不确定性与真实误差的 Pearson 相关在三个数据集上全为负。可下游任务消费的恰恰是渲染出来的像素，它需要的是「这个像素能不能信」，而不是「这堆高斯参数有多确定」。

本文的切入角度来自一个朴素但有力的观察：训练视图上的重建残差大的地方，往往正是 3DGS 没拟合好的地方——既包含几何欠重建（比如植被的破碎结构），也包含视角相关外观能力不足（比如桌面上的反射）。于是作者不再绕道参数空间，而是直接渲染出的辐射场里建模不确定性，并把它写成一个线性最小二乘问题：未知量只有每个图元的不确定性，混合权重矩阵由冻结的不透明度与透射率构成，因此目标凸、可用 SGD 高效求解、对原始表示零改动。这里唯一的陷阱是稀疏视角下 3DGS 的高度参数化会让它过拟合训练视图、把残差压到接近零，从而错误地宣告「零不确定性」；作者用一个以最大化不确定性为中心的 L2 先验把没有训练证据的视角方向拉回来。核心 idea：把不确定性当作图元的第三种可泼溅属性，用训练残差作为回归目标、用 Bayesian 正则化的线性最小二乘作为求解器，得到视角相关、逐像素、架构无关的可靠性图。

方法详解¶

整体框架¶

输入是一个已经训练完成的 3DGS 场景和它的训练视图（含 SfM 位姿），输出是任意（新）视角下的逐像素不确定性图——与 RGB 图同分辨率，渲染方式和速度也与 RGB 完全一致。整条流水线严格后处理：先算出训练视图上的逐像素光度残差，再把每个高斯的不确定性特征当作一条与颜色并列的「可泼溅通道」渲染出来，最后只优化这部分新增的参数使其去解释那些残差。原模型的位置、协方差、不透明度、球谐颜色自始至终被冻结，因此渲染保真度一个像素都不会变，方法也能挂到任意 3DGS 变体上。

具体来说分三步。第一步，在冻结的模型上对每张训练视图渲染一遍，按 3DGS 原生的光度误差 \(L_x=(1-\lambda)L1_x+\lambda\,\mathrm{DSSIM}_x\)（\(\lambda=0.2\)）逐像素算出残差 \(L_x\)，得到残差图。第二步，给每个高斯 \(k\) 追加一个不确定性特征 \(u_k\)，用球谐（SH）建模它对观察方向的依赖——理由和颜色需要 SH 一样：同一块表面从不同角度看到的误差是不一样的。渲染时沿用完全相同的 α 混合规则，把「颜色」换成「不确定性」，于是任意视角下的像素不确定性就是该射线上各图元不确定性按不透明度与透射率加权求和。第三步，把所有训练视图的所有像素排成一个线性方程组，只对 \(u_k\) 求梯度、用 SGD 求解，并叠加一个把「没有训练证据的方向」拉向最大不确定性的 Bayesian 先验。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["已训练 3DGS + 训练视图"] --> B["逐像素光度残差图<br/>L1 + DSSIM，冻结基参数"]
    B --> C["逐图元不确定性通道<br/>与颜色同构的 SH 特征"]
    C --> D["残差最小二乘<br/>跨所有视图联合构造权重矩阵"]
    D --> E["Bayesian 先验正则<br/>无证据方向回落到最大不确定性"]
    E --> F["任意位姿渲染不确定性图"]
    F --> G["下游：主动视角选择 / 变化检测 / 异常检测"]

关键设计¶

1. 逐图元不确定性通道：用渲染颜色的同一套规则渲染不确定性

针对的痛点是参数空间 UE 与下游需求错位：FisherRF、POp-GS 那一类方法给出的是「图元参数有多确定」，随机方法虽然能给出像素级不确定性，却必须改动高斯参数化、引入采样开销并牺牲保真度，换来的还是一个不保证与视角相关的量。本文的做法是把不确定性直接定义在图元上、用渲染管线本身把它聚合到像素：每个高斯额外携带一个由 SH 系数定义的标量函数 \(u_k(d)\)，第 \(k\) 个图元对像素 \(x\) 的不确定性贡献等于它的不确定性乘以该像素处的不透明度与透射率，整条射线上加权求和即得

\[U(x)=\sum_{k=1}^{K}u_k(d)\,\alpha_k(x)\,T_k(x)\]

注意这个式子和 3DGS 渲染颜色的公式只差一处：把视角相关的颜色 \(c_k(d)\) 换成视角相关的不确定性 \(u_k(d)\)。这个「同构」设计带来三个直接好处。其一，不确定性天然是视角相关的——改变观察方向会改变每个图元的 \(u_k(d)\)，也会改变哪些图元被遮挡、透射率是多少，不需要任何额外的推理网络。其二，渲染开销为零增量：它就是多跑一遍已有的光栅化，所以给任意新位姿出图的速度和 RGB 一样。其三，因为基参数全部冻结，新增参数只有 \((D+1)^2\) 个标量／高斯（3 阶 SH 时是 16 个），训练显存反而低于原生 3DGS，渲染保真度也严格保持——这一点是随机方法做不到的，也是方法能「即插即用」在不同 3DGS 变体上的前提。

2. 残差最小二乘：把全部训练像素写进同一个线性系统，解耦重叠图元的「连坐」

第二块针对的是另一类更朴素的做法：PUP 3D-GS、Speedy-Splat 用 L2 损失敏感度给图元算剪枝分数，Rota Bulò 等直接从渲染误差推稠密化分数，它们都共享「用重建误差给图元打分」的直觉，但打分是逐像素的——一个像素上出现伪影时，所有覆盖该像素的高斯都会被打上高分，哪怕真正该负责的只有一个。这种「连坐」对稠密化无害（过度稠密会在后续优化里被纠正），但对一个冻结的模型就是错误地惩罚了可靠图元。

本文的解法是把所有训练视图的所有像素一次性排进同一个线性系统。由于 \(U\) 是 \(u\) 的线性函数，把第 \(j\) 个像素处各图元的混合权重记为 \(A_{jk}=\alpha_k(x_j)\hat T_k(x_j)\)（\(\hat T_k\) 是该像素射线上按深度排序后的透射率），渲染出的不确定性就是矩阵向量积 \(Au\)，而回归目标 \(y_j\) 是该像素的重建残差。估计逐图元不确定性于是等价于

\[\arg\min_{u}\ \|Au-y\|_2^2\]

对所有像素同时求解是这个式子真正的价值所在：同一个残差会按各图元在该像素的权重被分摊，一个可靠图元即便参与了伪影像素，也不会像逐像素启发式那样被整体推高——这正是论文所说的「解耦重叠高斯之间的相互作用」。视角依赖也不破坏线性：把 SH 基函数直接吸收进 \(A\)、把 \(u\) 从每图元一个标量扩成每图元 16 个 SH 系数的拼接向量即可，\(A\) 依旧只由冻结的 \(\alpha\) 与 \(T\) 决定，问题依旧线性。

值得强调的是求解方式。未知量动辄数百万个图元乘以 16 个系数，正规方程 \(A^\top A u=A^\top y\) 的矩阵规模让直接求解不现实，即使它是稀疏的。作者转而沿用 3DGS 训练其他参数那套 SGD 流程，并指出最小二乘目标本身凸，因而收敛稳定——「凸性」在这里不是修饰，而是把「随机方法的采样开销」换成「一次凸优化」这一取舍能成立的技术基础。

3. Bayesian 先验正则：让没有训练证据的方向回落到最大不确定性

最小二乘只从训练数据里出现过的观察方向学东西，这在稀疏视角下会出问题，而且是两个叠加的问题。一方面 SH 建模的方向性函数在没有训练视图覆盖的球面区域上根本没有监督信号；另一方面——也是更隐蔽的一方面——只用四个视图训练时，3DGS 极高的参数化程度足以把训练视图的残差拟合到接近零，残差图于是给出「这里没有误差、不确定性为零」的信号，而这个信号在真正新奇的视角上完全是错的。论文要解决的正是这种「过度自信」，而不是常见的「拟合不足」。

做法是给方向不确定性函数加一项 L2 先验，惩罚它与常数 \(b\) 的偏离：

\[\ell_k=\int_{\mathbb{S}^2}\bigl(b-u_k(r)\bigr)^2\mathrm{d}r,\qquad \mathcal{L}_{\mathrm{reg}}=\sum_{k=1}^{K}\ell_k\]

球面上的积分用 Gauss-Legendre 采样近似，最终目标是 \(\mathcal{L}'=\mathcal{L}+\lambda_{\mathrm{reg}}\mathcal{L}_{\mathrm{reg}}\)。这个先验的理论依据是 L2 正则化的线性回归等价于中心在 \(b\) 的高斯先验下的贝叶斯推断，所以加了它并不意味着「无证据方向就猜 \(b\)」，而是「在无证据方向上把后验拉回先验」。\(b\) 也不是随手取的：由于 \(u\) 回归的目标是归一化强度范围内的光度残差，残差的上界就是 1，因此 \(b=1\) 恰好对应「最大且各向同性的不确定性」，是一个有原则的取值。换个角度看，这条正则在训练数据覆盖充分的方向上会被数据项压制（数据项主导、先验几乎不起作用），只在没有证据的方向上生效——这也解释了为什么稠密采集下 \(\lambda_{\mathrm{reg}}=0\) 就够了（4.1 节），而稀疏设置下它才成为必需。

损失函数 / 训练策略¶

训练目标是残差与渲染不确定性之间的 L2 差异，梯度只回传到不确定性通道（混合权重矩阵 \(A\) 固定，线性性由此保持）：

\[\mathcal{L}=\sum_x\bigl(L_x-U_x\bigr)^2,\qquad \mathcal{L}'=\mathcal{L}+\lambda_{\mathrm{reg}}\mathcal{L}_{\mathrm{reg}}\]

其中 \(L_x=(1-\lambda)L1_x+\lambda\,\mathrm{DSSIM}_x\)，\(\lambda=0.2\) 直接沿用 3DGS 的训练配置。关键设置：

稠密设置（Mip-NeRF360 / Tanks & Temples / Deep Blending 标准协议）取 \(\lambda_{\mathrm{reg}}=0\)——论文明确说明 Bayesian 正则在稠密采集下只带来边际收益，它是为稀疏视角设计的。
高新颖视角设置只用 4 个训练视图（按两两相机中心距离最大化挑出），基模型训练 4000 迭代、不确定性通道训练 400 迭代；\(b=1\)，背景区域直接赋不确定性 1；关闭正则时则不施加任何背景先验。
主动视角选择（AVS）：从 4 个初始视图开始，每次选择之间把基 3DGS 训练 \(100\times N_{\text{views}}\) 迭代（\(N_{\text{views}}\) 为当前训练视图数），不确定性通道训练 \(50\times N_{\text{views}}\) 迭代，然后选择总不确定性最大的候选视角，共选 16 个、累计 20 个训练视图。
开销：时间上约为原生 3DGS 训练时长的 12.8%~14.0%；空间上每高斯增加 \((D+1)^2\) 个标量，冻结基参数使训练显存低于原生 3DGS。

实验关键数据¶

评估协议完全沿用 3DGS：在 Mip-NeRF360、Tanks & Temples、Deep Blending 三个基准上做不确定性估计，指标是 AUSE（Sparsification Error 曲线下面积，越低说明不确定性对真实误差的排序越准）和 Pearson 相关系数（预测不确定性与逐像素真实误差的相关性，越高越好），并分别用 L1 与 DSSIM 两种误差图各评一遍。DSSIM 在这里格外重要：新视角合成的误差大多来自几何错位、模糊、浮点伪影这类结构性失真，而不是简单的像素强度偏移，所以感知层面的 DSSIM 比 L1 更能反映「哪里真的渲染坏了」。

主实验¶

表 1：新视角合成中的不确定性估计（hold-out 视图，OH 为相对原生 3DGS 的额外训练时间占比）

数据集	方法	AUSE(L1)↓	AUSE(DSSIM)↓	Pearson(L1)↑	Pearson(DSSIM)↑	OH↓
Mip-NeRF360	FisherRF	0.708	0.606	−0.055	0.009	14.2%
Mip-NeRF360	Manifold	0.520	0.559	0.070	−0.005	30.2%
Mip-NeRF360	Var3DGS	0.558	0.495	0.118	0.160	>100%
Mip-NeRF360	Ours	0.328	0.214	0.369	0.547	12.8%
Tanks & Temples	FisherRF	0.691	0.709	−0.087	−0.145	19.3%
Tanks & Temples	Manifold	0.574	0.654	0.053	0.008	23.6%
Tanks & Temples	Var3DGS	0.539	0.567	0.161	0.176	>100%
Tanks & Temples	Ours	0.299	0.233	0.427	0.571	14.0%
Deep Blending	FisherRF	0.751	0.853	−0.116	−0.190	19.7%
Deep Blending	Manifold	0.503	0.548	0.095	0.074	48.1%
Deep Blending	Var3DGS	0.588	0.671	0.106	0.006	>100%
Deep Blending	Ours	0.376	0.356	0.243	0.244	13.0%

表 2：下游任务——主动视角选择（Mip-NeRF360，20 个训练视图后的 hold-out 指标）

方法	PSNR↑	SSIM↑	LPIPS↓
FisherRF	20.266	0.593	0.363
Manifold	19.732	0.595	0.373
Manifold†（用其视角预测驱动原生 3DGS）	20.088	0.611	0.350
Ours	20.676	0.615	0.344

说明：AVS 中作者刻意在全分辨率下评测以严格对齐 3DGS 协议，因此这里的 PSNR 数值（约 20）低于部分前作在全分辨率下不评测时报告的值，属于协议差异而非方法退化。Manifold† 是为了公平比较才引入的：Manifold 的变分优化本身会轻微降低底层 3DGS 的保真度，直接用它的 view prediction 与本文比并不公平。

表 3：下游任务——位姿无关场景变化检测（PASLCD 基准，列出的 ∆ 为相对该基线自身的百分比增幅）

指标	Feature Diff.	+Ours	∆	MV3DCD-ZS	+Ours	∆	MV3DCD	+Ours	∆	Online-SCD	+Ours	∆
mIoU↑	0.278	0.359	+29.1%	0.382	0.439	+14.9%	0.470	0.498	+6.0%	0.486	0.498	+2.5%
F1↑	0.402	0.502	+24.9%	0.526	0.593	+12.7%	0.621	0.649	+4.5%	0.638	0.651	+2.1%

表 4：下游任务——位姿无关异常检测（MAD-Real 基准）

指标	SplatPose	+Ours	∆	SplatPosePlus	+Ours	∆
AUROC↑	0.929	0.939	+1.1%	0.940	0.956	+0.7%
AUPRO↑	0.700	0.765	+9.3%	0.761	0.798	+4.9%

消融实验¶

表 5：视角依赖的容量消融（Mip-NeRF360，改变建模 \(u_k\) 所用的 SH 阶数）

配置	AUSE(L1)↓	AUSE(DSSIM)↓	Pearson(L1)↑	Pearson(DSSIM)↑
无视角依赖（SH 阶数 0）	0.391	0.310	0.217	0.356
SH 阶数 = 1	0.352	0.245	0.327	0.498
SH 阶数 = 2	0.331	0.218	0.353	0.535
SH 阶数 = 3（完整）	0.328	0.214	0.369	0.547

表 6：高新颖视角下 Bayesian 正则权重的敏感性（4 个训练视图，仅重述论文可确认的结论性区间）

\(\lambda_{\mathrm{reg}}\)	现象 / 结论
0（无正则）	DSSIM 的 AUSE = 0.275，是论文定性对比中最差的一档
0.32	DSSIM 的 AUSE = 0.232
10.24	DSSIM 的 AUSE = 0.215，DSSIM 上的最优点，此后变化边际
0.16 ~ 0.32	L1 误差下的最优区间

⚠️ 表 6 中除 Fig. 6 明确给出的 0 / 0.32 / 10.24 三个点的 DSSIM AUSE 外，论文对 \(\lambda_{\mathrm{reg}}\) 的扫描以曲线形式给出（取值 0、0.02、0.08、0.32、1.28、5.12、20.48，自 0.02 起逐次翻倍），完整数值以原文 Fig. 5b 为准。所有 \(\lambda_{\mathrm{reg}}\) 取值下本文都优于 FisherRF。

关键发现¶

参数空间 UE 与真实误差可以反相关。 表 1 最刺眼的一列是 FisherRF 的 Pearson：三个数据集上全为负（−0.055 ~ −0.190），意味着它标为"高不确定性"的地方与真实高误差区域系统性地错位。本文在工作点上的 DSSIM 相关做到 0.547，相对最强基线 Var3DGS 是 3 倍以上。这一条从实证上支持了论文的核心论点——对下游像素消费型任务而言，在渲染空间而不是参数空间建模不确定性是必要的。
视角依赖不是可选项，是容量问题。 表 5 显示把 SH 阶数从 3 降到 0，Pearson(DSSIM) 从 0.547 掉到 0.356（−35%），AUSE(DSSIM) 从 0.214 涨到 0.310（+45%）。降阶带来的退化是单调的，说明不确定性确实随观察方向变化；把它当成"这个图元没学好"这样的静态标量会明显损失精度。
最优正则强度取决于你关心哪种误差。 高新颖视角下 L1 的最优区间是 \(0.16\le\lambda_{\mathrm{reg}}\le0.32\)，而 DSSIM 的最优值要到 10.24，两者差了一个半数量级。作者同时指出这些区间基本与场景无关（场景级的 AUSE 曲线见附录 C），也就是说不必为每个场景单独调参——但必须先知道下游任务看的是哪种误差度量。
效果量与基线强弱反相关。 表 3 中越弱的基线提升越大（Feature Diff. mIoU +29.1%），越强的基线提升越小但仍为正（Online-SCD +2.5%）。这符合"不确定性图抑制的是渲染伪影这一共性误差源"的解释：基线自己越会处理伪影，可被不确定性补足的空间就越小。表 4 也给出同样的结构，并且本文的引导使旧版 SplatPose 追平甚至超过了它的后继 SplatPosePlus，说明收益来自可靠性信号本身而非某个特定架构。
开销几乎可以忽略。 12.8%~14.0% 的额外训练时间对比 Var3DGS 的 >100%，加上每高斯仅 16 个标量，使这篇方法在"给已有 3DGS 补一层可信度"这个使用场景里几乎没有部署阻力。

亮点与洞察¶

把不确定性估计从"训练一个回归器 / 采样一堆网络"降级成"解一个凸问题"。 PRIMU 同样在图像空间做 UE，但依赖手工特征加在 hold-out 视图上训练的回归器；本文用线性最小二乘直接学逐图元、视角相关的不确定性，既不需要回归器也不需要 hold-out 视图，还保留了随机方法的视角相关性。凡是"显式图元 + α 混合"的表示（2DGS、动态 4D 高斯、语义高斯），都可以照搬这一条通道。
冻结基参数是保真度与可解性同时成立的关键。 因为 \(A\) 只由冻结的 \(\alpha\) 和 \(T\) 构成，它是常量，问题因此线性凸，用 SGD 解就是全局最优，原模型渲染质量一个像素都不会变。这是一个把"必须后处理"这个约束转成优势的干净取舍——不追求把 UE 融进训练循环，而是换到即插即用。
Bayesian 先验处理的是"无监督方向"而不是"无数据区域"。 SH 建模视角依赖后，未被训练视图覆盖的球面方向天然没有梯度，作者用一条中心在最大不确定性处的 L2 先验补上，把它们当成"不知道"而不是"没问题"。这个思路可以搬到任何用 SH 建模、却只在部分球面上有监督的量（方向性辐射、视角相关材质、光照）。
"逐像素启发式打分"与"联合最小二乘"的区别，本质是要不要解耦重叠图元的连坐。 PUP 3D-GS、Speedy-Splat、Rota Bulò 等人的图元打分在稠密化场景里无伤大雅，因为没有解耦的误判会被后续优化纠正；但只要模型被冻结、打分要直接做决策（剪枝、编辑定位、可靠性掩码），联合求解就是必要的。这个判断标准可以直接迁移。

局限与展望¶

作者承认的两个局限：其一，严格的后处理性质使不确定性图的空间粒度被底层高斯的密度与尺度卡住——在粗重建区域（少量大图元）预测出的不确定性也同样粗糙，而作者刻意不去增删图元，以保持模型保真度和结构不变。其二，方法只输出单一的预测不确定性，把 aleatoric、epistemic 与优化相关的效应混在一起，并不构成一个概率分布；作者也指出这并非独有缺陷，现有方法同样缺乏解耦，只有随机形式的方法能给出概率形式。
我注意到的局限：残差度量本身没有做消融——目标 \(L_x\) 直接沿用 3DGS 的 L1 + 0.2·DSSIM，换成 LPIPS、法向一致性或深度一致性误差会怎样完全没有讨论，而残差的选择直接决定了 \(u\) 在学什么。另外 AUSE / Pearson 都在 hold-out 视图上评估，而下游 SCD 与 AD 真正棘手的恰恰是位姿严重偏离训练分布的那部分视图，两者并不完全重合，这可能是表 3 中强基线增益偏小的原因之一。
改进思路：把 \(\lambda_{\mathrm{reg}}\) 做成按方向自适应——对训练覆盖稀疏的球面方向加大先验强度、对已有覆盖的方向让数据项继续主导——有望同时照顾 L1 与 DSSIM 这两个最优区间差异巨大的目标；针对局限一，可以允许在粗重建区域分裂出只承载不确定性、不参与颜色渲染的辅助图元（或让其不确定性支持多尺度插值），在不改变 RGB 渲染的前提下提高不确定性图的空间分辨率。

评分¶

新颖性: ⭐⭐⭐⭐ 核心洞察（残差是可用代理）并不新，但"把不确定性做成第三种可泼溅属性 + 用冻结权重构造线性最小二乘 + Bayesian 先验补无证据方向"这个组合是新的，且把 UE 从"改训练"彻底挪到了"后处理"。
实验充分度: ⭐⭐⭐⭐⭐ 三个 UE 基准 × 两种误差度量 × 四个基线，加上主动视角选择、位姿无关变化检测、位姿无关异常检测三个下游任务，再加 SH 阶数与正则权重两组消融和跨 3DGS 变体的即插即用验证，覆盖面完整。
写作质量: ⭐⭐⭐⭐ 与两族已有工作的边界划得很清楚，"为什么是渲染空间而不是参数空间"论证有力；扣分在公式排版，预印本中若干关键公式（如式 5 的目标函数）呈现损坏。
价值: ⭐⭐⭐⭐ 后处理、低开销、架构无关、保真度无损，对"把 3DGS 当成机器人空间地图"这条路线是很实用的基础设施，三个下游任务的增益也证明了它不只是更漂亮的指标。