Birth-Death Structural Learning for 3D Gaussian Splatting¶

会议: NeurIPS 2026
arXiv: 2610.34344
OpenReview: https://openreview.net/forum?id=8kpY9DyWuJ
代码: https://github.com/quanth238/birth-death-3dgs
领域: 重建与渲染
关键词: 3D高斯泼溅, 结构学习, 变分分数, 生死控制, 神经渲染

一句话总结¶

针对 3DGS 传统克隆与分裂依赖位置梯度、不透明度等启发式代理信号且脱离重构目标的缺陷，本文基于 Splat Regression Model (SRM) 的 Wasserstein-Fisher-Rao 测度变分理论，提出一阶变分质量分数指导的出生-死亡结构控制算法，在受限高斯预算下显著刷新多视角神经渲染质量。

研究背景与动机¶

三维高斯泼溅（3DGS）作为辐射场与三维外观恢复的主流显式表示，通过将空间场景离散建模为各向异性三维高斯图元并配合高效可微栅格化渲染，实现了极高质量的实时新视角合成。然而在连续优化各基元几何与外观参数的同时，3DGS 的结构优化——即高斯基元的密集化（克隆、分裂）与剪枝（死亡），仍然严重依赖人工调优的启发式代理信号。标准方法通常累积视图投影中的位置梯度阈值来决定何处克隆或分裂，并依据极低的不透明度执行剪枝。

这类启发式控制与多视角重构损失在数学上处于脱离状态：高累积位置梯度可能仅仅反映了视角光度视差或边界颤动，并不直接度量“在此处增设一个基元能否带来最大经验风险下降”；而不透明度较低的基元也未必全部冗余。启发式代理导致大量冗余高斯被分配至已充分拟合的区域，或产生针状伪影与悬浮杂点（floaters）。这种结构性资源错配在严格限制高斯总预算（如 100k 或 200k）的紧凑场景表示中尤为严重，直接削弱了精细几何与纹理高频细节的重建能力。

Splat Regression Model (SRM) 理论从混合测度优化角度揭示了 3DGS 训练的本质：连续梯度下降仅对应 Wasserstein-Fisher-Rao (WFR) 测度空间中的连续传输分量（移动基元中心与协方差），却忽略了调控基元生成与销毁的质量缩放分量。本文的核心 idea 是：将 3DGS 结构更新严格纳入经验风险最小化框架，冻结当前连续参数并微分多视角损失关于图元质量坐标的一阶变分分数，以此分数差指导高斯基元的出生与死亡分配。

方法详解¶

整体框架¶

本文算法将 3DGS 的种群控制转变为有原则的一阶变分出生-死亡过程。在训练过程中，模型周期性冻结所有连续几何与外观参数（均值、协方差、不透明度、球谐颜色），为每个高斯基元分配一个标量辅助质量坐标 $m_i$（初始为 1），并输入当前多视角批次图像执行一次轻量反向传播，求取多视角光度经验风险关于质量坐标的负导数作为一阶变分分数 $q_i$。该分数代表对该高斯进行微小质量扩增带来的目标函数一阶局部下降量。随后，算法在低不透明度候选池中挑选分数最低的图元予以移除（死亡），并将回收的容量在正分数最高的高斯基元处进行重生或分裂（出生），最后交由保光学足迹的 3DGS-MCMC 转移核完成离散状态切换。

整体算法运行流程如下所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角图像输入与高斯种群"] --> B["周期性触发结构更新<br/>冻结连续场景参数并附加质量坐标"]
    B --> C["一阶变分质量分数计算<br/>反向传播计算经验风险负导数"]
    C --> D["分数差引导的生死分配决策<br/>识别低分安全死亡池与高分出生点"]
    D --> E["保光学足迹的MCMC状态转移<br/>重定位基元并校正协方差与不透明度"]
    E --> F["恢复常规连续梯度优化<br/>更新位置/协方差/颜色参数"]

关键设计¶

1. 一阶变分质量分数计算：从测度变分推导局部下降代理 传统启发式控制使用累积位置梯度或图像空间重构误差作为增设依据，无法直接量化基元质量变化对光度损失的真实影响。本文基于 SRM 测度泛函的一阶变分定义，在控制步骤冻结场景参数，令第 $i$ 个高斯基元在各像素处的光学贡献受到标量质量坐标 $m_i$ 的缩放，即 $a_i(x) \mapsto m_i a_i(x)$。在质量初始向量 $\mathbf{m}=\mathbf{1}$ 处，关于多视角经验重构风险 $\widehat{F}_t(\mathbf{m})$ 求取负偏导数得到分数： $$q_i = -\left.\frac{\partial \widehat{F}_t(\mathbf{m})}{\partial m_i}\right|_{\mathbf{m}=\mathbf{1}} = -\alpha_i \frac{\partial \widehat{F}_t}{\partial \alpha_i}$$ 展开至像素级渲染公式时，分数可解析写为负残差方向、透射率权重与基元显色同累积背景色差异的内积： $$q_i = -\frac{1}{B}\sum_{n\in\mathcal{B}_t}\sum_{x}\left\langle r_n(x),\;T_i(x)a_i(x)\bigl(c_i(\mathbf{d}_n)-\hat{I}_i^{\mathrm{back}}(x)\bigr)\right\rangle$$ 该指标具有两大关键优势：首先，乘上 $\alpha_i$ 自然充当了置信度权重，有效压制了拟合高频噪声的半透明杂点梯度尖峰，使其不会被错误选为出生母体；其次，它避开了标准 3DGS 优化中不透明度激活函数 Sigmoid 带来的 $\alpha_i(1-\alpha_i)$ 饱和衰减陷阱，确保实体核心基元在需要进一步增补能力时仍能保持高响应。

2. 分数差引导的生死分配决策：兼顾局部下降与移除扰动有界性 仅有连续变分导数不足以直接完成离散图元的生死决策。本文证明了在光滑局部模型假设下，质量扰动向量 $\delta\mathbf{m}(J,D) = \kappa (\sum_{r=1}^{R_t} e_{J_r} - \sum_{i\in D} e_i)$ 带来的损失改变量上界由分数差 $\langle q_t, \delta\mathbf{m}\rangle$ 决定： $$\langle q_t, \delta\mathbf{m}\rangle = \kappa\left(\sum_{r=1}^{R_t}(q_t)_{J_r} - \sum_{i\in D}(q_t)_{i}\right)$$ 同时，为防止直接删除高斯破坏场景结构，本文证明了单基元移除扰动界：将第 $i$ 个高斯置零对整幅渲染图像造成的平均绝对误差严格以其不透明度为界，即 $\|\hat{I}_n - \hat{I}_n^{(-i)}\|_{1,\mathrm{mean}} \le \alpha_i$。基于此理论，算法先划定低不透明度安全死亡候选池 $\mathcal{P}_t = \{i : \alpha_i \le \alpha_{\mathrm{death}}\}$，再从中挑出平滑 EMA 变分分数 $\bar{q}_i$ 最低的基元构成销毁集合 $\mathcal{D}_t^-$；同时在存活基元中依据截断正分数 $[(\bar{q}_t)_i]_+$ 概率采样得到出生位置 $J_{1:R_t}$，使得有限步离散重构最大化一阶预期收益。

3. 保光学足迹的 MCMC 状态转移：低扰动离散容量重分配 为在离散增删时最大程度维持场景当前的透射平衡，算法复用了 3DGS-MCMC 的闭式重定位转移算子。当回收的死亡槽位分配至目标高斯基元 $j$ 时，生成 $N_j$ 个同位副本，其中心坐标、朝向及颜色完全继承自母体，但不透明度与协方差按照能量守恒进行闭式缩放： $$\mu_{j,\ell}' = \mu_j, \qquad \alpha_{j,\ell}' = 1 - (1-\alpha_j)^{1/N_j}, \qquad \Sigma_{j,\ell}' = \gamma(N_j, \alpha_j)\Sigma_j$$ 比例因子 $\gamma(N_j, \alpha_j)$ 经过精确推导，使得聚集基元的复合不透明度积分足迹在几何瞬时与原高斯严格吻合。若当前种群数量未达预设上限，算法则直接在根据正质量分数采样的母体基元处激活全新空槽位；若已达预算上限，则精确执行等量生死置换，从而在固定存储预算下持续实现基元利用效率的最大化。

损失函数 / 训练策略¶

连续参数优化沿用 3DGS-MCMC 的标准复合光度损失，由 $L_1$ 绝对误差与结构相似度损失构成： $$\mathcal{L}_{\mathrm{img}} = (1 - \lambda_{\mathrm{dssim}})\ell_1(\hat{I}, I) + \lambda_{\mathrm{dssim}}(1 - \operatorname{SSIM}(\hat{I}, I))$$ 其中 $\lambda_{\mathrm{dssim}} = 0.2$。辅以极小权重（0.01）的不透明度与尺度正则项促使未被使用的闲置高斯自然衰退进入安全死亡池。结构更新周期设为 $\Delta = 40$ 步，计算变分分数的辅助批大小为 $B = 16$ 视角，变分分数采用衰减系数 $\rho = 0.9$ 的指数移动平均（EMA），死亡不透明度门限固定为 $\alpha_{\mathrm{death}} = 0.015$。整个训练周期保持 30,000 次迭代。

实验关键数据¶

主实验¶

论文在 Mip-NeRF360（7 个基准场景）、Tanks & Temples 以及 DeepBlending 数据集上，针对严格受限的高斯图元预算（100k、500k、1M）进行了全面对比评测。在极端稀缺的 100k 预算下，本文提出的变分控制器展现出显著优势。

数据集	预算容量	本文 (PSNR / SSIM / LPIPS)	3DGS-MCMC 基线	ConeGS (之前SOTA)	提升幅度 (对比MCMC)
Mip-NeRF360	100k	27.94 / 0.818 / 0.276	27.06 / 0.800 / 0.303	27.74 / 0.809 / 0.285	+0.88 dB / +0.018 / -0.027
Tanks & Temples	100k	23.60 / 0.831 / 0.225	22.50 / 0.780 / 0.332	23.12 / 0.791 / 0.310	+1.10 dB / +0.051 / -0.107
DeepBlending	100k	29.45 / 0.892 / 0.303	28.94 / 0.876 / 0.333	29.44 / 0.880 / 0.328	+0.51 dB / +0.016 / -0.030
Mip-NeRF360	500k	29.11 / 0.869 / 0.203	28.82 / 0.861 / 0.214	29.08 / 0.870 / 0.190	+0.29 dB / +0.008 / -0.011
Tanks & Temples	500k	24.05 / 0.857 / 0.178	23.68 / 0.825 / 0.259	23.69 / 0.829 / 0.229	+0.37 dB / +0.032 / -0.081
DeepBlending	500k	30.04 / 0.906 / 0.262	29.44 / 0.887 / 0.308	29.86 / 0.891 / 0.285	+0.60 dB / +0.019 / -0.046
Mip-NeRF360	1M	29.49 / 0.883 / 0.178	29.23 / 0.875 / 0.190	29.37 / 0.880 / 0.168	+0.26 dB / +0.008 / -0.012
Tanks & Temples	1M	24.17 / 0.865 / 0.157	23.93 / 0.836 / 0.233	23.70 / 0.835 / 0.207	+0.24 dB / +0.029 / -0.076
DeepBlending	1M	30.14 / 0.911 / 0.248	29.67 / 0.887 / 0.288	29.69 / 0.889 / 0.273	+0.47 dB / +0.024 / -0.040

消融实验¶

为了严格分离变分质量分数与其他组件的作用，作者在保持渲染器、优化器、调度安排和 MCMC 转移核完全不变的情况下，在 Mip-NeRF360 数据集（100k 预算上限）上进行了独立统计量消融实验。

配置	结构决策统计量	$\Delta$PSNR (dB)	说明
(a) MCMC 基线	不透明度 $\alpha_i$ 采样	0.00 (基准)	原生 3DGS-MCMC 策略
(b) 位置梯度	$\\|\nabla_{\mu_i}\widehat{F}_t\\|$	+0.04	传统 3DGS 依赖的空间移动敏感度
(c) 后激活不透明度梯度	$-\partial\widehat{F}_t/\partial\alpha_i$	+0.11	未乘 $\alpha_i$ 的加性不透明度扰动梯度
(d) 仅出生引导	$(q_i)_+$ (死亡随机)	+0.28	仅指导出生位置，死亡未优化
(e) 仅死亡引导	$q_i$ (出生沿用不透明度)	+0.05	仅用分数排除死亡图元
(f) 本文完整模型	一阶变分质量分数 $q_i$	+0.33	协同指导出生点与死亡槽位

关键发现¶

变分分数相对传统梯度的决定性增益：相比传统位置梯度仅带来微弱的 +0.04 dB 增益，质量变分导数 $q_i = -\alpha_i \partial\widehat{F}_t/\partial\alpha_i$ 带来了 +0.33 dB 的净提升，比未加权的纯不透明度梯度多出 +0.22 dB。这表明 $\alpha_i$ 作为固有权重的显式缩放有效抑制了浮动杂点。
高斯容量极其紧张时收益最大：当高斯容量限制在 100k 时，算法在 Tanks & Temples 上的 PSNR 提升高达 1.10 dB，LPIPS 降低 0.107；随着图元容量扩大至 1M/2M，冗余高斯容量逐渐掩盖了结构分配不当造成的惩罚，各类方法间的差距逐渐收敛。
效用验证探针的高度相关性：在独立验证实验中，变分分数与实际移除高斯造成的真实有限损伤 Spearman 秩相关系数高达 0.613，而位置梯度仅为 0.303，不透明度几乎接近随机相关的 0.044。

亮点与洞察¶

理论统一与测度视角落地：将复杂的 SRM 测度空间 Wasserstein-Fisher-Rao 梯度流连续几何，通过辅助质量坐标巧妙转化为离散光栅化渲染器中单次反向传播即可获取的解析标量分数，实现了深厚数学理论与工程实践的优雅衔接。
避开梯度饱和与杂点干扰的置信加权：质量坐标导数自然等价于 $-\alpha_i \partial\widehat{F}_t/\partial\alpha_i$，在抑制低不透明度噪声杂点伪梯度的同时，避免了 Sigmoid 导数中因 $(1-\alpha_i)$ 导致的实体区域梯度消失，显著提升了成熟高斯的辨识度。
低扰动生死平衡与有界性保证：从数学上证明了单基元移除造成的渲染绝对误差不超过该基元的不透明度 $\alpha_i$，建立了以 $\alpha_{\mathrm{death}}$ 约束移除扰动上限、再在池内按变分得分挑出最无用槽位的严谨安全剪枝法则。

局限与展望¶

纯质量标量导数欠缺几何位移引导能力：当前变分分数 $q_i$ 仅衡量在现有高斯位置缩放质量带来的局部效用，无法预判分裂子代产生空间偏移后的几何拓扑收益，未来需要研究联合几何位移与质量增益的高阶变分提议机制。
高容量下对多视角光度变化敏感：由于变分分数严格追踪图像光度残差，在 Tanks & Temples 等包含强日照和自动曝光变化的无约束场景中，高容量模型易将曝光突变或阴影边缘误判为几何缺失并过度分配高斯，未来需结合物理曝光补偿模块或不确定度建模。
辅助反向传播带来固定计算开销：由于在冻结步需要通过 16 视角执行额外的变分导数反向传播，整体训练时间增加了 1.21× 至 1.27×。未来可引入随几何收敛而逐渐衰减的自适应调度策略以进一步摊薄计算成本。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将 SRM 变分测度理论化为 3DGS 质量坐标变分导数，为长期依赖经验代理的图元增删提供了首个严密的一阶下降数学基础]
实验充分度: ⭐⭐⭐⭐⭐ [涵盖三大权威基准、多尺度预算对比、严格控制变量的统计量消融、以及独立探针验证，数据详实完整]
写作质量: ⭐⭐⭐⭐⭐ [数学推导严密规范，理论与离散工程算法层层递进，消融设计精准，局限性分析客观深刻]
价值: ⭐⭐⭐⭐⭐ [彻底指明了 3DGS 结构控制向经验风险极小化对齐的技术方向，对低算力端侧部署及超紧凑三维场景重建意义重大]

配置	结构决策统计量	\(\Delta\)PSNR (dB)	说明
(a) MCMC 基线	不透明度 \(\alpha_i\) 采样	0.00 (基准)	原生 3DGS-MCMC 策略
(b) 位置梯度	\(\\|\nabla_{\mu_i}\widehat{F}_t\\|\)	+0.04	传统 3DGS 依赖的空间移动敏感度
(c) 后激活不透明度梯度	\(-\partial\widehat{F}_t/\partial\alpha_i\)	+0.11	未乘 \(\alpha_i\) 的加性不透明度扰动梯度
(d) 仅出生引导	\((q_i)_+\) (死亡随机)	+0.28	仅指导出生位置，死亡未优化
(e) 仅死亡引导	\(q_i\) (出生沿用不透明度)	+0.05	仅用分数排除死亡图元
(f) 本文完整模型	一阶变分质量分数 \(q_i\)	+0.33	协同指导出生点与死亡槽位