direct conditional parameterization for n-dimensional splatting¶

会议: NeurIPS 2026
arXiv: 2610.22778
代码: https://gaozhongpai.github.io/dgs/
领域: 3D视觉
关键词: 3D高斯泼溅, N维高斯, 条件切片, 直接参数化, 实时神经渲染

一句话总结¶

针对高维高斯泼溅每次前向依赖环境协方差求逆与回归修正的效率瓶颈，本文提出直接条件参数化范式，通过显式精度因子与带尺度先验的可分解回归算子解耦不透明度与空间位移，在大幅提速切片计算的同时保持严格的联合高斯协方差几何相容性。

研究背景与动机¶

3D Gaussian Splatting (3DGS) 虽凭借显式三维椭球图元与高效光栅化实现了惊艳的新视角合成，但静态图元天然难以兼顾复杂视线高光、各向异性非朗伯反射以及动态时空形变。为此，高维高斯泼溅（以 6DGS、7DGS 等 N-DGS 以及 Universal Beta Splatting UBS 为代表）将三维高斯扩展至包含视线方向（$C=3$）甚至时间戳（$C=4$）的 $(3+C)$ 维联合分布空间，在渲染时根据当前查询通过条件高斯切片公式动态恢复每个图元的空间均值、协方差与不透明度衰减。

然而，现有方法普遍采用环境高维协方差（ambient joint covariance）矩阵作为优化参数。在每次前向渲染中，为了得到受控的均值与不透明度，每个图元都必须经历查询子块求逆 $\boldsymbol{\Sigma}_{qq}^{-1}$、构造回归投影算子 $\mathbf{P} = \boldsymbol{\Sigma}_{pq}\boldsymbol{\Sigma}_{qq}^{-1}$，以及计算舒尔补协方差修正 $\mathbf{P}\boldsymbol{\Sigma}_{pq}^\top$。对于动辄数百万图元的真实大场景，逐图元求逆不仅带来巨大的算力与显存开销，还在 Cholesky 参数空间中将不透明度衰减、空间回归与条件协方差严重纠缠在一起；一旦查询子块发生病态，数值稳定性亦会急剧劣化。

本文的切入视角是：渲染流程本质上仅需要条件空间协方差、查询空间精度矩阵以及查询到位置的回归算子这三个操作量，而不必在运行期反复逆向解构联合协方差。核心 idea：直接为渲染所需的条件操作量建立显式参数化，用 Cholesky 精度因子控制不透明度，并用解耦的空间尺度归一化算子与可学习逐维耦合度控制位置回归，同时在理论上证明该直接参数化与联合高斯协方差流形具备全局光滑双射对应。

方法详解¶

整体框架¶

本文提出的直接条件参数化（Direct Conditional Parameterization）彻底摒弃了在线协方差求逆与舒尔补修正，直接维护渲染导向的算子结构。给定图元中心空间坐标 $\boldsymbol{\mu}_p$、正则查询中心 $\boldsymbol{\mu}_q$ 以及当前视角/时间查询 $\mathbf{q}$，计算查询偏差 $\boldsymbol{\delta} = \mathbf{q} - \boldsymbol{\mu}_q$。整个切片流水线被解耦为两条路径：不透明度路径通过下三角 Cholesky 因子 $\mathbf{L}$ 直接计算精度二次型；空间位置路径则由平均尺度归一化的耦合方向 $\boldsymbol{\Theta}_{pq}$ 与精度矩阵结合，并在每维耦合向量 $\boldsymbol{\Lambda}$ 的加权下实现位移偏移。该结构同时支持高斯核（dGS）与 Beta 核（dBS）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入查询 q<br/>偏差计算: δ = q - μ_q"] --> B["不透明度精度计算<br/>Cholesky因子矩阵乘: z = L^T δ"]
    B --> C["不透明度衰减核<br/>高斯衰减 / Beta衰减"]
    B --> D["可学习逐维耦合权重<br/>动态平衡独立性与视角形变"]
    D --> E["尺度先验空间耦合因子<br/>V_pq = s_bar * Θ_pq"]
    E --> F["位置回归算子合成<br/>μ_cond = μ_p + V_pq diag(Λ) V_qq δ"]
    C --> G["输出切片图元<br/>条件不透明度 α_cond & 条件位置 μ_cond"]
    F --> G

关键设计¶

1. 显式 Cholesky 精度因子与无求逆不透明度计算：消除逐图元矩阵求逆开销 以往 N-DGS 需要先构造高维协方差查询块 $\boldsymbol{\Sigma}_{qq}$，再通过伴随矩阵或高斯-约旦消元法求逆来计算马氏距离。本文直接将查询精度矩阵参数化为其下三角 Cholesky 因子 $\mathbf{L} \in \mathbb{R}^{C \times C}$，并在对角线上采用指数激活以天然保证正定性，即 $\mathbf{V}_{qq} = \mathbf{L}\mathbf{L}^\top \succ \mathbf{0}$。当查询偏差为 $\boldsymbol{\delta}$ 时，二次型直接化简为下三角矩阵-向量乘积的二范数平方： $$\alpha_{\text{cond}} = \alpha \cdot \exp\left(-\lambda_o \|\mathbf{L}^\top \boldsymbol{\delta}\|_2^2\right)$$ 该变换完全在线程寄存器中通过 $C(C+1)/2$ 次乘法与点积完成，无须任何矩阵求逆或中间显存分配。对于扩展至 Beta 核的 dBS，由于精度距离 $\mathbf{z} = \mathbf{L}^\top \boldsymbol{\delta}$ 已显式给出，直接代入各向异性 Beta 衰减函数 $\prod_{i=1}^C (1-\tanh(z_i^2))^{\beta_i}$，避免了原版 UBS 繁重的三角线性方程求解（Triangular Solve）。

2. 空间尺度先验约束的耦合算子与可调节耦合度：解耦位置回归与不透明度 在联合高斯建模中，图元位置随视线微调的偏移量必须受控于图元自身的几何体积，否则会导致伪影与几何崩溃。本文设计了空间耦合因子 $\mathbf{V}_{pq} = \bar{s}\boldsymbol{\Theta}_{pq} \in \mathbb{R}^{3 \times C}$，其中 $\bar{s} = \text{mean}(s_x, s_y, s_z)$ 为图元三轴平均空间尺度，$\boldsymbol{\Theta}_{pq}$ 为具有单位 Frobenius 范数的学习方向（$\|\boldsymbol{\Theta}_{pq}\|_F = 1$），从而施加了严格的物理尺度先验 $\|\mathbf{V}_{pq}\|_F = \bar{s}$。同时，引入逐维耦合向量 $\boldsymbol{\Lambda} \in [0, 1]^C$ 形成最终的条件均值偏移： $$\boldsymbol{\mu}_{\text{cond}} = \boldsymbol{\mu}_p + \mathbf{V}_{pq} \operatorname{diag}(\boldsymbol{\Lambda}) \mathbf{V}_{qq} \boldsymbol{\delta}$$ 当 $\boldsymbol{\Lambda} = \mathbf{0}$ 时，位置与查询完全解耦退化为纯不透明度调制的极速变体 dGS-O（$\boldsymbol{\mu}_{\text{cond}} = \boldsymbol{\mu}_p$）；当 $\boldsymbol{\Lambda} = \mathbf{1}$ 时，完全复现联合高斯的全精度通道耦合；而中间可学习数值则让漫反射或高光区域图元自适应选择耦合强度。

3. 联合协方差流形的全局光滑双射映射：保证直接坐标的数学严谨性 尽管 dGS 在前向渲染与反向传播中直接优化渲染参数 $(\boldsymbol{\Sigma}_{\text{cond}}, \mathbf{M}, \mathbf{V}_{qq})$ 而不构建高维联合分布，但理论证明该无约束三元组在对称正定流形上构成了全局光滑双射（Diffeomorphism）。定义重构映射： $$\boldsymbol{\Psi}(\boldsymbol{\Sigma}_{\text{cond}}, \mathbf{M}, \mathbf{V}_{qq}) = \begin{pmatrix} \boldsymbol{\Sigma}_{\text{cond}} + \mathbf{M}\mathbf{V}_{qq}^{-1}\mathbf{M}^\top & \mathbf{M}\mathbf{V}_{qq}^{-1} \\ \mathbf{V}_{qq}^{-1}\mathbf{M}^\top & \mathbf{V}_{qq}^{-1} \end{pmatrix}$$ 利用分块三角分解 $\boldsymbol{\Psi} = \begin{pmatrix} \mathbf{I}_p & \mathbf{M} \\ \mathbf{0} & \mathbf{I}_C \end{pmatrix} \begin{pmatrix} \boldsymbol{\Sigma}_{\text{cond}} & \mathbf{0} \\ \mathbf{0} & \mathbf{V}_{qq}^{-1} \end{pmatrix} \begin{pmatrix} \mathbf{I}_p & \mathbf{0} \\ \mathbf{M}^\top & \mathbf{I}_C \end{pmatrix}$，证明了当 $\boldsymbol{\Sigma}_{\text{cond}} \succ \mathbf{0}$ 且 $\mathbf{V}_{qq} \succ \mathbf{0}$ 时，重构联合矩阵必正定，且体积元雅可比行列式满足 $|\det D\boldsymbol{\Psi}| = (\det \mathbf{V}_{qq})^{-(p+C+1)}$，在内部恒为有限非零。这从几何与测度上证明了直接优化渲染算子不仅省去了运行时计算，更具备完整的概率与几何意义。

损失函数 / 训练策略¶

训练保持与 3DGS 体系一致的标准端到端光度损失，由 $L_1$ 颜色误差与结构相似度（D-SSIM）加权构成：$\mathcal{L} = (1-\lambda_{\text{sim}})\mathcal{L}_1 + \lambda_{\text{sim}}\mathcal{L}_{\text{D-SSIM}}$，其中 $\lambda_{\text{sim}}=0.2$。模型采用 Adam 优化器训练 30,000 次迭代。初始状态下，查询中心 $\boldsymbol{\mu}_q$ 初始化为随机单位向量（动态场景时间维度在 $[0, 1]$ 均匀采样）；耦合方向参数 $\boldsymbol{\Theta}_{pq} \sim \mathcal{N}(0, 0.01^2)$；Cholesky 对角线设为 $\log(2.0)$，非对角元为 0。

实验关键数据¶

主实验¶

在 MCMC 稠密化策略下，论文在静态与动态共 5 个权威基准上对高斯核配对（dGS vs N-DGS）与 Beta 核配对（dBS vs UBS）进行了严谨的成对对齐测试（统一 3DGS 评测协议，A100 GPU）。

数据集	方法类别	图元数 (#K)	训练时间 (min)	渲染帧率 (FPS_CUDA)	PSNR ↑	SSIM ↑	LPIPS ↓
NeRF Synthetic (静态)	N-DGS dGS (本文) UBS dBS (本文)	300 300 300 300	10.43 10.26 6.80 5.48	348.95 593.94 (+70%) 306.33 415.66 (+36%)	34.04 34.34 (+0.30) 34.48 34.53 (+0.05)	0.973 0.973 0.975 0.975	0.027 0.026 0.026 0.025
Mip-NeRF 360 (真实无界)	N-DGS dGS (本文) UBS dBS (本文)	2852 2574 3057 3057	51.23 49.85 28.59 24.42	75.31 200.56 (+166%) 76.18 157.45 (+107%)	26.88 27.67 (+0.79) 28.50 28.70 (+0.20)	0.775 0.794 0.841 0.842	0.263 0.227 0.183 0.185
6DGS-PBR (复杂视效)	N-DGS dGS (本文) UBS dBS (本文)	163 163 163 163	54.80 47.54 8.70 8.47	476.79 551.02 (+16%) 348.63 401.93 (+15%)	40.06 40.34 (+0.28) 39.53 39.72 (+0.19)	0.976 0.976 0.975 0.976	0.039 0.038 0.042 0.042
D-NeRF (动态形变)	N-DGS dGS (本文) UBS dBS (本文)	150 150 150 150	10.31 10.61 8.37 9.34	501.52 746.65 (+49%) 371.81 463.09 (+25%)	34.63 34.64 (+0.01) 32.91 33.55 (+0.64)	0.976 0.976 0.967 0.972	0.033 0.030 0.040 0.033
7DGS-PBR (时空视效)	N-DGS dGS (本文) UBS dBS (本文)	175 175 175 175	28.44 31.12 9.90 8.79	511.12 577.38 (+13%) 396.33 539.57 (+36%)	29.20 29.90 (+0.70) 30.61 31.87 (+1.26)	0.944 0.948 0.951 0.955	0.063 0.061 0.057 0.053

消融实验¶

在标准 3DGS 稠密化协议下，对核心组件（耦合系数 $\boldsymbol{\Lambda}$ 与空间平均尺度因子 $\bar{s}$）进行消融对比：

配置	NeRF Synthetic (PSNR ↑ / SSIM ↑ / LPIPS ↓)	6DGS-PBR (PSNR ↑ / SSIM ↑ / LPIPS ↓)	说明
完整模型 dGS (可学习 $\boldsymbol{\Lambda}$)	33.91 / 0.972 / 0.029	37.75 / 0.972 / 0.052	完整参数化设计，自适应最优平衡
$\boldsymbol{\Lambda} = \mathbf{0}$ (dGS-O, 纯不透明度)	33.84 / 0.971 / 0.030	36.54 / 0.965 / 0.059	漫反射场景掉点轻微，强高光场景大幅下跌 1.21 dB
$\boldsymbol{\Lambda} = \mathbf{1}$ (固定强耦合)	33.78 / 0.971 / 0.029	37.31 / 0.972 / 0.053	漫反射场景过度位移产生噪声，高光场景仍落后 0.44 dB
dGS 去除空间尺度先验 (w/o $\bar{s}$)	31.26 / 0.957 / 0.046	34.78 / 0.951 / 0.075	缺乏尺度约束导致优化剧烈劣化，暴跌 2.65 ~ 2.97 dB

关键发现¶

纯切片算子吞吐暴增 7 倍：底层 CUDA 切片性能测试表明，在 100 万图元负载下，$C=3$ 切片耗时从 N-DGS 的 0.71 ms 降至 0.10 ms（7.1× 提速），$C=4$ 从 0.96 ms 降至 0.12 ms（7.7× 提速）。
空间尺度先验 $\bar{s}$ 具有决定性作用：去除 $\bar{s}$ 后的性能甚至显著低于完全不位移的 dGS-O（31.26 dB vs 33.84 dB），表明漫无边界的直接回归会彻底破坏高斯聚集性。
高光场景强依赖位移耦合：在 6DGS-PBR 上，可学习 $\boldsymbol{\Lambda}$ 比固定 $\boldsymbol{\Lambda}=\mathbf{0}$ 高出 1.21 dB；而在静态 NeRF Synthetic 上，弱耦合（$\boldsymbol{\Lambda}=\mathbf{0}$）表现甚至略胜于强制全耦合（$\boldsymbol{\Lambda}=\mathbf{1}$），证明了逐图元/逐维动态耦合自适应的必要性。

亮点与洞察¶

算子与参数空间的“降维打击”：不再机械遵循“先构造联合协方差 → 运行时求逆分解”的套路，而是看清渲染真正所需的操作量，将前向瓶颈从复杂度较高的伴随求逆与矩阵乘积，直接化解为极简的寄存器级下三角内积与尺度缩放。
理论完备的无损替代：严谨推导了从直接条件参数到联合协方差矩阵的流形双射映射，并证明雅可比行列式非奇异，为这种工程上的高效参数化提供了坚不可摧的数学依据。
跨核函数通用性：同时适配高斯核（dGS）与 Beta 核（dBS），在不触碰核函数自身数学特性的前提下，无缝平替了 N-DGS 与 UBS 的切片前向。

局限与展望¶

整体渲染加速受限于后端光栅化：尽管纯切片计算实现了 7 倍以上提速，但整个端到端渲染流程中包含投影、分块、排序以及光栅化阿尔法混合，使得整帧实际 FPS 提升幅度在 1.25× 至 2.66× 之间。
城市级大尺度场景待验证：当前评估集中在物体级合成场景及单个无界/动态场景（最多 300 万图元），对于数千万图元超大规模场景的显存开销与长尾能见度控制仍需进一步验证。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙跳出传统环境协方差表征惯性，以数学严谨的直接条件参数化重塑高维泼溅切片流。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 大基准、动静态双场景、两代核函数，并给出寄存器级 CUDA Profiling 与细致消融。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰紧凑，公式推导严谨（附录给出详尽全局双射与体积雅可比证明）。
价值: ⭐⭐⭐⭐⭐ 为高维高斯泼溅算法提供了高性能工程标准与理论范式，极具通用落地价值。

配置	NeRF Synthetic (PSNR ↑ / SSIM ↑ / LPIPS ↓)	6DGS-PBR (PSNR ↑ / SSIM ↑ / LPIPS ↓)	说明
完整模型 dGS (可学习 \(\boldsymbol{\Lambda}\))	33.91 / 0.972 / 0.029	37.75 / 0.972 / 0.052	完整参数化设计，自适应最优平衡
\(\boldsymbol{\Lambda} = \mathbf{0}\) (dGS-O, 纯不透明度)	33.84 / 0.971 / 0.030	36.54 / 0.965 / 0.059	漫反射场景掉点轻微，强高光场景大幅下跌 1.21 dB
\(\boldsymbol{\Lambda} = \mathbf{1}\) (固定强耦合)	33.78 / 0.971 / 0.029	37.31 / 0.972 / 0.053	漫反射场景过度位移产生噪声，高光场景仍落后 0.44 dB
dGS 去除空间尺度先验 (w/o \(\bar{s}\))	31.26 / 0.957 / 0.046	34.78 / 0.951 / 0.075	缺乏尺度约束导致优化剧烈劣化，暴跌 2.65 ~ 2.97 dB