CodecSplat: Ultra-Compact Latent Coding for Feed-Forward 3D Gaussian Splatting¶

会议: NeurIPS 2026
arXiv: 2605.25563
OpenReview: https://openreview.net/forum?id=ZzyjwkoqaX
代码: https://github.com/pengpeng-yu/CodecSplat
领域: 重建与渲染
关键词: 前向3D高斯泼溅, 紧凑场景表征, 隐式特征编码, 深度引导特征细化, 速率-失真优化

一句话总结¶

针对前向3D高斯泼溅直接压缩无序3D基元导致率失真效率低下的难题，提出将压缩瓶颈前移至生成流水线内部，通过多视角深度引导细化与分层变分自编码器对2D高斯生成特征进行熵编码，以仅几KB至百KB的比特流实现可控的高保真新视角合成。

研究背景与动机¶

三维高斯泼溅（3DGS）通过显式的高斯基元和可微光栅化实现了照片级真实感的高速辐射场渲染，但标准3DGS依赖针对单个场景的繁琐迭代优化。为了支持未知场景的即时三维重建，前向3D高斯泼溅（Feed-Forward 3DGS，如DepthSplat、ReSplat）应运而生。这类方法直接基于稀疏输入视角与相机参数，通过前向神经网络完成多视角立体匹配、几何估计与像素对齐的高斯属性预测，消除了场景特异性优化过程。

然而，前向生成模型输出的场景表征极度膨胀。由于缺乏紧凑的场景存储与传输方案，直接部署面临严峻的带宽与存储瓶颈。若简单沿用针对单场景优化3DGS的成熟压缩方案（如剪枝、矢量量化或属性熵模型），必须等待前向网络完整生成显式3D高斯基元后才能介入。这种事后压缩方案存在根本缺陷：它迫使编解码器在无序、非结构化且属性异构的3D空间基元上进行操作，而此前2D规则网格中密集的空间局部性与跨视角冗余在2D到3D提升映射后已大量丢失。更重要的是，将生成与压缩完全割裂，白白浪费了前向网络在预测高斯基元之前所提取的规则、视点对齐且富含几何先验的高维中间特征。

既然前向网络在生成高斯基元前已经将场景的几何与外观线索规整为密集的2D特征图，压缩的最佳切入点就应当在特征生成阶段而非基元输出阶段。核心 idea：将神经熵编码瓶颈前移至前向高斯生成流水线内部，通过对经深度引导细化的2D中间高斯生成特征进行变分隐式编码，并在解码端直接由重建特征解算出深度与高斯参数，避免在无序3D基元上做低效压缩。

方法详解¶

整体框架¶

CodecSplat建立在DepthSplat风格的前向3DGS骨干网络之上。给定 $N$ 个姿态已知的稀疏参考视角图像及相机内外参，编码端首先利用多视角立体匹配网络提取跨视角匹配特征并估计参考视角的粗略深度，随后映射为规则2D网格上的密集高斯生成特征。在进入神经编解码器之前，模型采用基于深度的多视角交互模块进行特征细化，消除跨视角冗余并强化几何对齐；随后送入分层变分特征编解码器（Hierarchical VAE）进行分析变换、量化与上下文熵编码，将特征连同紧凑的相机元数据打包为场景比特流。在解码端，解码器通过熵解码与合成变换重建潜在特征，利用轻量预测头从重建特征中自给自足地解算出参考视角深度图，经后置细化模块消除压缩伪影后预测像素对齐的高斯参数，最终通过几何反投影变换生成可供光栅化渲染的显式3D高斯基元。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：N个稀疏参考视角图像与相机参数"] --> B["前向高斯生成特征提取<br/>多视角立体匹配与粗深度估计"]
    B --> C["深度引导多视角特征细化<br/>基于几何投影的跨视角特征对准与前置残差融合"]
    C --> D["分层可变速率隐式特征编码<br/>分析变换、网格量化与上下文熵模型压缩为比特流"]
    D --> E["自包含深度与高斯解码<br/>合成变换解码特征、逆深度解算与后置抗伪影细化"]
    E --> F["输出：重建3D高斯基元与目标视角渲染"]

关键设计¶

1. 深度引导多视角特征细化：几何对齐与跨视角冗余削减 在前向网络中，参考视角之间存在显著的视场重叠与信息冗余，且像素级高斯属性预测高度依赖精确的几何锚点。若直接对各视角特征独立压缩，不仅无法利用视角间的互补关联，还会使比特率随着视角数量线性激增。针对这一痛点，CodecSplat设计了深度引导的多视角特征细化机制。给定参考视角 $r$ 的特征 $F_r$ 和估计深度 $D_r$，系统通过相机参数将相邻源视角 $s$ 的特征反投影并重投影回参考视角空间（记作 $\operatorname{Warp}_{s\rightarrow r}$），实现几何对齐的双线性采样： $$A_{r}(F,D)=\operatorname{Avg}_{s\neq r}\left[\Phi\left(F_{r},\operatorname{Warp}_{s\rightarrow r}\left(F_{s};D_{r},K_{r},T_{r},K_{s},T_{s}\right),E(d_{r\rightarrow s}^{-1})\right)\right]$$ 其中 $d_{r\rightarrow s}$ 为反投影点在源相机坐标系下的深度，$E$ 为逆深度编码模块，$\Phi$ 为可学习的成对特征融合网络，最终在有效重投影区域执行平均池化。前置细化模块计算残差并注入生成特征 $F_c = F_g + R_{\text{pre}}(F_g, A(F_g, D_{\text{enc}}))$。该设计在无需构建复杂的跨视角条件熵模型的前提下，以轻量级方式先验性地消除了视角间冗余；同时在解码端采用完全对称的后置细化模块 $F_{\text{dec}} = \hat{F}_c + R_{\text{post}}(\hat{F}_c, A(\hat{F}_c, \hat{D}))$，有效弥补量化丢失的高频结构并抑制神经压缩伪影。

2. 分层可变速率隐式特征编码：规整2D网格上的神经熵建模 直接对无序、离散的3D高斯点云进行压缩不仅拓扑结构复杂，而且极易破坏几何一致性。相反，细化后的特征 $F_c \in \mathbb{R}^{N \times C_F \times H \times W}$ 严格对齐于规整的2D图像平面，具备成熟神经图像编解码器能够高效捕获的空间局部相关性。CodecSplat引入单模型支持连续速率控制的分层变分自编码器（Hierarchical VAE）。引入速率控制参数 $\lambda \in [16, 1024]$ 及其调制嵌入 $e_\lambda$，编码器通过条件分析变换将特征映射为多尺度隐式张量 $Z=\{Z_\ell\}$，经过均匀标量量化得离散符号 $\hat{Z} = Q(Z)$。在训练期，熵率由可学习超先验上下文模型估计： $$\mathcal{R}=\frac{1}{HW}\sum_{i=1}^{N}\sum_{\ell}\sum_{u}-\log_{2}p_{\ell}\left(\hat{Z}_{i,\ell,u}\mid C_{i,\ell,u},e_{\lambda}\right)$$ 在推理测试阶段，量化符号经算术编码输出为纯十六进制比特流，结合利用Deflate无损压缩的相机内参、外参及近远平面距离 $n_i, f_i$，封装成自包含的独立场景二进制文件 $\mathcal{B}$。该设计使得单个权重网络即可在测试时平滑调节多档压缩率，同时将场景存储尺寸压低至常规3D高斯基元压缩的十分之一以内。

3. 自包含深度与高斯解码：全内生几何重构与空间提升 在分布式或端侧解压场景中，解码端无法接触原始高分辨率上下文输入图像，亦无法访问编码端的完整前向骨干。因此，高斯基元的空间位置（高斯中心三维坐标）必须能够完全从重建的潜在特征中自洽恢复。CodecSplat在解码端配置轻量级逆深度预测头，从重建特征 $\hat{F}_c$ 中直接回归归一化逆深度图 $S_i = \sigma(\operatorname{DepthHead}(\hat{F}_{c,i})) \in [0, 1]^{H \times W}$。利用比特流中携带的近远裁剪边界 $n_i, f_i$，将其线性变换为真实度量深度： $$\hat{D}_{i}(p)=\left[f_{i}^{-1}+S_{i}(p)\left(n_{i}^{-1}-f_{i}^{-1}\right)\right]^{-1}$$ 这种参数化形式严格保证了重建深度始终收敛在合理的物理景深范围内。随后，后置细化特征 $F_{\text{dec}}$ 与解码深度 $\hat{D}_i$ 共同馈入像素对齐高斯头，预测缩放、旋转、不透明度及球谐系数残差，并通过标准针孔相机反投影映射 $\operatorname{Map}_{2\mathrm{D}\rightarrow 3\mathrm{D}}$ 瞬时生成数百万个显式3D高斯，直接对接现有CUDA光栅化器实现多视角渲染。

损失函数 / 训练策略¶

直接端到端训练带强量化瓶颈的模型极易陷入梯度混乱与优化崩溃，因此CodecSplat采用两阶段解耦训练策略： - 阶段 1（无编解码器前向生成预训练）：在不挂载特征编解码器的情况下，利用官方DepthSplat检查点初始化骨干网络，仅训练特征生成头、深度引导前置细化器及高斯生成头，目标是在目标视角 $Y_t$ 上通过可微光栅化优化图像重构损失 $\mathcal{L}_{\text{stage1}} = \mathcal{D}_{\text{render}}(\hat{\mathbf{Y}}_t^{\text{cf}}, \mathbf{Y}_t)$，共训练 100K 步以建立高保真的前向渲染基线。 - 阶段 2（率失真感知隐式编码联合优化）：冻结阶段1的底层多视角匹配网络，接入分层特征编解码器和后置细化器，训练 200K 步。采样率控制参数 $\lambda \sim \mathcal{U}[16, 1024]$，联合优化渲染失真、解码端逆深度监督与比特率约束： $$\mathcal{L}_{\text{stage2}}(\lambda)=\frac{\lambda}{\lambda_{\max}}\left[\mathcal{D}_{\text{render}}\left(\hat{\mathbf{Y}}_{t},\mathbf{Y}_{t}\right)+\gamma\,\left\|S-S_{\text{enc}}\right\|_{1}\right]+\beta\mathcal{R}$$ 其中编码端导出的归一化逆深度 $S_{\text{enc}}$ 作为教师信号监督解码端深度估计（权重 $\gamma=0.1$）；在 DL3DV 上设 $\beta=10^{-4}$，在 RealEstate10K 上设 $\beta=4\times 10^{-4}$。全部训练在4张NVIDIA RTX 5880 48GB GPU上以 bfloat16 混合精度与 AdamW 优化器完成。

实验关键数据¶

主实验¶

评估在 DL3DV（8个输入视角，分辨率 $256 \times 448$）与 RealEstate10K（RE10K，2个输入视角，分辨率 $256 \times 256$）标准测试集上进行。对比基准包括先由 DepthSplat 或 ReSplat 生成完整高斯基元再使用经典高斯压缩器（PNG量化压缩、SOGS网格化重组压缩、FCGS属性学习压缩）的事后压缩方案。

数据集	方法与设置	场景体积 (KiB/scene) ↓	PSNR ↑	SSIM ↑	LPIPS ↓
DL3DV	DepthSplat → PNG (16/8 bits)	11942.05	24.94	0.848	0.128
DL3DV	DepthSplat → SOGS (16/8 bits)	11759.53	24.94	0.848	0.128
DL3DV	DepthSplat → FCGS ($\lambda=0.0016$)	12367.10	24.93	0.847	0.129
DL3DV	ReSplat → PNG (16/8 bits, $K_{\text{SH}}=128$)	741.09	23.36	0.841	0.171
DL3DV	ReSplat → SOGS (16/8 bits)	879.45	28.36	0.894	0.120
DL3DV	ReSplat → FCGS ($\lambda=0.0016$)	1425.22	28.72	0.897	0.113
DL3DV	CodecSplat ($\lambda=16$, 本文最低档)	20.00	23.56	0.768	0.267
DL3DV	CodecSplat ($\lambda=64$)	41.52	25.24	0.839	0.167
DL3DV	CodecSplat ($\lambda=256$)	76.56	26.14	0.869	0.127
DL3DV	CodecSplat ($\lambda=1024$, 本文最高档)	107.77	26.36	0.876	0.117
RE10K	DepthSplat → PNG (16/8 bits)	1678.17	27.28	0.885	0.117
RE10K	DepthSplat → SOGS (16/8 bits)	1670.96	27.28	0.885	0.116
RE10K	DepthSplat → FCGS ($\lambda=0.0016$)	1869.35	26.01	0.872	0.146
RE10K	ReSplat → PNG (16/8 bits)	1841.51	25.90	0.887	0.122
RE10K	ReSplat → SOGS (16/8 bits)	1841.91	29.36	0.908	0.102
RE10K	ReSplat → FCGS ($\lambda=0.0016$)	2526.32	29.16	0.905	0.109
RE10K	CodecSplat ($\lambda=16$, 本文最低档)	3.37	24.76	0.809	0.231
RE10K	CodecSplat ($\lambda=64$)	5.58	26.18	0.859	0.157
RE10K	CodecSplat ($\lambda=256$)	8.89	26.84	0.877	0.130
RE10K	CodecSplat ($\lambda=1024$, 本文最高档)	12.51	27.05	0.882	0.123

消融实验¶

表1：DL3DV上针对深度引导细化模块在不同速率下的消融实验及Bjøntegaard Delta Rate（BD-rate）增益评估。

测试速率配置 ($\lambda$)	Full CodecSplat 体积 (KiB)	Full PSNR (dB)	w/o pre-refiner 体积 (KiB)	w/o pre PSNR (dB)	w/o post-refiner 体积 (KiB)	w/o post PSNR (dB)
$\lambda=16$	20.00	23.56	33.39	24.44	33.02	24.37
$\lambda=64$	41.52	25.24	63.88	25.75	61.02	25.57
$\lambda=256$	76.56	26.14	102.98	26.22	102.42	26.17
$\lambda=1024$	107.77	26.36	130.13	26.29	131.65	26.28
BD-rate 综合提升	基准	基准	+13.67% 码率惩罚	—	+18.08% 码率惩罚	—

表2：DL3DV上各阶段耗时对比（秒）与朴素张量无损压缩消融。

方法 / 配置	高斯生成准备耗时 (s) ↓	编码耗时 (s) ↓	解码耗时 (s) ↓	场景占用体积	最终 PSNR (dB)
DepthSplat → SOGS	0.155	69.768	0.452	11.48 MiB	24.94
ReSplat → FCGS	0.282	0.762	0.969	1.39 MiB	28.72
CodecSplat (全档位)	0.124	0.267	0.273	0.02 - 0.11 MiB	23.56 - 26.36
朴素 Deflate 压缩中间特征	0.146	—	—	81.08 MiB	26.22

关键发现¶

隐式特征编码实现数量级体积压缩：CodecSplat在DL3DV上将单场景体积压低至20.00–107.77 KiB，在RE10K上进一步降至3.37–12.51 KiB，相较于在DepthSplat输出上压缩减少了约两个数量级，相较于紧凑的ReSplat压缩输出依然减小了大约一个数量级。
单纯前移切入点并不足够，神经编码不可或缺：朴素消融实验显示，如果仅将float16精度的中间特征与深度图直接通过Deflate无损压缩，体积高达81.08 MiB。这证明了简单的中间特征保存无法解决问题，分层变分特征编解码器是挖掘紧凑隐空间的决定性因素。
前置与后置双向细化形成互补增益：去掉前置细化导致BD-rate恶化13.67%，去掉后置细化恶化18.08%。前置细化通过多视角特征对准削减了视角间的重叠熵，而后置细化则在解码端有效弥补了量化引入的结构失真。
极速编解码延迟：CodecSplat的编解码均在GPU特征域并行执行，单场景编码仅耗时0.267s、解码0.273s（DL3DV），彻底规避了传统3DGS压缩耗时数十秒的CPU/GPU复杂局部几何重组（如SOGS需69.77s）。

亮点与洞察¶

范式颠覆（以特征代点云）：打破了“先重建后压缩”的思维定势，敏锐指出前向网络中间的2D特征具有规则拓扑与视点对齐优势，将三维场景传输问题转化为成熟的二维多通道隐变量编码问题。
极佳的算法泛化性与骨干迁移能力：在迁移到架构迥异的ZPressor骨干网络（基于锚点视角汇聚特征）实验中，CodecSplat在12至36个输入视角下均以约86 KiB的极小体积实现了超越原版0.28–0.36 dB的渲染质量，展现出极强的通用架构适应性。
单模型全速率连续覆盖：通过引入条件嵌入调制 $e_\lambda$，单一网络权重即可自适应调度从极致压缩到高保真质量的多档工作点，避免了多模型部署的冗余。

局限与展望¶

峰值渲染质量受限于前向骨干能力：CodecSplat优先考虑场景体积极致紧凑性，其PSNR上限受制于基础DepthSplat骨干网络的表征能力（codec-free上限为26.22 dB），与带有强循环迭代精化的大型模型（如ReSplat的28.96 dB）相比存在绝对画质差距。
缺乏即插即用性：由于编解码器深度嵌入在前向生成的流水线内部，模型必须经过专门的第二阶段率失真联合微调，无法直接免训练外挂到任意已有的开源FF3DGS预训练模型上。
未来方向：探索与更强大的可泛化前向重建大模型（如大尺度多模态3D模型）的结合，并在解码端设计更具表达能力的轻量级神经超分辨率或高斯细化头。

评分¶

新颖性: ⭐⭐⭐⭐⭐ (首次提出将神经隐式特征编码深度集成进前向3D高斯泼溅生成流水线)
实验充分度: ⭐⭐⭐⭐⭐ (评测覆盖两大主流基准，详细对比多种主流基元压缩方案，包含完备的消融分析、耗时测量及跨骨干迁移测试)
写作质量: ⭐⭐⭐⭐⭐ (动机阐述深刻透彻，图表严谨规范，方法脉络清晰连贯)
价值: ⭐⭐⭐⭐⭐ (为大规模3D场景的即时流式传输、沉浸式元宇宙实时资产分发提供了极具实用价值的全新技术路径)

测试速率配置 (\(\lambda\))	Full CodecSplat 体积 (KiB)	Full PSNR (dB)	w/o pre-refiner 体积 (KiB)	w/o pre PSNR (dB)	w/o post-refiner 体积 (KiB)	w/o post PSNR (dB)
\(\lambda=16\)	20.00	23.56	33.39	24.44	33.02	24.37
\(\lambda=64\)	41.52	25.24	63.88	25.75	61.02	25.57
\(\lambda=256\)	76.56	26.14	102.98	26.22	102.42	26.17
\(\lambda=1024\)	107.77	26.36	130.13	26.29	131.65	26.28
BD-rate 综合提升	基准	基准	+13.67% 码率惩罚	—	+18.08% 码率惩罚	—