Gaussian Splatting-based Volumetric Video Compression with Sparse 4D Anchors¶

会议: NeurIPS 2026
arXiv: 2609.33969
OpenReview: https://openreview.net/forum?id=CzTKz9ux3w
领域: 重建与渲染
关键词: 动态高斯泼溅、体积视频压缩、分层4D锚点、内插解码、正交记忆熵模型

一句话总结¶

提出基于分层稀疏4D锚点的体积视频编解码框架SAGA，通过时空邻域插值神经解码消除锚点间冗余，并结合正交投影记忆槽上下文熵模型实现紧凑高效的动态3DGS压缩。

研究背景与动机¶

沉浸式视频通信（如自由视点视频、虚拟现实与全息远程呈现）要求底层3D动态场景表征兼具逼真的渲染质量、实时的渲染速率以及极高的压缩紧凑度。3D高斯泼溅（3DGS）凭借基于光栅化的显式图元与前向渲染速度，成为动态3D建模的强力工具。然而，将其拓展到动态体积视频时，由于需要海量的高斯图元以及极高维的时空属性（包括高阶球谐系数、运动轨迹与形变场），带来极高的存储与传输冗余，难以满足实时分发与带宽受限网络的需求。

现有动态高斯压缩方法主要分为逐帧编码与单参考基准变形（canonical-to-deformation）两大阵营。逐帧预测编码容易因运动复杂或长预测链出现误差累积漂移，且难以支持高效的随机访问；单参考基准形变方案则高度依赖单一拓扑参考帧，在剧烈运动、拓扑结构剧变以及频繁反遮挡（disocclusion）场景下极易崩溃。虽然基于锚点（anchor-based）的紧凑脚手架方案能够解耦几何骨架与图元属性，但既有方法往往将每个高斯图元孤立地条件化于对应锚点，不仅无法建模大范围非局部动态，更完全忽略了时空相邻锚点之间强大的几何与外观相关性。

为了打破孤立锚点与单参考基准的刚性限制，本文提出在时空中直接构建分层稀疏4D锚点脚手架，以粗到细的跨锚点连续插值替代离散孤立解码。核心 idea：构建时空分层稀疏4D锚点体系，利用坐标连续隐式解码器对相邻父级锚点特征进行核加权插值以生成细锚点与高斯图元，并结合正交投影更新的有界记忆槽熵模型捕获非结构化锚点的远距离上下文。

方法详解¶

整体框架¶

SAGA将动态场景的表征与压缩解耦为表示（Representation）与压缩（Compression）两大阶段。在表示阶段，系统首先在4D时空坐标系下构建粗糙锚点（coarse anchors）与精细锚点（fine anchors）组成的分层脚手架。对于任一目标坐标，系统并不单独依赖其从属锚点，而是通过时空Morton排序窗口检索相邻父级锚点，经尺度归一化核插值后聚合为连续坐标特征，再输入共享的坐标隐式神经表示（INR）解码器生成细锚点属性与高斯图元几何/颜色参数，最后由局部哈希残差分支校正高频细节。在压缩阶段，所有锚点偏移、离散符号、哈希网格与网络参数经标量量化后送入分层熵编码器，由维护固定大小记忆槽的循环记忆库消除跨编码组的长程上下文冗余。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入多视角动态视频"] --> B["分层4D锚点脚手架构建"]
    B --> C["时空核加权插值与INR解码"]
    C --> D["锚点局部残差哈希校正"]
    D --> E["动态高斯图元渲染"]
    E --> F["正交投影记忆槽熵模型"]
    F --> G["紧凑体积视频码流输出"]

关键设计¶

1. 分层4D锚点脚手架构建：打破单基准形变的时空全域解耦

针对单参考基准形变方案在剧烈形变和反遮挡下失真的缺陷，SAGA直接在连续4D时空统一空间内组织锚点。系统首先利用SfM点云体素化中点与短时平坦锚点预热提案构建候选池，综合不透明度、多视角可见性、光度残差和累积梯度方差构建重要性得分，并插入4D Morton八叉/十六叉树。树节点通过重要性加权的方差缩减贪心分裂，在静态区域保留长时空支撑，在动态显著区域加密粗锚点。粗锚点叶节点确定后，按局部容量自适应加权medoid采样选出归一化子锚点偏移，形成粗到细（coarse-to-fine）的连续分层拓扑。

2. 时空核加权插值与INR解码：跨锚点时空平滑特征共享

传统锚点GS将每个图元独立绑定到单个锚点，忽略了时空相邻锚点间的几何与纹理共性。SAGA在粗到细锚点解码和细锚点到高斯图元解码两级均引入基于连续坐标的核插值机制。给定任意4D查询坐标，系统在局部Morton窗口内计算尺度归一化时空距离度量，筛选出Top-$K$个邻近源锚点并进行Softmax核加权特征融合： $$d^{\ell}(q,b)=\left\|\frac{\bm{x}_{q}-\bm{x}_{b}^{\ell}}{\bm{l}_{q}^{x}+\bm{l}_{b}^{\ell,x}+\epsilon}\right\|^{2}+\frac{\lambda_{t}(\tau_{q}-\tau_{b}^{\ell})^{2}}{(l_{q}^{\tau}+l_{b}^{\ell,\tau}+\epsilon)^{2}}$$ 加权融合后的特征结合局部归一化偏移的位置编码（PE），送入共享INR轻量解码器直接预测细锚点支撑度或高斯图元的运动多项式参数与视线相关颜色，彻底消除了离散图元属性的显式存储冗余。

3. 锚点局部残差哈希校正：局部紧凑高频补偿

由于连续隐式解码器偏向低频时空连续性，难以完美恢复边缘和动态高频微结构。若直接采用全局4D哈希网格，会引发严重的哈希碰撞并占据过大码率。SAGA将多分辨率哈希网格严格约束在细锚点的局部归一化坐标系内，仅用于预测稀疏高频参数校正量 $\Delta \bm{a}$。配合训练过程中的 $L_1$ 稀疏残差正则化，使主干几何与外观由紧凑的分层锚点承担，而哈希分支仅承载极少量的细节补偿。

4. 正交投影记忆槽熵模型：有界复杂度的长距离上下文建模

为了捕获非结构化4D稀疏点集在时间与空间维度上的长程熵相关性，SAGA设计了带记忆更新机制的分层上下文模型。在同一编码级别下，锚点按4D网格模运算被划分为若干互不重叠的分组，组内并行解码，组间串行推进。解码后的特征聚合为批次写入词元，更新维护有固定槽数 $L$ 的紧凑记忆库。为避免新写入的信息与槽内已有历史表示相互重叠冗余，系统在写入前显式执行格拉姆-施密特正交化投影： $$\bm{v}_{r,p}^{\perp}=\bm{v}_{r,p}-\frac{\left\langle\bm{v}_{r,p},\bm{s}_{r-1,p}\right\rangle}{\|\bm{s}_{r-1,p}\|_{2}^{2}+\epsilon}\bm{s}_{r-1,p}$$ 通过门控正交投影，记忆槽能够以极小的计算开销高效富集新的正交判别信息，为后续锚点符号的均值与方差预测提供高度精确的先验指导。

损失函数 / 训练策略¶

SAGA采用端到端率失真联合优化目标： $$\mathcal{L}=\mathcal{D}_{\mathrm{render}}+\lambda_{r}R(\hat{\mathcal{Z}})+\lambda_{A}\mathcal{L}_{A}+\lambda_{\mathrm{res}}\mathcal{L}_{\mathrm{res}}$$ 其中 $\mathcal{D}_{\mathrm{render}}$ 为光度渲染误差（$L_1$ 损失与结构相似度 SSIM 的加权组合）；$R(\hat{\mathcal{Z}})$ 为量化符号在分层熵模型下的估计比特率；$\mathcal{L}_{A}$ 为锚点偏移的边界约束正则化，限制子锚点及图元偏移不脱离父级时空边界以防层级退化；$\mathcal{L}_{\mathrm{res}}=\mathbb{E}\|\Delta \bm{a}\|_{1}$ 强化局部哈希残差的稀疏性。优化阶段使用均匀噪声松弛模拟量化，推断测试时则直接执行标量量化。

实验关键数据¶

主实验¶

在代表性动态体积视频数据集 Neu3D、Panoptic Sports 以及 MPEG Immersive Video（MIV）公共测试条件（CTC）上，对比主流动态GS方法及权威基准。

在新视角合成质量与模型体积方面（量化熵编码前原始模型尺寸）：

数据集	方法	PSNR (dB) ↑	SSIM ↑	LPIPS ↓	训练时间 (h) ↓	解码 FPS ↑	模型体积 (MB) ↓
Neu3D	3DGStream (CVPR'24)	32.65	0.947	0.201	0.806	218	67
Neu3D	4DGS (CVPR'24)	31.57	0.993	0.0572	120	228	202
Neu3D	GIFStream (CVPR'25)	31.75	0.938	0.051	0.991	95	50
Neu3D	SAGA (本文)	32.63	0.973	0.044	0.989	89	15
Panoptic Sports	3DGStream (CVPR'24)	21.11	0.720	0.448	0.213	389	97
Panoptic Sports	GIFStream (CVPR'25)	28.03	0.9160	0.0868	0.731	141	53
Panoptic Sports	SAGA (本文)	28.20	0.918	0.088	0.792	117	31

在4D体积视频压缩率失真性能（以各基准为Anchor的BD-rate百分比节约，负值表示显著优于基准）：

评估基准	数据集	PSNR BD-rate (%) ↓	SSIM BD-rate (%) ↓	LPIPS BD-rate (%) ↓	解码 FPS ↑
vs. TMIV-24.0	Neu3D	-15.27%	-19.81%	-13.39%	89 vs. 35
vs. TMIV-24.0	Panoptic Sports	-1.88%	-18.95%	-20.77%	117 vs. 45
vs. TMIV-24.0	MPEG MIV	+1.12%	-4.23%	-3.48%	91 vs. 42
vs. 4DGC (CVPR'25)	Neu3D	-62.39%	-41.59%	-61.35%	89 vs. 110
vs. GIFStream (CVPR'25)	Neu3D	-80.39%	-88.21%	-85.01%	89 vs. 95
vs. GIFStream (CVPR'25)	Panoptic Sports	-75.88%	-77.31%	-76.95%	117 vs. 141
vs. GIFStream (CVPR'25)	MPEG MIV	-83.94%	-86.20%	-86.74%	91 vs. 100

消融实验¶

在 Neu3D 数据集上以完整模型 SAGA 为基准进行的组件消融与记忆槽配置分析：

配置 / 变体	粗到细分层 (C/F)	跨锚点插值 (Interp.)	局部哈希残差 (Res.)	MLP压缩 (MLP-C)	记忆更新机制 (Upd.)	PSNR BD-rate 变化 ↑
V1 (无分层/平坦锚点)	✗	✓	✓	✓	正交更新 (Orth.)	+13.04%
V2 (无跨锚点插值)	✓	✗	✓	✓	正交更新 (Orth.)	+11.24%
V3 (无残差哈希)	✓	✓	✗	✓	正交更新 (Orth.)	+3.07%
V4 (无MLP压缩)	✓	✓	✓	✗	正交更新 (Orth.)	+8.37%
V5 (非正交残差更新)	✓	✓	✓	✓	非正交门控 (Non-orth.)	+9.68%
SAGA (完整方案)	✓	✓	✓	✓	正交更新 (Orth.)	0.00%

记忆槽规模（Memory Slots）敏感性对比：

槽位数量 ($L$)	PSNR BD-rate 增益 (相对于64槽)	解码速率 (FPS)
32 槽	+8.87%	93.1
64 槽 (默认配置)	0.00%	89.8
128 槽	-10.27%	68.9
256 槽	-15.66%	50.3
512 槽	-16.19%	36.6

关键发现¶

粗到细的时空分层结构（V1）与跨锚点核插值机制（V2）是压缩性能的最主要贡献源，移除后分别导致 13.04% 和 11.24% 的显著率失真性能劣变，证实了时空连续邻域参数共享的有效性。
正交记忆更新机制（V5）相较于普通门控残差更新带来了 9.68% 的码率收益，有效避免了历史上下文的冗余写入。
增加记忆槽规模在超过 256 槽后带来明显的边际收益递减（从 256 槽到 512 槽仅带来约 0.5% 的增益，但解码速度从 50.3 FPS 跌至 36.6 FPS），默认的 64 槽成功在维持 90 FPS 实时推断与高压缩率之间取得优异平衡。

亮点与洞察¶

从离散孤立建模到连续时空内插：将静态 ScaffoldGS 的离散局部绑定升维为连续 4D 时空坐标插值，利用共享 INR 解码器最大化复用了时空相邻几何与纹理信息。
正交化记忆槽机制：巧妙将 Gram-Schmidt 正交化投影融入上下文熵编码的记忆更新中，杜绝了有界状态向量对同质信息的重复累加，显著提升了熵预测准确度。
高频解耦与低碰撞局部哈希：将传统全局 4D 哈希压缩为细锚点局部的归一化残差修正，在控制哈希表碰撞与码率开销的同时恢复了细粒度视觉质感。

局限与展望¶

编码端仍需进行逐场景过拟合优化（per-scene optimization），编码时长较大，尚不具备前向单次编码（feed-forward）能力。
在相机视角极其稀疏、遮挡严重或高速非刚性剧烈拓扑形变下，时空插值的几何连续性假设可能面临精度挑战。
后续可探索自适应锚点动态增删机制，以及面向流式传输的通用标准码流语法设计。

评分¶

新颖性: ⭐⭐⭐⭐☆ (分层 4D 锚点插值与正交记忆槽熵模型设计精巧)
实验充分度: ⭐⭐⭐⭐⭐ (覆盖 Neu3D、Panoptic Sports 及 MPEG MIV 标准集，指标与消融详实)
写作质量: ⭐⭐⭐⭐⭐ (数学建模规范，表述清晰流畅，图文对照自洽)
价值: ⭐⭐⭐⭐⭐ (对沉浸式体积视频通信与实时 6DoF 传输具有重要落地价值)