CompactSplat: Spatially Adaptive Gaussian Distribution for Feedforward Scene Reconstruction¶

会议: NeurIPS 2026
arXiv: 2610.13177
OpenReview: https://openreview.net/forum?id=3sn6PeO6Ch
代码: 待开源
领域: 重建与渲染
关键词: 3D高斯泼溅, 前向场景重建, 纹理感知四叉树, 自适应基元分配, 动态稀疏控制

一句话总结¶

针对前向3D高斯泼溅逐像素刚性分配导致的严重空间冗余与平面空洞问题，CompactSplat通过纹理感知四叉树空间划分与分层金字塔连续采样，在平坦区域自适应平铺尺度扩展的大基元并在高频纹理区密集分布高精基元，以减少44%以上的基元数量实现SOTA级多分辨率渲染一致性，并原生支持推理时零重训动态稀疏控制。

研究背景与动机¶

从稀疏视角图像中快速恢复几何精确且外观一致的3D场景是沉浸式虚拟现实、三维内容创作的核心基础。传统的3D高斯泼溅（3DGS）高度依赖密集多视角图像输入与耗时的逐场景梯度优化，严重限制了其实时交互与规模化落地。为了突破逐场景优化的算力瓶颈，前向泛化型3DGS模型（如pixelSplat、MVSplat、DepthSplat、SurfSplat）通过预训练网络在单次前向传播中直接从稀疏视点预测3D高斯属性，实现了毫秒级的高效三维重建。

然而，现有前向重建方法在基元空间分配机制上存在固有的效率缺陷。自然三维场景的几何与纹理复杂度具有极强的空间非均匀性，但现有方法普遍采用刚性的逐像素预测范式，无差别地为每个输入像素分配一个或多个3D高斯基元。这种刚性均匀分配迫使模型在白墙、地面等大面积均质平坦区域堆砌数以万计的微小基元，不仅造成了极高的显存占用与显式三维表示存储冗余，而且割裂了平面区域内在的几何先验，在视点放大或高分辨率渲染时极易出现微观缝隙与虚假近场伪影。

解决这一瓶颈的核心挑战在于：如何在免去逐场景优化的前向预测架构中，建立内容自适应的非均匀基元分配机制，并让网络同时具备在大基元平铺与微小高精基元拟合之间的尺度推理能力。本文的核心 idea 是：将高斯基元生成解耦为基于局部颜色极差的纹理感知四叉树空间划分（TAP）与分层金字塔连续采样（HPS），使平坦区域由池化尺度空间派生的扩展大基元无缝平铺，而复杂区域保留致密高分辨率基元，并通过单阈值参数实现推理时无需重训的动态稀疏度与保真度弹性权衡。

方法详解¶

整体框架¶

CompactSplat 的整体流程由特征提取与融合、自适应图像空间四叉树划分、以及分层金字塔属性解码三大核心阶段组成。给定具有已知相机内参和外参的稀疏输入图像，系统首先利用双分支编码器分别提取单目深度几何先验与多视角立体匹配代价体，将二者通道拼接后输入多尺度2D U-Net主干网络。随后，纹理感知划分器（TAP）评估各区域纹理复杂度，生成多层次空间划分掩膜；分层金字塔采样器（HPS）则根据划分掩膜路由至对应的解码特征层级，通过网格采样与显式尺度调制，输出稀疏紧凑的3D高斯基元集合。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入稀疏图像对与相机参数"] --> B["双路径特征编码器<br/>单目先验 + 多视几何匹配代价体"]
    B --> C["多尺度 U-Net 与基础属性场预测"]
    C --> D["纹理感知四叉树空间划分（TAP）<br/>局部颜色极差驱动的动态递归细分"]
    D --> E["分层金字塔连续采样（HPS）<br/>属性尺度空间池化与基元尺度显式调制"]
    E --> F["双阶段课程学习训练机制<br/>稠密几何初始化 + 随机阈值微调"]
    F --> G["自适应紧凑3D高斯基元集合<br/>高质量新视角渲染与可控稀疏表示"]

关键设计¶

1. 纹理感知四叉树空间划分（TAP）：局部复杂度驱动的非均匀空间解耦

针对传统方法对全图所有像素刚性分配高斯基元所带来的巨大空间冗余，TAP利用图像高频纹理方差对底层几何不连续性（如深度阶跃、遮挡边缘与结构边界）的保守上界包络特性，自适应构建空间划分。算法首先将输入图像划分为 $S_{\max} \times S_{\max}$ 的粗粒度初始网格块（实验设 $S_{\max}=16$）。对于任意图像块 $B$，计算其内部各通道最大像素极差作为复杂度度量： $$\Delta(B) = \max_{c \in [1,C]} \left( \max_{(x,y)\in B} I_c(x,y) - \min_{(x,y)\in B} I_c(x,y) \right)$$ 系统引入用户自定义的划分阈值 $\tau$。当局部复杂度 $\Delta(B) > \tau$ 且当前块尺寸大于 $1 \times 1$ 时，判定该区域包含复杂纹理或几何结构边界，并将其递归四等分为四个子象限；反之，若 $\Delta(B) \le \tau$，则判定为均质平坦区域并终止细分。最终四叉树的所有叶子节点构成自适应分区集合 $\mathcal{P}$，每个叶子节点 $k$ 输出归一化中心坐标 $\bm{\mu}_k \in [-1,1]^2$、空间覆盖尺寸 $\bm{b}_k \in [1,S_{\max}]^2$ 以及对应细分深度的细节层次索引 $l_k \in [0, \log_2(S_{\max})-1]$。通过这种方式，均质区域以大块快速收敛，高频复杂区域细分为密集细粒度块。

2. 分层金字塔连续采样（HPS）：属性尺度空间对齐与几何尺度显式调制

在获得自适应四叉树分区后，若直接从全分辨率特征图中对大尺寸空间块进行点采样，将导致严重的感受野失配与高频混叠伪影。HPS通过构建离散属性尺度空间解决该问题：首先通过高精度DPT预测头输出全分辨率的基础高斯属性场 $\mathbf{A}_{\text{base}}$，将其作为尺度空间的最底层 $\mathcal{A}[L-1] = \mathbf{A}_{\text{base}}$；随后依次通过局部平均池化下采样构建离散金字塔 $\mathcal{A} = \{\mathbf{A}_{L-1}, \dots, \mathbf{A}_0\}$，使高层次（低分辨率）特征自然聚合广域低频上下文。对于 TAP 输出的每个叶子节点分区 $(\bm{\mu}_k, \bm{b}_k, l_k)$，HPS 路由至对应的金字塔层级采样连续属性： $$\mathbf{a}_k = \text{GridSample}(\mathbf{A}_{l_k}, \bm{\mu}_k)$$ 采样属性 $\mathbf{a}_k$ 解码出高斯不透明度 $\bm{\alpha}_k$、旋转四元数 $\mathbf{r}_k$、球谐系数 $\mathbf{c}_k$ 以及相对尺度乘子 $\Delta \mathbf{s}_k$。为了打破2D空间划分与3D几何物理覆盖之间的断层，HPS引入显式尺度调制机制： $$\mathbf{s}_k = \Delta \mathbf{s}_k \odot \bm{b}_k$$ 该公式确保从较深尺度空间采样得到的高斯基元在物理空间中发生形态学扩展，无缝平铺整个分区平面，彻底消除了均质区域由于基元覆盖不足造成的孔洞撕裂。

3. 双阶段课程学习：稠密几何初始化与随机阈值动态稀疏微调

若在网络初始化阶段同时优化多视角几何立体匹配与动态基元自适应剪枝，会导致极大的训练不稳定性。为此，CompactSplat 设计了分阶段推进的课程学习策略。在第一阶段（稠密几何初始化），将划分阈值强制固定为 $\tau = 0$，此时 TAP 退化为最精细划分，对全图进行逐像素 $1 \times 1$ 密集采样，迫使双路径编码器与 U-Net 完全聚焦于建立鲁棒的立体几何对应关系与单目几何先验；在第二阶段（稀疏感知微调），在每轮训练迭代中将阈值设置为从均匀分布随机采样的动态值 $\tau \sim \mathcal{U}(0, \tau_{\max})$（其中 $\tau_{\max}=0.02$）。随机阈值训练迫使 HPS 在连续变化的剪枝率下学习不同层级高斯相对尺度乘子 $\Delta \mathbf{s}_k$ 的几何适应性，从而使得单个训练收敛权重具备在推理阶段通过单滑块 $\tau$ 动态平滑调节基元稀疏度与渲染质量的 Pareto 前沿能力。

损失函数 / 训练策略¶

模型采用端到端光度重构误差与感知损失进行联合监督。对于包含 $M$ 个视角的训练批次，整体损失函数定义为： $$L_{\text{total}} = \sum_{m=1}^{M} \left( \text{MSE}\left(I_{\text{render}}^{m}, I_{\text{gt}}^{m}\right) + \lambda \cdot \text{LPIPS}\left(I_{\text{render}}^{m}, I_{\text{gt}}^{m}\right) \right)$$ 其中感知损失权重因子经验性设置为 $\lambda = 0.05$。模型基于 PyTorch 实现，采用 AdamW 优化器配合余弦退火学习率调度策略。预训练单目主干网络（Depth Anything V2）学习率设为 $2 \times 10^{-6}$，新初始化网络层学习率设为 $2 \times 10^{-4}$。在硬件资源上，Ours-S 基于 NVIDIA A100 GPU 训练 300K 步（batch size 16），Ours-B 与 Ours-L 训练 600K 步（batch size 8）。

实验关键数据¶

主实验¶

在室内主流基准 RealEstate10K（RE10K）上对比主流稀疏视角前向3DGS基线。评测涵盖标准 $256 \times 256$ 分辨率、高分辨率渲染一致性指标 HRRC（$512 \times 512$ 与 $1024 \times 1024$ 放大倍率）、全分辨率平均值、每像素高斯数（GPP）以及场景总高斯基元数量（GS Num）。

方法	256×256 PSNR↑	256×256 SSIM↑	512×512 PSNR↑	1024×1024 PSNR↑	平均 PSNR↑	平均 SSIM↑	平均 LPIPS↓	GPP↓	基元数量 (GS Num)↓
pixelSplat (2024)	26.049	0.862	25.782	24.920	25.584	0.869	0.204	3.000	393.2k
HiSplat (2024)	27.193	0.882	25.269	24.262	25.575	0.877	0.188	1.750	229.4k
MVSplat (2024b)	26.359	0.868	20.408	17.966	21.578	0.811	0.281	1.000	131.1k
TranSplat (2025)	26.687	0.875	20.610	18.154	21.817	0.817	0.279	1.000	131.1k
DepthSplat (2024b)	27.504	0.890	20.031	16.385	21.307	0.766	0.315	1.000	131.1k
SurfSplat (2026)	27.537	0.892	26.331	24.897	26.255	0.867	0.216	1.000	131.1k
Ours-S	27.086	0.884	26.066	25.118	26.090	0.869	0.201	0.554	72.6k
Ours-B	27.523	0.891	26.332	25.240	26.365	0.873	0.199	0.554	72.6k
Ours-L	27.567	0.892	26.357	25.252	26.392	0.874	0.198	0.554	72.6k

在室外航拍轨迹数据集 ACID 上的泛化与重构性能对比如下：

方法	256×256 PSNR↑	256×256 SSIM↑	平均 PSNR↑	平均 SSIM↑	平均 LPIPS↓	GPP↓	基元数量 (GS Num)↓
pixelSplat (2024)	28.284	0.842	27.478	0.849	0.244	3.000	393.2k
HiSplat (2024)	28.737	0.853	25.700	0.842	0.231	1.750	229.4k
MVSplat (2024b)	28.202	0.842	20.263	0.708	0.373	1.000	131.1k
TranSplat (2025)	28.337	0.845	20.401	0.714	0.373	1.000	131.1k
SurfSplat (2026)	28.336	0.845	25.486	0.783	0.294	1.000	131.1k
Ours	27.992	0.837	26.146	0.810	0.268	0.625	91.4k

消融实验¶

针对非像素对齐（Non-pixel-aligned）紧凑3DGS表征在 RE10K 上的代表性方法对比实验（Table 4）：

方法	PSNR↑	SSIM↑	LPIPS↓	GS 数量 (GS Num.)↓	核心机制与对比说明
TokenGS (Ren et al., 2026)	28.02	0.896	0.147	66k	使用1024个可学习Token解耦像素，但感知损失LPIPS较高
C3G (An et al., 2025)	22.39	0.713	0.259	2k	极端压缩至2k基元，但画质损失剧烈且需测试时相机对齐
VolSplat (Wang et al., 2026)	22.86	0.811	0.201	131k	体素对齐预测基元，在稀疏视角双目设置下重建表现受限
CompactSplat-L (本文)	27.57	0.892	0.117	72.6k	保真度与紧凑度最优平衡：LPIPS感知指标最优且基元仅72.6k

关键发现¶

紧凑度与高分辨率渲染一致性的双赢：在 RE10K 数据集上，CompactSplat-L 的平均 GPP 仅为 0.554，高斯基元总数从刚性单像素基准的 131.1k 骤降至 72.6k（降幅达 44.6%），相比于多基元方法 pixelSplat（393.2k）减少了 81.5%。然而在高分辨率 $1024 \times 1024$ 放大渲染下，Ours-L 的 PSNR 达 25.252 dB，显著优于传统逐像素单基元模型 DepthSplat（16.385 dB）与 MVSplat（17.966 dB），证明尺度调制的大基元有效修复了高倍率视点放大下的“孔洞撕裂”问题。
动态稀疏控制的弹性 Pareto 前沿：通过在推理阶段平滑调节单一阈值 $\tau$，模型在无需重新训练的前提下即可连续横跨质量-紧凑度 Pareto 前沿。在较低 GPP 条件下，大尺寸高斯基元平铺墙面形成更加光滑水密的平面；而在较高 GPP 条件下，密集高分辨率基元集中拟合复杂纹理边缘，展现出卓越的自适应部署灵活性。
跨数据集泛化表现稳健：在零样本迁移至 ScanNet（室内杂乱手持场景）、DL3DV（大尺度全景）和 DTU（多视角物体）的跨域测试中，CompactSplat 平均使用 0.685 GPP（相比基线节省 31.5% 基元），同时保持与 SOTA SurfSplat 相当的综合重构质量。

亮点与洞察¶

纹理极差作为几何分区的保守上界：利用图像局部最大色彩极差 $\Delta(B)$ 作为四叉树分解指标，巧妙规避了高开销的中间 3D 几何估计循环。高频纹理是几何跳变的超集，以颜色差异引导空间分配既能确保几何边缘被密集基元精准捕捉，又能果断剪枝纹理均匀的平坦区域。
显式尺度乘子物理对齐：通过 $\mathbf{s}_k = \Delta \mathbf{s}_k \odot \bm{b}_k$ 将 2D 图像四叉树分区尺寸物理映射为 3D 高斯椭球的几何延展尺度，从数学上统一了 2D 离散化表征与 3D 连续辐射场空间覆盖。
随机阈值课程学习赋予即插即用的推理自由度：第一阶段固定 $\tau=0$ 夯实几何对应，第二阶段随机采样 $\tau \sim \mathcal{U}(0, \tau_{\max})$ 学习尺度适应性。单个模型权重无需针对特定算力或网络带宽重复微调，即可在边缘设备与云端之间实现基元规模的毫秒级按需自适应裁剪。

局限与展望¶

正交四叉树网格缺乏形状轮廓适应性：当前空间划分受限于轴对齐的正交四叉树边界，对于倾斜结构、非轴向几何轮廓的贴合存在阶梯效应。未来可探索基于超像素（Superpixel）或轻量几何分割的任意形状自适应空间剖分。
仅聚焦于单视角内空间冗余，未解决跨视角几何重叠冗余：当前的四叉树划分是在每个源图像空间独立完成的，当输入视角增多时，不同视点重叠视锥内仍会各自产生重叠高斯。未来可在代价体或全局空间中引入跨视点共视基元剪枝机制，进一步极致压缩全局 3D 表征。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙打破前向泛化 3DGS 固有的逐像素预测思维定式，将四叉树空间划分与多尺度高斯尺度调制深度融合。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 RE10K、ACID、ScanNet、DL3DV、DTU 等多个室内外数据集，对比了像素对齐与非像素对齐前向基线，并深度剖析了多分辨率 HRRC 与动态剪枝 Pareto 前沿。
写作质量: ⭐⭐⭐⭐⭐ 论文动机清晰明确，方法推导与算法流程严谨连贯，图表信息表达极具说服力。
价值: ⭐⭐⭐⭐⭐ 为轻量化、高保真度前向3D高斯实时重建与端侧交互式部署提供了极具实用价值的全新范式。