SCION: Scene Composition with Instanced Neural Primitives¶

会议: NeurIPS 2026
arXiv: 2610.02322
论文: https://arxiv.org/abs/2610.02322
代码: https://light.princeton.edu/SCION
领域: 重建与渲染
关键词: 3D高斯泼溅, 场景组合, 实例神经图元, 紧凑场景表征, 场景编辑与动画

一句话总结¶

SCION 将独立参数化的海量 3D 高斯解耦为可复用的局部神经图元词汇表与轻量化世界空间实例变换，配合图元局部生灭、实例多尺度密集化及对抗损失，在 1.2 MB 极限存储下实现了优异的率失真权衡并原生支持实例级编辑与物理动画。

研究背景与动机¶

现实物理世界天然具有丰富的层级组合与重复性结构：草坪是由同种形态的草叶复制数百万次构成，砖墙是单块砖块在规则姿态下的空间平铺，树冠则由数种基本叶片在树枝上依附分布。传统计算机图形学建模正是遵循这种规律，通过粒子系统或结构语法定义少量模板资产再批量例化，不仅节约了巨大存储空间，还为形变动画与局部编辑提供了显式的操作句柄。

然而在 3D 逆向视觉重建中，主流神经隐式场（如 NeRF）与显式辐射场（如 3D Gaussian Splatting, 3DGS）却背离了这一物理先验。3DGS 为每个场景强行拟合数百万个相互独立的各向异性高斯，每个高斯均独立存储位置、协方差、不透明度和球谐颜色参数。这种无结构的「记忆式拟合」带来两大瓶颈：其一，表征冗余度极高，即便是后续的高斯压缩算法也往往停留在参数码本量化或熵编码层面，未能捕捉几何层面的重复性；其二，下游任务极其脆弱，场景缺乏可操作的结构句柄，哪怕对草地做微风摆动或在表面铺草，用户也必须在数万个零散无序的高斯集合上繁琐微调，无法像传统图形管线那样做连贯的实例级操控。

要在多视角图像重建中挖掘重复结构，核心难点在于两方面：一方面是最小描述长度（MDL）的尺度折中，场景图元应该切分得更大还是更小；另一方面是共享图元跨实例聚合梯度时的「多对一平滑效应」——真实环境中的重复部件并不完全绝对一致，强行做像素级共享容易导致模板被平均成模糊均值，抹除高频几何与外观细节。本文的切入角度是直接在 3DGS 中引入可学习的几何图元词汇库与实例位姿解耦，并借助对抗判别器约束渲染锐度。核心 idea：将场景显式解耦为紧凑的可复用局部神经图元词汇库与稀疏轻量化的世界空间实例变换，通过图元内局部高斯生灭、世界空间实例自适应密集化及补丁级对抗监督，直接从多视角图像中端到端学习出结构化且可控的 3D 场景。

方法详解¶

整体框架¶

SCION 从标定好的多视角 RGB 图像集合中端到端恢复具有显式结构的紧凑场景。场景表征被解耦为两级层次：一是局部图元词汇库 $\mathcal{C} = \{c_k\}_{k=1}^K$，其中每个图元包含若干局部坐标系下的 3D 高斯；二是世界空间实例集合 $\Phi = \{\phi_i^{\mathrm{W}}\}_{i=1}^N$，每个实例分配一个离散图元索引，并通过位姿、缩放和不透明度将其投射至世界空间。渲染时动态将局部高斯变换装配为临时世界高斯，并通过可微光栅化生成图像。为避免图元与实例参数之间的梯度缠绕，每次训练迭代采用分相 detach 前向传播，结合光度重构、正则化与判别器对抗损失共同优化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角图像 + COLMAP 稀疏点云"] --> B["点云空间聚类与 DINOv3 特征关联<br/>初始化图元词汇库与实例分配"]
    B --> C["分相双路可微装配与渲染<br/>解耦图元参数与实例世界位姿"]
    C --> D["联合优化目标<br/>光度损失 + 正则化约束 + 对抗补丁判别"]
    D --> E["两级密集化策略<br/>图元局部生灭与实例克隆/细分"]
    E --> F["结构化紧凑场景表征<br/>极低体积 (1-2 MB) + 原生支持编辑与动画"]

关键设计¶

1. 局部图元与世界实例的层次化几何解耦：从参数记忆到结构复用

针对平铺高斯表征参数冗余且丧失结构关联的弊端，SCION 构建了分层场景参数化机制。每个局部图元 $c_k = \{\theta_{kj}^{\mathrm{L}}\}_{j=1}^{S_k}$ 在自身局部坐标系中包含 $S_k$ 个局部高斯，每个局部高斯拥有中心 $\boldsymbol{\mu}_{kj}^{\mathrm{L}} \in \mathbb{R}^3$、四元数旋转 $\boldsymbol{q}_{kj}^{\mathrm{L}} \in S^3$、各向异性对数尺度 $\boldsymbol{s}_{kj}^{\mathrm{L}} \in \mathbb{R}^3$、不透明度 logit $o_{kj}^{\mathrm{L}} \in \mathbb{R}$ 以及视点无关的基础 RGB logit $\boldsymbol{c}_{kj}^{\mathrm{L}} \in \mathbb{R}^3$（为保持紧凑性舍弃高阶球谐系数）。每个实例 $\phi_i^{\mathrm{W}}$ 仅用 10 个浮点参数即完成世界空间布置：世界位置 $\boldsymbol{\mu}_i^{\mathrm{W}}$、四元数旋转 $\boldsymbol{q}_i^{\mathrm{W}}$、标量对数缩放 $s_i^{\mathrm{W}}$、不透明度修正 logit $o_i^{\mathrm{W}}$，以及固定的离散图元分配索引 $a_i \in \{1,\dots,K\}$。在执行光栅化渲染时，对实例 $i$ 中的局部高斯 $j$，按如下闭式装配为临时世界空间高斯：

\[ \tilde{\boldsymbol{\mu}}_{ij}^{\mathrm{W}} = \boldsymbol{\mu}_i^{\mathrm{W}} + \boldsymbol{q}_i^{\mathrm{W}}(e^{s_i^{\mathrm{W}}}\boldsymbol{\mu}_{a_i j}^{\mathrm{L}}), \quad \tilde{\boldsymbol{s}}_{ij}^{\mathrm{W}} = \boldsymbol{s}_{a_i j}^{\mathrm{L}} + s_i^{\mathrm{W}}\mathbf{1}, \quad \tilde{\boldsymbol{q}}_{ij}^{\mathrm{W}} = \boldsymbol{q}_i^{\mathrm{W}} \otimes \boldsymbol{q}_{a_i j}^{\mathrm{L}} \]

装配后的不透明度为 $\tilde{o}_{ij}^{\mathrm{W}} = o_{a_i j}^{\mathrm{L}} + o_i^{\mathrm{W}}$，颜色直接继承 $\tilde{\boldsymbol{c}}_{ij}^{\mathrm{W}} = \boldsymbol{c}_{a_i j}^{\mathrm{L}}$。在存储空间上，若局部高斯参数量为 $P_{splat}=14$，实例参数量为 $P_{instance}=10$，则整个场景的参数总规模为 $B_{ours} = P_{splat}\sum_{k=1}^K S_k + P_{instance}N$。与拥有相同高斯数量的平坦 3DGS 相比，存储需求直接降低至原先的极小比例，将复杂度核心从渲染高斯总数转移到了稀疏的实例计数上。

2. 分相对称渲染与补丁对抗监督：突破多实例平均模糊陷阱

在共享图元表征中，同一个图元会接收到所有引用该图元的实例在反向传播时回传的叠加梯度。若单纯使用 $L_1$ 或 SSIM 光度损失进行监督，不同实例之间细微的几何/外观差异会驱动共享模板退化为平滑模糊的平均质感。为了解决优化过程中的梯度缠绕，SCION 在每次迭代中执行两次前向渲染：在图元更新通道中对实例参数 stop-gradient 得到 $\hat{I}_\theta = R(\theta, \operatorname{sg}(\phi))$，在实例更新通道中对图元参数 stop-gradient 得到 $\hat{I}_\phi = R(\operatorname{sg}(\theta), \phi)$。

在光度重构损失 $\mathcal{L}_{\mathrm{recon}}$ 之外，SCION 引入了约束图元与实例行为的特定正则化项 $\mathcal{L}_{\mathrm{reg}}$，包括防止实例缩放漂移的锚定项 $\lambda_{\mathrm{anch}}\frac{1}{N}\sum_i |s_i^{\mathrm{W}}|$、防止实例体积失控膨胀的惩罚屏障 $\lambda_{\mathrm{cap}}\sum_i [s_i^{\mathrm{W}}-\tau_{\mathrm{cap}}]_+^2$，以及将局部高斯约束在其局部均值附近的局部聚集项 $\lambda_c \frac{1}{|\mathcal{C}_{\geq 2}|}\sum_{k}\frac{1}{S_k^+}\sum_j \|\boldsymbol{\mu}_{kj}^{\mathrm{L}} - \bar{\boldsymbol{\mu}}_k^{\mathrm{L}}\|_2^2$。更为关键的是，在热身步数 $t_D$ 之后，系统在图元渲染图像 $\hat{I}_\theta$ 上施加补丁对抗损失 $\mathcal{L}_{\mathrm{adv}}$。判别器在真实图像与渲染结果的随机裁剪 Patch 间进行真伪对抗，由于仅监督图元更新通道，判别器迫使共享图元保留高频纹理与锐利边缘，而非在像素级光度损失下拉平为单调平均值。

3. 图元内局部生灭与世界空间实例多尺度分裂：双层自适应密集化机制

传统 3DGS 的分裂与克隆策略在解耦架构下无法直接沿用：直接在世界空间增删高斯会打破图元词汇库的复用契约，而盲目在图元内加高斯又无法感知全局覆盖率。SCION 针对性提出了词汇感知的双层密集化机制。在反向传播累积窗口 $\mathcal{W}$ 内，系统利用 scatter-add 分别统计图元局部高斯的平均屏幕梯度 $\bar{g}_r$（按图元索引与局部高斯位置汇聚）与实例整体的平均屏幕梯度 $\bar{h}_i$（按实例聚合其包含的所有局部高斯梯度）：

\[ \bar{g}_r = \frac{\sum_{v\in\mathcal{W}}\sum_{(i,j):r=(a_i,j)}\|\nabla_{\pi_v(\tilde{\boldsymbol{\mu}}_{ij}^{\mathrm{W}})}\mathcal{L}_{\mathrm{total}}^{(v)}\|_2}{\sum_{v\in\mathcal{W}}\sum_{(i,j):r=(a_i,j)}1}, \quad \bar{h}_i = \frac{\sum_{v\in\mathcal{W}}\sum_{j=1}^{S_{a_i}}\|\nabla_{\pi_v(\tilde{\boldsymbol{\mu}}_{ij}^{\mathrm{W}})}\mathcal{L}_{\mathrm{total}}^{(v)}\|_2}{\sum_{v\in\mathcal{W}}S_{a_i}} \]

在图元层面，采用基于 Metropolis-Hastings 改进的行分配生灭机制。新高斯的产生严格限定在同一图元内部，基于图元内 z-score 归一化的重要性分数选择活跃高斯进行提案，并根据图元内局部体素密度抑制过度密集堆叠，保证图元内部结构的紧凑与均衡。在实例层面，则根据世界尺度与梯度进行世界空间拓扑调整：对于高梯度但尺度较小的实例执行空间微扰克隆；对于高梯度且尺度较大的实例，将其细分为 $M$ 个子实例，子实例继承父级的旋转、图元分配与不透明度，仅改变位置并按照对数缩放规则 $s_{i,m}^{\mathrm{W},\prime} = s_i^{\mathrm{W}} - \frac{1}{3}\log M$ 缩小体积，在保持世界渲染质量的同时自适应提升复杂区域的复用分辨率。

损失函数 / 训练策略¶

训练分为两个独立阶段交替计算梯度： 1. 光度重构损失：结合 $L_1$、SSIM 以及阶段性启用的 VGG-LPIPS： $$\mathcal{L}_{\mathrm{recon}}(t) = (1-\lambda_{\mathrm{ssim}})\|\hat{I}-I\|_1 + \lambda_{\mathrm{ssim}}(1-\mathrm{SSIM}(\hat{I},I)) + \mathbf{1}_{\mathrm{lpips}}(t)\lambda_{\mathrm{lpips}}\mathrm{LPIPS}_{\mathrm{vgg}}(\hat{I},I)$$ 2. 正则化损失：包含传统高斯尺度/不透明度惩罚项以及 SCION 独有的实例尺度锚定、尺度上限屏障和图元紧凑性约束 $\mathcal{L}_{\mathrm{reg}}$。 3. 补丁对抗损失：在设定预热迭代步数 $t_D$ 之后加入 PatchGAN 风格的对抗损失 $\lambda_{\mathrm{adv}}\mathcal{L}_{\mathrm{adv}}(\hat{I}_\theta, I)$，仅对图元渲染通道施加梯度。 4. 整体迭代：模型在标准基准上训练 30k 步，密集化操作以固定周期根据累积梯度触发。

实验关键数据¶

主实验¶

在 MipNeRF360 数据集上，将 SCION 与主流 3DGS 极限压缩基线（在 1.5 MB 存储预算附近的最低可用配置）进行横向对比：

方法	PSNR (dB) ↑	SSIM ↑	LPIPS ↓	存储大小 (MB) ↓	特性 / 表征形式
ContextGS	20.79	0.559	0.511	1.760	独立高斯 + 锚点上下文压缩
HAC++	26.51	0.756	0.299	1.699	哈希网格辅助上下文熵编码
OMG	26.25	0.770	0.271	1.353	紧凑优化最小高斯表征
SCION (Ours-Small)	22.01	0.605	0.431	1.204	图元词汇库 + 实例解耦 (含操控句柄)

注：在极低比特预算下，传统参数压缩算法保留了独立高斯，像素级指标较高，但在重复微观几何上严重失真且完全不具备部件级语义操作句柄；SCION 则在 1.2 MB 极限体积下恢复了整洁连贯的实例几何。在更广阔的多基准上，Ours-Small 在 Tanks & Temples 达到 1.55 MB (18.61 dB)，Deep Blending 仅 0.73 MB (24.02 dB)，Synthetic-NeRF 仅 0.16 MB (24.39 dB)。

消融实验¶

在 MipNeRF360 的经典场景 Garden 上对核心优化组件进行逐级累加消融测试（包含 Ours-Small 与 Ours-Large 两种规模配置）：

配置 / 组件组合	PSNR (dB) ↑ (Small)	SSIM ↑ (Small)	LPIPS ↓ (Small)	体积 (MB) (Small)	PSNR (dB) ↑ (Large)	SSIM ↑ (Large)	LPIPS ↓ (Large)	体积 (MB) (Large)
仅图元高斯密集化 (Splat DC only)	21.98 ± 0.07	0.56 ± 0.00	0.45 ± 0.01	1.48	23.23 ± 0.02	0.65 ± 0.00	0.34 ± 0.00	3.81
++ 实例级密集化 (++ instance DC)	21.87 ± 0.15	0.56 ± 0.01	0.46 ± 0.02	1.45	23.20 ± 0.05	0.65 ± 0.00	0.34 ± 0.00	3.76
++ 感知损失 (++ LPIPS)	21.90 ± 0.08	0.56 ± 0.00	0.45 ± 0.01	1.45	23.09 ± 0.07	0.65 ± 0.00	0.33 ± 0.00	3.76
完整模型 (++ 对抗损失 Full)	21.74 ± 0.12	0.55 ± 0.01	0.37 ± 0.02	1.44	22.88 ± 0.02	0.63 ± 0.00	0.27 ± 0.00	3.72

关键发现¶

感知质量与逐像素重建的权衡：添加补丁对抗损失后，LPIPS 发生了显著改善（Small 模型从 0.45 骤降至 0.37，Large 模型从 0.33 骤降至 0.27），而传统的 PSNR 和 SSIM 出现轻微下滑。这证明了在强共享约束下，单纯基于参考图像的像素损失容易陷入局部平滑的虚假均值，而对抗训练能有效激发高频纹理与几何锐度。
对抗训练比感知损失自身更有效：令人惊讶的是，在降低 LPIPS 指标的幅度上，加入对抗损失带来的增益远大于直接加入 LPIPS 损失函数本身。这表明判别器打破了多实例梯度平均造成的欠拟合陷阱。
实例级密集化的拓扑覆盖收益：实例克隆与多尺度细分能够在保证总参数量受控的前提下，根据局部场景复杂度动态调整高斯在世界空间的分布密度，使存储预算集中于结构重构。

亮点与洞察¶

从参数压缩迈向概念发现：传统高斯压缩多停留在特征向量压缩或网格熵编码上，而 SCION 将重复性从「参数冗余」升维至「显式几何图元与实例位姿」，使逆向神经重建首次获得了类似正向图形建模的资产实例化能力。
双通道分相渲染与停梯度设计：通过在图元分支和实例分支分别交替 stop-gradient，巧妙避开了图元与实例在非线性投影中的病态协同耦合，保证了优化的数值稳定性。
免重训的原生交互句柄：由于每个草叶、砖块或花朵都映射到特定的实例变换，用户可以通过修改图元全局改变所有副本外观，或通过操纵实例矩阵直接生成连贯的风琴摆动、花朵晃动动画，彻底克服了无结构高斯形变时撕裂碎裂的顽疾。

局限与展望¶

依赖场景重复性先验：SCION 的核心收益建立在物理环境具有显著自重复结构的假设上。如果场景充斥着完全非重复、形状高度特异的复杂几何，图元共享策略将退化为单次实例，丧失表达效率。
离散图元分配的静态硬约束：目前实例到图元的分配索引 $a_i$ 由 DINOv3 预聚类并在训练中完全冻结，无法通过反向梯度动态修正误分配。未来引入可微软分配或动态图元重分配机制将进一步提升表征上限。
训练开销相对较高：双路分相渲染、高分辨率补丁判别器更新以及双层密集化累积计算，使 SCION 的端到端训练耗时明显高于标准 3DGS。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次在 3DGS 重建中端到端实现神经几何图元词汇库与实例位姿的层级解耦。
实验充分度: ⭐⭐⭐⭐ 覆盖四大经典基准与多项压缩 SOTA 对比，消融充分，展现了独特的编辑与动画效果。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严密，数学表达与动机阐述高度自洽。
价值: ⭐⭐⭐⭐⭐ 为轻量化移动端 3D 传输、具身环境生成与可交互数字孪生提供了极具潜力的全新表征路径。