GlobalSplat: Efficient Feed-Forward 3D Gaussian Splatting via Global Scene Tokens¶

会议: ECCV2026
论文: ECCV 原文
领域: 重建与渲染
关键词: 高斯泼溅、新视角合成、全局场景token、双分支注意力、容量课程

一句话总结¶

GlobalSplat先把多视图对齐到固定数量的全局场景token，再解码紧凑3D高斯，在RealEstate10K的24视图设置下以16K高斯达到28.53 dB PSNR、77.88 ms单次前向耗时和3.8 MB场景文件，但感知细节仍弱于更重的ZPressor。

研究背景与动机¶

前馈3D高斯泼溅希望一次读入若干图像，就输出可重复渲染的显式场景，免去每个场景的迭代优化。pixelSplat、MVSplat等路线通常先在图像像素、深度或特征网格上预测，再把结果提升到三维空间。这种结构容易利用成熟的稠密预测方法，却也把输入视图的冗余带进输出：同一面墙在多帧里反复出现，可能形成多组视图绑定的高斯，而不是一开始就成为共享的场景结构。

因此，多给图像不只增加可见范围，也可能增加待合并的局部几何、显存和资产体积。后处理压缩能够缩小已经生成的高斯集合，却不一定消除生成阶段的冗余计算。另一条路线LVSM把所有视图压进潜在表示，再直接解码目标图像，但每次换视角仍要运行神经解码器；这里需要的是既能提前融合，又保留标准3DGS资产复用能力的中间表示。

GlobalSplat把限制施加在显式几何生成之前：让固定数量的场景token反复读取所有视图，先建立共同解释，再决定高斯应该放在哪里。这里的“对齐”是潜在空间中的多视图融合，并非额外执行显式点匹配，也不是自动估计未知相机位姿。核心 idea：先在全局潜在瓶颈中消化跨视图冗余，再用几何与外观分离的解码和由粗到细的容量课程，生成数量不随输入视图增加的显式高斯。

方法详解¶

整体框架¶

输入是多张RGB图像及其相机内外参，输出是位置、尺度、旋转、不透明度与颜色组成的标准3D高斯集合。相机先变换到规范坐标系，图像patch与射线、相机元数据共同形成输入上下文；固定场景token通过几何和外观双分支读取这些上下文，最终解码为可由3DGS渲染器使用的资产。

默认配置使用2,048个场景token，每个维度为512，每个token最终输出8个高斯，即16,384个，论文简称16K。输入帧数可以变化，输出预算不随之变化；这不等于输入特征提取和交叉注意力的计算量也完全恒定。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视图RGB<br/>相机内外参"] --> B["相机增强上下文"]
    B --> C["双分支全局融合"]
    C --> D["容量课程解码"]
    D --> E["显式高斯资产<br/>标准3DGS渲染"]
    E --> F["新视角图像"]
    E -. "训练：深度与不透明度" .-> H["跨子集几何一致性"]
    T["另一输入子集<br/>独立前向并停止梯度"] -. "训练参照" .-> H
    H -. "训练更新" .-> C

图中的实线表示重建与渲染流程，虚线只表示训练时的几何约束。RGB渲染损失和正则项同样参与训练，具体见训练策略；部署时不需要为了生成一个场景再运行另一输入子集或优化损失。

关键设计¶

1. 相机增强上下文：给patch补足可比较的空间信息

不同视频的原点、朝向和尺度并不统一，若直接交给网络，模型既要学习物体结构，又要适应任意坐标变化。作者以平均相机中心为原点，对平均观察方向重新正交化得到规范坐标轴，再用相机中心之间的最大距离归一化平移。这样先把整个相机布局放到可比较的尺度和方位，网络就能把容量更多用于场景内部结构，而不是寻找整段视频在坐标系中的位置。

图像随后被切成RGB patch token，密集Plücker射线特征也被patch化并线性映射。作者没有只依赖射线，而是把相机中心的傅里叶位置编码与归一化内参的MLP编码组合为每视图相机码，广播加到该视图的射线patch特征，再与RGB特征拼接。射线描述局部投影几何，附加元数据则显式提供相机位置和焦距条件；消融支持这一补充有益，但不能据此宣称Plücker表示本身完全不包含位置相关信息。

2. 双分支全局融合：先共享场景解释，再分工预测几何与外观

2,048个可学习场景token不是2,048个输入像素，也不预先绑定某个视图中的固定格子。它们作为查询，从所有输入patch中汇集相关证据，并通过自身之间的注意力交换场景上下文；额外的可学习register token用于承接全局信息，减少局部特征过拟合。由于所有视图都写入同一组潜在槽位，重复看见的表面有机会在生成高斯之前就被共同解释，而不是先各生成一份再合并。

网络堆叠4个编码块，每个块把token投影成几何流和外观流。各分支以场景特征为查询、图像上下文为键和值做交叉注意力，并使用论文所述的2层自注意力处理全局关系；之后用两层Mixer MLP融合两路信息，供下一块继续更新。分离并不意味着两路隔绝，而是允许它们独立处理结构与纹理后再通信，减少用颜色拟合掩盖错误几何的机会。输出端也保留分工：几何头预测位置、尺度、四元数和不透明度，外观头预测颜色属性；标准3DGS表示包含视角相关的球谐颜色系数。

3. 容量课程解码：先学大结构，再释放局部高斯数量

每个潜在槽位预测16个候选高斯，但训练初期并不让全部候选各自独立解释图像，而是合并成一个代表高斯。随着训练进行，每槽位有效容量按1、2、4、8逐步增加，最终默认停在8。这样在全局几何尚不稳定时，模型不能轻易依赖大量细小基元来补偿局部图像误差；结构较稳定以后，再用更多高斯表达局部细节。这是训练课程，不是推理时需要重复执行的逐场景优化。

候选合并采用温度缩放softmax得到重要性权重，再按高斯属性进行加权聚合。正文把具体的参数感知聚合细节放在补充材料中，当前缓存未包含这些细节，因此这里不把旋转等属性的合并猜成简单逐元素平均。需要区分候选数、场景token数和最终高斯数：默认16K来自2,048个token乘8个输出，而不是每个token只对应一个高斯，也不是默认输出所有16个候选。

4. 跨子集几何一致性：让不同观察集合支持同一个场景结构

仅靠目标RGB监督，颜色和不透明度可能掩盖结构偏差，因此作者把输入视图拆成两个子集，分别前向重建场景，再比较它们渲染得到的深度图和不透明度图。参照分支使用停止梯度，另一侧向它靠拢。这种监督不要求外部真实深度标签，约束的是“看到不同部分输入时，仍应恢复兼容的几何”，与全局场景token的目标一致。

这个约束不是逐个匹配两组高斯的序号，也不是要求两次重建的颜色像素全部相同，而是在渲染后的几何量上度量差异。正文明确了深度与不透明度以及停止梯度，但缓存中具体公式存在字符丢失，未提供的视角采样、遮挡处理等细节不作补写。它只在训练中使用，不增加最终资产的高斯预算。

一个完整示例¶

以RealEstate10K的24张上下文图像为例，同一面墙可能在很多帧中重复出现。每帧先生成带相机条件的patch特征，但这些特征不会直接变成24份墙面高斯；同一组2,048个场景token通过4个双分支块读取它们，逐步整合墙面的空间位置和外观证据。

在训练早期，每个槽位只有一个有效高斯，可用预算为2,048；后续逐步增至每槽位8个，形成16,384个显式高斯。这个数值关系只是对论文配置的展开，不是额外实验。完成训练后，对一个新场景只需一次前向输出最终预算，再用目标相机渲染；把上下文从24帧改成36帧仍保持该预算，但不会保证所有图像质量指标继续上升。

损失函数 / 训练策略¶

论文将目标分为渲染、跨子集一致性和正则化三项，其总目标在正文中清楚给出：

\[ \mathcal{L}=\lambda_{\mathrm{ren}}\mathcal{L}_{\mathrm{ren}}+\lambda_{\mathrm{con}}\mathcal{L}_{\mathrm{con}}+\lambda_{\mathrm{reg}}\mathcal{L}_{\mathrm{reg}}. \]

渲染项结合目标图像的平方误差和感知损失；一致性项约束前述深度与不透明度；正则项包含特征软阈值和视锥约束。当前文本缓存的若干分项公式有运算符缺失，故不重建为作者精确公式，也不补造损失权重、优化器、训练步数或容量阶段切换时刻。

GlobalSplat从头训练，不依赖预训练像素预测骨干或稠密基线的潜在特征。主模型约83.4M参数；单流消融加宽到90M以减少参数量差异的干扰。RealEstate10K用于主要训练与评测，ACID是零样本跨数据集测试；DL3DV-10K结果来自在该数据集上重新从头训练的模型，不是同一零样本迁移实验。

实验关键数据¶

主实验¶

评测沿用C3G基于NoPoSplat的划分：保留两个锚点上下文和固定的留出目标帧，在两个锚点之间补采样到12、24或36张上下文图像。RealEstate10K与ACID以256×256分辨率评测；PSNR衡量像素重建误差、SSIM衡量结构相似性，二者越高越好，LPIPS衡量感知距离，越低越好。

下表汇总原文表1与表3的24视图结果。高斯数是场景基元数量，磁盘大小是输出场景资产而非网络权重；耗时是单次前向，不是渲染帧率。原文称效率测试在单张“A100、64GB显存”上完成，这一显存规格需作者进一步澄清，本笔记只保留其报告条件，不视为已独立验证的硬件配置。

方法	PSNR / dB	SSIM	LPIPS	高斯数 / K	峰值显存 / GB	前向 / ms	场景 / MB
GlobalSplat	28.53	0.883	0.140	16	1.79	77.88	3.8
ZPressor	28.51	0.911	0.097	393	3.70	194.20	134
DepthSplat	19.66	0.743	0.239	1572	29.84	669.50	534
C3G	23.80	0.747	0.198	2	6.04	387.14	0.1
GGN	17.20	0.634	0.343	512	25.08	1800.64	174

相对ZPressor，GlobalSplat的PSNR仅高0.02 dB，不能解释为全面画质领先；它用更少基元和更短前向时间换取较差的SSIM、LPIPS。C3G的高斯数和磁盘体积反而更小，因此GlobalSplat的优势是质量与资源的综合取舍，而不是所有紧凑性指标都第一。

原文表2的ACID零样本24视图结果为28.03 / 0.813 / 0.208，ZPressor为28.53 / 0.860 / 0.138，依次对应PSNR、SSIM、LPIPS。原文表4在DL3DV-10K的256×448、24视图设置下使用32K高斯，PSNR为24.90，对比ZPressor的688K与24.26；但后者SSIM和LPIPS仍更好。表4里的C3G采用224×224，不能直接据数值宣布同协议胜出。

消融实验¶

下表来自原文表6的RealEstate10K消融。表6及对应段落没有明确单列上下文视图数，故不把它冒称为24视图结果；PSNR下降相对于该表完整模型计算。

配置	PSNR / dB	SSIM	LPIPS	PSNR下降 / dB
完整模型	28.57	0.885	0.139	0.00
仅Plücker射线	28.30	0.880	0.140	0.27
去除一致性损失	28.15	0.876	0.143	0.42
单流，90M参数	28.02	0.873	0.151	0.55
从开始直接预测完整容量	27.69	0.867	0.150	0.88

原文表1的12视图主模型和表5默认模型给出LPIPS 0.138，而表6完整模型是0.139；此处按各表原样保留，不擅自统一。表5还拆开了“潜在容量”和“输出高斯数量”，其上下文视图数同样未在表内明确标注：

高斯总数	场景token数	每token高斯数	PSNR / dB	SSIM	LPIPS
2,048	256	8	25.25	0.785	0.250
2,048	2,048	1	26.83	0.838	0.198
16,384	2,048	8	28.57	0.885	0.138
32,768	2,048	16	28.58	0.884	0.135
32,768	4,096	8	29.54	0.903	0.121

关键发现¶

容量课程是表6中影响最大的单项：直接完整容量使PSNR下降0.88 dB，支持先稳定结构再增加细节容量。
同为32,768个高斯，把token从2,048增到4,096、每token输出从16减到8，PSNR由28.58升到29.54。更强的场景表示比单纯多解码基元更有效，但这不是等计算量对照。
RealEstate10K上12、24、36视图的PSNR为28.57、28.53、28.45，说明固定预算对输入增加较稳定，而不是“视图越多质量必然越好”。

亮点与洞察¶

将融合放在显式基元生成之前，直接改变了冗余产生的位置。可以迁移的是“先建立共享场景表示，再分配几何容量”，而不只是替换一种压缩器。
几何与外观分支既独立处理又经Mixer通信，避免把分离误解为完全断开。参数更大的单流仍较差，为分工结构本身提供了证据。
token数与每token高斯数是不同的容量旋钮。输出资产预算固定时，优先增强潜在场景表达可能比增加局部候选更有价值。

局限与展望¶

作者明确承认固定预算可能不足以覆盖城市尺度复杂场景，当前模型还假设静态环境，2至3张极稀疏输入也较困难。分层token、时空建模和单目先验是其提出的方向。
本笔记的判断：PSNR竞争力不能替代感知细节质量，ZPressor的SSIM与LPIPS优势需要在部署取舍中保留；DL3DV已经改用32K，也说明16K不是对任意场景的充分保证。
本笔记的判断：固定输出预算不保证恒定编码成本，且没有未知相机位姿、噪声位姿等专项证据，不能泛化成无标定重建能力。容量表也未提供同等训练计算预算的比较。
当前材料范围：缓存包含正文及参考文献，但不含文中所指补充材料，参数感知合并、正则细节和完整训练配置无法复现到实现级；硬件规格与LPIPS末位差异亦需保留核验边界。

评分¶

新颖性: 4/5。全局潜在表示并非首次出现，双分支、容量课程与显式紧凑解码的组合有明确针对性。
实验充分度: 4/5。覆盖多视图、跨数据集、资源及关键消融，但若干协议细节和硬件说明仍需澄清。
写作质量: 4/5。主线清楚，个别“画质无牺牲”的表述需要结合LPIPS与SSIM取舍阅读。
价值: 4/5。适合重视快速场景生成和轻量资产的应用，极稀疏视图与动态场景尚非强项。