Free-Range Gaussians: Non-Grid-Aligned Generative 3D Gaussian Reconstruction¶

会议: ECCV2026
论文: ECCV 原文
领域: 3D 视觉
关键词: 高斯泼溅、稀疏视角重建、流匹配、层级表示、生成式补全

一句话总结¶

Free-Range Gaussians 从四幅带相机位姿的图像直接生成不依附像素或体素网格的 8K 个高斯，以层级配对和重建引导改善不可见区域补全，在部分观测 GSO 上获得 28.08 dB PSNR 与 27.69 FID，但迭代生成并不等于单次前向重建。

研究背景与动机¶

稀疏视角 3D 重建的问题不只是把看到的表面还原出来，还包括如何表示根本没被拍到的背面。LGM、GS-LRM 等像素对齐方法把高斯锚定在输入图像的像素上，容易在已见表面堆叠大量高斯，而背面仍留下孔洞。先合成额外视图再重建可以缓解覆盖不足，但需要决定新相机位置，还会把合成视图之间的不一致传到几何中。

LaRa 等体素对齐方法允许高斯覆盖输入视图之外的空间，却仍受网格容量限制；仅依赖光度回归时，多种合理背面容易被平均成模糊结果。生成模型可以采样一个清晰的可能背面，但如果弱化相机位姿和图像条件，又可能把已看见的外观或朝向一并改掉。本文因此同时追求自由放置高斯和忠实重建输入，而不是只追求一个看起来合理的物体。

直接监督无序高斯集合也不简单：网络预测的第几个高斯应匹配真值中的哪一个，并没有天然答案。昂贵的集合匹配损失既增加计算，也未必贴合最终渲染质量。核心 idea：利用流匹配中真值高斯与噪声的逐项配对来学习条件分布，再用层级局部配对控制 token 数，并将输入视图的渲染误差反馈给生成过程。

方法详解¶

整体框架¶

输入是同一物体的稀疏多视图及相机位姿，输出是可直接用于高斯泼溅的三维参数集合。训练前先对物体拟合高斯并建立层级树；训练时从树中取一个细节层级，用加噪高斯学习去噪。推理则从随机噪声开始，联合图像条件和重建反馈逐步生成高斯，不先生成额外二维视图，也不经过体素潜空间。

三个核心设计分别是参数空间流匹配、层级配对和重建引导。层级树属于监督数据的组织方式，不要求用户输入一棵树；推理中也不是反复对当前噪声高斯执行空间聚类。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["带位姿稀疏图像<br/>训练用高斯 / 推理用噪声"] --> Flow["参数空间流匹配"]
    Flow --> Patching["层级配对"]
    Patching --> Guidance["重建引导"]
    Guidance --> Output["非网格对齐高斯<br/>新视角渲染"]
    Guidance -->|下一去噪步| Flow

关键设计¶

1. 参数空间流匹配：用生成路径建立监督对应

一个高斯用位置、对数尺度、四元数旋转、logit 不透明度和 RGB 颜色表示，共 14 维。每类参数按训练集统计量独立标准化，避免位置、尺度和颜色的量纲差异支配学习。这里的“非网格对齐”指最终高斯中心不绑定二维像素或三维体素，不表示训练数据不需要任何组织结构。

训练时，给真值高斯配上标准正态噪声，在噪声与真值之间线性插值。模型采用干净样本预测，而非直接预测速度；由预测的终点和当前状态计算速度，再用 Euler 积分向干净高斯推进：

\[ z_t=(1-t)\epsilon+t z_1,\qquad \hat z_1=f_\theta(z_t,t,I),\qquad v_t=\frac{\hat z_1-z_t}{1-t}. \]

这里 \(I\) 表示带位姿的图像条件，\(\epsilon\sim\mathcal{N}(0,\mathbf{I})\)，\(t\in[0,1)\)。每个训练样本中的噪声与真值逐项配对，因此监督目标已经确定，不必在预测后额外求一次集合匹配；这种对应不是跨物体固定的语义排序。推理时从新噪声采样，得到的是条件分布中的一种重建，而不是所有合理重建的平均值。

图像条件由冻结的 DINOv2-Base 提取 768 维特征，拼接 32 维位置嵌入、3 维下采样 RGB 和 6 维 Plücker 射线坐标，再投影到 1024 维。射线坐标把“图像中是什么”与“从哪里看见它”结合起来，使模型能在共同三维坐标系中重建，而非只生成外观相近的物体。

图像 token、配对后的高斯 token 和 32 个可学习寄存器 token 一起进入 DiT。网络有 18 个 Transformer 块，每块使用 16 个 64 维注意力头、时间步 AdaLN、GEGLU，以及用于稳定训练的 RMSNorm QK-normalization。高斯 token 不加位置编码，避免依赖人为规定的全局序号。

2. 层级配对：保留高斯容量，同时减少注意力序列长度

直接把大量高斯各当一个 token，会让自注意力成本随序列长度快速增长。作者先在拟合好的真值高斯上建立二叉层级树，每个父节点由两个子节点加权合成，因此树深度决定可取出的统一细节层级。训练先用深度 11 的约 2K 个高斯和 \(224\times224\) 图像，再用深度 13 的约 8K 个高斯和 \(512\times512\) 图像微调。进入模型的是所选层的高斯，父节点只提供组织关系。

树还给无规则点集提供了“相邻 patch”的替代定义：同一父节点下的两个兄弟高斯拼成一个 token。于是 \(N\times14\) 的参数阵列变成 \((N/2)\times28\)，线性投影后交给 Transformer，输出时再拆回两个高斯。默认 8K 个高斯只对应约 4K 个高斯 token，图像和寄存器 token 另计；减少的是序列长度，而不是把输出容量砍半。

兄弟关系重要在于两者通常空间接近，网络可以在同一个局部单元内联合调整几何和外观。它不同于随机把两个高斯打包，也不同于只保留 4K 个高斯。推理时使用相同的成对表示接口，学习到的局部生成结构来自训练监督；层级课程与配对机制均不把最终中心锁定在固定网格。

3. 重建引导：区分训练监督、网络输入反馈和采样修正

粗层级高斯会损失细节，单靠参数空间去噪不足以保证图像忠实度。作者对预测的干净高斯进行渲染，用输入视图和训练阶段留出的真值视图计算 L1 光度误差，并让其时间权重在去噪后段增大。这样不会在接近纯噪声、预测还不可靠时强迫模型拟合细纹理，而是在几何逐渐成形后强调渲染细节。

另一条反馈路径使用的不是预测终点，而是当前含噪高斯：先从输入相机渲染当前状态，再求已见视图光度损失对高斯参数的梯度。训练与推理均将这些逐高斯梯度拼接到网络输入中，让网络直接知道当前重建应朝哪个方向修正。推理时又把同一梯度作为外部引导加入 Euler 更新，沿降低输入渲染误差的方向修正状态，权重设为 \(\lambda_{\mathrm{PG}}=50\)。

这两种梯度用途不能混为一谈：梯度拼接由网络学习如何利用反馈，外部引导则直接修改采样轨迹。两者均只用输入视图，不读取留出或评估视图；留出真值仅参与训练损失。梯度直接从当前高斯的渲染损失获得，不像 GSD 那样需要通过去噪器反传到噪声潜变量。

最后，训练以 10% 概率把图像特征置零，学习无条件预测；推理用 classifier-free guidance 放大有条件预测相对于无条件预测的差异：

\[ \hat z_1^{\mathrm{guided}}=\hat z_1^{\mathrm{uncond}}+s\left(\hat z_1^{\mathrm{cond}}-\hat z_1^{\mathrm{uncond}}\right),\qquad s>1. \]

缓存正文未明确给出实际采用的 \(s\)，不应将光度引导权重 50 当作该尺度。缓存第 3.3 节的总损失和外部引导更新公式存在提取损坏，本文仅按清晰正文解释其机制，不补写不确定的完整公式。

损失函数 / 训练策略¶

训练目标包含流匹配损失及时间加权的多视图渲染监督；时间步采用余弦调度。约 140K 个 Objaverse 训练物体各渲染 40 幅 \(512\times512\) 图像，再经 3DGS-MCMC 拟合高斯并预计算层级树，因此三维“真值”实际是拟合监督，不是无误差的直接测量。

优化器为 AdamW，学习率从 \(10^{-4}\) 余弦衰减到 \(5\times10^{-6}\)，预热 2,000 步；报告总训练 700K 次迭代，在 64 张 NVIDIA H200 上耗时 6 天。推理执行 50 个 Euler 步，\(\Delta t=0.02\)，每步采用上述两类引导，最后反标准化得到可渲染参数；单物体在单张 H200 上约需 26 秒。

实验关键数据¶

主实验¶

测试集为 500 个留出的 Objaverse 物体和 1,030 个 GSO 物体，后者检验对真实扫描家居物体的分布外泛化。完整观测把相机用 K-means 分为 4 簇，每簇取一幅图；部分观测从同一簇取四幅，输入集中在物体一侧。两种设置使用相同固定评估视图集合，广泛覆盖物体周围，不能把其 PSNR 简化理解为输入视图重投影分数。

下表节选原文表 1 的部分观测结果，PSNR 单位为 dB、越高越好，FID 越低越好；保留同一组基线，不将定性对比的 ReconViaGen 填入定量表。

方法	高斯数量	Objaverse PSNR	Objaverse FID	GSO PSNR	GSO FID
LGM	65K	22.88	88.43	19.65	54.96
LaRa	45K	27.79	93.19	25.64	69.18
GS-LRM	70K	27.90	65.06	27.57	34.13
Free-Range Gaussians	8K	29.92	43.58	28.08	27.69

相对 GS-LRM，本文部分观测 Objaverse PSNR 提高 2.02 dB，GSO 提高 0.51 dB；GSO FID 下降 6.44。表中高斯数量之比为 \(70/8=8.75\)，这是表示数量的压缩，不是推理加速倍数。GS-LRM 使用作者复现，非官方发布实现。

原文表 2 的完整观测结果更能揭示取舍：以下 LPIPS 均按原表乘以 1000，越低越好，不能与未缩放值混用。

方法	Objaverse PSNR (dB)	Objaverse LPIPS ×1000	GSO PSNR (dB)	GSO LPIPS ×1000
LaRa	31.91	43.60	29.15	60.70
GS-LRM	31.03	32.80	31.13	30.93
Free-Range Gaussians	31.66	53.15	31.49	77.25

本文 GSO PSNR 略高于 GS-LRM，但 LPIPS 明显更差；Objaverse PSNR 也低于 LaRa。因此结论应是紧凑表示下的竞争性重建与部分观测补全优势，而不是所有条件、所有指标均最优。

消融实验¶

原文表 3 在全部 1,030 个 GSO 物体上报告 PSNR，单位均为 dB。下表使用绝对值，避免原文测试时消融括号内近似降幅与两位小数相减不完全一致的问题。

配置	完整观测 PSNR	部分观测 PSNR
完整模型	31.49	28.08
无流匹配	28.40	26.30
无多视图渲染损失	29.66	26.87
无 LoD 课程训练	30.00	26.42
不配对，4K 高斯	30.47	27.22
不配对，8K 高斯	30.54	26.75
随机配对	30.84	27.16
无渲染梯度拼接	30.89	27.51
推理时无 classifier-free guidance	31.30	27.50
推理时无光度梯度引导	31.10	27.90

关键发现¶

无流匹配的退化最大：完整/部分观测分别降低 3.09/1.78 dB。但该消融同时替换为带可学习潜 token 的普通 Transformer，并仅用光度损失训练，不是只关闭一个采样开关。
无 LoD 课程使部分观测下降 1.66 dB；随机配对下降 0.92 dB。局部结构和训练过程都重要，不能把收益全归于减少 token。
原文表 4 对同一个经 2 至 9 视图均匀采样微调的模型评估：2/4/6/9 幅输入对应 GSO 完整观测 PSNR 28.22/31.49/32.04/32.39 dB。更多视角仍有收益，但不是未经适配的零样本变视图测试。

亮点与洞察¶

生成路径不仅提供先验，也解决监督对应。噪声与真值的配对让自由高斯集合获得逐项训练信号，同时避免确定性回归把不可见表面平均模糊。
层级树兼任容量调度器和局部配对依据。相比删掉一半高斯，把相邻两个高斯放进同一 token 能保留输出表达能力，但并不保证整体推理成本减半。
重建梯度可以既是模型可学习的输入，又是采样时的外部约束。这一思路适合其他可微渲染表示，不过必须明确哪些视图参与反馈，避免评估信息泄漏。

局限与展望¶

作者明确承认 8K 高斯限制精细纹理和几何，完整观测 LPIPS 结果也支持这一容量取舍。稀疏或线性注意力、高斯上采样是建议方向，并非已验证的改进结果。
50 步迭代与每步渲染梯度意味着约 26 秒的单物体延迟。蒸馏或流直化可能减少步数，但当前不能以“高斯更少”声称比单次前向基线更快。
监督依赖拟合高斯质量，严重遮挡会使其缺失几何或含伪影。生成的背面具有合理性，不意味着恢复了该物体唯一真实的不可见结构。
当前任务需要相机位姿，实验集中在物体级数据；位姿未知、单视图和大场景能力尚未由这些实验建立。与 pose-free ReconViaGen 的定性比较也应保留输入条件不同的边界。
缓存没有给出实际 CFG 尺度，部分公式提取损坏。严格复现还需查阅排版完整的原文与实现，不能由笔记补齐这些缺口。

评分¶

新颖性: 4/5。参数空间生成、层级局部配对与双重重建反馈组成了针对性清晰的方案。
实验充分度: 4/5。双数据集、两种覆盖设置与多项消融较完整，但缺少大场景和统一运行时比较。
写作质量: 4/5。方法与消融对应清楚，概括性优势需要结合完整观测感知指标谨慎阅读。
价值: 4/5。为紧凑、可补全的高斯重建提供了有用路径，部署仍受采样延迟和监督成本约束。