WildSplat: Feedforward Gaussian Splatting from Unposed In-the-Wild Images¶

会议: ECCV 2026
论文: ECCV 原文
领域: 重建与渲染
关键词: 新视角合成、3D高斯泼溅、前馈重建、野外图像、外观编辑

一句话总结¶

WildSplat 是首个面向无位姿野外图像的前馈 3DGS 框架：几何分支（DINOv2 编码器 + 24 层交替注意力）提取外观不变内容特征并联合预测相机位姿，外观分支用 [CLS] 预调制加交叉注意力把参考图外观注入内容特征后预测条件化球谐颜色；多参考联合监督防止几何与外观纠缠，在 MegaScenes/Phototourism 的 4/8/12 视角设置下全面超过 AnySplat、WorldMirror 与优化式方法，Phototourism 12 视角 PSNR 21.47、且支持单次前向的外观编辑与外观插值。

研究背景与动机¶

互联网照片集是同一场景在不同光照、天气、曝光下拍到的图像，静态光照假设被明显打破。NeRF-W 及后续外观感知 3DGS 方法（GS-W、WildGaussians、Splatfacto-W、Wild-GS）用逐图外观嵌入把共享结构与光度变化解耦，插值效果不错，但它们严格依赖预计算位姿、稠密图集和数小时的逐场景优化；稀疏视角下逐图嵌入严重欠约束，几何不可靠。另一条路线是前馈重建（pixelSplat、MVSplat、NoPoSplat、AnySplat）：在大规模多视角数据上学习可泛化先验，单次前向输出 3D 表示，不需要逐场景优化，但它们隐含光度一致性假设，输入外观差异大时无法把几何从光照变化中剥离，重建结果出现明显的外观混杂。

核心矛盾是：野外数据的解耦能力与稀疏无位姿数据的效率需求至今被两类方法分别持有——优化式方法有解耦能力却没有效率与泛化，前馈方法有效率与泛化却没有解耦机制。作者主张以一张指定参考图作为外观条件：几何只学一次、外观按参考图注入，这样既保留前馈效率，又显式处理光度不一致。核心 idea：用双分支把"外观不变几何 + 联合位姿估计"与"参考图条件化外观"拆开，外观注入前先用 [CLS] 全局描述子把内容特征预调制进目标外观域，再用交叉注意力聚合局部外观细节，并以多参考联合监督稳定训练、阻止外观泄漏进几何。

方法详解¶

整体框架¶

输入是 N 张外观各异的 context 图像和一张指定参考图 \(I_{\text{ref}}\)；输出联合包括相机位姿 \(\{p_i\}\)、外观不变的高斯几何属性 \(G=\{\mu, s, q, \alpha\}\)（位置/旋转/尺度/不透明度），以及条件化颜色属性 \(C_{\text{ref}}\in\mathbb{R}^{G\times 3\times(k+1)^2}\)（以参考图为条件的 k 阶球谐系数）。推理是单次前向：几何分支编码 context 图、经 L 层交替注意力后由 DPT 头输出深度与高斯属性、相机头输出位姿、反投影得到全局坐标下的高斯中心；外观分支编码参考图，把 [CLS] 全局外观与局部外观 token 注入内容特征，预测颜色属性；最后对目标位姿做条件化光栅化渲染。

训练分两阶段：先在光度一致的 DL3DV 上关闭外观注入器做 30k 次预热（稳定高斯属性头），再在 DL3DV + MegaScenes + MegaDepth 全量数据上端到端训练 60k 次。MegaDepth/MegaScenes 用几何引导视图采样组批，DL3DV 用区间采样；训练时对输入做颜色抖动、对参考图随机裁剪，防止外观泄漏。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["野外 context 图像<br/>+ 参考图 Iref"] --> B["双分支编码<br/>DINOv2 几何/外观编码器"]
    B --> C["外观不变几何预测<br/>深度 + 高斯属性 + 位姿"]
    B --> D["全局预调制<br/>[CLS] 移入目标外观域"]
    D --> E["外观注入器<br/>交叉注意力 + 自注意力"]
    C --> F["解耦 3D 表示<br/>G 与 Cref 分离"]
    E --> F
    F --> G["条件化光栅化<br/>按目标位姿渲染"]

关键设计¶

1. 双分支解耦：外观不变几何与条件化外观分开预测

以前馈方法（AnySplat、WorldMirror）通常把高斯几何与颜色从同一组纠缠表征中一起回归；一旦要求输出匹配某张参考图的外观，条件信号很容易反过来扰动几何。WildSplat 的几何分支基于 VGGT 式架构：N 张 context 图先由 DINOv2-large 几何编码器独立编码成稠密 patch token，再拼接 5 个可学习相机 token，经 L=24 层交替注意力（帧内自注意力 + 跨帧全局注意力）细化。从选定的多层 \(\mathcal{K}\) 聚合出内容特征 \(F_{\text{content}}\)——它被定义为"任何外观条件化之前的几何脚手架"，DPT 头据此回归逐像素深度与高斯属性 \((s, q, \alpha)\)，相机 token 经相机头预测位姿，高斯中心 \(\mu\) 由深度和位姿反投影得到，最后按预测位姿变换到全局坐标系，得到与视角无关的几何表示。这一分支的输出对任意参考图保持一致——同一批 context 图换参考图，几何不动。

2. 全局预调制 + 外观注入器：先整体移入目标外观域，再取局部细节

参考图经另一个 DINOv2-base 外观编码器得到全局 [CLS] token 和局部稠密 token。若直接用内容特征当 query、参考 token 当 key/value 做交叉注意力，内容特征仍带着 context 图自己的光度属性——调制就会在错误的外观底色上做局部修正。作者因此先做全局预调制：用 [CLS] 经 AdaLN-Zero 层解码出缩放 γ、偏移 β 和自适应门控 η，对每层内容特征做

\[\tilde{\mathbf{T}}_i^{(k)} = \gamma \odot \text{LayerNorm}(\mathbf{T}_i^{(k)}) + \text{MLP}_{\text{cond}}(\mathbf{T}_{\texttt{[CLS]}}),\]

把内容特征整体搬进目标外观域；调制后的特征再作为 query 从参考局部 token 聚合条件相关细节，随后自注意力做空间正则：

\[\bar{\mathbf{T}}_i^{(k)} = \mathbf{T}_i^{(k)} + \eta \odot \text{CrossAttn}(\tilde{\mathbf{T}}_i^{(k)}, \mathbf{T}_{\text{ref}}),\quad \hat{\mathbf{T}}_i^{(k)} = \bar{\mathbf{T}}_i^{(k)} + \text{SelfAttn}(\bar{\mathbf{T}}_i^{(k)}),\]

\[\mathbf{T}_{\text{app},i}^{(k)} = \hat{\mathbf{T}}_i^{(k)} + \text{MLP}(\hat{\mathbf{T}}_i^{(k)}).\]

更新后的外观特征经颜色头预测条件化球谐系数 \(C_{\text{ref}}\)。AdaLN-Zero 零初始化使训练开始时注入接近恒等，避免破坏已预训练的几何主干。

3. 多参考联合监督：一个几何、多种外观同时渲染

单个训练迭代只配一张参考图时，模型会把 3D 几何与那一张图的光照纠缠——外观条件化退化为记住特定光照。WildSplat 在同一迭代内先固定外观不变几何与内容特征，再随机采样批内 M 张图同时作为外观参考和真值，外观分支分别产出 \(M\) 组条件化颜色，从各参考图自己的视角渲染 \(M\) 张图统一监督。同一几何被迫适配多种外观条件，纠缠在结构上不被鼓励。输入颜色抖动 + 参考图随机裁剪进一步切断"参考图身份"与"输入外观"的捷径关联。

4. 几何引导视图采样：野外数据不能只按位姿排序组批

前馈训练要求输入视角有足够重叠才能建立可靠对应；野外数据焦距差异大，微小的位姿偏移就能让画面内容剧变，按外参或序列相邻来采样会组出无效上下文。作者利用 SfM 点构造重叠矩阵（视角对共享 3D 点比例）和尺度矩阵（视角对最小深度比），按阈值过滤掉重叠或尺度不一致的视角对，再从强连通候选视角出发、按广度优先迭代聚合合法邻居（原文 Algorithm 1），保证每个训练样本的多视角上下文真实可配准。

损失函数 / 训练策略¶

总损失是 M 张渲染图重建损失的求和：\(\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{rgb}} + \lambda_1\mathcal{L}_{\text{pose}}\)，其中光度损失 \(\mathcal{L}_{\text{rgb}}\) 为 MSE、SSIM、LPIPS 的加权和，位姿损失沿用 AnySplat 的蒸馏损失以正则化相机估计。平衡权重 \(\lambda_i=\{10, 1.0, 0.05, 0.05\}\)（依次对应 pose/MSE/SSIM/LPIPS，⚠️ 原文公式抽取损坏，该对应顺序以原文为准）。训练用 Adam，4 张 NVIDIA RTX H20 GPU；几何骨干加载 VGGT 预训练权重，AdaLN-Zero 层零初始化，其余随机初始化。

实验关键数据¶

主实验¶

评测覆盖两个野外数据集：Phototourism 4 个场景（沿用 NeRF-W 协议，每张真值图左半作参考输入、只在右半算指标，防止光度泄漏）和 MegaScenes 测试集抽样的 10 个场景，统一在 4/8/12 视角稀疏配置下用固定测试集评测。基线分两类：前馈的 AnySplat、WorldMirror（评测时统一做位姿对齐——高斯参数固定、目标位姿用光度损失优化，双方同样处理）；优化式的 FSGS、GS-W、WildGaussians（依赖精确位姿与稠密点云，作者用 VGGT 估计其所需几何先验）。

下表摘录原文 Table 2，Phototourism 新视角合成（PSNR↑/SSIM↑/LPIPS↓）：

方法	4 视角 PSNR	8 视角 PSNR	12 视角 PSNR	12 视角 SSIM	12 视角 LPIPS
FSGS	13.63	14.85	15.39	0.573	0.346
GS-W	9.40	10.19	12.63	0.399	0.437
WildGaussians	14.95	17.02	17.65	0.616	0.353
AnySplat	15.61	17.35	18.00	0.700	0.228
WorldMirror	15.38	16.71	17.24	0.724	0.234
WildSplat	19.57	21.15	21.47	0.788	0.137

下表摘录原文 Table 1，MegaScenes 新视角合成（同一指标体系）：

方法	4 视角 PSNR	8 视角 PSNR	12 视角 PSNR	12 视角 SSIM	12 视角 LPIPS
FSGS	12.88	13.28	13.43	0.376	0.453
GS-W	9.54	10.76	9.81	0.311	0.526
WildGaussians	14.38	15.32	15.68	0.448	0.452
AnySplat	14.58	16.16	16.31	0.601	0.273
WorldMirror	15.33	16.08	16.05	0.629	0.287
WildSplat	17.91	18.65	19.20	0.683	0.210

两个数据集上 WildSplat 全指标领先；且随输入视角数增加收益平稳增长，而 WorldMirror 在 MegaScenes 12 视角反而比 8 视角回落（16.08→16.05），波动明显。优化式方法在稀疏输入下整体最差。位姿评测（原文 Table 4，MegaScenes 20 场景 × 24 视角）：WildSplat AUC@5/10/30 = 0.310/0.443/0.624、ATE 1.559，AUC 三项均超过 AnySplat（0.249/0.392/0.596），ATE 上 AnySplat（1.525）略优；整体接近专用位姿先验 VGGT（0.314/0.451/0.632、ATE 1.525）。注意表格只有 AnySplat 和 Ours 两行有完整数字，VGGT 行数字在文本抽取中与 AnySplat 行粘连，⚠️ 以原文 PDF 为准。

消融实验¶

下表摘录原文 Table 3，Phototourism 上的组件消融（PSNR/SSIM/LPIPS，4 视角设置；完整模型对应三组视角分别为 18.52/0.705/0.212、19.90/0.748/0.180、20.15/0.766/0.169）：

变体	4 视角 PSNR	8 视角 PSNR	12 视角 PSNR
w/o Multi-Ref Supervision	16.88	18.77	19.35
w/o Geo-guided Sampling	17.99	19.24	19.58
w/o Pre-Modulation	18.25	19.70	20.11
Full	18.52	19.90	20.15

注意：消融的 Full 行（18.52/19.90/20.15）与主实验 Table 2 的 WildSplat 行（19.57/21.15/21.47）数字不同，原文未解释这一差异（可能是消融子集或协议差异），⚠️ 以原文为准，本笔记不自行调和。

关键发现¶

多参考联合监督是最大的单项贡献。 去掉它 4 视角 PSNR 从 18.52 掉到 16.88（-1.64），是所有消融项中降幅最大者——单参考迭代确实会让几何记住特定光照。
全局预调制对长视角更关键。 12 视角下去掉预调制从 20.15 掉到 20.11，看似小；但 LPIPS 从 0.169 升到 0.175，说明它更多影响外观一致性而非粗几何。
几何引导采样主要救稀疏端。 4 视角下去掉采样策略掉 0.53 PSNR（17.99 对 18.52），8/12 视角掉 0.66/0.57；野外焦距差异使位姿排序采样在任何视角数下都不可靠。
优化式方法在稀疏输入下全面崩溃。 FSGS/GS-W/WildGaussians 依赖稠密图集优化，12 视角下最好也只有 17.65 PSNR，与前馈方法差距明显。
外观编辑是解耦的免费副产品。 更换参考图即可迁移色调（甚至跨建筑类型），特征插值可实现外观连续过渡，均无需重新优化。

亮点与洞察¶

"预调制再交叉注意力"的两级外观注入。 先用 [CLS] 把特征整体搬进目标域、再用交叉注意力取局部细节，比单级注入更符合"全局色调 + 局部材质"的外观结构；这个模式可迁移到任何"条件特征会污染主干表征"的架构。
用训练策略而非结构单独解决纠缠。 多参考监督让同一几何在一个迭代内适配多种外观，纠缠在数据组织层面被打破——比堆更多模块更省。
评估协议照顾了稀疏无位姿的公平性。 优化式基线用 VGGT 补几何先验、前馈基线统一位姿对齐，避免了"基线没调好"式的虚假胜利。
把 SfM 点用作采样先验而不是重建输入。 只用重叠/尺度信息组批，训练时不需要逐场景 SfM 完整输出。

局限与展望¶

依赖参考图指定外观。 无参考图时无法定义"目标外观"；参考图选得离谱（如完全不同建筑类型）时色调可迁移但语义合理性无保证。
消融与主实验数字不一致。 Table 3 Full 行低于 Table 2，正文未解释，复现对比需谨慎。
位姿优势有边界。 AUC 三项超过 AnySplat 但 ATE 略差（1.559 对 1.525），且均未超过专用位姿先验 VGGT，几何分支位姿只是"够用"。
训练需要合成重光照数据。 外观解耦依赖 TC-Light 生成的多光照配对数据，真实光照变化的多样性上限受重光照模型保真度约束。
位姿仍非完全免优化。 评测采用评估时位姿对齐（固定高斯、光度优化目标位姿），"无位姿输入"指训练与前向不需要位姿，推理端仍有这一轻量对齐步骤。
动态物体未处理。 野外图像中的瞬态遮挡者（行人、车辆）在方法设计中未显式建模，定性图也未展示此类场景。

评分¶

新颖性：4/5。首个前馈野外 3DGS + 显式外观条件化，双分支与多参考监督组合针对性强；单点组件（VGGT 骨干、AdaLN、交叉注意力）均非首创。
实验充分度：4/5。两个野外基准 + 4/8/12 视角 + 位姿评测 + 三项消融，覆盖较全；但消融与主实验数字不一致、无推理耗时对比。
写作质量：4/5。方法叙事清晰、公式完整；个别正文表述（AUC、消融差异）与表格不同步。
价值：4/5。野外稀疏重建 + 外观编辑的实用组合，单次前向 + 位姿对齐即可部署，代码未随正文给出（arXiv/代码链接待确认）。