WilLaGS: Latent-Conditional 3D Appearance Fields for Robust Gaussian Splatting In-the-Wild¶

会议: ECCV 2026
论文: ECCV 官方页面
领域: 重建与渲染
关键词: 高斯泼溅、新视角合成、非受控图像集合、潜码条件化外观场、瞬态掩码

一句话总结¶

WilLaGS 用 β-VAE 学习连续全局外观潜空间，以潜码生成 Tri-Plane 三维外观场调制局部光照，并用 EMA 教师与真实图像的感知差异屏蔽瞬态遮挡，在 Photo Tourism 的 Sacre Coeur 达到 25.84 dB，同时提供 58 FPS 的渲染及同一场景内的外观插值和随机采样能力。

研究背景与动机¶

标准 3D Gaussian Splatting（3DGS）把多张照片中的证据融合成同一个静态场景，但互联网照片里的变化并不都来自视角：天气、曝光和拍摄时间会改变外观，行人车辆还会暂时遮住建筑。如果把这些差异都解释成固定的颜色或几何，重建就容易出现模糊、鬼影和漂浮基元。困难在于区分“同一个静态物体换了光照”和“画面里出现了不该重建的瞬态物体”，而不是简单删掉一切不一致像素。

NeRF-W 等方法通过逐图外观嵌入吸收光度差异，GS-W 等进一步建模局部外观；但独立优化的嵌入没有天然的采样先验，单一全局调制也难以充分表达位置相关的阴影。另一方面，联合训练不确定度网络可能跟不上 3DGS 的优化速度，依赖外部分割器又会受到类别和数据分布的限制。本文希望把连续外观建模、空间局部性和稳定的瞬态监督放进同一个训练体系，而不是分别修补输出图像。

核心 idea：用概率潜空间约束全局外观，再通过三维坐标查询把它变成局部颜色条件；由慢速更新的教师提供场景参考，在感知空间中筛除疑似瞬态监督，从而同时改善外观表达和静态重建。

方法详解¶

整体框架¶

输入是同一场景的非受控多视角照片，输出是可从新视角渲染、且能切换外观条件的 3DGS 场景。β-VAE 从图像获得外观潜码；超网络根据潜码生成三张正交特征平面；高斯基元按三维位置查询这些平面，再把动态外观、内在特征和观察方向交给颜色解码器。

训练时，学生场景渲染图像并接受重建监督。EMA 教师则提供当前视角的伪参考，冻结的 VGG-16 比较伪参考与真实照片，生成静态掩码来过滤不可靠监督。教师与掩码属于训练支路；渲染新视角时只需指定外观潜码和相机，调用已训练的外观场与光栅化流程。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["训练参考图像"] --> B["生成式外观潜空间"]
    B --> C["潜码条件化三维外观场"]
    X["高斯位置、内在特征<br/>与观察方向"] --> C
    C --> R["学生光栅化渲染"]
    C -.->|学生参数的 EMA 更新| T["教师场景渲染"]
    T --> M["自监督感知掩码"]
    A --> M
    R --> L["掩码加权重建损失"]
    M --> L
    A --> L
    L -.->|训练监督| C
    Z["渲染时指定或采样潜码"] --> C

图中实线表示图像、条件或损失输入，虚线表示教师更新与学生监督。掩码由教师渲染和真实图像产生，不直接拿当前学生渲染与真值做差；这样可以降低快速变化的学生预测对掩码的即时干扰。

关键设计¶

1. 生成式外观潜空间：给每张照片的外观引入共享先验

β-VAE 编码器不是为每张照片存一个任意向量，而是预测外观潜变量的高斯后验分布；从后验采样后，VAE 解码器尝试重建输入照片。重建项保留解释图像所需的信息，KL 正则则把后验约束到标准高斯先验附近。本文采用 β=2，比标准 VAE 更强调信息瓶颈，希望减少逐图细节和瞬态噪声被潜码记住的程度，把容量更多留给光照、天气等全局变化。

这一先验既服务重建，也提供生成接口。训练后的单个场景可以从参考图像获得潜码、在两个潜码之间插值，或者从标准高斯分布采样后交给外观场。但这不等于已证明潜码对应可辨识的物理光照因子，也不意味着跨场景共享一个通用生成器；正文明确以独立训练的场景演示外观采样。逐图嵌入本身也可进行数值插值，本文更明确的差别是增加了可采样、受正则约束的连续分布。

2. 潜码条件化三维外观场：同一外观条件在不同位置产生不同调制

仅把全局潜码拼到颜色网络输入中，容易把场景变化压缩成粗略的全局色调。WilLaGS 让超网络把潜码映射成 XY、XZ、YZ 三张正交特征平面，每张为 64×64 分辨率、32 通道。这些平面随外观潜码而改变，但其坐标系与场景保持一致，因此同一个表面位置在不同观察视角下查询的是同一个外观场，而不是各自在二维图像里独立修改颜色。

具体查询时，先按场景边界把高斯中心归一化到三维标准范围，再分别投影到三个平面，双线性插值得到对应特征，拼接后由小型 MLP 产生该基元的动态外观特征。另一个可学习的内在特征随高斯基元存储，用于承载相对稳定的材质信息。颜色融合解码器联合动态特征、内在特征与观察方向输出视角相关颜色，随后由常规高斯光栅化得到图像。这种结构把“全局条件如何改变局部颜色”绑定到三维位置，但没有显式求解光传输，也不能把学到的材质特征直接当成经过验证的反照率真值。

3. 自监督感知掩码：用慢速教师降低瞬态像素对重建的污染

教师与学生采用相同架构，包含外观场和颜色解码器。学生通过损失优化，教师由学生参数的指数移动平均更新，以汇集训练过程中的较稳定预测。这里的“时间”主要指优化迭代，而非要求输入照片形成时序视频；教师渲染得到的是当前视角的场景共识，不是人工提供的无行人干净参考。若教师尚未重建好结构，其预测仍可能有误，因此“低变化”只能作为可靠性线索，不能保证所有静态内容都正确。

掩码使用冻结预训练 VGG-16 的 relu1_2、relu2_2、relu3_3 特征。真实图像和教师伪参考的多层特征取 L1 差异，通道平均后跨层相加得到感知差异图，再以 0.85 为阈值：差异较低的区域保留为静态监督，差异较高的区域暂时排除。相比直接像素差，感知特征旨在降低正常光照变化引起的误判；这种鲁棒性是设计目标与经验观察，并非对所有光照变化都不变。方法不需要瞬态分割标签或外部分割器，但仍明确依赖预训练 VGG 感知特征，不能说它完全没有外部先验。

损失函数 / 训练策略¶

学生图像与真实图像分别乘以静态掩码，再计算 L1 与 D-SSIM 重建项，两项权重为 0.8 和 0.2；另加入权重 0.01 的 VAE 损失，联合优化外观表示与场景。VAE 自身的图像重建与场景光栅化重建是不同路径，不应把前者的二维解码图当成最终新视角输出。

实现使用 PyTorch 与 Adam，单张 RTX 3090 训练 30k 步。潜码维度为 64，动态和内在特征均为 32 维；Tri-Plane 生成器与颜色融合解码器均为三层 ReLU MLP。原文报告相对标准 3DGS 约 933 MB 的可训练显存开销，其中 β-VAE 约 66.64 MB、三维场约 866.75 MB，另有冻结 VGG-16 约 528 MB 的固定开销。这些不是整个训练系统的总峰值显存。

缓存中的 ELBO、EMA、平面查询和总损失等公式存在缺项或抽取损坏，本笔记依据邻近正文解释机制，不补写为作者精确公式。EMA 衰减率、训练早期掩码策略和超参数敏感性分析无法从当前提供的正文完整核实；补充材料未提供。

实验关键数据¶

主实验¶

Photo Tourism（PT）覆盖三处地标，NeRF-OSR 覆盖 europa、lwp、st、stjohann 四个室外场景。评估遵循 NeRF-W 式协议：先用每张测试图像左半边优化外观潜码，再在右半边计算指标，因此不是完全没有测试图像适配的前向渲染。PSNR、SSIM 越高越好，LPIPS 越低越好。

下表摘自原文表 1、2，选择三处 PT 场景及两个 NeRF-OSR 场景。基线主要按 PSNR 选择，不意味着它在该场景的其他指标也为次优。

数据集 / 场景	方法	PSNR ↑	SSIM ↑	LPIPS ↓
PT / Sacre Coeur	AsymGS	23.56	0.877	0.169
PT / Sacre Coeur	WilLaGS	25.84	0.891	0.164
PT / Trevi Fountain	AsymGS	23.91	0.785	0.223
PT / Trevi Fountain	WilLaGS	24.54	0.789	0.207
PT / Brandenburg Gate	AsymGS	28.49	0.928	0.139
PT / Brandenburg Gate	WilLaGS	29.94	0.939	0.139
NeRF-OSR / europa	GS-W	23.31	0.833	0.335
NeRF-OSR / europa	WilLaGS	24.38	0.843	0.216
NeRF-OSR / stjohann	GS-W	25.72	0.894	0.276
NeRF-OSR / stjohann	WilLaGS	25.55	0.906	0.161

Sacre Coeur 的 PSNR 比 AsymGS 高 2.28 dB，但不能推广成所有场景、所有指标领先。原文表 2 标题声称所有场景三项指标均超越基线，然而 stjohann 的 PSNR 为 25.55，低于 GS-W 的 25.72；表 1 中 Trevi Fountain 的 SSIM 也低于 SWAG 的 0.815，Sacre Coeur 的 LPIPS 0.164 则不及 CR-NeRF 的 0.152。此处按表内数字保留这些例外。

效率列报告 WilLaGS 为 0.9 GPU 小时 / 58 FPS，WildGaussians 为 7.8 小时 / 73 FPS，AsymGS 为 5.6 小时 / 47 FPS。因此 WilLaGS 的训练更快，但渲染并未超过 WildGaussians。正文称比较采用标准化配置，不过表 1 的 SWAG 带星号，表示直接引用原论文结果；不宜把全表视为完全一致的现场重跑。

消融实验¶

原文表 3 报告各数据集场景平均值。去掉 VAE 时换成逐图离散嵌入；去掉三维外观场时改为把全局潜码直接拼接内在特征；去掉掩码时使用所有像素训练。

配置	PT：PSNR / SSIM / LPIPS	NeRF-OSR：PSNR / SSIM / LPIPS
无 VAE 潜空间	22.15 / 0.835 / 0.197	21.54 / 0.802 / 0.233
无三维外观场	25.05 / 0.853 / 0.191	23.02 / 0.817 / 0.235
无教师—学生掩码	26.19 / 0.861 / 0.182	23.94 / 0.825 / 0.226
完整模型	26.77 / 0.873 / 0.170	24.18 / 0.832 / 0.218

关键发现¶

VAE 替换造成最大下降：PT 的 PSNR 从 26.77 降至 22.15，差 4.62 dB；NeRF-OSR 从 24.18 降至 21.54，差 2.64 dB。这支持该外观表示在本文配置中的有效性，不单独证明所有离散嵌入都必然过拟合。
去掉三维外观场使 PT 下降 1.72 dB；原文图 6 还描述了局部阴影变得平坦的现象。其贡献是加入位置相关的外观条件，而不是已验证的物理逆渲染。
去掉掩码使 PT 下降 0.58 dB。平均指标降幅较小仍可伴随局部鬼影，说明需要结合遮挡区域结果而非只看全图平均。
图 7、8 展示固定潜码跨视角渲染、潜码插值和先验采样，但没有给出生成多样性、跨视角一致性误差或物理光照精度的独立定量评测。

亮点与洞察¶

同一潜空间兼顾适配与采样。 它既为观测照片提供外观条件，也为已重建场景提供新的采样条件，不必额外训练一个独立的外观生成器；但 VAE 与外观场本身有显存和训练成本。
把局部外观绑定到三维位置。 相同空间位置跨视角共享查询规则，比逐幅二维调色更自然地支持一致的新视角外观。局部颜色可以变化，而几何仍由共享高斯场景承载。
掩码来自教师预测而非类别列表。 不必预先定义哪些类别属于瞬态，适合数据集特有遮挡；代价是掩码质量仍依赖教师能否形成可靠场景共识。

局限与展望¶

作者明确承认密集遮挡和缺乏显式物理可解释性仍是局限，并计划研究潜空间语义控制与大场景扩展。
长期占据相似位置的遮挡可能被教师吸收成静态内容；早期错误重建也可能造成静态区域被误屏蔽。这是笔记提出的潜在失败模式，正文没有相应系统实验。
“无需外部分割器”不等于“无需预训练特征”。冻结 VGG-16 引入感知先验和额外显存，方法也没有证明在强烈外观变化下始终能准确区分光照与瞬态。
外观插值与采样目前主要由图示支撑，不能据此保证采样覆盖真实天气分布、保持严格物理一致性，或直接推广到未经训练的新场景。

评分¶

新颖性：4/5。生成式外观先验、三维空间调制和教师感知掩码的组合针对清晰瓶颈，但基础组件已有成熟来源。
实验充分度：4/5。两个数据集、组件消融和效率比较较完整，生成应用、失败模式和掩码准确性仍缺定量证据。
写作质量：3/5。方法职责清楚，但表格标题的全面领先表述与数字不符，“无外部先验”也需结合 VGG 依赖限定；缓存损坏公式不作为原文写作错误归因。
价值：4/5。为非受控照片重建提供实用的质量—效率折中，并给同一场景的可变外观渲染留下可操作接口。