Pygmalion Effect in Vision: Image-to-Clay Translation for Reflective Geometry Reconstruction

会议: NeurIPS 2026
arXiv: 2511.21098
领域: 重建与渲染
关键词: 反光物体三维重建、图像转黏土、2D高斯泼溅、BRDF解耦、逆向渲染

一句话总结

论文提出借助图像转换模型将强反光多视角图像翻译为无高光的白色哑光“黏土”图像作为几何先验，在双分支 2D 高斯泼溅框架下于训练早期约束几何与法线，在 GlossySynthetic 数据集上取得 0.0061 的平均 Chamfer 距离，有效解决了反光物体几何与外观严重纠缠的重建难题。

研究背景与动机

三维物体的多视角几何重建是计算机视觉中的核心难题。从神经辐射场（NeRF）到 3D 高斯泼溅（3DGS）及其表面对齐变体 2D 高斯泼溅（2DGS），现有显式与隐式表征在郎伯面假设或弱高光场景下已展现出极高的渲染质量与重建速度。然而，现实世界中大量人造物体具有高反射率表面（如镀铬金属、陶瓷、抛光漆面），其表面呈现的辐射亮度强烈依赖于视角和复杂的环境光反射。由于多视角图像在物体表面观测到的颜色不断剧烈变化，违背了跨视角颜色恒定性假设，导致传统高斯泼溅在反光区域产生严重的浮动伪影和网格凹陷。

为了解决高反光表面的重建难题，现有的逆向渲染（Inverse Rendering）方案（如 NeRO、TensoSDF、Ref-GS、RGS 等）尝试引入物理微表面双向反射分布函数（BRDF）与环境光照估计，试图显式分解漫反射基色、粗糙度、金属度与高光项。然而，联合优化微表面几何、法线与环境光是一个病态极强的逆问题：反光区域的外观变化究竟来源于表面微小的法线起伏，还是来源于环境光高光在视线方向的扫掠，两者高度纠缠。即便引入间接光线追踪或单目法线/深度先验，模型也往往在法线不光滑处陷入局部极小值，且单目法线网络对镜面反射高光的判断极为脆弱。

受经典雕塑“皮格马利翁”将意念与材料塑造成型的隐喻启发，本文跳出了在辐射度空间不断堆砌复杂 BRDF 光线追踪的传统思路，提出“去光泽以见几何”（seeing by unshining）：白模黏土（clay render）是工业渲染中检验纯几何结构的理想载体，且现实世界中漫反射白模数据丰富，现代图像生成与控制模型天然具备极强的去高光与结构保持能力。核心 idea：利用微调的图像到黏土（Image-to-Clay）转换模型将多视角反光图像翻译为视角无关的纯哑光黏土视图，以此构建一个几何引导的黏土辅助分支，在 2DGS 早期训练中阻断 RGB 辐射度损失对几何位置的干扰，纯靠黏土监督与平滑法线共同稳固底层三维表面。

方法详解

整体框架

整个系统的核心思路是“先去高光定几何，再联立 BRDF 精修外观”。输入为包含复杂镜面反射的已知位姿多视角 RGB 图像序列；输出为精准解耦出几何网格、表面法线以及 BRDF 物理材质参数的高质量 3D 重建模型。整体流程包含两个主要阶段：第一阶段是离线训练一个能够保持精确轮廓与凹凸结构的 Image-to-Clay 翻译模型，将训练集中的反光多视角图像批量转换为对应的白模伪真值；第二阶段是构建共享底层 2D 高斯几何原语的双分支泼溅系统，在早期联合优化黏土分支与 BRDF 反光分支。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角反光图像输入"] --> B["Image-to-Clay 图像转换<br/>OminiControl + LoRA 跨域映射"]
    B --> C["生成漫反射白模黏土伪真值"]
    A --> D["双分支 2D 高斯泼溅表征<br/>共享几何参数: 位置/切向/缩放/不透明度"]
    C --> D
    D --> E["反光 BRDF 主分支<br/>微表面 Split-Sum + 直接/间接光照"]
    D --> F["几何引导黏土辅助分支<br/>视角无关纯色渲染 + 高权重 SSIM"]
    E & F --> G["两阶段梯度调度优化<br/>早期截断位置梯度 + 法线平滑插值"]
    G --> H["最终高质量网格与物理材质解耦"]

在第二阶段中，底层几何采用 2D 高斯切平面盘表示，每个高斯单元维护中心位置 \(\mathbf{p}\)、局部切向向量 \(\mathbf{t}_u, \mathbf{t}_v\)、缩放尺度 \(s_u, s_v\) 以及不透明度 \(\alpha\)。在反光 BRDF 分支中，高斯单元携带反照率 \(\lambda\)、金属度 \(m\)、粗糙度 \(r\) 与表面法线 \(\mathbf{n}\)；在黏土引导分支中，每个高斯额外挂载一个单通道/三通道视角无关的白模颜色参数 \(\hat{\mathbf{c}}_i\)。两个分支通过相同的切向盘投影与 Alpha 混合生成对应的反射光照图像与黏土渲染图，实现了在同一套几何拓扑之上的多任务监督。

关键设计

1. 几何保真的反向配对 Image-to-Clay 转换模型：解决复杂高光到白模映射的结构漂移

为了获得高保真且跨视角几何一致的黏土图像，直接使用通用的提示词驱动扩散模型往往会导致几何形状变形、背景漂移或边缘错位。作者选用基于 FLUX 架构的 OminiControl 作为图像转换骨干网络，通过多模态注意力（Multi-Modal Attention, MMA）在统一序列中联合处理带噪图像 Token、文本描述 Token 与条件反光图像 Token。

在数据构建上，作者发现了一个关键现象：若直接用扩散模型将真实反光图反向编辑为白模，容易丢失局部褶皱；而反向操作——先生成白模，再将其转化为反光材质——在视觉稳定性和轮廓一致性上显著更优。为此，训练数据集由两部分组成：第一部分是利用 Blender 在 70 种 PolyHaven HDR 环境贴图下渲染 Objaverse 3D 模型，将材质参数设为金属度 0、粗糙度 1 得到对应的真实黏土图（共 10 万张对）；第二部分采用 GPT-4o 生成包含 12 类反光材质（黄铜、铬、高光陶瓷、拉丝金属等）的提示词，利用 FLUX 生成多样化的白模黏土物体，再通过 Nano-Banana 将其赋予逼真的反射环境贴图（共 5000 对，训练时以 5 倍过采样）。通过在 OminiControl 上微调轻量级 LoRA 模块，模型能够极其鲁棒地“擦除”高光并精确还原物体内部的阴影与凹凸几何。

2. 共享几何的双分支 2D 高斯表征：将无材质白模监督转化为底层几何约束

黏土分支的本质是一个极度简化的视角无关渲染通道。反光分支需要通过复杂的微表面 GGX 模型、Split-sum 近似以及球谐函数建模的间接光线追踪来逼近视点相关的镜面光泽；而黏土分支认为理想白模在任意观察方向上均呈现恒定的漫反射辐射度，因此每个 2D 高斯仅需学习一个固定的颜色标量 \(\hat{\mathbf{c}}_i\)。在像素点 \(\mathbf{x}\) 处，两个分支采用完全相同的 2D 切平面投影和透射率权重进行前向合成：

\[\hat{\mathbf{c}}(\mathbf{x}) = \sum_{i=1}^{N} \hat{\mathbf{c}}_i \alpha_i \hat{\mathcal{G}}_i(\mathbf{u}(\mathbf{x})) \prod_{j=1}^{i-1} \left(1 - \alpha_j \hat{\mathcal{G}}_j(\mathbf{u}(\mathbf{x}))\right)\]

由于白模去除了所有表面反照率花纹与金属高光，画面中唯一的明暗变化全部源于表面几何起伏引起的局部遮挡与漫反射光影。为了迫使高斯基元捕捉纯几何而非过度拟合细小亮度误差，黏土分支采用了极高权重的结构相似性损失（\(\lambda_{\text{dssim}} = 0.8\)），使得几何优化更加聚焦于边缘轮廓与结构梯度的对齐。

3. 渐进式法线退火与位置梯度阻断策略：消除早期微表面高光对三维位置的误导

在优化初期，如果直接允许高光 RGB 重建损失反向传播到高斯中心位置 \(\mathbf{p}\) 和尺度向量，模型会不可避免地把环境反光误判为物体表面凸起或凹坑，引发“高光凹陷”假象。为此，作者设计了严格的训练调度机制：在前 \(T_{\text{clay}} = 10,000\) 步内，将高斯的位置 \(\mathbf{p}\)、切向 \(\mathbf{t}\) 和缩放 \(\mathbf{s}\) 从反光 RGB 损失的计算图中彻底截断（Detach），使其几何形状完全由黏土图像的伪真值监督驱动。

与此同时，虽然黏土图像能够强力拉平大尺度几何，但在平滑无纹理的高反光区域，仅靠漫反射光影难以提供敏锐的高频法线梯度。因此，法线参数 \(\mathbf{N}\) 在整个早期阶段必须同时接受 BRDF 反光分支与黏土分支的监督。为了避免早期未收敛的粗糙 BRDF 破坏法线场，作者引入了随迭代步数线性退火的法线平滑操作：

\[\mathbf{N}_{\text{smooth}} = (1 - \lambda_{\text{smooth}}) \operatorname{sg}(\mathbf{N}) + \lambda_{\text{smooth}} \mathbf{N}, \quad \lambda_{\text{smooth}} = \frac{t}{T_{\text{clay}}}\]

在 \(t < T_{\text{clay}}\) 的整个区间内，BRDF 计算中直接使用平滑法线 \(\mathbf{N}_{\text{smooth}}\) 查询环境贴图。这种渐进融合机制使得高斯位置在宏观上被黏土分支牢牢锁在真实三维表面上，而局部微观法线则在 BRDF 的反光线索下不断精化，最终在 \(T_{\text{clay}}\) 之后平稳过渡到纯 RGB 精细调整阶段。

一个完整示例

以重建一个具有复杂雕花的金属水壶（Teapot）为例： 1. 多视角输入与黏土转换：采集水壶在房间环境中的多视角照片，表面映照着窗户与天花板灯带的高光。通过微调后的 OminiControl 模型，这组反光图片被逐帧转换为白模黏土图，窗户的高光倒影被完全滤除，壶嘴转折处的微小凹槽被转换为干净的自遮挡阴影。 2. 早期阶段联合训练（前 10,000 步）：系统随机初始化 2D 高斯点云。由于阻断了 RGB 损失对高斯位置的梯度传播，高斯位置 \(\mathbf{p}\) 与局部切向仅靠黏土图像的 \(\mathcal{L}_{\text{clay}}\) 进行粗配准，快速铺展贴合在水壶的大致曲面上；与此同时，法线 \(\mathbf{N}\) 接收 BRDF 镜面反射梯度的微弱回传，平滑退火参数 \(\lambda_{\text{smooth}}\) 从 0 逐步增加到 1，防止法线在光滑壶面上剧烈震荡。 3. 后期精细收敛（10,000 步至 50,000 步）：关闭黏土辅助分支，完全开放全参数由原图 RGB 损失驱动。此时高斯几何已落入全局优化的良好吸引域，BRDF 分支能够精准分解出水壶真实的金属度与粗糙度贴图，顺利提取出毫无凹坑的光滑网格。

损失函数 / 训练策略

系统总损失函数定义为两分支的加权组合：

\[\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{rgb}} + \lambda_{\text{clay}} \mathcal{L}_{\text{clay}}\]

其中反光分支的 \(\mathcal{L}_{\text{rgb}}\) 遵循标准的 2DGS 图像重建损失：

\[\mathcal{L}_{\text{rgb}} = (1 - \lambda_{\text{rgb\_ssim}}) \|\hat{\mathbf{I}}_{\text{rgb}} - \mathbf{I}_{\text{rgb}}\|_1 + \lambda_{\text{rgb\_ssim}} (1 - \text{SSIM}(\hat{\mathbf{I}}_{\text{rgb}}, \mathbf{I}_{\text{rgb}}))\]

黏土引导分支的损失函数由 \(\mathcal{L}_1\) 和高权重 D-SSIM 组成：

\[\mathcal{L}_{\text{clay}} = (1 - \lambda_{\text{dssim}}) \|\hat{\mathbf{I}}_{\text{clay}} - \mathbf{I}_{\text{clay}}\|_1 + \lambda_{\text{dssim}} (1 - \text{SSIM}(\hat{\mathbf{I}}_{\text{clay}}, \mathbf{I}_{\text{clay}}))\]

超参数设置上，\(\lambda_{\text{dssim}} = 0.8\)。训练总迭代轮数为 50,000 步（在单个 NVIDIA H100 GPU 上耗时仅约 0.8 小时）。在 \(t \le 10,000\) 步的前期训练中启用黏土引导损失 \(\mathcal{L}_{\text{clay}}\)；此后停用黏土分支，仅使用原始 RGB 图像继续微调。在部分场景（如 GlossySynthetic 中的 Tbell、Teapot、Bell）中，物体因材质单一极易退化回基线行为，直接在 10,000 步停止即可保留最佳几何。

实验关键数据

主实验

论文在最具代表性的反光物体合成数据集 GlossySynthetic（带有高质量真实网格，评估 Chamfer-\(\mathcal{L}_1\) 距离）以及真实物理世界混合数据集 DTU 上进行了广泛的定量评测。

表 1: GlossySynthetic 数据集上的三维网格重建 Chamfer-\(\mathcal{L}_1\) 距离（\(\downarrow\)）及运行时间对比

类别	方法	Angel	Bell	Cat	Horse	Luyu	Potion	Tbell	Teapot	平均 (Avg.)	时间 (h)
NeRF	TensoSDF	0.0038	0.0066	0.0267	0.0033	0.0083	0.0064	0.0212	0.0085	0.0106	6.0
NeRF	NeRO	0.0034	0.0032	0.0044	0.0049	0.0054	0.0053	0.0035	0.0037	0.0042	12.0
Gaussian	GShader	0.0060	0.0078	0.0175	0.0072	0.0101	0.0382	0.0308	0.0178	0.0169	0.5
Gaussian	GS-IR	0.0110	0.1097	0.0566	0.0149	0.0224	0.0593	0.0989	0.0693	0.0553	0.5
Gaussian	R3DG	0.0090	0.0403	0.0326	0.0117	0.0151	0.0380	0.0472	0.0488	0.0303	1.0
Gaussian	Ref-GS	0.0049	0.0084	0.0170	0.0060	0.0098	0.0090	0.0064	0.0084	0.0089	0.7
Gaussian	RGS	0.0050	0.0071	0.0161	0.0069	0.0093	0.0081	0.0065	0.0090	0.0085	0.6
Gaussian	GS-2DGS	0.0061	0.0037	0.0074	0.0050	0.0076	0.0088	0.0078	0.0083	0.0068	0.7
Gaussian	本文 (Ours)	0.0031	0.0054	0.0082	0.0038	0.0059	0.0073	0.0039	0.0107	0.0061	0.8

在 DTU 真实多视角数据集的 15 个测试物体上，本文同样在平均 Chamfer 距离上取得最佳表现：3DGS 平均为 1.96，SuGaR 为 1.33，2DGS 为 0.80，Ref-GS 为 0.98，RGS 为 0.84，而本文达到 0.74，在物体 24（0.48）、37（0.66）、65（0.73）、69（0.60）、110（1.06）等多个复杂反射场景中均显著超越了 RGS 与 2DGS 基线。

消融实验

作者针对训练早期几何参数的梯度阻断策略以及法线平滑退火机制进行了详尽的消融对比（以 GlossySynthetic 上的平均 Chamfer 距离为指标）。

表 2: 早期几何学习与梯度调度策略消融分析

RGB 损失阻断的几何参数	是否启用 \(\mathbf{N}_{\text{smooth}}\)	平均 Chamfer 距离 (\(\downarrow\))	结论与机制分析
无阻断 (None)	是 (yes)	0.0069	RGB 损失干扰高斯分布，导致早期几何陷入高光局部极小值
仅阻断位置 \(\mathbf{p}\)	是 (yes)	0.0064	固定位置有效减少浮动伪影，但尺度变形仍引入误差
阻断 \(\mathbf{p}, \mathbf{t}, \mathbf{s}\)	否 (no)	0.0063	未使用法线平滑，法线与环境贴图交互产生微观震荡
阻断 \(\mathbf{p}, \mathbf{t}, \mathbf{s}\) (完整模型)	是 (yes)	0.0061	黏土分支全权掌控几何尺度，结合退火法线达到最优重建
阻断 \(\mathbf{p}, \mathbf{t}, \mathbf{s}, \mathbf{N}\)	否 (no)	0.0078	法线完全脱离 BRDF 监督，光滑表面无法利用反光反推精细曲率

此外，在 Image-to-Clay 模型的翻译质量评测中，针对 Objaverse 300 张测试图，Qwen-Image-Edit 取得 PSNR 21.21 / SSIM 0.712 / LPIPS 0.292；Nano-Banana 取得 PSNR 23.87 / SSIM 0.759 / LPIPS 0.210；而本文微调后的模型达到 PSNR 24.27 / SSIM 0.874 / LPIPS 0.192，在保持结构边界的同时几乎消除了背景抖动。

关键发现

• 黏土监督是比单目深度/法线更优越的几何先验：相比 GS-2DGS 依赖难以精准预测的单目法线/深度图，现代扩散模型预测单通道哑光白模图像的难度显著更低，且图像到黏土的转换能以高结构相似度自然抹除高频反射。
• 几何与法线的梯度非对称解耦至关重要：消融实验清晰证明，早期必须“截断位置但保留法线”（即阻断 \(\mathbf{p},\mathbf{t},\mathbf{s}\) 但让 \(\mathbf{N}\) 穿透两分支）。若完全截断法线，CD 距离大幅恶化至 0.0078；而完全不截断位置，CD 距离退化至 0.0069。
• 新视角合成与几何质量的权衡：在图像渲染指标（PSNR/SSIM）上，本文与 RGS、Ref-GS 基本相当，但网格法线与完整度大幅领先。这表明在强反光场景中，单纯追求高 PSNR 往往会导致模型通过生成悬浮假体来“欺骗”损失函数，而黏土分支强行将模型拉回真实的物理几何。

亮点与洞察

• “去光泽以见几何”的范式创新：将原本复杂的双向反射与环境辐射度逆问题，转化为生成式图像跨域转换任务。利用大模型对现实中丰富哑光物体的预训练先验，跳出了在底层纯靠物理方程硬解病态逆问题的传统泥潭。
• 反向数据配对策略（Clay \(\to\) Image）的巧思：在构建配对训练集时，没有采用直觉上的“反光图转白模”，而是利用 GPT-4o 生成提示词先用 FLUX 生成干净白模，再用 Nano-Banana 赋予反光材质。这种方向规避了扩散模型在复杂高光下结构容易形变的问题，保证了伪真值的严格像素级几何对齐。
• 两阶段调度兼顾全局结构与微观反射：通过前期 10,000 步的黏土分支引导快速收敛拓扑基底，并在后期平稳退回到纯 RGB BRDF 渲染，既防止了伪真值误差在训练后期的累积，又享受了快速收敛的红利。

局限与展望

• 对图像转黏土模型泛化误差的依赖脆弱性：当目标物体包含极其罕见的材质或复杂的半透明/非刚性内容时（如实验中提及的 Coffee 场景中的液体表面），Image-to-Clay 模型可能产生错误的黏土翻译，进而导致高斯几何学到畸变结构。
• 复杂阴影与自遮挡区域的潜在光影混淆：白模黏土虽然去除了环境贴图高光，但复杂的自阴影可能被网络误判为几何凹陷。未来可探索将光照不变特征（如无阴影反照率与环境光遮蔽 AO）进一步显式解耦进黏土模型中。

相关工作与启发

• vs Reflective Gaussian Splatting (RGS)：RGS 依赖 2D 高斯显式优化 BRDF 与直接/间接光线追踪，但在光滑反光表面容易因初始化较差而收敛到错误几何；本文在 RGS 基础上扩展了黏土辅助分支与不对称梯度截断，利用跨域白模先验显著提升了网格的平滑度与法线精度。
• vs GS-2DGS: GS-2DGS 引入现成的单目深度和法线估计模型进行显式几何监督，但现存单目法线网络在金属高光反射表面极其容易预测失效；本文选择预测纯白模黏土图像，利用成熟的扩散图像编辑能力绕开了脆弱的单目法线推断。
• vs NeRO / TensoSDF: NeRO 等基于隐式 SDF 的神经表面重建方法耗时极长（单场景 6~12 小时）；本文基于 2DGS 架构仅需不到 1 小时即可完成训练，同时取得了逼近乃至超越隐式表征的几何精度。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 巧妙提出将图像转换为白模黏土作为反光几何重建的强归纳偏置，构思新颖优雅。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 GlossySynthetic、DTU、Shiny Blender、Ref-Real 等多个合成与真实数据集，消融细致完备。
• 写作质量: ⭐⭐⭐⭐⭐ 逻辑严密流畅，从神话隐喻到数学形式化过渡自然，问题痛点剖析深入透彻。
• 价值: ⭐⭐⭐⭐⭐ 为高反光物体与镜面表面的神经三维重建开辟了生成先验与物理渲染结合的全新路径。

相关论文

• [ECCV 2026] PanoLess: Environment Reconstruction from Partial Reflective Views
• [ECCV 2026] GlassGS: Geometry and Concept-Aware 3D Gaussian Splatting for Reflective Enclosures
• [CVPR 2026] MuM: Multi-View Masked Image Modeling for 3D Vision
• [ECCV 2026] Geometry-Aware Single-Image 4D Synthesis via Dense Trajectory Generation
• [NeurIPS 2025] Every Camera Effect, Every Time, All at Once: 4D Gaussian Ray Tracing for Physics-based Camera Effect Data Generation