3D Gaussian Texture for Real-time Mesoscale Appearance Synthesis and Rendering¶

会议: ECCV 2026
Paper: https://eccv.ecva.net/virtual/2026/poster/5185
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/9256.pdf
代码: https://github.com/ChenXiang0810/multilayer-gaussian-texture
领域: 3D视觉
关键词: 多层高斯纹理、中尺度外观、保结构合成、形变感知映射、材质光照分解

一句话总结¶

本文把三维高斯组织为按离表面高度分层的规则纹理，使草叶、榴莲尖刺和编织缝隙等中尺度结构能够按样例实时合成、映射到新网格并进行基础重光照，在四组实验中均优于 NeRF-Texture 的 SIFID，图 4 所示耗时为 3.28–4.98 ms。

研究背景与动机¶

中尺度外观介于物体整体形状与微观反射模型之间：草坪中的叶片和花朵、编织物中的条带和空隙，都不仅是表面颜色，还带有厚度、遮挡、视差和轮廓变化。只贴一张二维颜色图无法保留这些效果；逐根建模或使用高分辨率体积表示又需要大量制作与存储成本。NeRF-Tex 和 NeRF-Texture 利用多视图图像学习这类结构，前者重复铺设外观基元，后者进一步合成较大且不简单重复的纹理，但隐式辐射场的细节与运行速度仍受限制。

3DGS 的显式高斯看似可以直接替代 NeRF，却存在另一道障碍：普通高斯集合依附于原场景，没有可直接用于合成的规则纹理坐标。将它们投影到一张纹理上，会让多个高斯挤进同一纹素，也可能把桌面和其上方水果这样的不同高度结构混合。即便成功扩展了纹理，映射到弯曲网格时还可能拉出针状高斯，而原先烘焙在颜色中的光照也不适合新场景。

因此，论文的重点不是单纯更换渲染器，而是设计一种既能训练、又能合成和迁移的高斯表示。核心 idea：把高斯按高度组织成多层规则纹理，在保持空间结构和材质关联的条件下合成，再通过受约束的网格映射与材质光照分解，将局部外观变成可复用的三维纹理。

方法详解¶

整体框架¶

输入是具有中尺度外观的物体多视图图像。训练时先提取基础网格，在该网格上学习多层高斯纹理；应用时则按目标区域查询并合成纹理，将高斯映射到带 UV 的新网格，解码材质后结合光照进行高斯渲染。最终产物不是一个只能从新视角观看的固定场景，而是可扩展、可迁移的外观表示及其材质解码器。

下图展示的是应用方向的数据流。材质潜变量与几何参数在训练中共同获得，不是在部署时从零预测；训练阶段还会将映射、解码和渲染接回图像监督，形成优化闭环。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视图图像<br/>与提取的基础网格"] --> B["多层高斯纹理"]
    B --> C["保结构合成"]
    C --> D["形变感知映射"]
    T["目标网格及 UV"] --> D
    D --> E["潜在材质与光照分解"]
    L["视角与光照"] --> E
    E --> F["高斯混合渲染<br/>新物体外观"]

关键设计¶

1. 多层高斯纹理：让同层混合发生在相近高度

作者并非先训练任意高斯集合，再把不规则点云强行压成二维图，而是直接构建规则的多层纹理，每层每个纹素恰好存放一个高斯。纹理形状为 \(N\times H\times W\times D\)，分别表示层数、每层的高宽及单高斯参数维度。每个高斯保存三维位置、不透明度、三维缩放、四元数旋转，以及用于材质的 8 维潜在特征；法线还会作为训练期的临时属性。由于不透明度可以学习，没有实质结构的格子也不必强行表现为可见实体。

关键在于每个高斯的位置被限制在对应纹素中心附近的三维小区域内：平面范围由纹理分辨率决定，高度范围由估计的结构厚度和层数决定。这样同层的高斯具有相近离表面高度，按层合成就不会轻易把低处的底面和高处的突起混在一起。层数不是为图像增加几个颜色通道，而是在规则索引中保留垂直结构，使传统二维纹理操作拥有可用的三维对象。

2. 保结构合成：同时处理位置错位、不透明度混合与图案相关性

按样例合成会为目标查询位置选择多个源纹理块，并根据权重混合其属性。直接平均源高斯的绝对位置，会把结果拉回源块之间，不能保证高斯位于目标查询处。论文因此先用完整可读的关系 \(d=\mu-p\) 将高斯位置转换为相对纹素中心的偏移，再混合偏移并加回目标查询位置。这个处理分开了“在纹理中的地址”和“结构在格子里的局部形状”，让相同的几何细节可以出现在新的位置。

不透明度也不能像颜色一样任意平均：把不透明结构与空隙中的透明高斯混合，会创造原样例没有的半透明结构。作者以 \(o_m=0.1\) 划分两组，计算不透明度不低于阈值的样例所占原始权重之和；若该权重达到 0.5，就只保留这一组，否则只保留低于阈值的一组，再把保留权重归一化。不同层使用位置与大小一致的源块，避免每层独立随机采样把跨层结构拆散。在此基础上，由不透明度和潜在特征计算自协方差，用其指导纹理平移对应的块选择，再结合方差保持混合减少对比度和颜色分布的收缩。自协方差刻画不同位移下纹理的相关性，因此不仅关心“平均颜色像不像”，还关心条带、砖缝等图案如何重复出现。

3. 形变感知映射：用 UV 重心坐标搬运高斯，并提前限制异常尺度

合成纹理仍位于规范坐标中，需要转换到目标物体。对带 UV 的网格三角形，先判断高斯中心在 UV 平面的投影属于哪个三角形，再计算其重心坐标，由对应的三维顶点确定它在表面上的落点。高斯离纹理平面的高度沿目标面的法线方向搬运，并考虑 UV 三角形到实际三角形的尺度变化；高斯朝向和尺度也随映射更新。法线、球谐等与方向相关的属性需要同步旋转，不能只移动中心而保留原朝向。

这里的缩放约束不是事后把渲染伪影遮掉，而是在训练时根据纹素尺寸限制高斯尺度，减少本来就细长或过大的高斯。这样的高斯在源表面上可能勉强拟合图像，却会在曲面映射中暴露为针状伪影。论文将规则化表示与目标映射共同考虑，使训练得到的参数更适合迁移；但映射仍依赖基础网格质量与 UV 参数化，不能据此认为任意复杂几何都已得到解决。

4. 潜在材质与光照分解：使合成结果保留材质属性之间的关联

普通 3DGS 的颜色球谐系数包含捕获时的光照，因此不能直接拿来在新环境下重光照。本文改用光照球谐和 Phong 材质：由一个小型 MLP 从 8 维潜在特征解码三维漫反射颜色、标量高光强度、标量光泽度以及三维着色法线。给定视角后，通过球谐卷积计算高斯颜色，再代入高斯的像素混合过程。混合潜变量而不是独立混合全部材质通道，意在保留颜色、高光和法线之间的关联，而非生成属性彼此矛盾的表面。

要让这个潜在空间适合插值，仅靠逐高斯自由优化还不够。作者在中间训练阶段引入编码器，以已训练的颜色球谐和着色法线产生材质潜变量，和解码器一起约束潜在表示；最后删除编码器，直接优化潜变量和解码器。这样部署阶段只保留轻量解码器，而训练阶段的结构约束仍体现在可合成的潜在空间里。它支持的是基础重光照，不等同于完整的全局光传输或复杂照明建模。

一个完整示例¶

可以用论文消融中的“水果在桌面上”来理解各环节。训练后，低层主要对应桌面，高层对应水果结构；需要扩展桌面外观时，各层使用同一组源块位置和大小，但只与本层的高斯混合。这样水果颜色不会仅因二维纹素相邻而被揉进桌面。相对中心偏移保证新高斯位于新查询位置，不透明度分组则避免水果实体与旁边空隙合成出多余的半透明彩色斑块。

若进一步将合成外观放到弯曲目标网格，UV 重心坐标负责落点，尺度约束减少拉长伪影，潜在材质经解码后再接受新光照。前半段对应图 7 的实际消融场景，后半段是将论文操作串起来的流程说明，不是额外报告的定量实验。

损失函数 / 训练策略¶

训练分三个阶段。第一阶段先使用颜色球谐学习非材质参数，避免一开始就同时承担材质分解与几何拟合；着色法线接受由深度计算的伪法线监督。第二阶段加入光照球谐和编码器－解码器材质表示，第三阶段移除编码器，继续优化材质潜变量和解码器。

第一阶段包含图像 L1 颜色损失、纹素附近的位置约束、缩放约束、将高斯推向物体表面的深度分布损失，以及法线一致性损失。后两个阶段保留颜色与几何相关监督，把法线监督施加于解码法线，并加入漫反射颜色与高光强度的平滑约束。正文明确给出的权重为 \(\lambda_d=0.01\)、\(\lambda_n=0.1\)、\(\lambda_{k_d}=\lambda_{k_s}=0.01\)。

缓存中式 (1) 的分段排版、式 (2)–(3) 的映射、式 (4)–(9) 的约束和总损失均有运算符或排版损坏。本笔记只保留可确认的偏移关系、维度和权重，依照相邻文字说明其机制，不补写这些损坏公式。正文将网格提取细节、具体训练设置及更多重光照结果放在补充材料中，当前缓存不包含这些内容。

实验关键数据¶

主实验¶

实验硬件为 NVIDIA RTX 4090。下表的 SIFID 与内存来自表 1，耗时来自图 4；SIFID 是单图像版本的 Fréchet Inception Distance，用图像特征分布衡量样例与生成图像的相似性，越低越好，并非几何重建误差。

样例	本文 SIFID	NeRF-Texture SIFID	本文内存	NeRF-Texture 内存	本文耗时	NeRF-Texture 耗时
Grass，合成数据	10.86	15.94	280 MB	1.1 GB	3.41 ms	1.43 s
Durian，真实数据	4.82	10.71	140 MB	1.1 GB	3.70 ms	1.24 s
Wicker，合成数据	4.38	6.89	140 MB	1.1 GB	4.98 ms	3.03 s
Flower，真实数据	5.26	6.96	420 MB	855.7 MB	3.28 ms	1.67 s

四个样例均同时降低 SIFID 和内存占用。图 4 的定性讨论强调草丛小黄花、榴莲尖刺、编织缝隙和花朵形态的保留，而不仅是颜色拟合；不同方法学习的光照可能不同，因此颜色差异不应全部解释为结构误差。

计时存在必须保留的口径问题：图 1 写约 20 微秒，4.1 节也用“微秒”，但图 4 明确标注本文为毫秒级。上表只采用可直接逐例配对的图 4 数据；作者概括的“约 500 倍加速”不应被改写为所有场景的固定倍率，也不能据缓存断言微秒级指标就是完整帧耗时。

消融实验¶

下面两组 SIFID 来自不同的图与场景，必须在组内比较；不把图 8 的 0.87 当成图 7 完整方法的进一步改进。

证据与设置	SIFID，越低越好	相对同组完整方法的变化	解释
图 7：完整混合	1.43	基准	多层纹理与不透明度分组均保留
图 7：去掉多层	1.69	+0.26	不同高度结构混合，水果颜色进入桌面
图 7：去掉不透明度阈值分组	2.27	+0.84	半透明混合引入彩色伪影
图 8：随机合成	1.81	+0.94	砖块结构被破坏
图 8：仅自协方差保持	1.35	+0.48	结构改善，但颜色统计仍有差异
图 8：自协方差与方差同时保持	0.87	基准	同时保持结构与更接近样例的颜色

图 7 还比较了缩放约束与训练编码器：去掉前者出现针状伪影，去掉后者出现交叉伪影。缓存没有为这两项提供可明确配对的数值，因此不为它们填造 SIFID。图 8 的直接重复铺贴展示明显重复模式，也没有给出可读取的对应分数。

关键发现¶

图 7 中，不透明度分组的移除比去掉多层带来更大的 SIFID 增量，但这只支持该例的局部比较，不能推断所有材质都由同一个模块主导。
图 8 说明结构保持与方差保持互补：前者约束图案排列，后者缓解混合造成的颜色统计变化，单独一种都未达到组合结果。
运行阶段足够快不代表训练便宜；由于高斯位置不断变化，需要反复计算 UV 重心坐标，作者报告训练时间为 0.5–3 小时。

亮点与洞察¶

真正可复用的贡献是表示与操作的共同设计。一个纹素一个高斯、按高度分层、局部偏移和不透明度分组共同定义了“哪些高斯适合混合”，并非把二维算法直接套在点云上。
空隙被当成结构的一部分。对草丛、编织物而言，透明区域的分布同实体一样重要，这解释了为什么看似简单的不透明度处理会显著影响合成质量。
编码器只在训练中提供潜在空间约束。类似策略可用于需要实时运行、又需要稳健属性插值的可编辑外观表示，但能否迁移仍需按新任务验证。

局限与展望¶

作者明确展示复杂几何、却缺乏明显中尺度外观的失败案例。方法依赖提取网格和易用的 UV，并不是通用的复杂物体几何重建系统。
训练耗时为 0.5–3 小时，受纹理分辨率与场景复杂度影响。更高效的坐标更新或参数化值得研究，但本论文没有给出这类加速结果。
SH 光照与 Phong 模型只支持基础重光照。复杂照明与完整重光照属于未来工作，不宜从图 5 的定性结果推导物理准确性。
从评测角度看，主表只有四个样例、一个主要基线；SIFID 和内存不能独立证明三维结构准确或跨视角一致。还需要更系统的几何、视角、材质和光照评估。
当前文本缓存缺少补充材料，而且存在公式损坏与计时单位冲突，因此不足以复现全部实现细节，也不足以消解微秒与毫秒的统计口径差异。

评分¶

新颖性：4/5。把高度分层、可合成高斯参数和可迁移材质组织成统一表示，贡献明确；部分纹理合成与重光照部件沿用已有方法。
实验充分度：3/5。有真实和合成数据、速度内存对比及多个消融，但主表规模有限，重光照主要为定性展示，计时口径还存在冲突。
写作质量：4/5。表示、合成、映射和训练的逻辑完整，图示对故障机制解释清楚；缓存中的公式损坏不归因于论文本身。
价值：4/5。对需要可扩展中尺度细节的实时图形应用有实践价值，前提是接受离线训练成本、基础网格依赖与有限重光照能力。