PointGT: Simultaneous Geometric and Textural Editing for Point-Based Representations¶

会议: ECCV 2026
论文: ECCV 官方页面
领域: 重建与渲染
关键词: 点基神经表示, 3D几何变形, 神经UV映射, 纹理编辑, 形变感知规范对应

一句话总结¶

PointGT 基于邻近注意力点渲染（PAPR）与无显式法线的神经 UV 映射，通过几何正则化与形变感知规范对应机制，实现了点云神经表征下几何形变与高分辨率纹理的同时解耦编辑，且纹理在非刚性变形下稳定不漂移。

研究背景与动机¶

点基辐射场表征（尤其是 3D Gaussian Splatting, 3DGS）因其高效的高质量新视角合成与场景重建能力而成为 3D 视觉的主流范式。然而，在 3DGS 中，每个高斯基元仅携带单一的不透明度与视点相关颜色；若要捕捉高频细节纹理，系统通常被迫优化数百万个高斯基元。这种将几何分辨率与外观分辨率深度耦合的特性，给场景的可编辑性带来了根本性障碍：用户无法在小于单个高斯基元尺寸的尺度上编辑外观纹理，同时基元离散刚性的体积性质也让平滑的非刚性自由几何形变变得极难处理。

尽管近期部分工作尝试通过为 3DGS 引入全局 UV 映射（如 Texture-GS）或每个基元局部的 UV 贴图（如 GSTex、Textured Gaussians）来解耦几何与外观，但它们依然无法胜任几何与纹理的同时编辑。对于基于局域 2D surfel 的方法，高斯基元本身是刚性平面的，当发生细粒度弯曲或大尺度非刚性变形时，离散基元容易发生表面挤压、破损与撕裂，需要复杂的基元分裂与克隆；而对于全局 UV 映射，几何形变后光线与表面的新交点在 2D 纹理空间中的映射关系会被彻底破坏，导致纹理错位或漂移。传统的网格结构具有显式的三角形拓扑连接，UV 坐标可以直接绑定在顶点并在面片上自然插值，但在缺乏拓扑连接的无结构点云上，要在动态变形下保持高分辨率纹理映射极其困难。

本文选择将切入点转向基于注意力的点云渲染架构（如 PAPR）。此类方法将场景建模为带可学习特征的无穷小点集，通过光线与邻近点之间的交叉注意力机制对点特征及交点坐标进行光滑插值。核心 idea：利用注意力点渲染天然保持变形表面连续性的优势，通过引入近光线与贴表面几何正则项构建高质量神经 UV 图集，并提出形变感知规范对应机制将形变空间的交点通过位移融合严格映射回规范空间，实现几何非刚性变形与高精度纹理的同时编辑且纹理永固。

方法详解¶

整体框架¶

PointGT 的整体流水线分为预训练几何与神经 UV 学习阶段，以及编辑时推理渲染阶段。在预训练阶段，模型使用加入几何正则化的 PAPR 渲染管线优化规范点云空间中的点位置与特征，从中提取精确的光线-表面交点，并训练一个包含多个图表（multi-chart）的连续神经 UV 图集和 2D 纹理贴图。在编辑阶段，用户不仅能直接修改 2D UV 纹理图，还能对 3D 点云施加任意非刚性几何变形。为了在非刚性变形下查询正确的纹理，渲染光线首先在形变空间与点云计算注意力加权交点，然后经正交投影至光线，并利用形变空间的注意力权重融合邻域点位移，将交点映射回规范空间进行 UV 采样，最后与编辑遮罩结合解码出最终渲染图像。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：多视角图像与初始点云"] --> B["几何正则化 PAPR 预训练<br/>近光线损失 + 贴表面邻域损失"]
    B --> C["无显式法线的神经 UV 映射<br/>雅可比缩放与面积失真正则"]
    C --> D["2D 纹理图集与几何解耦编辑<br/>纹理贴图涂绘 / 3D 非刚性形变"]
    D --> E["形变感知规范对应<br/>光线正交投影 + 注意力位移融合"]
    E --> F["规范空间 UV 采样与最终视图渲染"]

关键设计¶

1. 几何正则化 PAPR 预训练：约束表面交点精确性与消除离散坍缩 在原版 PAPR 中，光线 $r_i$ 的表面交点 $\mathbf{x}_i$ 是由其垂直距离最近的 $K$ 个邻近点通过交叉注意力权重 $a_{ij}$ 插值而成：$\mathbf{x}_i = \sum_{j=1}^K a_{ij} \mathbf{p}_{ij}$。然而，注意力的稀疏性容易导致预测交点退化并坍缩在孤立的离散支撑点周围；同时，从稀疏点云增密时，容易产生远离真实几何表面的噪点，使得邻域凸包无法覆盖真实表面。

为解决交点漂移与非表面噪点问题，PointGT 设计了两个几何正则项：首先是近光线正则项（close-to-ray regularizer），强制表面交点严格落在其投射光线上，最小化交点 $\mathbf{x}_i$ 与其在光线 $r_i$ 上的正交投影 $\mathbf{x}'_i$ 之间的欧氏距离： $$\mathcal{L}_{\text{close2ray}} = \frac{1}{M} \sum_{i=1}^M \|\mathbf{x}_i - \mathbf{x}'_i\|_2$$ 其次是贴表面邻域正则项（close-to-surface regularizer），推动选中的邻域支撑点 $\mathbf{p}_{ij}$ 靠拢预测交点 $\mathbf{x}_i$，以收紧表面厚度并剔除离散离面噪点： $$\mathcal{L}_{\text{close2surface}} = \frac{1}{MK} \sum_{i=1}^M \sum_{j=1}^K \|\mathbf{sg}(\mathbf{x}_i) - \mathbf{p}_{ij}\|_2$$ 其中 $\mathbf{sg}(\cdot)$ 表示 stop-gradient 算子，防止交点向未成熟的离散点坍缩。该项在粗糙几何成型的中期阶段引入，显著提升了点云表面的紧致度与连续性。

2. 无显式法线的神经 UV 映射：消除点云缺乏拓扑连通性的畸变 在规范点云上提取高精度表面交点集合后，模型需要构建从 3D 表面到 2D 纹理图集的映射。经典的神经 UV 映射（如 Nuvo）需要依赖表面法线来构建切空间并施加共形（conformal）和拉伸惩罚，而点云天然缺失面片拓扑连接与平滑法线。直接在无连接的点云插值交点上估计法线会产生剧烈噪点。

为此，PointGT 提出了基于雅可比矩阵奇异值的无显式法线失真损失。对于第 $k$ 个纹理图表，计算 UV 坐标 $\mathbf{u}_{ik} \in \mathbb{R}^2$ 对 3D 交点坐标 $\mathbf{x}_i \in \mathbb{R}^3$ 的雅可比矩阵 $J_{ik} \in \mathbb{R}^{2 \times 3}$，其两个奇异值 $\sigma_{ik}^1$ 与 $\sigma_{ik}^2$ 分别表征局部变换的主拉伸比。为了抑制各向异性畸变，模型惩罚奇异值之差： $$\mathcal{L}_{\text{scaling}} = \frac{1}{Gn} \sum_{i=1}^G \sum_{k=1}^n (\sigma_{ik}^1 - \sigma_{ik}^2)^2$$ 同时，为避免局部尺度萎缩至零或过度膨胀，引入对数面积失真惩罚： $$\mathcal{L}_{\text{area}} = \frac{1}{Gn} \sum_{i=1}^G \sum_{k=1}^n \left(\log(\sigma_{ik}^1 \sigma_{ik}^2)\right)^2$$ 总失真损失定义为 $\mathcal{L}_{\text{distortion}} = \mathcal{L}_{\text{scaling}} + \mathcal{L}_{\text{area}}$。结合双线性插值采样与多图表一致性优化，使得在无网格拓扑的情况下也能生成均匀铺展、无过度形变的 2D 纹理贴图。

3. 形变感知规范对应：保持非刚性几何编辑下的纹理依附 当用户对规范点云施加非刚性几何形变，将支撑点从 $\mathbf{p}_j^{\text{can}}$ 移动到 $\mathbf{p}_j^{\text{def}}$ 时，光线追踪在形变空间重新寻找近邻并计算注意力权重 $a_{ij}^{\text{def}}$，生成粗糙交点 $\hat{\mathbf{x}}_i^{\text{def}} = \sum_{j=1}^K a_{ij}^{\text{def}} \mathbf{p}_{ij}^{\text{def}}$。由于 UV 图集是在规范空间训练的，若直接沿用形变注意力去插值规范点 $\sum_{j=1}^K a_{ij}^{\text{def}} \mathbf{p}_{ij}^{\text{can}}$，注意力的稀疏性会导致不同光线的规范交点跳变坍缩，引发严重的纹理漂移与频闪。

PointGT 提出了两阶段编辑时对应映射：第一步，光线正交投影。将粗糙形变交点正交投影至光线，消除偏离光轴的误差： $$\mathbf{x}_i^{\text{def}} = \Pi_{\mathbf{r}_i}(\hat{\mathbf{x}}_i^{\text{def}})$$ 第二步，注意力加权位移融合。利用点在形变过程中的身份不变性，提取每个邻近点的真实形变位移 $(\mathbf{p}_{ij}^{\text{can}} - \mathbf{p}_{ij}^{\text{def}})$，并通过形变空间的注意力权重进行平滑融合，将校准后的形变交点平移回规范空间： $$\mathbf{t}_i = \sum_{j=1}^K a_{ij}^{\text{def}} (\mathbf{p}_{ij}^{\text{can}} - \mathbf{p}_{ij}^{\text{def}})$$ $$\mathbf{x}_i^{\text{can}} = \mathbf{x}_i^{\text{def}} + \mathbf{t}_i$$ 最后在 $\mathbf{x}_i^{\text{can}}$ 处查询 UV 坐标。该设计确保了即便几何经历剧烈扭曲，纹理坐标也能如贴纸般紧固在形变几何表面，且纹理编辑与几何变形的执行顺序可完全互换。

损失函数 / 训练策略¶

PAPR 预训练阶段的总损失为： $$\mathcal{L} = \mathcal{L}_{\text{rendering}} + \gamma \mathcal{L}_{\text{close2ray}} + \eta \mathcal{L}_{\text{close2surface}}$$ 其中 $\gamma = 0.002$，$\eta = 0.01$。为避免初期未定型几何发生不合理坍缩，几何正则化在总训练步数第 1/10 处（25,000 步）开始启用。在 UV 与纹理图集学习阶段，遵循 Nuvo 的双射一致性等配置，设置 $\mathcal{L}_{\text{distortion}}$ 的权重为 0.4，纹理重建损失 $\mathcal{L}_{\text{texture}}$ 的权重为 0.04。图表数量 $n$ 根据几何拓扑复杂度设为 4 或 8，每个图表的纹理分辨率固定为 $256\sqrt{2/n} \times 256\sqrt{2/n}$ 以保持显存开销平稳。

实验关键数据¶

主实验¶

论文在新视角合成（NVS）任务上与当前主流的纹理化高斯泼溅及点渲染基线进行了系统性定量评估，涵盖 DTU 和 NeRF Synthetic (Blender) 数据集。评估包含两种设定：各方法原作者推荐的基元数量设定，以及严格限制在 5,000 个基元（5k primitives）的极端紧凑设定。

数据集	方法	PSNR ↑	SSIM ↑	LPIPS ↓	基元数量 (# Pts)
DTU	Texture-GS	30.53	0.920	0.083	90k
	GSTex	32.87	0.956	0.038	186k
	Textured-Gaussian	33.61	0.970	0.056	240k
	NeST Splatting	33.65	0.964	0.042	80k
	PAPR	29.34	0.952	0.073	30k
	Ours (PointGT)	33.48	0.973	0.023	30k
DTU (5k 限制)	Texture-GS	26.81	0.833	0.206	5k
	GSTex	28.92	0.932	0.072	5k
	Textured-Gaussian	29.58	0.912	0.080	5k
	NeST Splatting	32.68	0.966	0.056	5k
	PAPR	24.87	0.846	0.040	5k
	Ours (PointGT)	33.25	0.970	0.024	5k
NeRF Synthetic	Texture-GS	28.97	0.938	0.055	90k
	GSTex	33.25	0.969	0.024	100k
	Textured-Gaussian	33.24	0.967	0.043	190k
	NeST Splatting	33.37	0.967	0.032	73k
	PAPR	32.07	0.971	0.038	30k
	Ours (PointGT)	33.57	0.982	0.021	30k
NeRF Synth (5k 限制)	Texture-GS	19.29	0.795	0.213	5k
	GSTex	30.20	0.897	0.149	5k
	Textured-Gaussian	26.21	0.919	0.086	5k
	NeST Splatting	30.48	0.958	0.057	5k
	PAPR	30.38	0.963	0.048	5k
	Ours (PointGT)	31.01	0.976	0.039	5k

消融实验¶

在编辑质量与动态一致性评测上，论文在 Objaverse 的 5 个典型带骨骼/艺术家动画资产（emperor-fish、blossom、dress、flag、rexy）上施加几何变形与局部/全局纹理修改，渲染 360 度环绕动态视频，并通过视频生成评估基准 VBench 进行多维度定量评估与消融对比：

方法配置	主体一致性 (Subject Cons.) ↑	背景一致性 (Bkg Cons.) ↑	运动平滑度 (Motion Smooth.) ↑	美学质量 (Aesthetic Qual.) ↑	成像质量 (Imaging Qual.) ↑
GSTex (基线)	0.827	0.923	0.985	0.434	0.520
Ours (PointGT 完整模型)	0.844	0.925	0.982	0.437	0.585
相对提升 ($\Delta\%$)	+2.16%	+0.24%	-0.40%	+0.55%	+12.48%

关键发现¶

几何正则化的不可或缺性：消融实验显示，若去掉近光线损失 $\mathcal{L}_{\text{close2ray}}$（$\lambda_{\text{on-ray}} = 0$），预测交点会向极少数离散支撑点严重聚拢，导致 UV 空间采样极度稀疏，渲染纹理严重模糊并出现失真马赛克；若去掉贴表面损失 $\mathcal{L}_{\text{close2surface}}$，深度图会出现明显的空洞与杂乱飞点。
极端点云压缩下的鲁棒性：在仅保留 5,000 个点的极限条件下，传统 3DGS 衍生的纹理方法性能断崖式下跌（例如 Texture-GS 在 Synthetic 上 PSNR 跌至 19.29 dB，GSTex 跌至 30.20 dB），而 PointGT 依然保持了 31.01 dB（Synthetic）和 33.25 dB（DTU）的高渲染保真度，验证了注意力插值连续性对低点数场景的优越支持。
非刚性形变下纹理贴合能力：对比朴素的规范对应（式 11，直接用形变注意力权重加权规范坐标），PointGT 采用的形变感知规范对应（式 13）成功避免了离散跳跃与严重漂移，成像质量在 VBench 上相对 GSTex 提升了 12.48%。

亮点与洞察¶

表征选型的战略逆转：在 3DGS 几乎统治辐射场的大背景下，本文敏锐地指出了高斯椭球刚性基元在非刚性大形变下的内在缺陷，重新挖掘出以 PAPR 为代表的注意力点渲染机制在保持变形表面拓扑平滑性上的独特优势。
无显式法线的雅可比正则化：巧妙规避了传统参数化算法强依赖平滑网格法线的先决条件，直接以映射雅可比矩阵的奇异值差分和对数面积构造损失，使无显式拓扑结构的点云也能稳定学习到保形低失真的 2D UV 图集。
位移差分残差融合设计：形变感知规范对应并不直接估计形变场，而是利用点集标识（point identity）的对应关系，通过形变空间注意力将邻域位移差平滑传递给光线交点，优雅地解决了非刚性形变下光线反查 UV 的断裂难题。

局限与展望¶

复杂几何拓扑下的图表切割限制：当前 UV 参数化继承了 Nuvo 的连续优化架构，在面对极高亏格、多分支或复杂自遮挡拓扑时，神经网络图集分割易产生接缝瑕疵，未来可引入基于自回归切缝算法（如 Auto-regressive surface cutting 或 MeshTailor）的端到端学习框架。
动态光照与阴影未深度建模：当前外观贴图主要承载 RGB 漫反射颜色与基础辐射特征，在发生大幅度几何弯曲时，自遮挡带来的自发阴影与非朗伯高光重计算未得到物理级重光照支持。
极小特征处的邻域注意力漂移：当局部非刚性拉伸剧烈改变点云密度时，$K$ 近邻的几何尺度跨度会发生急剧变化，可能导致局部注意力权重分布失衡，自适应变尺度近邻查询是值得探索的方向。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次在点云注意力辐射场上成功打通全局 UV 映射与非刚性几何形变，构思巧妙。
实验充分度: ⭐⭐⭐⭐☆ 覆盖 NVS 基准（常规与 5k 基元极限）、VBench 视频生成评测以及详尽的消融实验。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严谨，问题动机、理论推导、图示机制与对比分析清晰透彻。
价值: ⭐⭐⭐⭐☆ 为数字资产创作、游戏驱动角色动画与 3D 生成后编辑提供了极具实用价值的全新表征路线。