Learning Manifolds in High-D Point Embedding for Anisotropic Surface Approximation from Unstructured Point Clouds¶

会议: ECCV 2026
论文: ECCV 2026
领域: 重建与渲染
关键词: 高维欧氏嵌入、各向异性网格、无序点云、黎曼度量、表面重构

一句话总结¶

针对无序点云无法直接计算各向异性度量的难题，提出 HD-PEA 框架，通过重心不变性投影构建监督数据与 Point Transformer 学习 8 维局部等距嵌入，并在切子空间中驱动粒子系统与高维受限 Voronoi 胞元（RVC）裁剪，直接从原始点云重构出高保真、低单元数的各向异性表面网格。

研究背景与动机¶

在机器人导航、自动驾驶与三维测量等场景中，高精度传感器采集的密集点云数据量巨大且存在高度几何冗余。为了实现下游几何处理的高效与高保真计算，表面网格重构更偏好使用各向异性网格——即网格三角形单元沿着表面主曲率张量的特征方向伸展，在平坦区域使用狭长三角形覆盖、在尖锐特征处加密，从而用更少的顶点与面片实现极低的几何逼近误差。然而，传统的各向异性重构与重新网格化（Remeshing）方法均依赖已有的高质量初始表面网格以建立显式切平面与面片边向量，无法直接作用于离散、无拓扑结构的无序点云。

近年来涌现的隐式神经表面重建（如基于 SDF 的 Marching Cubes/Dual Contouring 变体 NMC、NDC）和自适应网格方法（如 LMR）虽然降低了网格密度，但其本质上依然属于各向同性或各向同性自适应划分，缺乏对曲率张量特征方向拉伸比的严格控制；两阶段管线（如先用隐式重建网格、再运行 NASM 进行各向异性重网格化）又不可避免地将第一阶段的混叠折线与伪影传递放大。纳什嵌入定理（Nash Embedding Theorem）虽然指出平滑黎曼流形可等距嵌入高维欧氏空间，但数学表述假定流形连续，如何将其离散化并泛化到缺乏切空间与向量结构的无序点云上一直未被解决。

本文的核心 idea 是通过重心坐标不变性将三角网格的高维嵌入映射传递至表面采样点以构建稠密监督信号，利用邻域成对距离损失训练网络预测 8 维嵌入，并在高维局部切子空间约束下运行各向同性粒子平衡与受限 Voronoi 胞元（RVC）剖分，使高维等距网格投影回三维空间时天然呈现与局部黎曼曲率严格对齐的各向异性网格。

方法详解¶

整体框架¶

HD-PEA 包含三大核心阶段： 1. 神经高维欧氏点嵌入（Neural High-D Euclidean Point Embedding）：利用重心不变仿射传递构造三维点到高维嵌入的监督点对，以 Point Transformer V3 为骨干网络，输入点坐标与法向量 $[P, n] \in \mathbb{R}^6$，回归高维坐标扩展，并在推理阶段引入基于最小生成树的重叠 Patch 元嵌入对齐（PMEI）以支持任意大规模点云。 2. 高维流形切子空间逼近与粒子均匀采样（Manifold Approximation via Tangent Subspace）：由于二维流形嵌入 8 维空间后法向量不再唯一，利用高维邻域局部主成分分析（PCA）构建 2 维切子空间正交基，将斥力粒子系统投影约束在切子空间上，平衡后得到流形上的均匀稀疏采样种子。 3. 高维切向复形剖分与各向异性网格提取（Anisotropic Manifold Reconstruction）：在各采样种子处构建局部 2 维内在圆盘，使用与邻近种子的垂直平分超平面进行高维重入多边形裁剪（Re-entrant Clipping）生成受限 Voronoi 胞元（RVC），最后将提取出的高维三角网格截断投影回三维欧氏空间，自然形成几何对齐的各向异性网格。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入无序点云与法向<br/>[P, n] ∈ R^(N×6)"] --> B["神经高维欧氏点嵌入<br/>Point Transformer V3 预测 8 维流形嵌入"]
    B --> C["Patch 元嵌入对齐 PMEI<br/>MST 层次对齐消除仿射漂移"]
    C --> D["切子空间逼近与粒子松弛<br/>PCA 估计 2D 切子空间并约束平衡"]
    D --> E["高维受限 Voronoi 胞元剖分<br/>切向复形裁剪提取三角面片并投影"]
    E --> F["输出轻量各向异性表面网格"]

关键设计¶

1. 重心不变性高维嵌入监督生成：打通无序点集高维等距映射的数据通路
针对无序点云缺乏网格显式拓扑结构、无法直接定义高维等距变形能的痛点，论文依据黎曼度量到高维欧氏空间的局部映射可近似为局部仿射变换的几何性质。由于重心坐标在仿射变换下具有刚性不变性，算法首先在原始三维网格面片 $f = \{v_1, v_2, v_3\}$ 内均匀采样点 $p = w_1 v_1 + w_2 v_2 + w_3 v_3$（满足 $w_1+w_2+w_3=1, w_i \ge 0$），随后利用相同的一组重心权重直接对预先优化好的 8 维网格顶点 $\bar{v}_1, \bar{v}_2, \bar{v}_3$ 进行线性组合，生成采样点的高维真实坐标 $\bar{p} = w_1 \bar{v}_1 + w_2 \bar{v}_2 + w_3 \bar{v}_3$。该机制绕开了点云上微分算子难估计的问题，构建出包含各向异性度量场与局部主方向信息的点对点 Ground Truth 映射。

2. 邻域距离度量损失与 Patch 元嵌入对齐（PMEI）：解耦点云无序性与大尺度缩放瓶颈
现有网格嵌入工作（如 NASM）依赖网格边向量的点积损失，但点云不存在拓扑连边。本方法引入邻域成对欧氏距离的平均绝对误差（MAE）损失，利用局部成对距离直接隐式约束内蕴黎曼度量长度与夹角，且 MAE 对复杂非均匀几何结构的离群点更为鲁棒： $$\mathcal{L}_{\text{NDHDE}} = \frac{1}{N} \sum_{i=1}^N \sum_{j \in \mathcal{N}(i)} \left| \|f(p_i) - f(p_j)\| - \|\bar{p}_i - \bar{p}_j\| \right|$$ 为克服固定点数网络在大规模场景下的推理退化，PMEI 算法利用最远点采样（FPS）建立局部重叠 Patch，并通过基于 Prim 算法的最小生成树（MST）按中心距离优先级求解重叠区域点对的仿射对齐矩阵 $T_{ij}^* = \arg\min_{T_{ij}} \sum_k \|p_i^k - T_{ij}(p_j^k)\|^2$，从而消除非等变注意力带来的局部变换漂移，实现百万级大场景的平滑拼合。

3. 切子空间正交基投影：解决高维余维流形法向退化与粒子平衡约束
当 2 维表面嵌入到 $d=8$ 维欧氏空间时，其正交余维变为 6 维，传统三维空间中单一法向量的约束失效。为此，方法在每个高维点计算其局部协方差矩阵 $C_p = \frac{1}{k} \sum (p_i - \hat{p})(p_i - \hat{p})^T$，通过特征值分解提取前 2 个最大特征值对应的特征向量组成标准正交基 $V \in \mathbb{R}^{8 \times 2}$，张成局部切子空间 $T_p \mathcal{M}$。在基于距离势能的粒子松弛优化阶段，粒子更新量被显式投影回切子空间：$\tilde{x} = x_p + V V^T (x - x_p)$，保证粒子完全贴合高维流形曲面移动，达成力学平衡后形成内在均匀的各向同性采样点集。

4. 高维切向复形受限 Voronoi 胞元（RVC）裁剪与降维回投：诱导低失真各向异性单元
在获得均匀分布的采样种子后，算法在每个种子处以尺度参数 $\alpha$ 构造内在 2 维局部圆盘 $D^2$，并通过仿射映射 $D^8(x) = V D^2 + x$ 嵌入 8 维空间。随后采用 Sutherland-Hodgman 重入多边形裁剪算法，用种子与邻居的高维中垂超平面依次裁剪该圆盘，形成高维受限 Voronoi 胞元。该计算仅在 2 维切空间内部迭代，复杂度严格取决于内在维度 $m=2$ 而非环境维度 $d=8$。最后将裁剪得到的三角面片直接截取前 3 维坐标，由于高维欧氏距离对应于三维流形上的黎曼距离椭球，降维回投后自然形变成沿主曲率方向自适应拉伸的高质量各向异性三角网格。

损失函数 / 训练策略¶

骨干网络采用 Point Transformer V3，输入为归一化点云坐标及 WNNC 法向拼接得到的 $\mathbb{R}^{N \times 6}$ 张量，末端线性层预测扩展的 5 维坐标，并与原始 3D 坐标拼接构成 8 维坐标。训练采用 2,400 个增强后的模型，点数固定为 40K，邻域数 $|\mathcal{N}(i)| = 40$。优化目标仅使用上述 $\mathcal{L}_{\text{NDHDE}}$（MAE 形式），不引入显式坐标惩罚，确保网络专注于相对度量几何关系的保持。

实验关键数据¶

主实验¶

在 Thingi10K 测试集（80 个模型）和 Myles et al. 合成扫描测试集（75 个模型，Blensor 模拟真实传感器扫描）上与经典及最新表面重建方法进行了全面对比。评测指标包含倒角距离（CD, $\times 10^{-5}$）、F1-Score（F1）、法向一致性（NC）、Hausdorff 距离（HD, $\times 10^{-2}$）、各向异性网格质量指标 $G$ 以及运行时间（Time, 秒）。

表 1：Thingi10K 数据集（80 个模型基准采样）重建定量对比

方法	输出顶点数 (#Vout)	输出面片数 (#fout)	CD $\downarrow$	F1 $\uparrow$	NC $\uparrow$	HD $\downarrow$	耗时 (s) $\downarrow$
Poisson	38,346	76,684	39.128	0.912	0.970	1.821	19.27
NDC ($64^3$)	4,134	8,327	0.798	0.986	0.978	0.921	4.97
NDC ($128^3$)	16,638	33,470	0.676	0.991	0.987	0.716	5.53
POCO ($64^3$)	8,237	16,497	29.817	0.853	0.951	6.521	4.37
POCO ($128^3$)	33,590	67,196	33.107	0.888	0.960	6.862	15.59
PoNQ	15,760	31,531	11.729	0.967	0.982	1.813	31.05
LMR	7,848	15,721	2.936	0.978	0.978	0.778	2,710.60
HD-PEA (本文)	5,180	10,358	0.496	0.996	0.987	0.678	14.28

表 2：Myles et al. 数据集（75 个合成扫描模型）各向异性网格重建定量对比

方法	输出顶点数 (#Vout)	输出面片数 (#fout)	CD $\downarrow$	F1 $\uparrow$	NC $\uparrow$	HD $\downarrow$	网格质量 $G \uparrow$	耗时 (s) $\downarrow$
Poisson	77,296	154,594	26.346	0.922	0.966	2.147	0.528	39.30
NDC ($64^3$)	5,182	10,575	1.308	0.939	0.956	1.230	0.589	5.28
NDC ($128^3$)	21,011	42,721	0.749	0.982	0.971	0.928	0.588	5.93
NDC + NASM	6,964	14,210	0.792	0.980	0.975	1.265	0.576	24.70
POCO ($128^3$)	58,871	117,837	90.462	0.626	0.875	11.601	0.530	22.87
PoNQ	24,685	49,368	7.610	0.963	0.973	1.511	0.596	35.83
NKSR	12,023	24,040	1.461	0.954	0.966	1.745	0.525	0.71
SAP	31,692	63,320	2.081	0.976	0.972	1.447	0.526	6.58
SIREN	696,845	1,393,631	58.960	0.843	0.953	3.593	0.522	4,658.97
LMR	7,590	15,124	10.048	0.964	0.972	2.471	0.629	3,153.80
HD-PEA (本文)	7,028	13,989	0.649	0.989	0.979	0.798	0.702	14.59

消融实验¶

在 Thingi10K 数据集上对高维嵌入预测的损失函数进行消融，对比点对点坐标 MSE/MAE 损失与基于邻域成对距离的 NDHDE 损失。

表 3：高维嵌入损失函数消融实验（Thingi10K 80 个模型）

配置 / 损失函数	输出顶点数 (#Vout)	输出面片数 (#fout)	CD $\downarrow$	F1 $\uparrow$	NC $\uparrow$	HD $\downarrow$
点对点 MSE	12,632	48,368	30.864	0.953	0.949	2.148
点对点 MAE	12,116	48,421	29.737	0.958	0.952	2.044
NDHDE w/ MSE	8,688	48,991	30.072	0.984	0.979	1.065
NDHDE w/ MAE (本文完整方案)	5,180	10,358	0.496	0.996	0.987	0.678

表 4：噪声注入与非均匀采样鲁棒性实验（Myles et al. 数据集 75 个模型）

扰动类型 / 采样方案	输出顶点数 (#Vout)	输出面片数 (#fout)	CD $\downarrow$	F1 $\uparrow$	NC $\uparrow$	HD $\downarrow$	耗时 (s)
真实扫描 + 0.1% 高斯噪声	8,684	17,255	0.822	0.978	0.974	0.893	14.81
真实扫描 + 0.3% 高斯噪声	9,341	18,521	1.000	0.966	0.959	1.125	14.97
真实扫描 + 0.5% 高斯噪声	9,601	19,043	1.417	0.933	0.947	1.358	15.00
梯度密度采样（Gradient）	7,526	14,907	0.730	0.982	0.976	0.970	14.63
条纹密度采样（Striped）	7,186	14,296	0.688	0.985	0.978	0.894	14.60

关键发现¶

端到端各向异性重构彻底超越两阶段管线：直接用原始点云通过 HD-PEA 重构出的网格质量 $G$ 达到 0.702，显著高于先用 NDC 生成网格再用 NASM 重构的 0.576；NDC 重建中由网格分辨率离散化带来的锯齿伪影会在第二阶段被放大，而直接在高维流形空间学习度量场有效避免了中间网格拓扑缺陷的级联传播。
邻域距离损失的决定性作用：直接监督绝对坐标的高维嵌入误差极大（CD 约 30），而基于邻域距离的 NDHDE 损失迫使网络关注局部相对几何形变，将 CD 压低到 0.496，同时 MAE 相比 MSE 能更好地处理非均匀采样带来的几何离群点。
大尺度场景高效且轻量：在 ScanNet 场景点云重构中，结合 PMEI 的 HD-PEA 在倒角距离上优于 NDC（0.786 vs 0.814），而所用面片数量不足 NDC 的三分之一，推理耗时从 LMR 的数千秒压缩至 14 秒量级。

亮点与洞察¶

重心不变性连通离散与高维连续：巧妙利用仿射变换下重心坐标的刚性不变性，将底层三角面片的高维顶点等距映射无损插值至表面稠密随机采样点，为无拓扑无序点云首次提供了严格遵循纳什嵌入定理的连续流形真值生成范式。
降维回投自然诱导各向异性度量：避开了在三维点云上直接求解高阶微分几何张量（法向、二阶基本形式、主曲率主方向）的病态求导问题，将复杂的 3D 各向异性网格生成转换为高维欧氏空间中的各向同性粒子松弛与切向圆盘裁剪，投射回三维后天然自适应伸展。
副产物提供点云曲率张量与主方向估计：利用三维邻域位移矩阵与对应预测高维位移矩阵之间的最小二乘线性映射结合奇异值分解（SVD），能够直接从无序点云中高精度提取主曲率方向及各向异性拉伸比，为下游渲染与几何特征分析提供了统一基石。

局限与展望¶

极端几何缺失与薄壁结构易断裂：当输入扫描点云存在大面积严重区域缺失（如空心圆柱内壁点云完全缺失）时，局部切子空间估计会出现维度塌陷或方向畸变，导致生成的表面网格在细长薄结构处出现断裂或局部空洞。
高维拓扑自相交检测缺失：切向复形在各点独立裁剪后拼合，虽然计算效率极高（局限于 2 维切平面内），但在多层表面极度靠近（如薄折叠布料）时，缺乏显式的高维非自交拓扑判定机制。
未来方向：可进一步将隐式几何先验引入高维切子空间，在无监督或自监督模式下联合约束局部连续性，探索向高亏格复杂 CAD 模型的鲁棒外推。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将纳什嵌入定理用于无序点云端到端各向异性网格重建，重心不变数据构造思路极其优雅。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大数据集、合成扫描/真实噪声扰动以及 ScanNet 大尺度场景，包含严格消融与下游曲率张量估计。
写作质量: ⭐⭐⭐⭐⭐ 数学建模严密，切子空间与粒子投影机制阐述清晰，图表完备。
价值: ⭐⭐⭐⭐⭐ 弥补了点云直接生成紧凑高质量各向异性表面网格的方法空白，对实时三维重构与仿真具有重要实用价值。