Learning to Tessellate: Point Cloud Generation via Recursive Spectral Partitioning¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://huggingface.co/Mo-nan/PointRSP
领域: 模型压缩
关键词: 点云生成, 自回归模型, 递归谱划分, 拓扑保持镶嵌, 双流级联生成器

一句话总结¶

PointRSP 将点云自回归生成重塑为拓扑保持的空间递归谱镶嵌过程，通过构建非平衡二叉树蓝图与双流级联生成网络，显著消除了空间切分伪影并达到新 SOTA 生成质量。

研究背景与动机¶

点云作为三维空间中表征几何流形的基础模态，在具身感知、自主导航与三维形状重建中扮演着核心角色。然而，无序且非结构化的离散点集给生成建模带来了天然的拓扑表征难题。近年来，基于去噪扩散模型（如 PVD、LION、TIGER）的主流方案虽能合成全局轮廓逼真的点云，但其依赖连续空间中的全局全量去噪轨迹，采样计算复杂度极高，且在处理薄壁构件、精细支架等复杂局部几何时，极易产生穿孔、悬浮噪点与破坏底层流形连通性的拓扑伪影。

自回归（AR）生成模型通过序列化依赖逐步预测点云，具备推理高效和长程依赖建模的优势。但点云天然具有置换不变性，缺少如网格图像那样的规范排列顺序。现有自回归方法大多依赖启发式离散化策略，例如单维空间坐标排序、Hilbert 空间填充曲线或随机降采样序列（如 PointNSP）。这些人为强加的刚性一维线序严重割裂了三维空间的局部邻域连通性，导致生成的物体部件呈现破碎化拼接；更关键的是，现有分层量化方案（如 NVG）强制采用 kNN 均匀对称二分，使每一尺度严格分裂出 $2^t$ 个簇，这完全违背了三维物体各局部几何复杂度天然非平衡的物理本质。

为根治启发式序列化带来的流形割裂痛点，本文提出将点云生成视作一种保拓扑的自适应空间镶嵌过程。核心 idea：利用基于拉普拉斯特征向量的混合递归谱划分构建非平衡二叉树几何蓝图，自适应匹配三维形状的非均匀局部复杂度，并通过结构与特征双流级联协同预测，配合几何校准位置编码解决早期冷启动不稳定性。

方法详解¶

整体框架¶

PointRSP 的整体架构包含两大核心支柱：拓扑感知划分自动编码器（Topology-Aware Partitioning Autoencoder, TPA）与双流自回归生成器（Dual-Stream Autoregressive Generator）。TPA 首先借助稀疏卷积提取点级初始隐式特征，通过自底向上的贪心合并聚合高频局部细节，再通过自顶向下的图拉普拉斯谱二分递归构建自适应深度的非平衡二叉树结构蓝图；在此蓝图引导下，分层执行向量量化以构建紧凑的多尺度离散隐空间。随后，双流自回归生成器在推理阶段交替演化拓扑结构分支与残差特征分支，并由几何校准位置编码模块利用多尺度结构几何中心动态消除早期粗尺度下的坐标漂移噪声，最终经由解码器输出高质量三维点云。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["无序点云输入 X ∈ R^(L×3)"] --> Enc["稀疏卷积特征提取 F0 ∈ R^(L×D)"]
    Enc --> TPA["混合递归谱划分拓扑自动编码器<br/>自底向上局部合并 + 自顶向下谱二分"]
    TPA --> Tree["非平衡二叉树结构蓝图 S^(2)"]
    Tree --> Quant["非平衡拓扑镶嵌向量量化<br/>子集池化 → 码本映射 → 广播更新"]
    Quant --> Gen["结构-特征双流级联生成器<br/>特征预测流 + 结构预测流协同演化"]
    Pos["几何校准位置编码<br/>多尺度结构中心动态锚定"] --> Gen
    Gen --> Dec["多层感知机解码器 D"]
    Dec --> Out["保拓扑重建/生成点云 X_hat"]

关键设计¶

1. 混合递归谱划分拓扑自动编码器：解耦局部高频聚合与全局流形二分

标准点云全局谱聚类计算开销巨大（时间复杂度随点数激增），且全尺度直接划分易丢失局部高频细节。为此，TPA 创新性地提出了两阶段混合解耦划分机制：将总共 $T$ 个尺度拆解为 $T_l$ 步自底向上贪心合并阶段和 $T_k$ 步自顶向下谱二分阶段（满足 $T_l + T_k = T$）。在合并阶段，模型从点级特征 $F_0 \in \mathbb{R}^{L \times D}$ 出发，根据局部欧氏特征距离迭代贪心合并最相似的点对，将序列长度自 $L$ 高效缩减至 $K$（满足 $\log_2 L - \log_2 K = T_l$），不仅提取了紧凑且抗噪的局部代表性节点 $F_k$，还保留了细粒度几何信息。

在谱二分阶段，算法在缩减后的 $K$ 个超节点上构建 $k$ 近邻图拉普拉斯矩阵，对尺度 $t \in [0, T_k - 1]$ 递归进行谱二分。设 $v(k, t)$ 为当前子图拉普拉斯矩阵的菲德勒向量（Fiedler Vector，即对应第二小特征值的特征向量），它表征了图的最优连续二分流形切分方向。划分标签直接根据菲德勒向量的符号决定： $$ s^{\text{split}}(k, t) = \begin{cases} 0, & v(k, t) \le 0, \quad t < l_k \ 1, & v(k, t) > 0, \quad t < l_k \ \text{pad}, & \text{otherwise} \end{cases} $$ 由于简单几何区域（如平整车顶）过早收敛而复杂区域（如发动机格栅、尾翼）需多层细分，不同节点的分裂序列长度 $l_k$ 各不相同，从而天然诱导出一棵非平衡二叉树。最后，映射函数 $\text{map}(\cdot)$ 将各原始采样点沿自底向上合并路径与顶向下谱切分节点严格对齐，生成无断裂的保拓扑二进制结构蓝图 $S^{(2)} \in \{0, 1\}^{L \times T}$。

2. 非平衡拓扑镶嵌向量量化：自适应几何复杂度的层次离散化

以往分层向量量化模型（如 NVG）强制假设空间为完全平衡的二叉分裂，在尺度 $t$ 产生固定的 $2^t$ 个量化子空间，导致平坦区域被过度切碎，而复杂狭窄部件被迫与无关邻域强行合并。PointRSP 利用上述非平衡二叉树蓝图，在第 $t$ 尺度通过二进制转十进制运算 $c = \text{Dec}(s^{(2)}(i, :t)) = \sum_{j=0}^t s^{(2)}(i, j) 2^{t-j}$ 将原始特征划分为 $C_t$ 个互不重叠且拓扑连续的几何子集 $F_t^c$。随后在每个子集内部进行特征均值池化，得到该结构的代表性嵌入： $$ \bar{F}t^c = \frac{1}{|F_t^c|} \sum f $$ 将每个 $\bar{F}_t^c$ 在可学习连续几何码本 $\mathcal{Z}$ 中进行最近邻搜索量化，并将量化码字广播回该子集内所有点，得到量化序列 $Q_t \in \mathbb{R}^{L \times D}$。随尺度逐级递增，模型输入残差特征以促进多尺度细节的渐进细化。通过非平衡树机制，模型将码本容量精细分配至拓扑结构丰富的关键区域，消除了传统网格量化的边界模糊缺陷。

3. 结构-特征双流级联生成器：显式结构先验引导的多尺度残差合成

传统自回归模型依赖隐式注意力掩码捕获长程几何结构，解释性差且难以保证三维连通性。PointRSP 提出了显式解耦的双流级联生成架构，将生成拆分为结构预测流（Structural Predictor）与特征预测流（Feature Predictor），两者均基于配备旋转位置编码（RoPE）的自注意力 Transformer 模块构建。在尺度 $t$，特征预测器首先根据累积历史特征 $\widetilde{F}_{:t-1}$ 生成当前尺度的残差特征 $\widetilde{F}_t$，并在上一尺度预测的结构蓝图 $\widetilde{S}_{t-1}$ 约束下完成码本量化，得到更新后的累积特征 $\widetilde{F}_{:t}$。

紧接着，结构预测器接收累积特征 $\widetilde{F}_{:t}$ 与前序结构标签的二进制投影特征 $\varphi(\text{Bin}(\widetilde{S}_{t-1}))$，通过自注意力机制预测当前尺度的二叉分支走向概率： $$ \widetilde{S}t^{(2)} = \sigma\left(\text{Attn}^s\left([\widetilde{F}))]\right)\right) $$ 双流模块相互提供先验与约束，结构分支为特征合成勾勒拓扑骨架，特征分支反哺结构分支修正局部空间生长分支，两者协同完成 }, \varphi(\text{Bin}(\widetilde{S}_{t-1$T$ 步递归推理。

4. 几何校准位置编码：利用多尺度拓扑中心化解冷启动不稳定性

在级联自回归生成的前几个粗尺度阶段，中间反投影坐标 $\widetilde{X}_{t-1} = \mathcal{D}(\widetilde{F}_{:t-1})$ 极不稳定、包含显著噪声。若直接以粗糙且抖动的坐标作为自注意力的绝对或相对位置输入，会导致严重的“冷启动（cold-start）”误差累积，引发后续层级的形态坍塌。为此，PointRSP 提出了几何校准位置编码（Geometry-Calibrated Positional Encoding, GCPE）。该机制将位置嵌入分解为离散结构项 $E_s^t$ 和几何校准坐标项 $E_{\text{pos}}^t$。

在 $t < T_k$ 的谱二分阶段，根据当前预测结构将点划分为 $M_t$ 个几何组并计算各组空间质心 $P \in \mathbb{R}^{M_t \times 3}$，通过结构中心的多尺度指数加权平滑修正当前不稳定的单点坐标： $$ e(i, t) = \alpha \cdot x(i, t) + (1 - \alpha) \sum_{j=0}^{t-1} w_j \cdot P(\text{map}(i, \widetilde{S}t), j), \quad (w w_j = 1) $$ 随着级联推进至精细尺度（} = 2 w_j, \sum_{j=0}^{t-1$t \ge T_k$），重建几何已经高度自洽稳定，编码平滑过渡为纯坐标输入 $x(i, t)$。这一设计为早期全局轮廓的构建提供了稳固的几何锚点。

损失函数 / 训练策略¶

整个训练过程分阶段协同优化： 1. 自动编码器训练阶段：采用三项联合加权损失函数： $$ \mathcal{L}{\text{total}} = \lambda}} \mathcal{L{\text{L1}}^{\text{smooth}}(X, \hat{X}) + \lambda}} \mathcal{L{\text{cmf}}(X, \hat{X}) + \lambda}} \mathcal{L{\text{vq}}(F_0, \hat{F}T) $$ 其中 $\mathcal{L}_{\text{L1}}^{\text{smooth}}$ 与倒角距离损失 $\mathcal{L}_{\text{cmf}}$ 约束表面几何对齐与流形保真，改进的矢量量化损失 $\mathcal{L}_{\text{vq}}$ 提升码本利用率并缩小隐空间量化误差。 2. 生成器训练阶段：特征预测器和结构预测器以均方误差（MSE）端到端监督： $$ \mathcal{L}\sum}} = \frac{1}{T}^T \mathcal{L{\text{mse}}(\hat{F}t, \widetilde{F}\sum}) + \frac{1}{T_k) $$ 结构损失明确限制在全局谱划分阶段（}^{T_k} \mathcal{L}_{\text{mse}}(S_t^{(2)}, \widetilde{S}_t^{(2)$t \le T_k$），避免模型在末端过拟合高频局部抖动，有效稳定了拓扑树结构的训练收敛。

实验关键数据¶

主实验¶

评估在 ShapeNetV2 的飞机（Airplane）、椅子（Chair）和汽车（Car）三个代表性几何子集上展开，采用分类器双样本检验 1-NNA（1-最近邻准确率，越接近 50% 越优）综合评估生成保真度与几何多样性，涵盖倒角距离（CD）与推土机距离（EMD）。对比模型覆盖最先进的扩散模型（PVD、LION、TIGER）以及主流自回归生成架构（PointGrow、CanonicalVAE、PointGPT、PointNSP）。

模型类别	模型名称	Airplane CD↓ (%)	Airplane EMD↓ (%)	Chair CD↓ (%)	Chair EMD↓ (%)	Car CD↓ (%)	Car EMD↓ (%)	Mean CD↓ (%)	Mean EMD↓ (%)
GAN	1-GAN (Achlioptas et al.)	87.30	93.95	68.58	83.84	66.49	88.78	74.12	88.86
Normalizing Flow	PointFlow (Yang et al.)	75.68	70.74	62.84	60.57	58.10	56.25	65.54	62.52
Diffusion	DPM (Luo & Hu)	76.42	86.91	60.05	74.77	68.89	79.97	68.45	80.55
Diffusion	PVD (Zhou et al.)	73.82	64.81	56.26	53.32	54.55	53.83	61.54	57.32
Diffusion	LION (Vahdat et al.)	72.99	64.21	55.67	53.82	53.47	53.21	61.75	57.59
Diffusion	TIGER (Ren et al.)	73.02	64.10	55.15	53.18	53.21	53.95	60.46	57.08
Autoregressive	PointGrow (Sun et al.)	82.20	78.54	63.14	61.87	67.56	65.89	70.96	68.77
Autoregressive	CanonicalVAE (Cheng et al.)	80.15	76.27	62.78	61.05	63.23	61.56	68.72	66.29
Autoregressive	PointGPT (Chen et al.)	74.85	65.61	57.24	55.01	55.91	54.24	63.44	62.24
Autoregressive	PointNSP (Meng et al.)	73.39	64.58	55.60	54.17	53.66	54.26	60.88	57.67
Autoregressive	PointRSP (本文)	70.68	63.94	53.88	53.96	51.47	52.68	58.67	56.86

在跨 55 个类别的多类别条件生成与 2× 点云上采样（1,024 点增至 2,048 点）任务中，PointRSP 同样表现出优异的跨几何域泛化性能：

任务	评估类别	LION CD / EMD (%)	TIGER CD / EMD (%)	PointGPT CD / EMD (%)	PointNSP CD / EMD (%)	PointRSP (本文) CD / EMD (%)
多类别生成	Airplane	86.30 / 77.04	83.54 / 81.55	94.94 / 91.73	78.95 / 68.84	76.52 / 68.79
多类别生成	Chair	66.50 / 63.83	57.34 / 61.45	71.83 / 79.00	58.79 / 55.10	57.11 / 56.07
多类别生成	Car	64.52 / 54.21	65.79 / 57.24	89.35 / 87.22	69.97 / 52.89	58.39 / 53.51
2× 点云上采样	Airplane	70.41 / 59.65	71.65 / 59.94	72.11 / 60.12	69.86 / 59.68	67.29 / 59.09
2× 点云上采样	Chair	53.98 / 54.33	52.80 / 52.98	53.75 / 53.21	53.79 / 53.84	52.05 / 52.63
2× 点云上采样	Car	57.14 / 47.56	57.90 / 48.01	57.26 / 47.85	56.69 / 46.93	54.95 / 48.63

消融实验¶

消融实验在 ShapeNetV2 的汽车（Car）子集上系统验证了各核心创新组件的有效性。除 1-NNA 外，引入跨批次 MMD 标准差（Std.）定量表征生成分布的稳定性：

模型变体	级联生成 (Cas.)	结构先验 (Struc.)	谱拓扑编码器 (TPA)	几何校准位置编码 (GCPE)	1-NNA CD↓ (%)	MMD CD Std.↓	1-NNA EMD↓ (%)	MMD EMD Std.↓	说明
Base	-	-	-	-	53.66	$0.357 \times 10^{-3}$	54.26	$1.027 \times 10^{-3}$	PointNSP 风格量化 VAE + 全局自注意力生成器
V1	✓	-	-	-	53.02	$0.343 \times 10^{-3}$	53.84	$0.923 \times 10^{-3}$	引入分层级联生成范式
V2	✓	✓	-	-	52.75	$0.318 \times 10^{-3}$	53.65	$0.713 \times 10^{-3}$	引入类似 NVG 的 kNN 平衡二叉树先验
V3	✓	✓	✓	-	51.89	$0.304 \times 10^{-3}$	53.01	$0.636 \times 10^{-3}$	替换为混合递归谱划分拓扑自动编码器
Full	✓	✓	✓	✓	51.47	$\mathbf{0.294 \times 10^{-3}}$	52.68	$\mathbf{0.506 \times 10^{-3}}$	完整模型（加入 GCPE 动态锚定）

关键发现¶

非平衡二叉树相对强行对称切分的决定性优势：对比 V2（NVG 平衡划分）与 V3（TPA 谱划分），1-NNA CD 显著从 52.75% 提升至 51.89%，1-NNA EMD 从 53.65% 降至 53.01%。这有力证明了三维点云几何的非对称属性，强行等分会导致严重的面片混淆与边界失真。
几何校准位置编码彻底平息冷启动抖动：Full 模型加入 GCPE 后，MMD EMD 标准差从 V3 的 $0.636 \times 10^{-3}$ 剧烈下降至 $0.506 \times 10^{-3}$，批次间方差骤降超过 20%，不仅将 1-NNA CD/EMD 刷新至全场最优（51.47% / 52.68%），更证实了早期通过多尺度几何质心平滑锚定坐标对防止生成轨迹发散的显著功效。
跨范式性能反超：在平均 1-NNA 指标上，PointRSP 达到 58.67% (CD) 与 56.86% (EMD)，全面超越了当前最领先的点扩散模型 TIGER（60.46% / 57.08%）与 LION（61.75% / 57.59%），证明了具备流形连通先验的自回归模型在保真度上完全能够比肩甚至超越高成本扩散采样。

亮点与洞察¶

将图拉普拉斯菲德勒向量引入自回归序列规划：巧妙利用谱图理论的连续松弛解作为无序点云的离散二分依据，赋予了无序点云符合三维流形连续性的天然层次序，打破了传统空间填充曲线与一维坐标排序的机械割裂。
两阶段自底向上合并与自顶向下切分混合架构：全点云递归谱分析计算复杂度极高，先做贪心局部合并再做粗粒度谱切分，不仅完美绕过了谱聚类的计算瓶颈，还实现了微观几何细节与宏观拓扑流形的分层解耦。
指数加权多尺度结构中心动态校准机制：在生成初期坐标信号不可信时，以结构树分支代表的区域质心为锚，赋予粗尺度推理极强的物理约束力，这种“质心先验平滑过渡到精确坐标”的思想可广泛推广至其他 3D 级联生成框架中。

局限与展望¶

单模态与物体系规模限制：当前实验主要局限于单模态无条件或类别条件下的单物体生成（ShapeNet 2,048 点），对于包含数百甚至数万实例的大规模场景级（Scene-level）点云以及千万级超密点集的划分效率尚待检验。
谱切分构建不可导性：虽然生成器端与自编码器通过 MSE 和量化损失联合训练，但生成二叉树的过程属于离散确定性图算法操作，无法通过梯度反向传播对谱切分边界进行端到端的动态微分更新。
多模态条件扩展方向：未来的演进方向在于引入跨模态注意力，使文本 Prompt 或单张 2D 图像直接指引结构预测流的菲德勒切分走向，实现可控、保拓扑的高保真 Text-to-3D 自回归生成。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将图拉普拉斯递归谱切分与非平衡二叉树机制引入点云自回归生成，彻底重塑了离散序列化空间。
实验充分度: ⭐⭐⭐⭐⭐ 在 ShapeNet 单类别、55 类别条件生成、点云上采样及细致消融实验中数据详实，评测基准完备。
写作质量: ⭐⭐⭐⭐⭐ 数学表达严密，图表设计清晰，问题痛点与技术解决方案环环相扣、动机极强。
价值: ⭐⭐⭐⭐⭐ 为解决无序三维点云在自回归范式下的结构碎裂痛点提供了优雅且高效的范式参考，极具启发性。

模型变体	级联生成 (Cas.)	结构先验 (Struc.)	谱拓扑编码器 (TPA)	几何校准位置编码 (GCPE)	1-NNA CD↓ (%)	MMD CD Std.↓	1-NNA EMD↓ (%)	MMD EMD Std.↓	说明
Base	-	-	-	-	53.66	\(0.357 \times 10^{-3}\)	54.26	\(1.027 \times 10^{-3}\)	PointNSP 风格量化 VAE + 全局自注意力生成器
V1	✓	-	-	-	53.02	\(0.343 \times 10^{-3}\)	53.84	\(0.923 \times 10^{-3}\)	引入分层级联生成范式
V2	✓	✓	-	-	52.75	\(0.318 \times 10^{-3}\)	53.65	\(0.713 \times 10^{-3}\)	引入类似 NVG 的 kNN 平衡二叉树先验
V3	✓	✓	✓	-	51.89	\(0.304 \times 10^{-3}\)	53.01	\(0.636 \times 10^{-3}\)	替换为混合递归谱划分拓扑自动编码器
Full	✓	✓	✓	✓	51.47	\(\mathbf{0.294 \times 10^{-3}}\)	52.68	\(\mathbf{0.506 \times 10^{-3}}\)	完整模型（加入 GCPE 动态锚定）