HilbertGen-3D:Hilbert--Multifractal Conditioning for Topology-Aware 3D Generation¶

会议: NeurIPS 2026
arXiv: 2610.22720
论文: https://arxiv.org/abs/2610.22720
代码: https://github.com/shixuanli01/HMC-DiT3D
领域: 3D生成与编辑
关键词: 3D点云生成、扩散模型、希尔伯特空间填充曲线、多重分形分析、拓扑感知条件

一句话总结¶

本文提出面向三维点云扩散生成的 HilbertGen-3D 框架，通过 3D 希尔伯特空间填充曲线将多尺度体素质量测度序列化为保局部的结构特征，并结合配分函数拟合的广义分形维度作为全局宏观几何先验，经由紧凑的感知重采样瓶颈模块注入扩散 Transformer，显著提升了生成点云的全局拓扑一致性与采样多样性。

研究背景与动机¶

三维点云生成建模是数字资产创建、自动驾驶感知模拟与虚拟现实环境构建的核心基础技术。近年来，以 DiT-3D 为代表的扩散 Transformer（Diffusion Transformer）架构在三维形状合成上展现出强大的多模态分布拟合能力。然而，现有主流基于体素化或网格补丁（patchify）的点云扩散模型主要依赖局部几何算子：模型将连续三维空间划分为离散体素并提取局部 token，期望去噪网络在无全局结构显式约束的情况下，自发重构复杂的全局几何分布。在实际生成过程中，这种局部驱动的范式容易导致生成的物体在细长部件、孔洞、分支结构以及跨尺度的非均匀质量分布上出现拓扑断裂或结构失真，难以保持全局几何宏观一致性。

直接引入全局拓扑结构约束面临显著的技术权衡。已有前沿工作（如 TopoDiT-3D）尝试借助拓扑数据分析中的持续同调（Persistent Homology, PH）提取连通分支、环和空洞等拓扑特征，但持续同调计算流程复杂且难以直接表征几何质量在连续空间中的聚集与非均匀扩散特性；同时，由于持续同调条形码/持续图缺乏自然的序列化结构，其拓扑特征与现代 Transformer 序列骨干的适配开销较高。另一方面，点云体素化后虽然具有网格拓扑，但三维规则体素网格存在严重的稀疏性，直接在多尺度全量网格上进行跨注意力融合会导致计算复杂度随分辨率三次幂爆炸。

本文的切入视角是：物体的几何拓扑本质上深刻反映在不同空间尺度下质量密度的集聚与扩散行为中，而空间填充曲线（Space-filling curve）天然具备将高维几何无损映射为一维保局部序列的能力。核心 idea：利用 3D 希尔伯特曲线对多尺度体素概率测度进行保局部的一维序列化，提取局部窗口 Token 与基于配分函数多阶矩的多重分形广义维度全局描述符，并通过感知重采样瓶颈模块高效注入扩散去噪网络。

方法详解¶

整体框架¶

HilbertGen-3D 采用基于体素补丁化的扩散 Transformer 作为去噪主干，整体流程包含输入体素化与补丁投影、希尔伯特-多重分形条件（HMC）特征提取、感知重采样瓶颈融合以及反体素化去噪生成四个核心阶段。对于表面均匀采样的无序点云 $X \in \mathbb{R}^{N \times 3}$，模型首先在主分辨率 $V=32$ 下进行体素化并划分为非重叠补丁（patch size $p=4$），生成几何序列 Token $H_t \in \mathbb{R}^{L \times d}$（其中 $L=(V/p)^3=512$）。与此同时，独立的条件分支对归一化点云在尺度集合 $\mathcal{S}=\{3,4,5\}$ 上提取多尺度体素测度，经 3D 希尔伯特曲线映射与窗口划分后由轻量 Transformer 编码为多尺度 HMC Token $C \in \mathbb{R}^{M \times d}$；并在各尺度上计算配分函数多阶矩，拟合广义分形维度向量 $\mathbf{D} \in \mathbb{R}^{|\mathcal{Q}|}$，由 MLP 映射为全局嵌入 $g_{\text{HMC}} \in \mathbb{R}^d$。随后，瓶颈融合模块借助少量可学习瓶颈隐变量将几何 Token 与 HMC Token 压缩融合，通过自适应层归一化（AdaLN）注入全局分形先验与时间步特征，经多层 DiT 块迭代去噪后反体素化输出预测噪声 $\varepsilon_\theta$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["加噪点云 Xt 体素化与补丁投影<br/>生成几何 Token Ht"] --> D["感知重采样瓶颈融合<br/>可学习瓶颈隐变量 B 交互压缩"]
    B["多尺度体素测度与希尔伯特序列化<br/>尺度划分 + 3D 希尔伯特重排 + 窗口 Transformer"] -->|HMC Token C| D
    C["多重分形广义维度全局先验<br/>配分函数多阶矩拟合 + 广义维度向量 D + MLP"] -->|全局嵌入 g_HMC 与时间步 AdaLN 调制| E["DiT 骨干网络块迭代更新<br/>调制后的特征反向回注几何 Token"]
    D --> E
    E --> F["反补丁化与反体素化输出<br/>预测噪声 ε_θ 并重构生成点云 X0"]

关键设计¶

1. 多尺度体素测度与希尔伯特序列化：将三维非均匀几何保局部转化为一维结构化序列

针对现有模型局部 Patch 切分切断多尺度几何连续性、丢失拓扑邻域上下文的问题，该设计利用 3D 希尔伯特曲线在离散网格中的连续遍历特性，将空间局部邻域转换为紧密的一维序列索引。模型预设离散空间尺度集合 $\mathcal{S}=\{s_1, \dots, s_K\}$（实验采用 $\mathcal{S}=\{3,4,5\}$，对应网格分辨率 $R_s=2^s \in \{8, 16, 32\}$，体素边长 $\varepsilon_s=1/R_s$）。在尺度 $s$ 的体素集合 $V_s$ 上，首先统计落入每个体素 $v$ 的点数以构建非负质量测度 $m_s(v) = \sum_{n=1}^N \mathbf{1}\{x_n \in v\}$，并归一化为离散概率测度： $$\mu_s(v) = \frac{m_s(v)}{\sum_{v' \in V_s} m_s(v')}$$ 随后，定义三维离散希尔伯特映射双射 $\pi_s: V_s \to \{0, \dots, |V_s|-1\}$ 及其逆映射 $\pi_s^{-1}(t)$，将三维体素空间按递归八叉树旋转连接次序映射为一维密度序列 $c_s[t] = \mu_s(\pi_s^{-1}(t))$。由于希尔伯特曲线严格避免了普通栅格或字典序的长距离跳跃，三维中相邻的紧凑微元在一维序列中仍保持高度相邻。模型将各尺度的 $c_s$ 切分为长度 $w=64$ 的连续窗口，拼接位置、尺度与有效长度编码后，通过轻量级 Transformer 序列编码器 $E_{\text{seq}}$ 联合编码所有尺度的窗口，输出包含多尺度拓扑几何细节的 HMC Token $C \in \mathbb{R}^{M \times d}$，其中 $M = \sum_{s \in \mathcal{S}} \lceil R_s^3 / w \rceil = 8 + 64 + 512 = 584$。

2. 多重分形广义维度全局先验：刻画尺度不变与质量凝聚特性的紧凑全局结构描述符

纯序列 Token 虽能提供细粒度局部上下文，但扩散模型在宏观上去噪仍需一个能够概括物体整体质量聚集形态的紧致全局标量特征。传统欧氏维度或单标度分形无法区分复杂物体的多层次密度分布。为此，本文引入统计物理中的多重分形理论（Multifractal Theory），定义跨尺度的配分函数（Partition Function）： $$Z_s(q) = \sum_{t=0}^{|V_s|-1} c_s[t]^q = \sum_{v \in V_s} \mu_s(v)^q, \quad q \in \mathcal{Q}$$ 其中矩阶数集合选为 $\mathcal{Q}=\{1,2,3\}$。不同阶数 $q$ 对点云密度的敏感度截然不同：$q=1$ 对应信息维，捕捉空间熵与有效支撑体积；$q=2$ 关联关联维；更高的正阶数则极大放大了质量集中区域的权重，突出粗大骨架或密集构件的缩放规律。在尺度集合 $\mathcal{S}$ 上，通过关于体素尺度对数 $\log \varepsilon_s$ 与配分函数对数 $\log Z_s(q)$ 的样本均值进行最小二乘线性拟合，计算质量指数 $\tau(q)$： $$\tau(q) = \frac{\sum_{s \in \mathcal{S}} (\log \varepsilon_s - \overline{\log \varepsilon})(\log Z_s(q) - \overline{\log Z(q)})}{\sum_{s \in \mathcal{S}} (\log \varepsilon_s - \overline{\log \varepsilon})^2}$$ 进而导出广义分形维度 $D(q) = \frac{\tau(q)}{q - 1}$（$q \neq 1$；$q=1$ 通过熵斜率法计算）。将所有矩对应的广义分形维度拼接为全局描述向量 $\mathbf{D} = (D(q))_{q \in \mathcal{Q}} \in \mathbb{R}^{|\mathcal{Q}|}$。该向量对体素遍历顺序完全不变，以极低维度精准编码了物体的整体拓扑与跨尺度自相似性。最后通过带归一化的多层感知机映射为全局嵌入 $g_{\text{HMC}} = E_{\text{glob}}(\mathbf{D}) \in \mathbb{R}^d$，并与时间步嵌入线性投影相加构成 $a_t = E_{\text{time}}(t) + P_g(g_{\text{HMC}})$，控制每个 DiT 块的自适应层归一化（AdaLN）。

3. 感知重采样瓶颈融合：解耦稀疏体素与多尺度Token计算复杂度的低秩融合机制

若在每个 DiT 块中直接将几何 Token $H_t \in \mathbb{R}^{L \times d}$ 与多尺度 HMC Token $C \in \mathbb{R}^{M \times d}$ 进行全交叉注意力计算，其计算与显存开销将随序列长度乘积 $\mathcal{O}(L \cdot M)$ 激增（此处 $L=512, M=584$）。同时，三维点云在三维空间中呈现高度表面离散性，大部分体素和补丁为空或低信息量，全量交叉注意力容易引入冗余噪声。受 Perceiver Resampler 思想启发，本文设计了一种固长隐变量瓶颈融合机制。定义 $K_b=128$ 个可学习瓶颈隐变量 $B \in \mathbb{R}^{K_b \times d}$（满足 $K_b \ll L+M$）。融合过程分为两步：首先，隐变量 $B$ 作为 Query，对几何 Token 与投影后的 HMC Token 拼接序列 $[H_t; \widetilde{C}]$ 执行跨注意力聚合，实现自适应特征压缩与稀疏噪声过滤： $$B \leftarrow B + \mathrm{XAttn}(B, [H_t; \widetilde{C}]), \quad \widetilde{C} = P_C(C)$$ 随后，压缩后的瓶颈向量 $B$ 送入多层 DiT 块进行自注意力特征演化，各层均由融合了全局分形先验的 $a_t$ 进行 AdaLN 调制。最后，几何 Token $H_t$ 作为 Query，反向从更新后的瓶颈特征 $B$ 中查询全局与多尺度拓扑上下文： $$H_t \leftarrow H_t + \mathrm{XAttn}(H_t, B)$$ 这种三明治式的双向瓶颈设计，使得主干 DiT 的深层自注意力计算完全与多尺度 HMC Token 长度解耦，在保证丰富拓扑条件充分注入的同时，大幅压低了显存开销与推理延迟。

损失函数 / 训练策略¶

训练阶段，扩散网络遵循标准 DDPM 的简化均方误差目标函数，以单位权重在均匀采样的扩散时间步 $t \sim \operatorname{Unif}\{1, \dots, T\}$ 下预测注入的高斯噪声： $$\mathcal{L}_{\mathrm{DDPM}} = \mathbb{E}_{(X_0, \mathcal{C}), t, \varepsilon} \left[ \|\varepsilon - \varepsilon_\theta(X_t, t, \mathcal{C})\|_2^2 \right]$$ 其中 clean 点云 $X_0$ 用于无损提取 HMC 条件 $\mathcal{C} = (\{c_s\}, \mathbf{D})$。模型在 Adam 优化器下以学习率 $1 \times 10^{-4}$、批次大小 512 训练 10,000 个 epoch。

在推理生成阶段，由于测试时无真实点云输入，本文设计了两种条件生成变体： - Ours-bank（条件库检索采样）：直接从训练集预计算的 HMC 特征库中随机抽取真实的配对条件 $(\{c_s\}, \mathbf{D})$ 注入扩散网络。 - Ours-VAE（条件生成先验）：在训练集上预先独立训练一个条件变分自编码器（VAE，隐变量维度 64，编码器通道 2048-1024-512，SiLU 激活，$\beta_{\text{VAE}}=0.05$）。推理时先通过高斯噪声采样由 VAE 生成条件，再驱动扩散采样。

实验关键数据¶

主实验¶

在 ShapeNet 基准数据集的 Chair（椅子）、Airplane（飞机）和 Car（汽车）三个主流类别上，以 Chamfer Distance（CD）和 Earth Mover's Distance（EMD）为基础距离测度，全面对比 1-Nearest Neighbor Accuracy（1-NNA，衡量真实与生成分布一致性，50% 为最优理想值）与 Coverage（COV，衡量样本多样性与覆盖率，越大越好）。实验基于 DiT-3D 的 S/4 配置开展，下表记录了代表性三维点云生成模型对比结果：

方法	Chair 1-NNA (CD) ↓	Chair 1-NNA (EMD) ↓	Chair COV (CD) ↑	Chair COV (EMD) ↑	Airplane 1-NNA (CD) ↓	Airplane 1-NNA (EMD) ↓	Airplane COV (CD) ↑	Airplane COV (EMD) ↑	Car 1-NNA (CD) ↓	Car 1-NNA (EMD) ↓	Car COV (CD) ↑	Car COV (EMD) ↑
PointFlow [26]	62.84	60.57	42.90	50.00	75.68	70.74	47.90	46.41	58.10	56.25	46.88	50.00
PVD [32]	57.09	60.87	36.68	49.24	73.82	64.81	48.88	52.09	54.55	53.83	41.19	50.56
LION [29]	53.70	52.34	48.94	52.11	67.41	61.23	47.16	49.63	53.41	51.14	50.00	56.53
DiT-3D [18]	56.31	55.82	47.21	50.75	66.21	63.17	48.26	45.89	68.13	64.24	43.44	44.08
TopoDiT-3D [6]	48.87	46.53	56.67	57.12	57.15	55.83	57.05	54.11	57.95	59.09	55.58	51.98
HilbertGen-3D (VAE)	50.25	48.42	54.32	54.83	56.79	53.25	58.17	59.25	51.14	49.81	53.12	54.45
HilbertGen-3D (bank)	49.01	47.36	57.62	57.98	54.79	52.83	57.92	58.58	46.21	47.54	56.82	57.86

注：1-NNA 指标越接近 50% 越优。在 Chair、Airplane 和 Car 三个类别上，Ours-VAE 与 Ours-bank 均在 1-NNA 指标上优于 TopoDiT-3D，绝对偏差缩减最多达 8.90 个百分点（Car EMD 49.81 vs 59.09）；在覆盖率指标上超越 TopoDiT-3D 最高达 5.88 个百分点（Car EMD 57.86 vs 51.98）。

消融实验¶

在 Airplane 类别上（固定批次 128、训练 2000 epoch 快速验证协议），针对 HMC 序列 Token、多重分形全局嵌入以及感知重采样瓶颈融合三大组件进行系统性剥离消融：

配置	1-NNA (CD) [50最优]	1-NNA (EMD) [50最优]	COV (CD) ↑	COV (EMD) ↑	说明与影响分析
Ours (完整模型)	55.57	53.66	60.98	59.27	具备全部多尺度局部与全局拓扑分形引导
w/o HMC tokens	57.33	54.76	58.50	57.67	移除希尔伯特局部Token，CD 1-NNA 恶化 1.76，COV-CD 显著下降 2.48
w/o global HMC embedding	55.84	53.58	60.24	58.25	移除广义维度全局先验，CD 1-NNA 略降 0.27，两项覆盖率均轻微下降
w/o bottleneck fusion	60.00	54.54	55.92	55.83	替换为全量跨注意力，CD 1-NNA 大幅恶化 4.43，COV-CD 暴跌 5.06

关键发现¶

瓶颈融合结构的必要性：移除瓶颈融合模块（w/o bottleneck fusion）带来了最严重的性能退化，1-NNA-CD 偏离度扩大 4.43%，覆盖率指标下跌超过 3.4–5.0 个百分点。这证明在稀疏点云生成任务中，未经低秩瓶颈压缩直接进行稠密跨注意力，会导致大量稀疏体素噪声干扰扩散学习。
希尔伯特局部 Token 与全局分形维度的互补性：移除 HMC Token 会造成 EMD-1-NNA 与多样性指标的大幅滑落；而全局广义维度向量 $\mathbf{D}$ 则为主干提供了稳定的宏观密度集聚锚点，两者协同保证了几何细节与整体轮廓的保真度。
算力与推理效率优势：在 S/4 模型配置下，HilbertGen-3D 的采样速度达到 2.60 s/it（显著优于 DiT-3D 的 8.50 s/it 与 TopoDiT-3D 的 8.20 s/it）；峰值训练显存仅为 51.0 GB（远低于 DiT-3D 的 78.4 GB）。在 Chair 类别上，单 epoch 训练时间从 TopoDiT-3D 的 11.8 秒骤降至 2.3 秒，取得 5.13 倍（加速 80.5%）的训练加速。
多类别联合训练鲁棒性：在拓展实验中，当训练集扩展至多类别（Chair+Car+Airplane）并同时测试 Chair 时，纯类别标签控制的 DiT-3D 其 1-NNA-CD 从 51.99 恶化至 75.80，而引入 HMC 条件库的 HilbertGen-3D 指标稳健维持在 48.81–49.36 之间，验证了 HMC 特征对类别形态具有强先验解耦能力。

亮点与洞察¶

空间填充曲线用于生成条件的范式突破：以往工作仅将希尔伯特曲线用于点云局部邻域建图或线性注意力序列化，本文首次将其升格为多尺度结构条件生成信号，利用一维测度序列无损刻画了三维复杂曲面分布。
多重分形配分函数的物理建模迁移：将非线性动力学与多重分形分析的广义维度（信息维、关联维及高阶凝聚态）引入深度几何生成，提供了一种完全排列不变、数学形式严密的紧凑全局几何指纹。
低开销拓扑融合设计：以固长瓶颈隐变量实现 Perceiver 式特征双向桥接，成功规避了持续同调复杂图匹配或三维高阶张量跨注意力的算力陷阱，实现了性能反超与 5 倍训练加速。

局限与展望¶

依赖预提取或先验生成的参考条件：在无真实点云的纯推断阶段，模型依赖于 Bank 检索或辅助 VAE 生成 HMC 特征。当生成极端长尾或分布外（OOD）类别时，VAE 条件生成的准确度可能成为性能瓶颈。
未探讨端到端文本/图像导引生成：当前方法主要聚焦于无条件类别点云生成评测，尚未建立文本 Prompt 到多重分形希尔伯特特征的跨模态对齐映射。
后续改进空间：未来可探索通过扩散蒸馏技术（Diffusion Distillation）进一步减少推理去噪步数，并研究贝叶斯估计方法以更稳健地反推测试时几何分形先验。

评分¶

新颖性: ⭐⭐⭐⭐☆ 创新性地结合 3D 希尔伯特遍历序列与多重分形广义维度，为拓扑与密度感知的三维生成提供了全新物理视角。
实验充分度: ⭐⭐⭐⭐☆ 覆盖 ShapeNet 五大类别、全量对比基线、细致组件消融、多类别干扰分析与计算时延显存实测，数据翔实。
写作质量: ⭐⭐⭐⭐☆ 理论推导严谨自洽，公式与架构图表叙述清晰，实验对比针对性强。
价值: ⭐⭐⭐⭐☆ 为三维点云与隐式场扩散生成中的全局拓扑/质量先验建模开辟了兼顾高保真度与轻量化计算的实用路径。