SILSA: Sliding-Window Slice Latents for Topology-Preserving High-Resolution 3D Generation¶

会议: NeurIPS 2026
arXiv: 2610.02201
代码: https://plan-lab.github.io/silsa
领域: 3D生成与编辑
关键词: 3D生成, 拓扑保持, 切片隐空间, 整流流, 持续同调

一句话总结¶

SILSA 提出沿三条主轴的滑动窗口切片隐空间（Slice Latents），结合持续同调与 Betti 跃迁切片拓扑监督以及体积锚点格子（VAL）跨轴通信，以固定 384 个紧凑 token 实现高分辨率、拓扑连贯且单阶段的图像到 3D 网格生成。

研究背景与动机¶

高分辨率 3D 原生生成模型近年来逐渐从单样本可微渲染优化转向直接在 3D 隐空间中训练扩散或整流流（Rectified Flow）模型。主流方案如 Trellis、SparseFlex、XCube 等通常将 3D 几何离散化为稠密体素、分层八叉树或结构化稀疏体素网格（SLAT）。然而，这类表征方式的 token 序列长度严格受限于物体的表面积与体素活跃度，导致序列膨胀；为了使计算可承受，系统往往必须拆分为级联的多阶段管线——先用一个模型预测活跃几何占据结构，再用另一个生成器填充精细体素特征。这不仅加重了训练与推理开销，而且将连续曲面切割为成千上万个局部微小体素，严重撕裂了宏观拓扑结构。

在此表征困境下，轻量化替代方案（如全局 Triplane 或无序点集 Latent）虽然将 token 规模固定在较小尺寸，却大幅削弱了隐变量与局部真实几何之间的直接空间对应关系。在薄壁构件、细长手柄、密集轮辐、分叉枝干以及细小镂空孔洞等复杂拓扑场景中，模型往往即使能够取得较低的表面渲染误差，却经常犯下灾难性的结构错误：例如细杆断裂中断、邻近构件伪粘连融成实心块、或者把镂空孔洞直接填平抹死。现有全局 3D 拓扑损失若直接施加在整身体积网格上，其持续同调计算复杂度随分辨率三次级膨胀，在端到端生成训练中完全不可行。

本文的切入视角是重新审视切片几何：带有局部深度的有限厚度横截面切片天然能在单一单元内完整保留二维平面的连贯拓扑，而沿坐标轴的一串序列能直接暴露出连通分支、孔洞以及边界随深度的平滑演化。核心 idea：将 3D 形状分解为沿三条规范主轴、具有滑动窗口重叠的固定数量切片隐变量（Slice Latents），通过切片级持续同调匹配与相邻 Betti 跃迁监督显式约束拓扑演化，并在整流流生成器中借助体积锚点格子实现共享 3D 空间的跨轴协同。

方法详解¶

整体框架¶

SILSA 的总体流程分为两个核心阶段：首先训练一个拓扑感知切片自编码器（Topology-Aware SliceVAE），将 3D 表面点云沿 \(x\)、\(y\)、\(z\) 三轴编码为固定 \(3N\) 个滑动窗口切片隐变量，并通过自剪枝稀疏体积上采样解码重建高分辨率网格，在此阶段施加切片级拓扑损失；随后冻结 SliceVAE，训练一个单阶段整流流 Transformer（Rectified-Flow Transformer），以单张图像的 DINOv2 特征为条件生成 \(3N\) 个切片隐变量，期间依靠体积锚点格子（Volumetric Anchor Lattice, VAL）完成跨轴空间信息的双向读写与协同。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["单张输入图像 / 3D点云与法向量"] --> B["滑动窗口切片编码器<br/>三主轴点云局部聚合与高斯隐变量映射"]
    B --> C["体积散射与稀疏上采样解码<br/>16³粗网格散射→256³稀疏自剪枝解码"]
    C --> D["切片拓扑保持监督<br/>各向同性切片PH图匹配 + 深度Betti跃迁对齐"]
    D --> E["整流流生成器与体积锚点格子<br/>VAL空间记忆双向读写 + DINOv2图像跨注意力条件引导"]
    E --> F["高分辨率拓扑连贯3D网格输出<br/>DMC可微表面提取，无级联、低时延"]

关键设计¶

1. 滑动窗口切片编码与多轴体积散射：以固定紧凑序列捕捉连续空间横截面

针对体素表征随表面积膨胀、序列长度不固定的问题，SILSA 弃用了传统的稀疏局部体素单元，转而沿 \(x, y, z\) 三条规范坐标轴分别划分 \(N=128\) 个轴对齐深度区间（bin）。若每个切片仅聚合单个切片内部的点云，遇到空旷或稀疏部位时点数极少甚至为空，导致特征退化。为此，设计引入宽度为 \(w=8\) 的滑动窗口机制，使第 \(k\) 个 bin 能够聚合其前后各 \(w/2\) 个连续切片内的所有点集 \(\mathcal{P}_{k}^{j}\)。在窗口内部，每个点不仅输入三维坐标和表面法向量，还显式附带相对于中心切片的离散深度偏移量 \(\delta(\mathbf{p})=\lfloor p^{(j)}\cdot N\rfloor - k\)，由共享 MLP 处理后通过 Max-Pooling 输出各切片特征 \(\mathbf{h}_{k}^{j}\)，并参数化为高斯后验分布以采样潜在隐变量 \(\mathbf{z}_{k}^{j} \in \mathbb{R}^d\)。三条轴总共仅产生 \(3N = 384\) 个固定长度 token。在解码端，由于切片分辨率 \(N=128\) 高于解码器初始粗分辨率 \(D=16\)，设计采用归一化加权聚合将多个相邻切片隐变量投影散射（Scatter）到三维网格对应的平面切片中，融合为一体化粗体积网格，再经两级稀疏自剪枝 Transformer 逐级上采样至 \(256^3\)，最后经由可微对偶行进立方体（Dual Marching Cubes, DMC）直接析出高质量网格。

2. 切片级拓扑保持监督：持续同调与 Betti 跃迁联合对齐

常规渲染损失（深度、法向、轮廓 L1 损失）只能驱动几何表面贴合，对细小支架断裂、邻近部件误粘连或孔洞提早闭合这类拓扑畸变极不敏感。若直接在全三维场计算持续同调，三维复形匹配的计算复杂度过高且端到端求导极度缓慢。SILSA 发现将拓扑监督降维至各轴二维横截面不仅计算高度可行，且能精准捕捉沿深度的拓扑临界变化。解码器输出致密 SDF 网格后，系统沿三主轴等距抽取 \(N_s=128\) 个横截面，经 Sigmoid 函数转换为平滑占有率图 \(\hat{\mathcal{S}}_k^j\)。拓扑损失包含互补的两部分：

\[ \mathcal{L}_{\mathrm{topo}} = \lambda_{\mathrm{PH}}\mathcal{L}_{\mathrm{PH}} + \lambda_{\mathrm{trans}}\mathcal{L}_{\mathrm{trans}} \]

其中切片内持续同调损失 \(\mathcal{L}_{\mathrm{PH}}\) 针对每个二维切片诱导的超水平集过滤，计算第 0 维连通分支（Connected Components, \(d=0\)）与第 1 维孔洞（Holes, \(d=1\)）的持续图（Persistence Diagram），使用 Wasserstein 距离将预测特征点对 \((b_p, d_p)\) 与真实真值特征点对进行匹配，未能匹配的预测噪点则惩罚其生命周期距离，从而强力抑制伪孔洞与碎片化悬空碎片。切片间 Betti 跃迁损失 \(\mathcal{L}_{\mathrm{trans}}\) 则根据莫尔斯理论（Morse Theory），提取相邻切片间的 Betti 数阶跃序列 \(\Delta B_{k,d}^j = B_{k+1,d}^j - B_{k,d}^j\)，使用 Straight-Through 估计器对离散计数进行反向传播，精准约束孔洞与连通分支在特定深度位置的产生、合并、分裂与消亡，杜绝孔洞过早封闭或零件提早断开。

3. 体积锚点格子（VAL）：整流流中的跨轴空间记忆协同

在第二阶段从单张图像生成三轴切片隐变量时，面临的关键难题是如何确保独立的 \(x, y, z\) 轴切片序列协同对应同一个物理 3D 实体，避免各轴预测发生空间错位或几何冲突。直接使用全局全切片自注意力容易导致通信无序且二次复杂度较高。SILSA 设计了体积锚点格子（Volumetric Anchor Lattice, VAL）——一个分辨率为 \(D \times D \times D\)（默认 \(D=16\)）、通道为 \(C\) 的共享三维隐式张量空间。在 24 层整流流 Transformer 内部，每个模块依次执行：轴内自注意力（Intra-axis Self-Attention）、锚点读取（Anchor Read）、门控锚点写入（Anchor Write）、图像交叉注意力以及前馈网络。在读写操作中，特定轴与深度 \(k\) 的切片 token 天然对应 VAL 网格中的一个正交切面 \(\mathbf{G}_j(k)\)：

\[ \mathbf{G}_{j}(k) \leftarrow (1-\mathbf{z}_g)\odot \mathbf{G}_{j}(k) + \mathbf{z}_g \odot f_w(\tilde{\mathbf{h}}_k^j, \mathbf{g}_k^j),\quad \mathbf{z}_g = \sigma(W_g[\tilde{\mathbf{h}}_k^j; \mathbf{g}_k^j]) \]

切片 token 首先通过交叉注意力读取该深度平面内由其他正交轴此前沉积的空间特征，感知交叉截面的几何轮廓；接着利用通道级门控机制将自身更新后的切片证据写回该空间切面。这一几何先验严格的读写机制构成了共享物理黑板，强制三向切片在整流流去噪过程中实时对齐，彻底消除了跨轴不一致性。

损失函数 / 训练策略¶

SliceVAE 阶段采用端到端联合训练：

\[ \mathcal{L}_{\mathrm{VAE}} = \mathcal{L}_{\mathrm{render}} + \beta_{\mathrm{KL}}\mathcal{L}_{\mathrm{KL}} + \lambda_{\mathrm{topo}}\mathcal{L}_{\mathrm{topo}} \]

超参数设置上，渲染损失权重分别为深度 \(\lambda_d=1.0\)、法向量 \(\lambda_n=0.5\)、轮廓掩码 \(\lambda_m=1.0\)；KL 散度正则项系数 \(\beta_{\mathrm{KL}}=10^{-4}\)；拓扑损失权重 \(\lambda_{\mathrm{topo}}=0.1\)（切片数 \(N_s=128\)，平滑温度 \(\kappa=0.02\)）。优化器为 AdamW，学习率 \(1\times 10^{-4}\)，在 8 张 NVIDIA A100 GPU 上训练 5 个 epoch。

第二阶段整流流 Transformer 冻结 SliceVAE，针对输入图像提取 DINOv2 视觉特征，采用线性插值速度匹配目标，损失函数为预测速度场与基准位移 \((\boldsymbol{\epsilon} - \mathcal{Z}^{(0)})\) 之间的 L2 误差。优化器为 AdamW，初始学习率 \(2\times 10^{-4}\)，余弦退火调度，总共训练 300K 步。推理阶段仅需使用欧拉积分器执行 50 步积分，即可单阶段直接产出全部 384 个切片隐变量并一次性输入 VAE 解码器重构网格。

实验关键数据¶

主实验¶

评估基于 Trellis-500K 训练，测试集为随机抽样的 200 个 Toys4K 资产及 50 张野外真实图像。在单图生成实验（表 1）和 VAE 重构保真度（表 2）上，SILSA 相比业界最强的 3D 原生表征模型（如 SparseFlex、Trellis、Dora、XCube）展现出显著优势。

表 1：单图生成 3D 几何与渲染质量对比（主评测）

模型	CLIP ↑	FD ↓	KD ↓	PSNR ↑	LPIPS ↓	COV (%) ↑	MMD (‰) ↓
Shap-E	80.16	34.64	0.87	16.84	0.21	61.41	19.19
LN3Diff	82.79	26.98	0.76	18.73	0.19	55.21	19.84
Direct3D	74.12	24.97	0.33	22.36	0.17	58.72	18.46
3DTopia-XL	76.46	24.21	0.29	22.06	0.18	58.93	17.62
InstantMesh	84.41	20.13	0.29	25.72	0.11	66.84	16.72
GaussianAnything	80.91	22.46	0.44	23.84	0.15	60.01	15.47
XCube	84.91	10.32	0.09	23.99	0.13	73.01	14.92
Dora	80.35	22.84	0.23	24.68	0.13	67.42	15.63
SAR3D	84.67	22.12	0.18	26.31	0.10	70.30	15.12
Trellis	85.03	10.31	0.08	24.01	0.14	72.10	14.36
SparseFlex	88.22	11.16	0.08	30.12	0.05	73.12	14.52
SILSA (本文)	87.94	10.16	0.08	32.74	0.05	79.08	14.02

表 2：3D VAE 重构几何保真度与拓扑错误率对比

模型	Token 数量	生成阶段	CD ↓	[email protected] ↑	[email protected] ↑	IoU ↑	Betti-Err ↓
Dora	1,280	1	9.76	67.92	38.71	64.85	4.916
XCube	64,821	2	3.21	81.74	52.06	78.13	4.382
Trellis (SLAT)	19,847 ± 4,312	2	1.12	92.83	71.45	86.29	2.871
SparseFlex	87,453 ± 18,264	2	0.61	96.18	83.62	92.54	1.743
SILSA (本文)	384	1	0.59	96.79	84.03	93.01	1.582

消融实验¶

表 3：拓扑损失组成与跨轴通信机制消融（基于 VAE 重构）

配置变体	核心改动	CD ↓	IoU ↑	Betti-Err ↓	说明
Full Model	完整 \(\mathcal{L}_{\mathrm{topo}}\) + VAL (\(D=16\))	0.59	93.01	1.58	完整方案效果最优
w/o \(\mathcal{L}_{\mathrm{topo}}\)	去除全部切片拓扑损失	0.78	81.76	4.43	拓扑错误率暴增 180%
Only \(\mathcal{L}_{\mathrm{PH}}\)	仅保留切片内持续同调损失	0.72	84.41	2.91	缺少跨深度临界事件演化约束
Only \(\mathcal{L}_{\mathrm{trans}}\)	仅保留相邻切片 Betti 跃迁损失	0.69	87.16	2.87	缺少截面内细致孔洞与分支匹配
No Communication	三轴切片独立去噪，无通信	5.87	49.26	17.91	几何彻底崩溃，各轴空间严重错位
Direct Cross-Attn	轴间直接全注意力通信	0.60	93.18	1.64	欠缺共享空间物理先验，Betti 误差偏高
VAL (\(D=8\))	粗糙锚点格子分辨率	0.65	91.37	1.86	空间定位粒度不足
VAL (\(D=32\))	更细致锚点格子分辨率	0.60	93.18	1.62	增加通信与计算开销，收益饱和

关键发现¶

轻量紧凑表征大幅碾压计算开销：SILSA 仅使用 384 个固定切片 token，相比次紧凑的 Dora 减少 70.0% 的 token 量，相比 SparseFlex、Trellis 和 XCube 减少超过 98% 的 token 数量。在单张 A100 GPU（batch size=4）上，训练显存由 Dora 的 14.6GB 降至 8.7GB（减少 40.4%），推理时间由 SparseFlex 的 1.15s/shape 和 Trellis 的 1.93s/shape 降至 0.34s/shape（降低 58.5% 以上），实现了单阶段高吞吐生成。
拓扑损失与空间通信不可或缺：若完全去掉切片拓扑损失 \(\mathcal{L}_{\mathrm{topo}}\)，Betti-Err 会从 1.58 剧烈恶化至 4.43，表明单纯的几何渲染损失会产生大量断裂和填平错误；若生成阶段切断跨轴通信，Betti-Err 会飙升至 17.91 且 IoU 骤降至 49.26%，证实轴间空间协同是多轴切片隐变量能够融合成单一三维实体的基石。
滑动窗口重叠至关重要：在切片参数消融中，若无重叠（\(w=1\)），Betti-Err 高达 3.24；引入适当重叠（\(w=8\)）可充分融合深度邻域上下文，使误差降至 1.58。而过度切片（如 \(N=1024\)）不仅会带来数倍 token 膨胀，还会因切片过薄碎化局部证据导致 Betti 误差反弹至 1.77。

亮点与洞察¶

将 3D 表征降维为三轴重叠切片流：避开了体素网格与八叉树随分辨率和表面积爆炸的根本矛盾，用极紧凑的 \(3\times 128 = 384\) 个 token 实现了原本需数万稀疏 token 才能承载的高清网格表达。
二维持续同调与一维跃迁解耦三维拓扑监督：巧妙地将计算昂贵、难以求导的三维体积持续同调，分解为切片内 2D 持续图匹配以及跨切片 1D Betti 序列演化匹配，在保证梯度平滑可导的同时大幅压降拓扑计算复杂度。
可复用的物理锚点记忆黑板（VAL）机制：在 Transformer 中利用坐标对应的 3D 锚点网格完成非配对序列的跨视角/跨轴聚合，这种空间绑定的读写机制相比纯粹的 Dense Cross-Attention 更具结构归纳偏置，可拓展至多视角雷达、CT/MRI 断层合成等任意多轴截面协同任务。

局限与展望¶

作者指出的局限：目前的切片划分严格绑定于正交的三条规范直角坐标主轴（\(x, y, z\)），若物体存在复杂对角线斜向或非刚体极端扭曲结构，投影至正交平面时可能出现几何压缩伪影。
评测与实际观察局限：拓扑评估主要基于合成的 Toys4K 及 DeepFashion3D 网格，在开放场景包含复杂半透明材质、极度稠密毛发或大范围非流形杂乱背景时，切片离散化与 DMC 表面抽取可能受到噪声干扰。
未来改进方向：探索可学习或自适应法向朝向的动态切片流机制，以及将切片隐空间直接扩展至带纹理材质（PBR Materials）的端到端生成。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用三主轴滑动切片与切片级持续同调/Betti跃迁化解了高分辨率 3D 原生生成的效率与拓扑保真度矛盾。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖单图生成、VAE 重构保真度、跨轴机制消融、切片超参分析及野外泛化测试，对比基线全面扎实。
写作质量: ⭐⭐⭐⭐⭐ 概念清晰，公式推导严谨自洽，方法论与动机层层递进。
价值: ⭐⭐⭐⭐⭐ 为轻量级、实时、结构保真的原生 3D 生成提供了极具启发性的全新表征范式。