HoloTetSphere: Unified TetSphere Mesh Reconstruction for Physical Simulations¶

会议: ECCV 2026
论文: ECCV 原文
领域: 3D视觉
关键词: 四面体网格重建、物理仿真、拓扑自适应优化、高斯泼溅、HC-Laplacian平滑

一句话总结¶

针对传统两阶段表面提取与四面体化易出错、以及现有 Lagrangian 四面体基元同胚约束导致拓扑无法自适应且碎块割裂的问题，HoloTetSphere 提出了四面体与高斯球紧密耦合的双层连续隐式表示，通过共享顶点的连续不透明度场实现可微剪枝，并结合双阶段 HC-Laplacian 平滑交替优化几何，端到端重建出高质量且单一连通的物理级四面体网格。

研究背景与动机¶

高精度的三维实体几何建模是物理仿真、机器人交互与虚拟现实的核心基石。然而，传统物理网格生成管线大多采用“表面重建 + 四面体化”的两阶段范式：先从多视图图像或神经隐式场（如 NeRF/NeuS）中提取三维表面网格，再借助 TetGen 等离散网格生成工具对其进行实体剖分。这种解耦流程极其脆弱，重建表面中微小的非流形缺陷、孔洞或自相交都会直接导致后续四面体剖分崩溃，或生成严重畸变、不闭合的退化单元。

为规避离散剖分的痛点，以 3D Gaussian Splatting 和 TetSphere Splatting 为代表的显式 Lagrangian 神经表征应运而生。TetSphere 尝试将四面体单元作为可变形实体基元，兼顾渲染保真度与几何形变。然而，Lagrangian 框架通常依赖可微形变场对预设基元进行同胚变换（homeomorphic mapping），这施加了严格的拓扑不变约束：优化过程无法动态产生开孔、镂空或分离区域，只能在预处理阶段堆叠大量预先离散的独立四面体球球簇。这导致 TetSphere 极度依赖初始球心分布，且最终重建物本质上是数十个互不相连的离散碎片，无法承受有限元（FEM）模拟中的连续固体内力传导，一受外力碰撞便碎裂瓦解。

本文的核心切入点在于：彻底打破固定同胚形变的拓扑枷锁，将连续拓扑优化理论引入四面体-高斯混合系统。核心 idea：将四面体网格顶点与内嵌高斯球深层耦合，构建基于顶点共享连续标量场的可微元素剪枝机制，并配合双阶段法向分解 HC-Laplacian 平滑与法向引导的几何交替优化，从单一凸包端到端重建出水密、单一连通且可直接用于物理仿真的整体四面体网格。

方法详解¶

整体框架¶

HoloTetSphere 改变了传统多视图几何重建与网格后处理割裂的范式。整个系统首先使用 2D Gaussian Splatting（2DGS）在多视角输入下快速提取粗糙点云，计算其三维凸包并通过 Delaunay 剖分生成包围目标物体的单一粗糙四面体水密网格 \(\mathcal{M}_0\)。

在优化过程中，框架通过顶点重心插值将高斯球（Gaussian Sphere）与每个四面体单元紧密绑定，使高斯的空间运动与四面体顶点严格联动。优化流程分为两个交替演进的子系统：在拓扑优化阶段，模型通过顶点隐式标量场预测连续不透明度场，利用边缘正则化约束实现平滑连通的可微剪枝，动态剔除物体外部的冗余四面体；在耦合几何优化阶段，针对剪枝后内部四面体暴露到表层导致的表面凹凸粗糙与收缩萎缩问题，系统结合带法向一致性监督的高斯引导优化与双阶段 HC-Laplacian 表面平滑算法，实现兼顾高频细节恢复与整体体积保持的高精度物理网格生成。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角图像输入"] --> B["凸包初始化与初始剖分<br/>2DGS点云→凸包→Delaunay网格"]
    B --> C["连续不透明度场可微剪枝<br/>顶点共享标量场 + Eikonal/平滑正则"]
    C --> D["高斯-四面体交替几何优化<br/>重心插值联动 + 渲染法向投影监督"]
    D --> E["双阶段 HC-Laplacian 平滑<br/>阶段1凹陷推出 + 阶段2全局平滑保持体积"]
    E --> F["单一连通物理四面体网格<br/>抗形变FEM仿真与高保真视图渲染"]

关键设计¶

1. 连续不透明度场可微剪枝：摆脱同胚拓扑约束并抑制空间破碎

传统 Lagrangian 实体基元采用独立的不透明度参数或硬编码掩码，在多视角梯度驱动下容易出现孤立的空洞、浮空碎片（floaters）以及网格拓扑剧烈碎化。为了在单一连通凸包网格上实现物理合理的连续挖空与拓扑自适应，HoloTetSphere 借鉴连续拓扑优化思想，将可微剪枝建立在“顶点共享标量场”之上。

具体而言，模型为四面体网格中的每个顶点分配一个可学习的标量场数值 \(\phi\)。对于任意四面体单元 \(m_i=(v_{i,1}, v_{i,2}, v_{i,3}, v_{i,4})\)，其内部耦合高斯球的不透明度 \(\alpha_i\) 并不独立参数化，而是由四面体四个顶点的重心平均值经过缩放和可学习陡度映射得出：

\[\bar{\phi}_i = \frac{1}{4} \sum_{j=1}^4 \phi_{i,j}, \quad \alpha_i = \sigma(-s \cdot \bar{\phi}_i \cdot \kappa)\]

其中 \(\sigma(\cdot)\) 为 Sigmoid 函数，\(s\) 为固定缩放因子，\(\kappa\) 为控制内外部过渡陡峭程度的可学习锐度参数。由于相邻四面体天然共享顶点，任何顶点的标量变化都会平滑传导至相邻单元，形成空间连续过渡。为防止场发生梯度崩塌或剧烈高频震荡，拓扑优化目标在渲染损失 \(L_{\text{render}}\) 之外引入了网格边集 \(E\) 上的离散 Eikonal 项与拉普拉斯平滑项：

\[L_{\text{topo}} = L_{\text{render}} + \lambda_{\text{eik}} L_{\text{eik}} + \lambda_{\text{smooth}} L_{\text{smooth}}\]

\[L_{\text{eik}} = \frac{1}{|E|} \sum_{(u,v)\in E} \left( \frac{|\phi_u - \phi_v|}{\|x_u - x_v\|_2} - 1 \right)^2, \quad L_{\text{smooth}} = \frac{1}{|E|} \sum_{(u,v)\in E} (\phi_u - \phi_v)^2\]

\(L_{\text{eik}}\) 正则化了空间变化率使场保持类似符号距离的渐变性质，而 \(L_{\text{smooth}}\) 抑制高频局部噪声。这两项协同保证了在设定阈值剪除无效区域时，网格能够形成平滑连贯的边界，而非破碎的离散单元。

2. 高斯-四面体交替几何优化：利用双向法向监督实现保真度精修

在几何重构阶段，高斯球与四面体不仅存在位置映射，更承担着互补的表征角色：高斯泼溅具备卓越的辐射场拟合能力，但缺乏宏观流形连续性；四面体具有刚性网格拓扑，但难以快速拟合精细纹理。框架设计了一种双向交替几何优化循环。

前向传递中，耦合高斯球中心 \(g_k\) 的位置由对应四面体四个顶点的重心坐标精确插值确定：\(g_k = \sum_{i=1}^4 \beta_{ik} v_i\)。高斯球的属性在多视角图像辐射损失下快速迭代，并在可微渲染中反向生成高质量的表面法向图 \(n_{\text{GS}}\)。反向传递中，为了引导四面体表面顶点捕捉微小起伏，系统将四面体边界三角形面片的光栅化法向图 \(n_{\text{Tet}}\) 与高斯表面法向进行对齐，通过带有效前景掩码 \(M_{\text{mask}}\) 的遮罩余弦距离损失进行强监督：

\[L_{\text{norm}} = \sum_p M_{\text{mask}}(p) \left( 1 - \langle n_{\text{GS}}(p), n_{\text{Tet}}(p) \rangle \right)\]

这种“高斯渲染出法向 → 法向监督四面体顶点位移”的机制，使得四面体表面能够敏锐地贴合复杂纹理产生的几何法向变化，避免了纯网格光栅化陷入局部平坦极值的缺陷。

3. 双阶段 HC-Laplacian 表面平滑：抑制剪枝暴露面的体积萎缩并释放表面形变

当不透明度场剔除外部非实体四面体后，原本深埋于内部的粗糙四面体单元骤然暴露为新的表面边界。若直接采用传统均一的双调和能量（Bi-harmonic Energy）或标准网格平滑算法，网格会出现严重向内萎缩（surface shrinkage）与特征平化。为此，作者提出了一种解耦法向位移的二阶段 HC-Laplacian 平滑能量与加权双调和约束。

HC-Laplacian 将表面顶点集 \(S = \{v \in F_\partial \mid \text{count}(f)=1\}\) 上的位移差解耦为切向分量 \(d_i^t\) 与法向分量 \(d_i^n\)（进一步区分为向外法向位移 \((d_i^n)^+\) 与向内法向位移 \((d_i^n)^-\)）：

\[L_{\text{HC}} = \sum_{i \in S} \left( \|d_i^t\|_2^2 + \lambda_{\text{cond}}(t) \left( (d_i^n)_-^2 + (d_i^n)_+^2 \right) \right)\]

在第一阶段（\(\lambda_{\text{cond}}=0\)），算法完全放开法向约束，重点消除切向畸变并将剪枝残留的凹陷表面向外推展，恢复物体的宏观体积；在第二阶段（\(\lambda_{\text{cond}}=1\)），算法引入对称法向阻尼以实现全局表面光顺。此外，对于网格内部与表面的变形刚度，框架设计了加权双调和能量 \(L_w = w(x) \|L F_x\|_2^2\)：对表面顶点赋较小权重 \(w(x_i)=\gamma < 1\)，赋予表层拟合几何细节的形变自由度；内部顶点则保留强正则化刚度，确保内部四面体单元形态规则、杜绝网格自翻转。

损失函数 / 训练策略¶

整个管线基于单个 NVIDIA RTX 4090 运行 30k 次迭代。前 15k 步完成初步特征对齐与凸包拟合；从 15k 步开始进入拓扑与几何交替优化阶段，每 5k 步为一个交替块。

拓扑剪枝阶段目标：\(L_{\text{topo}} = L_{\text{render}} + \lambda_{\text{eik}} L_{\text{eik}} + \lambda_{\text{smooth}} L_{\text{smooth}}\)，优化顶点标量场 \(\phi\)。
几何微调阶段联合目标：\(L_{\text{geo}} = \lambda_m L_{\text{mask}} + \lambda_n L_{\text{norm}} + \lambda_{\text{HC}} L_{\text{HC}} + \lambda_w L_w\)。其中 \(L_{\text{mask}} = \|\hat{O} - M_{\text{gt}}\|_1\) 为渲染不透明度与真实前景剪影的 \(L_1\) 偏差。针对优化中偶发的四面体反转（Inverted Tetrahedra），系统配合极轻量的后处理清理：98.3% 的反转单元仅为局部顶点索引顺序颠倒，可通过重排置换直接恢复正雅可比行列式；仅对占比 0.14% 的极微弱退化边缘单元按体积阈值剔除，确保导出网格实现 100% 无反转。

实验关键数据¶

主实验¶

评估在包含封闭表面与开放表面的组合 3D 数据集上进行（Thingi10k、DeepFashion3D、Objaverse、Google Scanned Objects）。分别对比了 Eulerian 方法（NeuS2）以及 Lagrangian 方法（2DGS、DMesh、TetSphere Splatting）。

表面网格精度对比结果如下表所示：

方法	几何表征类型	具备渲染能力	Chamfer-L1 ↓	Chamfer-L2 ↓	Recall ↑	Hausdorff ↓	Volume IoU ↑
NeuS2	Eulerian	✓	0.0118	0.0209	0.7754	0.2419	0.7275
2DGS	Lagrangian	✓	0.0130	0.0190	0.6678	0.1337	0.6557
DMesh	Lagrangian	✗	0.0152	0.0213	0.6720	0.1173	0.6572
TetSphere	Lagrangian	✓	0.0173	0.0291	0.6644	0.1784	0.5712
Ours	Lagrangian	✓	0.0102	0.0163	0.7442	0.1118	0.7268

实体四面体网格质量与直接用于物理仿真的连通性指标对比如下表所示（上部为单元几何质量，下部为整体连通性；Vol. 表示直接体积重建，"-" 表示无需外部 TetGen 剖分）：

方法	Min Dihedral (°) ↑	Aspect Ratio ↓	Inverted Ratio ↓	Manifoldness Rate ↑
TetSphere	32.000	2.587	0.057	100.0%
Ours	39.503	2.554	0.017	96.7%

方法	实体表征 (Vol.)	单一连通率 (Single-Comp.) ↑	多连通率 (Multi-Comp.) ↓	平均连通块数 (Avg. Comp.) ↓	剖分失败率 (Failed) ↓
NeuS2 + TetGen	✗	60.0%	30.0%	1.48	10.0%
2DGS + TetGen	✗	40.0%	26.7%	2.10	33.3%
DMesh + TetGen	✗	53.3%	46.7%	7.60	0.0%
TetSphere	✓	0.0%	100.0%	61.21	-
Ours	✓	96.7%	3.3%	1.03	-

同时，在视图合成方面，Ours 达到 40.68 dB PSNR、0.987 SSIM 和 0.024 LPIPS，超越 2DGS（40.25 dB / 0.985 / 0.035）和 TetSphere（34.75 dB / 0.977 / 0.045），推理速度达到 50 FPS。在自由落体受力碰撞实验中，Ours 表面与真实形变仿真的 Chamfer 距离全程保持在 0.02 以内（从 \(t=0.0\) 的 0.0096 缓慢增加至 \(t=1.0\) 的 0.0184）。

消融实验¶

消融实验深入验证了双阶段平滑、加权双调和项以及连续不透明度场的关键作用：

配置	法向一致性 (NC) ↑	F1 Score ↑	Edge F1 ↑	Edge Precision ↑	Volume IoU ↑	最大连通率 ↑	连通块数 (Num. Comp.) ↓
Full model (Ours)	0.819	0.428	0.285	0.379	0.620	1.0	1
w/o two-stage HC	0.784	0.317	0.132	0.227	0.558	1.0	1
w/o W-Biharm.	0.684	0.444	0.274	0.178	0.645	1.0	1
w/o Con-opacity	0.597	0.405	0.202	0.119	0.585	0.98	133

关键发现¶

拓扑碎化的根源：移除连续不透明度场（w/o Con-opacity）会导致单个四面体被独立随机丢弃，网格直接破碎成 133 个细小孤立组件，边缘精度从 0.379 骤降至 0.119，验证了顶点共享标量场是维持整体连通性的决定性因素。
平滑与收缩的权衡：无加权双调和项（w/o W-Biharm.）虽然因为过度全局收缩在宏观 IoU 指标上呈现轻微数字虚高（0.645 vs 0.620），但其法向一致性暴跌至 0.684，边缘精度骤降一半以上（0.178），无法消除表面粗糙锯齿。
体积保持效果：去除两阶段 HC-Laplacian 机制会导致单阶段平滑严重压缩体积并抹平特征，F1-score 显著下降至 0.317。阶段 1 的凹陷外推对维持原物体的厚度与体积至关重要。

亮点与洞察¶

将连续拓扑优化引渡至显式高斯四面体：巧妙地将 PDE/拓扑优化中的连续材料密度分布映射为四面体顶点的连续标量场，用光滑可微的方式解决了离散四面体基元在三维重建中不可微“开孔与剔除”的本质难题。
渲染法向反哺几何的闭环优化：高斯泼溅渲染速度快且能精确刻画纹理带来的光影起伏，利用其微观法向监督宏观四面体网格的顶点位移，既保证了拓扑规则性又实现了接近高斯点云的高频几何还原度。
端到端物理就绪（Physics-ready）：消除了图形学界几十年间“模型表面重建易、TetGen 剖分实体难”的工程断层，重建网格直接开箱即用支持 FEM 动力学模拟，为机器人抓取交互与可变形物体物理生成提供了极有价值的范式。

局限与展望¶

减法拓扑的局限：当前的拓扑自适应优化机制基于初始凸包进行“减法剪枝（pruning）”，无法在优化中后期主动向外增生新几何或实现细微网格动态分裂，对于凸包外的大幅度凹陷恢复相对耗时。
极薄板状物体的退化：论文指出当物体局部相对厚度低于 0.34 时，四面体单元容易因尺度过薄发生退化或单元倒置，需要更密集的多分辨率剖分机制支持。
材料参数的同质性假设：目前物理模拟将整块四面体网格视为均质连续弹性介质，未来可结合多模态物理先验赋予不同四面体单元差异化的杨氏模量与质量密度场。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次在显式可微体积高斯框架下利用顶点共享标量场解决拓扑自适应剪枝与物理仿真单一连通问题。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖几何重建精度、网格质量、FEM 碰撞仿真、新视角渲染以及详实的连通性消融分析。
写作质量: ⭐⭐⭐⭐⭐ 数学建模严谨，问题链条清晰，图表与实验论证非常详尽。
价值: ⭐⭐⭐⭐⭐ 极大推进了从神经多视角图像直接迈向可交互物理仿真资产的工程落地，对具身智能和影视图形学具有重要参考价值。