DySurface: Consistent 4D Surface Reconstruction via Bridging Explicit Gaussians and Implicit Functions¶

会议: NeurIPS 2026
arXiv: 2605.10360
OpenReview: https://openreview.net/forum?id=h9og8tDeEz
代码: https://yunminjin2.github.io/projects/dysurface
领域: 重建与渲染
关键词: 动态表面重建、4D高斯溅射、神经隐式表面、有符号距离函数、正反向形变场

一句话总结¶

通过构建显式变形高斯引导的稀疏体素网格（VoxGS-DSDF），架起显式高斯前向运动与隐式符号距离函数（SDF）体绘制反向映射之间的桥梁，实现了高质量、时序一致的水密4D动态网格重建。

研究背景与动机¶

在动态场景的三维数字化建模中，基于神经辐射场（NeRF）和三维高斯溅射（3DGS）的新视角合成（NVS）技术取得了显著进展。然而，仅依赖光度一致性损失进行优化的方法，往往面临严重的几何多义性问题。以4D-GS为代表的显式高斯方法虽然渲染拟真度高且速度极快，但由于缺乏连续表面约束，离散图元在优化过程中容易脱离真实几何，产生大量漂浮伪影；若直接通过泊松重建等后处理提取网格，在剧烈非刚性形变下会导致表面断裂、噪点密布且缺乏时序拓扑一致性。

这种几何缺陷的核心根源在于显式离散表征与连续隐式表征之间深层的结构性冲突：动态3DGS采用从规范空间到动态观测空间的前向映射（Forward Mapping）来显式光栅化离散运动图元；而基于SDF的神经隐式体绘制为了沿光线采样积分，必须采用从动态空间投射回规范空间的反向映射（Backward Mapping）。由于动态场景中缺乏显式几何锚定，单纯依靠反向扭曲场优化隐式连续场极难收敛且易陷入局部极值，导致提取出的物体表面模糊且不连续。

为了兼顾显式离散高斯捕获复杂运动的高效性与隐式连续SDF的高保真水密拓扑约束，DySurface提出了统一三阶段混合框架。核心 idea：利用显式变形高斯构建动态稀疏体素网格，通过局部邻域几何与外观特征锚定隐式SDF体绘制的反向变形场与零等值面，并经由循环一致性与SDF-GS锚定损失打通显式与隐式表征，最终将高斯运动场无缝迁移至提取的水密网格上。

方法详解¶

整体框架¶

DySurface整体采用分阶段渐进式优化架构，包含三个紧密耦合的阶段：首先，高斯溅射（GS）分支建模规范3D高斯及其前向形变场；其次，体素化GS驱动的动态SDF（VoxGS-DSDF）分支通过查询变形高斯构建的动态稀疏体素，为连续隐式SDF体渲染提供空间几何上下文先验，并通过循环一致性约束消除正反向形变鸿沟；最后，动态网格精炼分支从收敛的规范SDF中提取连续水密网格，并继承精炼前向形变场以驱动全序列动态表面重构。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角动态视频序列"] --> B["高斯形变场与GS优化<br/>规范高斯 + 3D稀疏卷积预测前向残差"]
    B --> C["体素化动态SDF与光线查询匹配<br/>KNN稀疏体素构建空间上下文 η_d 引导反向形变"]
    C --> D["隐式零等值面体绘制与锚定约束<br/>NeuS体积分 + 循环一致性 + SDF-GS锚定损失"]
    D --> E["动态网格精炼与形变场迁移<br/>Marching Cubes提取规范网格 + 表面拉普拉斯平滑"]
    E --> F["时序一致的高保真4D水密网格"]

关键设计¶

1. 高斯形变场与GS优化：显式非刚性运动先验学习 针对传统隐式反向映射在剧烈非刚性运动下难以收敛的问题，GS分支利用离散图元显式拟合动态运动。首先将规范空间的3D高斯离散化为稀疏体素网格，经由3D稀疏卷积编码器提取全局体素隐特征，并与局部点级特征拼接输入MLP解码器，预测每个高斯图元在时间 $t$ 的中心位置、尺度和旋转形变残差： $$ \mathcal{T}\theta(x, t) = \Phi\psi(\text{Concat}(\mathbf{f}{global}(x), \mathbf{f}(x)), t) = (\Delta \mu_k, \Delta s_k, \Delta r_k) $$ 变形后的高斯集合 $\mathcal{X}_d(t)$ 用于合成对应时刻的视角图像，并作为后续阶段几何骨架的强先验。

2. 体素化动态SDF与光线查询匹配：桥接正反向形变鸿沟 针对体绘制从动态光线向规范空间反向映射缺乏几何指导的痛点，VoxGS-DSDF分支将变形高斯转化为动态稀疏体素网格 $\nu(\mathcal{X}_d(t))$。在动态空间沿视线采样查询点 $q_d$ 时，执行K近邻（KNN）搜索匹配其在距离阈值 $\tau$ 内的有效体素邻域 $\mathcal{N}'(q_d)$，汇聚其几何特征与嵌入颜色外观特征，与位置编码拼接构成空间调节向量 $\eta_d$： $$ \eta_d = \text{Concat}\left(\gamma(q_d), \frac{1}{K'} \sum_{k \in \mathcal{N}'} \mathbf{f}{geo,k}, \frac{1}{K'} \sum\right) $$ 反向形变网络以此为条件预测动态点到规范空间的偏移 }'} \mathbf{f}_{app,k$q_c = q_d + \Phi_\omega(\eta_d, t)$，将无约束的隐式空间查询锚定在变形高斯图元所限定的局部流形上。

3. 隐式零等值面体绘制与锚定约束：双向一致性与紧致边界正则化 为促使隐式场的零等值面精确贴合显式表面并保证正反向运动自洽，该设计引入双向循环一致性损失与SDF-GS几何锚定损失。循环一致性约束前向高斯位移与反向查询偏移在双向映射中互为逆变换：$\mathcal{L}_{cycle} = \|\Delta \overleftarrow{q}_{fwd} + \Delta \overrightarrow{q}_{bwd}\|_1$。同时，锚定损失通过二值交叉熵（BCE）约束规范空间中到高斯中心距离较远的区域具有非零SDF值，防止隐式场发散或产生悬空结构： $$ \mathcal{L}{SDF-GS} = \text{BCE}(|s(q_c)| > \epsilon, d_c) > \epsilon) $$ 体绘制中采用类似NeuS的SDF逻辑斯蒂转换公式将SDF值转换为局部不透明度，并施加Eikonal程函损失与时序平滑损失，确保渲染图像严格尊重零等值面边界。}(q_c; \mathcal{X

4. 动态网格精炼与形变场迁移：水密连续表面的平滑动态驱动 针对直接从离散高斯提取网格破坏时序对应关系的问题，该模块在VoxGS-DSDF收敛后，直接通过Marching Cubes从规范SDF的零等值面提取拓扑闭合的高分辨率水密三角网格 $\mathcal{M}_c$。由于规范SDF与规范高斯在同一坐标系下联合对齐优化，提取的网格顶点 $v_c$ 天生与高斯图元几何共形。通过复用GS分支学得的前向空间变换网络，网格顶点在任意时间步的动态位置直接计算为 $v_d(t) = v_c + [\mathcal{T}_{\theta'}(v_c, t)]_\mu$，并在最后微调阶段施加曲率自适应的拉普拉斯网格平滑约束 $\mathcal{L}_{lap}$，实现了顶点级时序一致的稳定表面流动。

损失函数 / 训练策略¶

训练采用三阶段严格串行优化，前一阶段完成后参数完全冻结： 1. GS分支（30k步）：优化光度损失 $\mathcal{L}_{rgb}$、不透明度掩码损失 $\mathcal{L}_{mask}$（权重0.3）和极小形变正则 $\mathcal{L}_{reg}^{gs}$（权重1.0）。 2. VoxGS-DSDF分支（30k步）：联合优化体绘制光度损失、循环一致性损失（权重1.0）、SDF-GS锚定损失（权重1.0）、高斯深度与法线蒸馏损失（权重1.0）、Eikonal程函损失（权重0.1）与相邻帧反向位移时序平滑损失 $\mathcal{L}_{smooth}$（权重1.0）。 3. 网格精炼分支（1k步）：冻结规范网格顶点拓扑，微调前向位移网络，结合网格可微渲染损失、曲率最低25%区域的Laplacian平滑损失（权重1.0）及顶点位移正则项（权重0.1）。

实验关键数据¶

主实验¶

在D-NeRF合成数据集上对Lego、T-Rex、HellWarrior三类非刚性场景（评估 $t \in \{0.0, 0.5, 1.0\}$ 处的真实3D几何与渲染质量）以及DG-Mesh数据集上的综合对比如下：

数据集 / 场景	方法	vIoU (↑)	CD (↓)	PSNR (↑)	SSIM (↑)	LPIPS (↓)
D-NeRF (Lego)	DG-Mesh	0.2655	0.0236	21.29	0.8382	0.1590
D-NeRF (Lego)	D-2DGS	0.2138	0.0135	23.29	0.8872	0.1121
D-NeRF (Lego)	DySurface (本文)	0.2988	0.0133	25.40	0.9439	0.0245
D-NeRF (T-Rex)	DG-Mesh	0.5736	0.0044	28.95	0.9590	0.0651
D-NeRF (T-Rex)	D-2DGS	0.4997	0.0054	28.68	0.9668	0.0434
D-NeRF (T-Rex)	DySurface (本文)	0.5783	0.0050	36.75	0.9932	0.0069
D-NeRF (HellWarrior)	DG-Mesh	0.3068	0.0198	25.46	0.9590	0.0841
D-NeRF (HellWarrior)	D-2DGS	0.3079	0.0132	25.50	0.9583	0.0488
D-NeRF (HellWarrior)	DySurface (本文)	0.3024	0.0124	31.14	0.9835	0.0169
D-NeRF (全场景均值)	TiNeuVox	0.2593	0.0165	28.71	0.9382	0.0673
D-NeRF (全场景均值)	GaGS	0.2422	0.0146	32.24	0.9753	0.0181
D-NeRF (全场景均值)	DG-Mesh	0.3814	0.0137	25.23	0.9186	0.1027
D-NeRF (全场景均值)	D-2DGS	0.3426	0.0111	25.82	0.9374	0.0681
D-NeRF (全场景均值)	DySurface (本文)	0.3932	0.0102	31.09	0.9735	0.0161
DG-Mesh 数据集	DG-Mesh	0.7602	0.0090	30.45	-	0.0554
DG-Mesh 数据集	D-2DGS	0.6147	0.0084	24.84	-	0.0989
DG-Mesh 数据集	DySurface (本文)	0.7571	0.0078	30.92	-	0.0401

在时序一致性定量评测中（衡量规范网格跟踪轨迹与法线误差），DySurface相比DG-Mesh显著降低误差：EPE-3D从 0.007823 降至 0.007237，流角度误差从 20.42 降至 20.13，轨迹法线角度误差（TNAE）从 15.08 大幅降至 11.30，轨迹位置误差从 0.00637 降至 0.00508。

消融实验¶

在D-NeRF基准上对核心模块进行的均值消融实验结果如下：

配置	vIoU (↑)	CD (↓)	PSNR (↑)	SSIM (↑)	LPIPS (↓)	说明
Full (Ours)	0.3932	0.0102	31.09	0.9735	0.0161	完整模型
w/o VoxGS-DSDF	0.3726	0.0120	27.22	0.9602	0.0297	移除变形高斯体素与匹配机制，SDF反向形变仅靠动态点位置编码
w/o $\mathcal{L}_{Cycle}$	0.3519	0.0197	27.50	0.9558	0.0298	移除正反向循环一致性损失，前向高斯形变与反向光线映射解耦
w/o $\mathcal{L}_{SDF-GS}$	0.3388	0.0248	24.15	0.9308	0.0420	移除显式到隐式几何锚定损失，几何优化退化产生严重悬空和断裂

关键发现¶

SDF-GS锚定损失对几何收敛具有决定性作用：去掉 $\mathcal{L}_{SDF-GS}$ 后，vIoU从 0.3932 暴跌至 0.3388，Chamfer Distance恶化一倍以上（从 0.0102 增至 0.0248），PSNR骤降约 7 dB。这表明在动态场景中，仅凭体积渲染监督难以约束隐式零等值面的空间几何，显式高斯的空间距离锚定是避免空间伪影与漂浮物的根本保障。
循环一致性极大提升了高频细节与时序稳定性：引入 $\mathcal{L}_{Cycle}$ 使 vIoU 从 0.3519 提升至 0.3932，LPIPS显著降低约 46%（0.0298 → 0.0161），证明双向可逆的运动正则化显著避免了反向映射网络过拟合单视角导致的形变畸变。
几何保真度与渲染质量实现帕累托最优：单纯以NVS为导向的方法（如GaGS）虽渲染PSNR略高（32.24 vs 31.09），但几何vIoU极差（仅0.2422）；而传统动态网格方法（DG-Mesh）渲染质量低（PSNR 25.23）。DySurface以 0.3932 的最高vIoU和 31.09 的高PSNR，彻底突破了动态表面重构中“保渲染还是保网格”的固有权衡。

亮点与洞察¶

正反向映射矛盾的系统性破解：高斯前向映射擅长捕获离散运动，隐式体积分依赖反向映射。论文利用变形高斯体素特征构造动态上下文作为反向映射条件，并施加循环闭环约束，巧妙消解了两类表征在动力学求解上的结构不兼容性。
规范网格无缝继承显式形变场：网格提取发生在收敛的规范SDF零等值面上，规避了逐帧网格提取导致的拓扑抖动与顶点失配，随后直接迁移高斯分支学得的前向空间变换网络驱动动态网格，架构轻量优雅。
可复用的显隐协同范式：对于动态场景中的神经物理模拟、人体驱动以及可编辑资产生成，本方法提供了一种由粗粒度显式粒子先验引导细粒度隐式连续场优化的范式，具有很强的跨任务可迁移性。

局限与展望¶

复杂拓扑突变的建模局限：方法假设动态场景具备相对稳定的规范拓扑结构，并通过连续形变场驱动，对于涉及拓扑剧烈撕裂、流体飞溅或物体融合的极端场景尚难以适应。
三阶段串行训练耗时较长：整体管线需要依次优化高斯分支（约2小时）、VoxGS-DSDF分支（约2小时）及网格精炼（约1小时），单场景在RTX 4090上耗时约5小时，未来需探索联合端到端加速与轻量化蒸馏。
极小特征尺寸敏感性：距离阈值 $\epsilon$ 与场景空间尺寸强相关，过大导致表面细节钝化，过小引入图元中心噪声，需要场景自适应的尺度的超参调节机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙解决了动态高斯前向变形与神经隐式反向体积分之间的时空结构矛盾，提出了首个显隐协同的动态表面重建框架。
实验充分度: ⭐⭐⭐⭐⭐ 不仅在多数据集上进行了翔实的几何与渲染双重评测，更专门搜集整理了动态3D真实网格基准并提供了密集体素与轨迹误差评测。
写作质量: ⭐⭐⭐⭐⭐ 逻辑主线清晰，正反向映射的冲突剖析切中要害，架构与实验章节严谨自洽。
价值: ⭐⭐⭐⭐⭐ 为高质量4D动态数字资产获取、水密网格重建与具身物理仿真提供了可靠的技术支撑。