Parametric SDF for Dynamic Surface Reconstruction¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://timchonggao.github.io/psdf
领域: 重建与渲染
关键词: 动态表面重建、参数化SDF、可微渲染、FlexiCubes、PBR材质分解

一句话总结¶

将静态有向距离场拓展为时间相关的多项式与傅里叶混合参数化轨迹，结合可微等值面提取与可微PBR渲染管线，实现了大尺度非刚性形变与拓扑变化下高保真动态网格的端到端重建。

研究背景与动机¶

从多视角视频中重建高保真的动态表面是计算机视觉与图形学的核心挑战之一，在虚拟现实、影视制作、机器人感知与物理仿真中具有重要应用。近年来，基于神经辐射场（NeRF）与3D高斯泼溅（3D-GS）的新视角合成技术取得了飞跃性进展，其动态拓展方案也能渲染出极具逼真感的外观。然而，这些以渲染外观为中心的方法普遍缺乏对底层物理几何的强约束，导致提取出的网格表面存在严重噪点、时间不连贯甚至空洞浮渣，难以直接导入下游物理引擎或进行精确交互与编辑。

现有动态表面重建方法主要受限于两类范式固有缺陷的制约。基于拉格朗日视角的全局形变方法依赖静态标准网格（canonical template）并通过变形场映射到目标时刻，虽能保持一定时间连贯性，但固定拓扑假设与MLP的过度平滑效应使其完全无法应对拓扑撕裂、合并与剧烈非刚性形变；基于增量优化的逐帧传播方法则极易受到稀疏视角的累积误差干扰。而基于欧拉视角的4D时空体分解方法（如Tensor4D）虽不受固定拓扑约束，却因缺乏强物理与时间正则化约束，表面常出现剧烈的高频闪烁与退化面片。

本文切入的角度在于重新审视几何演化的物理本质：在三维欧拉空间中，即使整体物体经历复杂的非刚性形变与拓扑跳变，任意固定空间坐标点处的有向距离函数（SDF）值随时间的变化轨迹在数学上依然展现出高度连续且规则的1D时序特征。核心 idea：将传统离散网格上的静态SDF标量值升级为由多项式与傅里叶基函数紧凑参数化的时序演化曲线（p-SDF），把高维非刚性几何跟踪转化为网格节点处高效的1D时序信号拟合，并通过可微等值面提取与物理反向渲染实现显式网格端到端优化。

方法详解¶

整体框架¶

p-SDF整体系统以已标定内参、外参的多视角RGB视频及前景掩码为输入，输出随时间连续演化的三角网格序列及其解耦的PBR材质与环境光照。在任意给定时间戳 \(t\)，系统首先在空间离散三维网格的每个节点处计算参数化基函数曲线，得到该时刻瞬时的三维静态SDF标量场；随后通过可微等值面提取技术提取显式三角网格 \(M_t = (V_t, F_t)\)；与此同时，时空时序三平面外观场在可见表面顶点处查询漫反射反照率、金属度、粗糙度与自遮挡等PBR属性；最终送入可微PBR光栅化着色器渲染多视角图像，在像素级重构损失与时空平滑正则的监督下全流程反向传播梯度，联合优化底层曲线系数、外观特征与环境贴图。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角视频序列与时间戳 t"] --> B["参数化SDF轨迹求解<br/>多项式与傅里叶基函数插值"]
    B --> C["可微等值面提取<br/>FlexiCubes生成瞬时网格 Mt"]
    A --> D["时序三平面外观场<br/>4D分解多分辨率哈希网格"]
    C --> E["可见表面位置与法线光栅化"]
    D --> F["PBR材质属性预测<br/>反照率/金属度/粗糙度/遮挡度"]
    E --> G["可微PBR着色与渲染<br/>解耦环境光照与材质"]
    F --> G
    G --> H["端到端损失反向传播<br/>光度损失+曲线平滑+正则项"]

关键设计¶

1. 参数化SDF轨迹表达：时序基函数解耦平滑漂移与高频抖动 针对传统拉格朗日形变场难以处理拓扑撕裂以及隐式积分累积误差的难题，p-SDF在有界三维网格（分辨率默认设为 \(96^3\)）的每个节点 \(p_i\) 处，将标量SDF值定义为关于时间 \(t\) 的连续解析函数 \(s(p_i, t)\)。具体采用多项式基函数与傅里叶基函数的混合组合形式：

\[s(p_i, t) = \sum_{n=1}^{N_p} \mu_{i,n} t^n + a_{i,0} + \sum_{n=1}^{N_f} \left( a_{i,n} \cos(\omega_n t) + b_{i,n} \sin(\omega_n t) \right)\]

其中多项式基函数（\(N_p=6\)）负责捕获大范围、低频的全局刚性与慢速平移趋势；预定义离散频率的傅里叶基函数（\(N_f \in [18, 100]\)）则精确捕获快速非刚性形变与高频周期细节。该设计将全场所有节点的时间演化紧凑参数化为一个系数矩阵 \(W \in \mathbb{R}^{N^3 \times (N_p + 2N_f + 1)}\)。无需复杂的逐点MLP或时序数值积分，任意时间戳下的SDF场均可通过矩阵解析计算瞬时求得，不仅天然内嵌时序连续性先验，而且完美规避了形变场在拓扑开闭时的退化问题。

2. 可微等值面网格提取：打通端到端几何显式监督 在任意时刻 \(t\) 完成节点SDF评估后，系统使用可微等值面提取算法FlexiCubes从离散网格场直接提取连续三角网格 \(M_t = (V_t, F_t)\)。与传统离散Marching Cubes或后处理泊松重建不同，FlexiCubes通过在立方体单元内部引入自适应权重与梯度可传导的拓扑查找机制，使渲染图像像素级误差对物体表面顶点位置 \(V_t\) 的梯度能够精确反传回空间网格节点的基函数系数矩阵 \(W\)。这种显式网格表示避免了基于点云或高斯泼溅重建时常见的内部空洞与针状退化三角面片（sliver triangles），确保几何表面具有强结构完整度。

3. 时序三平面外观分解：降维建模动态PBR材质 由于光照变化、镜面高光和视线遮挡会导致固定空间点的RGB颜色发生剧烈阶跃跳变，外观信号无法像SDF那样仅靠平滑连续的1D低阶时间函数描述。为解决几何与材质的耦合歧义，系统构建了由三个多分辨率三维时空哈希网格组成的解耦外观场：\(G_{xyt}\)、\(G_{xzt}\) 与 \(G_{yzt}\)。对于在时刻 \(t\) 提取出的网格表面点 \((x, y, z)\)，通过三线性插值分别在三平面上投影查询时空特征向量并进行通道拼接，最后经由轻量级MLP解码器 \(\Phi_{\text{app}}\) 输出标准PBR材质属性 \((c, m, r, o)\)（漫反射反照率、金属度、粗糙度、自遮挡因子）。该设计不仅避免了直接构建4D密集外观张量的存储与计算爆炸，而且使高精度几何对真实材质反射形成强物理约束，实现了高光与漫反射的干净解耦。

损失函数 / 训练策略¶

系统采用紧凑而物理自洽的联合目标函数端到端优化参数，总损失定义为：

\[\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{photo}} + \lambda_1 \mathcal{L}_{\text{curve}} + \lambda_2 \mathcal{L}_{\text{app}}\]

其中光度损失 \(\mathcal{L}_{\text{photo}}\) 计算可微PBR着色器渲染图像与真实多视角相机捕获RGB图像之间的 \(L_1\) 距离与感知损失（结合前景Mask约束）；曲线平滑正则 \(\mathcal{L}_{\text{curve}}\) 对空间相邻网格节点之间的基函数系数施加拉普拉斯平滑惩罚，确保空间邻近区域的SDF时间轨迹协同平滑演变，防止高频空间伪影；外观正则 \(\mathcal{L}_{\text{app}}\) 则对解耦材质施加合理的物理范围边界与稀疏性先验。模型在单张NVIDIA RTX 4090 GPU上使用Adam优化器及指数衰减学习率训练5,000次迭代，耗时约1至3小时即可收敛。

实验关键数据¶

主实验¶

论文在涵盖大尺度非刚性形变的合成数据集 SynMotion-360、真实人体交互多视角数据集 CMU Panoptic Studio 以及真实桌面动态物体数据集 DiVa-360 上进行了严格的几何精度与图像质量量化对比。几何精度采用倒角距离（CD）、F1分数、边缘倒角距离（ECD）以及反映网格退化面片比例的长宽比异常率（AR）与小角率（MA）；合成新视角渲染质量采用PSNR、SSIM与LPIPS评估。

数据集	评估指标	Ours (p-SDF)	Prev. SOTA (AT-GS / NeuS2)	性能增益 / 优势分析
SynMotion-360	CD ↓	1.157	1.203 (NeuS2) / 1.602 (AT-GS)	几何对齐误差优于SDF基线，显著超越高斯表面基线
SynMotion-360	ECD ↓	3.170	3.220 (NeuS2) / 3.227 (AT-GS)	边缘与拓扑边界连贯度最高，细长结构更忠实
SynMotion-360	EF1 ↑	0.596	0.593 (NeuS2) / 0.566 (AT-GS)	边缘F-Score第一，微小几何边界保持最优
CMU Panoptic	CD ↓	0.026	1.041 (DG-Mesh) / 6.525 (AT-GS)	解决稀疏视角下增量传播积累误差崩塌问题，误差降低达数倍至数十倍
CMU Panoptic	F1 ↑	0.896	0.788 (DG-Mesh) / 0.687 (AT-GS)	人体肢体与细长椅子腿结构完整重建，超越基线10+百分点
CMU Panoptic	AR ↓	4.983	19.359 (AT-GS) / 21.631 (NeuS2)	极端狭长退化三角面片占比降至1/4以下
CMU Panoptic	MA ↓	0.678	11.353 (AT-GS) / 12.563 (NeuS2)	小角退化面片比例从双位数骤降至0.68%
DiVa-360	AR ↓	3.126	19.234 (AT-GS) / 22.530 (NeuS2)	真实动态物体网格规整度远胜后处理提取方式
DiVa-360	MA ↓	0.396	11.206 (AT-GS) / 12.976 (NeuS2)	真实场景网格退化角几乎完全消除
DiVa-360	PSNR ↑	27.584	27.418 (AT-GS) / 26.087 (NeuS2)	真实多视角新视角合成渲染质量达到全场最佳
DiVa-360	LPIPS ↓	0.049	0.067 (AT-GS) / 0.056 (NeuS2)	感知失真指标最低，物体局部高频纹理最逼真

消融实验¶

论文对时序SDF基函数组合成分、三维网格空间分辨率以及傅里叶时序带宽（\(N_f\)）进行了系统消融（以PSNR与CD为核心衡量标准）：

配置变体	PSNR (dB) ↑	关键分析与消融结论
仅多项式基 (Polynomial only, \(N_p=6, N_f=0\))	25.91	低阶多项式仅能拟合粗糙全局漂移，严重欠拟合动态高频运动，图像模糊脱靶
仅傅里叶基 (Fourier only, \(N_p=0, N_f=36\))	35.90	能够捕获大部分动态周期形变，但缺少低阶平滑基会导致基线偏移震荡
完整混合基 (Full Mixed Basis, \(N_p=6, N_f=36\))	36.34	多项式兜底平滑位移趋势，傅里叶刻画高频扰动，二者互补达到最高精度
空间网格分辨率 \(64^3\)	较低 (较平滑)	显存占用低但细小几何结构（如动物角、椅腿）欠采样丢失
空间网格分辨率 \(96^3\) (默认配置)	均衡最高	在显存（19.7 GB）与高保真几何还原之间达到最优平衡
空间网格分辨率 \(128^3\)	提升微弱	带来极高显存与提取开销，提升收益逐渐饱和

关键发现¶

混合基函数的不可替代性：消融表明去除傅里叶基直接导致动态场景PSNR从36.34 dB暴跌至25.91 dB，证实纯多项式拟合对于非刚性剧烈变化的表达力严重不足；而混合基既防止了纯傅里叶在边界处的过拟合波纹，又保障了时序轨迹的解析连续。
网格退化指标质的飞跃：在反映网格几何拓扑质量的AR与MA指标上，p-SDF相比现有基线产生了一个数量级的代差（例如在CMU Panoptic上AR从19.36降至4.98，MA从11.35降至0.68）。这是因为FlexiCubes与可微着色器的联合端到端优化直接以光度为目标推移网格顶点，而基线依赖离散Marching Cubes或泊松表面重建后处理，极易产生大量针刺面片。
外观驱动的高斯方法在几何上的伪繁荣：AT-GS在合成新视角渲染指标上略高（SynMotion-360上PSNR为32.67 dB vs Ours 32.15 dB），但其几何CD指标却大幅落后（1.602 vs 1.157），定性检查显示大量高斯椭球堆积产生了大量空洞与漂浮假体；p-SDF在维持顶尖感知质量（LPIPS 0.028第一）的同时实现了最扎实的物理几何。

亮点与洞察¶

将4D非刚性运动降维为1D网格时序解析信号：跳脱出学习复杂的空间3D速度矢量场或非刚性坐标变换MLP的传统思维定势，利用固定空间位置处SDF演化必然平滑的本质，将4D问题降维为每个静态网格节点上的紧凑时序基函数曲线拟合。
可微显式网格与PBR材质的高效物理绑定：通过FlexiCubes直接输出显式网格，并由时序三平面提供解耦的PBR物理材质属性，使反射、高光、粗糙度与自遮挡能够从几何形态中干净分离，为动态物体在全新光照环境下的重光照（Relighting）铺平了道路。
拓扑变动与大尺度形变天然鲁棒：由于底层完全不维护任何固定拓扑的Canonical网格模板，几何完全由空间零水平集动态切出，在物体撕裂、孔洞闭合（如甜甜圈闭合为球体）等极端拓扑巨变场景下依然保持解析稳定。

局限与展望¶

显存占用偏高与密集网格开销：由于在 \(96^3\) 空间网格节点上为整个时间段存储完整的参数化基函数系数矩阵，静态显存占用达到约19.7 GB，对于超长时序（数百上千帧）序列，必须切分子段优化或引入层次化八叉树/哈希稀疏化表征。
缺乏点对点的拉格朗日顶点显式追踪：作为纯欧拉视角表达，p-SDF在不同时间帧提取出的网格拓扑与顶点数目并不固定，无法天然给出像形变场那样的密集顶点时序运动对应（Vertex Tracking），需依赖后处理配准算法。
单视角极端稀疏监督下依赖多视角一致性：尽管时序基函数赋予了强大的平滑连续先验，但在极端单目视频输入下，依然缺乏足够的几何深度约束，容易在遮挡区域产生深度多义性退化。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将欧拉空间静态SDF升级为节点级参数化时序基函数曲线，构思巧妙简洁，彻底摆脱了形变场与拓扑锁定的束缚]
实验充分度: ⭐⭐⭐⭐⭐ [涵盖合成大形变、真实人体与多视角动态物体，提供从空间CD、边缘ECD到网格退化角指标的全维度量化分析]
写作质量: ⭐⭐⭐⭐⭐ [动机叙述逻辑缜密，数学表达与架构流程图清晰，物理图解直击本质]
价值: ⭐⭐⭐⭐⭐ [为高质量动态3D表面重建与工业级PBR下游重光照编辑开辟了极具实用价值的全新技术路径]