PhysConvex: Physics-Informed Dynamic Convex Fields for Reconstruction and Simulation¶

会议: ECCV 2026
论文: ECCV 2026 Poster
代码: https://github.com/DanWang-98/PhysConvex
领域: 重建与渲染
关键词: 动态三维重建, 物理仿真, 动态凸基元, 连续介质力学, 降阶模型

一句话总结¶

本文提出将动态凸包（Dynamic Convex）同时作为可微渲染图元、形变载体与物理积分支撑的统一表征 PhysConvex，结合边界驱动动力学与无网格神经蒙皮降阶仿真，实现了可泛化且高效的形变物体视频重建与物理系统辨识。

研究背景与动机¶

从视频中重建形变三维物体是计算机视觉与计算机图形学的核心挑战之一。一个理想的 4D 动态表征不仅需要高质量合成未知视角下的外观，还必须符合真实的物理规律，从而能够外推预测未来运动状态，并在改变材料属性、外力场或接触边界条件时保持物理自洽。经典物理仿真（如有限元方法 FEM 和物质点法 MPM）虽然物理真实感强，但严重依赖预先给定的精细几何网格与先验材料参数，难以直接应用于真实视频观测；而纯数据驱动的动态神经辐射场（NeRF）和 4D 高斯泼溅（4DGS）主要拟合观测轨迹的运动学场，缺乏底层物理控制，外推到新时间步或交互场景时极易发散。

近期将可微仿真（如 MPM 或质点弹簧系统）与 NeRF / 3DGS 结合的方法取得了显著进展，但普遍存在渲染图元与物理仿真之间的表征错配问题。传统方法大多采用体素或对称各向同性/异性高斯椭球作为基元，在混合欧拉-拉格朗日体系下往往退化为“中心驱动”——仅更新基元中心点或邻域平均动量，无法感知基元内部的非均匀局部形变；预设的粒子-图元绑定割裂了几何与材料的内在联系；此外，光滑高斯椭球在拟合平坦表面和锐利棱角时存在固有的球体堆积空隙（sphere-packing gap），而在网格化 MPM 碰撞下难以追踪清晰的演化边界。

本文的切入角度是打破“渲染几何”与“物理载体”的人工分离，让渲染图元本身直接充当连续介质力学的材料空间积分支撑。核心 idea：将动态形变物体建模为边界驱动的 4D 动态凸基元场，让凸包顶点与对偶支撑面直接承载力学平流演化，并引入由神经蒙皮本征模态驱动的无网格降阶仿真器，实现渲染、形变与物理计算三位一体的端到端可微优化。

方法详解¶

整体框架¶

PhysConvex 的核心流程包含静态初始化与动态可微联调两个阶段。首先，在第一帧多视角观测下重建物体在未形变参考构型 $\Omega_0$ 中的初始凸基元场 $\mathcal{C}(0)$；随后，利用数据无关（data-free）自监督训练的小型 MLP 学习连续空间中的神经蒙皮本征模态，作为紧凑的物理形变基底；最后，在视频观测监督下，通过拉格朗日牛顿积分器求解降阶控制自由度，以边界驱动方式显式演化凸包顶点并隐式更新半空间支撑面，利用可微凸片泼溅（Convex Splatting）渲染像素，端到端联合辨识物体的杨氏模量 $E$、泊松比 $\nu$ 及形变网络参数。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：多视角视频序列与相机参数"] --> B["阶段一：参考构型静态凸场初始化"]
    B --> C["边界驱动动态凸基元建模"]
    C --> D["神经蒙皮本征模态降阶仿真"]
    D --> E["渲染-形变-物理支撑三位一体耦合"]
    E --> F["输出：物理自洽新视角渲染与未来状态推演"]

关键设计¶

1. 边界驱动动态凸基元建模：突破中心驱动的各向异性与非均匀形变表达

传统高斯椭球动力学通常将图元视为刚性或仅受仿射变换约束的核函数，缺乏表达基元内部局部非均匀形变与锐利边界演化的能力。本文引入基于凸多面体的动态凸场 $\mathcal{C}(t) = \{\mathcal{K}_n(t), \mathbf{c}_n, \sigma_n, \alpha_n, \beta_n\}_{n=1}^N$，将每个凸基元参数化为随时间移动的三维点集 $\mathcal{K}(t) = \{\mathbf{x}_k(t)\}_{k=1}^K$ 的凸包。显式顶点动力学使基元不仅能平移和旋转，还能直接通过各顶点的非均匀平流（advection）实现弯曲、剪切以及激活支撑面（active hull supports）的拓扑自适应增减，有效消除了传统球体堆叠留下的真空缝隙。在渲染端，对偶的隐式表面动力学将凸包表示为 $H$ 个时变半空间截平面 $f_h(\mathbf{x}, t) = \mathbf{n}_h(t) \cdot \mathbf{x} + d_h(t)$，通过光滑 Signed Distance 映射构造时变连续空间占用率： $$\mathcal{O}(\mathbf{x}, t) = \text{Sigmoid}\left(-\beta \max_{h=1}^H (\alpha f_h(\mathbf{x}, t))\right)$$ 从而在保持锐利几何轮廓的同时保证了梯度在整个体积空间的连续可微回传。

2. 神经蒙皮本征模态降阶仿真：无网格条件下的连续介质力学低维求解

经典 FEM 依赖耗时的四面体网格剖分，而 MPM 依赖背景网格与复杂的粒子插值，两者在融入端到端神经渲染管线时均容易因拓扑变化或数值耗散导致梯度不稳。本文构建了一种无网格的模型阶数约化（Model Order Reduction, MOR）仿真体系，将凸基元顶点的位移映射参数化为连续神经蒙皮本征场 $W^\theta(\mathbf{X}) \in \mathbb{R}^3 \to \mathbb{R}^M$ 与时变降阶控制自由度 $\mathbf{Z}(t) \in \mathbb{R}^{3 \times 4 \times M}$ 的张量缩并： $$\mathbf{x}_k(t) = \phi(\mathbf{X}_k, \mathbf{Z}(t), W^\theta) = \sum_{m=1}^M W_m^\theta(\mathbf{X}_k) \mathbf{Z}_m(t) [\mathbf{X}_k, 1]^\top$$ 轻量 MLP 隐式场 $W^\theta$ 在训练前通过在参考空间内最小化超弹性应变能密度 $\Psi$ 与正交正则项完成自监督预训练： $$\min_\theta \int \varphi(\mathbf{X})\Psi(\phi(\mathbf{X}, \mathbf{Z}, W^\theta)) d\mathbf{X} + \lambda_{\text{ort}} \sum_{i=1}^M \sum_{j=1}^M \int \varphi(\mathbf{X}) \left(W_i^\theta W_j^\theta - \delta_{ij}\right)^2 d\mathbf{X}$$ 高形变能惩罚了非物理畸变，而正交约束排除了退化的全局刚体平移。动力学时间推移则直接在 $12M$ 维度的扁平化句柄向量 $\mathbf{z}(t)$ 上执行增量势能隐式牛顿求解，无需任何空间背景网格即可实现大形变弹性动力学的高效稳定更新。

3. 渲染-形变-物理支撑三位一体耦合：消除图元与粒子绑定的端到端联合辨识

现有物理神经辐射场通常将渲染高斯或体素与外部仿真粒子人为绑定（如 KNN 挂载或质点弹簧），不仅引入了绑定超参的敏感性，而且无法保证形变场与渲染外观的几何一致性。PhysConvex 将每一个凸基元同时作为光栅化渲染图元、形变连续介质载体以及质量/应力/外力积分的物理支撑元。在可微渲染过程中，三维凸包沿射线投影视锥投影为二维凸多边形，采用排序 $\alpha$-blending 累积颜色；在物理反向传播中，基于预训练 VideoMAE 的前馈网络先对单视角视频进行特征抽取并由轻量 MLP 给出杨氏模量 $E$ 和泊松比 $\nu$ 的粗估计，随后将渲染图像与真实帧的光度残差直接沿时间步反传穿过可微牛顿求解器与凸基元几何，联合细化材料物理常数与几何属性。

损失函数 / 训练策略¶

系统的优化目标分为静态几何重建与动态物理联合拟合两个阶段： 1. 静态参考场重建损失：在第 0 帧多视角图像下，优化凸基元初始几何与属性： $$\mathcal{L}_{\text{static}} = (1 - \lambda)\mathcal{L}_1 + \lambda \mathcal{L}_{\text{D-SSIM}} + \beta_m \mathcal{L}_m$$ 其中 $\mathcal{L}_1$ 与 $\mathcal{L}_{\text{D-SSIM}}$ 约束光度与结构一致性，$\mathcal{L}_m$ 惩罚基元总数以促进空间紧凑性。 2. 物理系统辨识与动态微调损失：固定基元拓扑后，通过视频单视角时间序列的光度均方误差对物理参数 $\{E, \nu\}$ 与网络权重 $\theta$ 展开可微优化： $$\mathcal{L}_{\text{render}} = \frac{1}{SP}\sum_{s=1}^S \sum_{p=1}^P \|\mathbf{C}(\mathbf{q}_p, t_s) - \mathbf{C}_{\text{gt}}(\mathbf{q}_p, t_s)\|_2^2$$ 默认配置下使用 Adam 优化器，学习率分别设为 $E: 5 \times 10^{-3}$，$\nu: 1 \times 10^{-3}$，$\theta: 5 \times 10^{-7}$，微调 400 轮即可收敛。

实验关键数据¶

主实验¶

在包含复杂非线性形变与精细纹理的 Google Scanned Objects (GSO) 12 个数据集上，基准采用 16 帧观测视频进行动态重建与物理系统辨识，并对后续 8 帧进行未来状态推演评估。对比基线包括基于 MPM 的体素 NeRF（PAC-NeRF）、质点弹簧高斯（Spring-GS）、连续介质高斯（GIC）以及降阶高斯模型（Vid2Sim）。

方法	动态重建 PSNR (dB) ↑	动态重建 SSIM ↑	动态重建 FoVVDP ↑	物理参数 $\log(E)$ MAE ↓	物理参数 $\nu$ MAE ↓	未来预测 PSNR (dB) ↑	训练耗时 (min) ↓
PAC-NeRF	22.06	0.924	6.674	2.50	0.21	20.11	51
Spring-Gaus	20.91	0.920	6.410	-	-	18.32	32
GIC	21.01	0.934	6.544	2.01	0.16	19.20	69
Vid2Sim (w/o LGM)	28.57	0.952	7.794	0.51	0.06	25.07	8
PhysConvex (Ours)	30.00	0.962	8.247	0.37	0.04	25.71	6

消融实验¶

为验证凸基元表征与边界驱动运动学的有效性，论文在相同的无网格降阶仿真（MOR）框架下对基元类型与运动驱动方式进行了严格消融（Tab. 5）：

配置代号	3D 基元表征	运动学模式	仿真机制	动态 PSNR (dB) ↑	动态 SSIM ↑	动态 FoVVDP ↑	$\log(E)$ MAE ↓	$\nu$ MAE ↓
模型 A	3D Gaussian	中心驱动	MOR	28.65	0.954	7.895	0.54	0.07
模型 B	3D Convex	中心驱动	MOR	29.16	0.958	8.173	0.57	0.05
模型 C (Full)	3D Convex	边界驱动	MOR	30.00	0.962	8.247	0.37	0.04

此外，针对凸多面体顶点上限 $K$ 与降阶自由度控制柄数量 $M$ 的消融（Tab. 6 与 Tab. 7）显示： - $K=3$（退化为三角形片）时重建 PSNR 骤降至 24.90 dB；随着 $K$ 提升至 6，PSNR 稳步提升至 30.00 dB，且在 $K > 6$ 时精度进入平台期（$K=8$ 时为 30.19 dB，但基元数量与显存耗时显著增加）。 - 控制柄数量设为 $M=10$ 时，在形变表达自由度与训练稳定性之间达到最佳折中（未来预测 PSNR 达 25.71 dB，优于 $M=8$ 的 25.05 dB 和 $M=12$ 的 24.76 dB）。

关键发现¶

边界驱动是捕捉非均匀弹塑性形变的关键：对比模型 B 与完整模型 C，仅将运动学从中心驱动切换为顶点平流的边界驱动，动态 PSNR 显著提升 0.84 dB，物理参数 $\log(E)$ 的平均绝对误差从 0.57 骤降至 0.37，证明了边界演化在提供精确形变梯度中的决定性作用。
凸包表征的紧凑性优势：相比 Vid2Sim 的 31,363 个高斯椭球，PhysConvex 仅需 23,681 个凸基元（减少约 24.5% 图元数），即可更好地消除平面与夹角处的重叠走样，单卡平均训练耗时仅需 6 分钟。
卓越的外推与泛化能力：在新材料（高刚度弹性体 $E=10^7$、极软弹性体 $E=8000$、塑性橡皮泥 $\tau_Y=500$、沙粒 $\theta_f=10^\circ$）以及移动地面滑动与持续侧向推力等复杂外力和接触边界下，模型无需重新训练几何即可产生物理自洽的写实模拟。

亮点与洞察¶

渲染图元即物理积分域：打破了渲染与力学仿真长期“两张皮”的壁垒，让凸多面体同时承担视觉光栅化与物理势能积分载体职责，消除了人工粒子挂载的系统误差。
数据无关的连续蒙皮模态初始化：通过无数据预训练神经蒙皮场最小化应变能并引入模态正交约束，在完全不依赖人工骨骼或预设形变轨迹的前提下自发涌现出低能物理本征运动模态。
兼顾锐利边界与连续可微性：巧妙结合显式多面体顶点运动学与对偶半空间平滑距离场，既保留了离散多面体在几何边缘上的紧凑表达能力，又保障了基于梯度的物理反向传播稳定性。

局限与展望¶

输入假定依赖位姿与语义掩码：当前管线依赖已标定的相机位姿以及由 SAM 分割出的单物体前景掩码，在复杂多物体动态遮挡或强相机抖动下容易引入系统漂移。
环境物理交互约束简化：实验主要假定重力方向与地平面几何已知，对于具有复杂自碰撞（self-collision）或摩擦接触的极端大形变场景，缺乏更深层的隐式接触势能建模。
未来方向：探索无监督的前馈凸场快速初始化、多物体复杂动力学交互场重建，以及将隐式接触障碍函数引入降阶凸仿真的优化环路。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次提出将动态凸基元统一为可微渲染图元与物理降阶仿真载体，边界驱动机制设计精巧]
实验充分度: ⭐⭐⭐⭐⭐ [涵盖 12 类物理物体系统辨识、动态重建、未来预测、消融及真实世界数据测试，对比基线全面]
写作质量: ⭐⭐⭐⭐⭐ [力学推导严谨，框架图与数学公式自洽，实验分析层层递进]
价值: ⭐⭐⭐⭐⭐ [为可微物理与动态场景渲染的高效融合提供了极具启发性的全新表征范式]