PhyMo: Learning Physical Dynamics with Accurate and Continuous Motion from Multi-View Videos¶

会议: NeurIPS 2026
arXiv: 2610.29107
论文: https://arxiv.org/abs/2610.29107
代码: https://github.com/BystanderJ/PhyMo
领域: 重建与渲染
关键词: 动态3D重建, 3D高斯泼溅, 物理动力学, 运动学连续性, 连续运动外推

一句话总结¶

针对多视角动态场景重建中外观捷径导致形变失真以及纯渲染监督缺乏时间连续性的痛点，PhyMo 提出运动感知轨迹表征与双向运动学连续性约束的连续运动演化模块，实现了几何保真的插值与物理连续的未来外推。

研究背景与动机¶

从多视角视频中同时恢复动态 3D 场景的几何、外观以及主导场景演化的物理运动状态，是具身智能、世界模型与机器人运动规划的关键基础。随着神经辐射场（NeRF）与 3D 高斯泼溅（3DGS）的发展，动态场景的外观重建质量显著提升，但现有工作通常面临两大核心表征流派的固有限制：其一是以 DefGS、4DGS 为代表的时空形变场方法，通过时空轨迹拟合观测，但由于脱离物理动力学，仅能做内插，外推时迅速崩溃；其二是以 NVFi 等为代表的基于积分的物理状态建模方法，虽具备外推能力，但数值积分累积误差严重损害几何重建保真度；即便是融合两者的混合方法（如 FreeGave、TRACE、ODEGS），也主要依赖光度渲染损失进行弱约束，导致运动状态在时间维度缺乏内在一致性。

这种局限性根植于动态 3D 重建中两个未被解决的根本症结。首先是外观伪装性（Appearance Shortcut）：正确的几何运动能够解释正确的图像外观，但高保真的渲染图像反过来并不等价于准确的物理运动。当形变场在快速或局部复杂运动中尚未收敛时，优化器会走外观捷径——在静态背景区域微调球谐颜色系数以补偿位移偏差，或者在剧烈运动区域直接调低未对齐高斯的透明度（使其隐形/消失）来强行降低光度误差。其次是运动学演化固有的时间连续性未被显式约束：位移、速度与加速度本应严格遵循运动学链条连续演化，但现有方法在离散时间步下纯靠渲染损失监督，使得学习到的高阶状态在相邻时刻出现局部突变或不连续，致使内插细节失真、未来外推迅速发散。

本文的切入角度是打破外观优化对形变学习的代偿，并将运动学显式耦合进粒子演化链条。核心 idea：通过形变活跃度门控将规范外观解耦为受控残差以杜绝外观捷径，并引入以 Runge-Kutta 二阶积分为驱动的双向时间采样与运动学连续性约束，构建位移-速度-加速度严密闭环，实现几何保真重建与连续未来预测。

方法详解¶

整体框架¶

PhyMo 的输入为动态场景的多视角 RGB 视频及已知相机位姿，输出为具备显式物理运动状态（位置、速度、加速度）的时间连续 3D 高斯集合。整个框架包含两大核心阶段：前端的运动感知轨迹表征（Motion-Aware Trajectory Representation）与后端的连续运动演化模块（Continuous Motion Evolution）。

在前端，模型以 $t=0$ 时刻初始化的规范空间 3D 高斯基元 $\mathcal{G}_0$ 为起点，利用形变网络 $F_{\text{defo}}$ 预测时序形变偏移量。为了阻断优化器利用外观参数走捷径，模型根据相邻时间步的局部形变量计算运动置信度门控 $q_i$，严格限制静态基元的外观自由度，迫使场景动态完全由真实的形变位移来解释。在后端，模型冻结或约束可靠的形变轨迹，引入运动网络 $M_\theta$ 预测每个高斯粒子在任意时刻的线速度、线加速度、角速度与角加速度。随后在目标观测时刻两侧做双向时间采样，运用二阶龙格-库塔（RK2）积分将状态双向推演至观测时间点，并施加双向运动学连续性损失与渲染损失联合约束。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角动态视频观测<br/>{I_t^n}"] --> B["规范高斯初始化 G_0<br/>位置/协方差/透明度/颜色"]
    B --> C["运动感知轨迹表征<br/>形变网络预测时变位移 (δx, δr, δs)"]
    C --> D["运动置信门控外观解耦<br/>抑制静态捷径，迫使形变承担动态"]
    D --> E["双向轨迹采样与RK2演化<br/>从 t-Δt 与 t+Δt 双向积分至 t"]
    E --> F["双向运动学连续性约束<br/>位移-速度-加速度刚性运动学闭环"]
    F --> G["几何保真内插与连续运动外推<br/>高保真时空渲染与物理轨迹预测"]

关键设计¶

1. 运动引导的外观残差重参数化：通过局部形变置信门控阻断外观捷径

在标准 4DGS 与 DefGS 优化中，规范高斯的外观参数（球谐系数 $c$ 与不透明度 $\sigma$）完全自由，优化器往往在复杂运动处将未对齐高斯的 $\sigma$ 归零造成高斯消失，或在背景处漂移 $c$ 来弥补动态错位。针对这一痛点，PhyMo 将每个高斯基元 $i$ 的外观重参数化为基础值与运动引导残差的形式：

\[\sigma_i = \sigma_i^b + q_i \Delta \sigma_i, \qquad c_i = c_i^b + q_i \Delta c_i\]

其中 $\sigma_i^b, c_i^b$ 为静态初始的基础属性，$\Delta \sigma_i, \Delta c_i$ 为残差，而 $q_i \in [0, 1]$ 为每个高斯粒子的运动置信度门控。门控值并非衡量粒子离规范原点的绝对距离，而是通过相邻采样时间步间形变位移的变化率计算：

\[q_i = \text{sg}\left[ \psi\left(\|\delta x_i(t_{k+1}) - \delta x_i(t_{k})\|_2\right) \right]\]

其中 $\psi(\cdot)$ 为单调压缩映射函数，$\text{sg}[\cdot]$ 为截断梯度（stop-gradient）。当形变变化微弱时，$q_i \approx 0$，高斯外观被冻结在基础值，彻底切断静态区域通过改变颜色补偿动态误差的捷径；当局部出现活跃形变响应后，$q_i$ 平滑开启，允许残差项精细调谐渲染细节，确保动态变化完全由几何形变承载。

2. 刚性粒子假设下的高阶运动状态网络建模

真实物理环境中非刚体与流体极其复杂，直接模拟连续介质极易发散。PhyMo 采用简化且鲁棒的物理假设：将每个 3D 高斯基元视为尺度固定的刚性微元，仅关注其空间动力学与姿态旋量演化。模型引入运动网络 $M_\theta$，以粒子瞬时位置 $x_t$ 与时间 $t$ 作为输入，输出完备的二阶运动状态：

\[\{(v_t, a_t), (\omega_t, \eta_t)\} = M_\theta(x_t, t)\]

其中 $v_t \in \mathbb{R}^3, a_t \in \mathbb{R}^3$ 分别为线速度与线加速度，$\omega_t \in \mathbb{R}^3, \eta_t \in \mathbb{R}^3$ 为角速度与角加速度。通过将物理量显式参数化，粒子不仅获得了瞬时切线速度，更具备了受加速度主导的外推推演能力，从而为脱离观测时间范围的物理模拟提供了动力学载体。

3. 双向轨迹时间采样与二阶龙格-库塔推演机制

单向时间演化在长程推演中极易遭受误差累积，且无法利用未来观测所蕴含的逆向时间约束。PhyMo 在轨迹表征上针对每一个观测时刻 $t$，对称采样左右邻域时刻 $t_l = t - \Delta t$ 与 $t_r = t + \Delta t$。从形变场提取 $t_l$ 和 $t_r$ 处的高斯状态后，利用运动网络 $M_\theta$ 预测的速度与加速度，分别执行前向与后向二阶龙格-库塔（RK2）数值积分推演至时刻 $t$：

\[\hat{\mathcal{G}}_{t \leftarrow t_l} = \text{RK2}[\mathcal{G}_{t_l}, t_l, +\Delta t, M_\theta], \qquad \hat{\mathcal{G}}_{t \leftarrow t_r} = \text{RK2}[\mathcal{G}_{t_r}, t_r, -\Delta t, M_\theta]\]

推演生成的两个预测高斯状态集合 $\hat{\mathcal{G}}_{t \leftarrow t_l}$ 与 $\hat{\mathcal{G}}_{t \leftarrow t_r}$ 分别进行可微光栅化渲染，并均与时刻 $t$ 的真实观测图像计算光度损失。这一双向夹逼机制大幅压缩了数值积分的发散空间，迫使运动网络预测的状态能够平滑跨越邻域时间窗。

4. 显式双向运动学链条连续性闭环约束

纯渲染监督仅能度量终态投影图像的差异，速度与加速度的组合具有无限多解（病态逆问题）。为了实现严谨的物理连续性，PhyMo 在邻域推演中引入刚性运动学链条的一致性惩罚。从 $t_l$ 前向积分至 $t$ 与从 $t_r$ 后向积分至 $t$ 的速度和位置必须严格重合，由此导出两项核心连续性损失：

\[\ell_{\text{cont1}} = \frac{1}{|\mathcal{G}|} \sum_{i \in \mathcal{G}} \left\| v_{t_l}^i - v_{t_r}^i + \Delta t (a_{t_l}^i + a_{t_r}^i) \right\|_1\]

\[\ell_{\text{cont2}} = \frac{1}{|\mathcal{G}|} \sum_{i \in \mathcal{G}} \left\| x_{t_l}^i - x_{t_r}^i + \Delta t (v_{t_l}^i + v_{t_r}^i) \right\|_1\]

式中 $\ell_{\text{cont1}}$ 强制加速度对速度的积分变化率在双向推演中自洽，$\ell_{\text{cont2}}$ 强制速度对位移的积分位移在双向推演中自洽。这两项损失将孤立的离散渲染监督串联成了时间维度上处处满足牛顿运动定律的一阶与二阶平滑流形。

损失函数 / 训练策略¶

PhyMo 采用两阶段、渐进式时间展开训练策略： 1. 第一阶段：规范热身与时序渐进轨迹学习。首先在 $t=0$ 处对规范高斯 $\mathcal{G}_0$ 实施基于全视角的渲染热身；随后按照时间窗口从小到大逐步揭示训练视频帧（Gradual Temporal Expansion）。在此过程中，根据运动置信度 $q_i$ 自适应开启外观残差，使用光度损失 $\mathcal{L}_{\text{render}} = \ell_1 + \ell_{\text{SSIM}}$ 稳定拟合形变场 $F_{\text{defo}}$。 2. 第二阶段：双向采样动力学联合优化。在形变轨迹稳定后，引入运动网络 $M_\theta$，在每个观测时刻两侧以 $\Delta t$ 双向采样，通过 RK2 积分推演并联合优化形变场与运动网络： $$\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{render}}(\hat{\mathcal{G}}_{t \leftarrow t_l}, I_t) + \mathcal{L}_{\text{render}}(\hat{\mathcal{G}}_{t \leftarrow t_r}, I_t) + \lambda_{\text{cont1}} \ell_{\text{cont1}} + \lambda_{\text{cont2}} \ell_{\text{cont2}}$$ 这种两阶段策略避免了在形变未收敛时过早引入高阶运动导数导致的梯度剧烈震荡。

实验关键数据¶

主实验¶

论文在 NVIDIA Dynamic Scene、PhysInOne、TRACE MultiPart 和 FreeGave-GoPro 四个动静态基准上评估了几何保真内插（Interpolation）与连续运动外推（Extrapolation）。指标包括图像渲染质量（PSNR、SSIM、LPIPS）以及基于点云的真实 3D 动态几何 Chamfer Distance（CD，单位：米）。

下表为 PhysInOne 与 NVIDIA Dynamic 数据集上的几何保真内插对比结果（截取主要对比模型）：

数据集	指标	TiNeuVox	4DGS	DefGS	ModecGS	FreeGave	本文 (PhyMo)	相对最优提升
NVIDIA Dynamic	PSNR↑	30.304	24.411	26.662	30.080	30.276	31.825	+1.521 dB
	SSIM↑	0.868	0.462	0.893	0.914	0.891	0.914	持平最优
	LPIPS↓	0.216	0.532	0.127	0.081	0.096	0.089	次优
PhysInOne	PSNR↑	30.923	28.940	30.165	30.110	30.850	32.631	+1.708 dB
	SSIM↑	0.957	0.941	0.944	0.938	0.952	0.971	+0.014
	LPIPS↓	0.123	0.141	0.137	0.113	0.124	0.090	-0.023
	CD (m)↓	0.641	0.544	0.877	0.678	0.496	0.046	-90.7% (绝对降0.45m)

在连续运动外推任务中（观测区间 $[0, 0.75]$，预测未来区间 $[0.75, 1.0]$），全数据集对比结果如下：

数据集	指标	TiNeuVox	NVFi	DefGS	ODEGS	FreeGave	TRACE	本文 (PhyMo)
NVIDIA Dynamic	PSNR↑	24.556	28.462	24.240	25.296	29.005	29.341	30.265
	SSIM↑	0.863	0.876	0.895	0.916	0.933	0.933	0.939
	LPIPS↓	0.215	0.214	0.140	0.117	0.072	0.074	0.065
Dynamic Multipart	PSNR↑	20.804	25.235	20.664	33.371	33.183	33.481	35.754
	SSIM↑	0.923	0.955	0.930	0.982	0.980	0.990	0.991
	LPIPS↓	0.090	0.046	0.067	0.009	0.009	0.007	0.007
FreeGave-GoPro	PSNR↑	20.600	22.747	21.344	25.561	28.094	27.871	28.135
	SSIM↑	0.760	0.756	0.858	0.899	0.914	0.903	0.916
	LPIPS↓	0.292	0.393	0.170	0.124	0.112	0.126	0.110
PhysInOne	PSNR↑	19.264	25.571	20.384	24.023	27.801	27.038	29.591
	SSIM↑	0.884	0.902	0.867	0.916	0.923	0.934	0.949
	LPIPS↓	0.254	0.131	0.213	0.121	0.125	0.096	0.091
	CD (m)↓	0.925	0.610	1.029	0.854	0.718	0.491	0.073

消融实验¶

在包含复杂物理机制（摩擦力、重力、风力、浮力）的 PhysInOne 数据集上进行详细组件消融：

配置	$q_i$ 门控	$\ell_{\text{cont1}}$	$\ell_{\text{cont2}}$	$M_\theta$	内插 PSNR↑	内插 CD (m)↓	外推 PSNR↑	外推 CD (m)↓	说明
Full Model ($2\delta t$)	✓	✓	✓	✓	32.631	0.046	29.591	0.073	完整模型
w/o 运动门控 $q_i$	✗	✓	✓	✓	30.164	0.540	29.016	0.358	缺失门控出现外观捷径，内插CD恶化近12倍
w/o 速度加速度约束 $\ell_{\text{cont1}}$	✓	✗	✓	✓	31.927	0.066	28.945	0.079	速度演化缺乏约束，外推质量下降
w/o 位移速度约束 $\ell_{\text{cont2}}$	✓	✓	✗	✓	32.628	0.047	27.468	0.151	位移连续性断裂，外推PSNR大跌2.12dB且CD翻倍
w/o 运动网络 $M_\theta$	✓	✗	✗	✗	32.521	0.046	23.297	0.547	仅靠形变场，外推全面崩溃（PSNR暴跌6.3dB）
采样间隔 $\Delta t = 1\delta t$	✓	✓	✓	✓	32.498	0.059	29.411	0.075	较短时间步推演
采样间隔 $\Delta t = 3\delta t$	✓	✓	✓	✓	32.597	0.048	29.467	0.081	较长时间步推演

关键发现¶

外观门控对 3D 几何真实性具有决定性影响：移除 $q_i$ 门控后，虽然渲染指标下降不算剧烈（内插 PSNR 仍有 30.16 dB），但动态点云的 Chamfer Distance 从 0.046m 暴增至 0.540m，暴增超过 10 倍！这强有力地印证了论文的核心动机：纯渲染监督下的优化器极易通过调节颜色与透明度来“造假”，生成视觉上过得去但在 3D 空间中完全错位的伪动态。
运动学约束是未来外推的生命线：移除运动网络 $M_\theta$ 会导致外推 PSNR 从 29.591 dB 暴跌至 23.297 dB（CD 激增至 0.547m），表明纯形变场根本无法进行有效的外推预测；而在运动网络中，缺失位移-速度约束 $\ell_{\text{cont2}}$ 会导致外推 PSNR 损失 2.12 dB、CD 翻倍至 0.151m，证明了显式牛顿运动学链条对防止积分发散的必要性。
对采样步长 $\Delta t$ 具有高容忍度：在 $1\delta t \sim 3\delta t$ 范围内变化时，内插与外推指标保持极高稳定性，说明 RK2 配合双向对称约束能够平滑克服离散化带来的采样扰动。

亮点与洞察¶

洞察了 4D 重建中的“外观代偿欺骗”机制：首次系统化阐明了动态场景重建中透明度隐形与背景颜色微调对形变学习的代偿效应，并通过停止梯度的形变变化率门控实现了零开销的外观解耦。
构建了基于 RK2 双向推演的刚性运动学闭环：巧妙规避了传统 NeRF/3DGS 方法单向推进时严重的误差累积问题，将相邻离散帧的连续性提升为速度-加速度两阶牛顿运动学一致性，解决了纯光度监督反演物理状态的病态多解难题。
高阶运动表征兼顾了微观几何与长程外推：相比以往 PINN 方法强绑定特定偏微分方程（Navier-Stokes 等），PhyMo 的网络化质点动力学能够泛化至碰撞、浮力、风阻等多体复杂动力学场景。

局限与展望¶

刚性微元假设对剧烈拓扑变化和极端流体仍有局限：模型假设单个高斯粒子具有各向同性固定尺度且为刚性微元，这在处理大变形非刚体（如软泥剧烈撕裂、流体剧烈飞溅）时，粒子自身的尺度变形被忽略，可能导致局部几何失真。
依赖可靠的规范初值与多视角相机标定：框架依然依赖 $t=0$ 处的精确 SfM 位姿与高质量规范高斯初始化；在单目、稀疏视角或动态相机剧烈晃动场景下的鲁棒性尚未充分验证。
未来方向：可进一步探索将弹性形变张量引入微元自身的高斯属性，或结合接触碰撞显式图神经网络实现多物体交互边界的刚性动量守恒建模。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 深刻揭示了动态 4DGS 中外观捷径问题，提出了优雅的运动门控外观解耦机制及双向运动学连续性演化框架。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 个动静态主流数据集、8 个代表性 Baseline，引入 Chamfer Distance 直接量化 3D 动态几何真值，消融细致完备。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰，问题定义切中要害，数学公式严密且机制解释透彻。
价值: ⭐⭐⭐⭐⭐ 为动态 3D 重建与具身物理世界模型的动力学学习提供了关键设计范式与评测基准。

配置	\(q_i\) 门控	\(\ell_{\text{cont1}}\)	\(\ell_{\text{cont2}}\)	\(M_\theta\)	内插 PSNR↑	内插 CD (m)↓	外推 PSNR↑	外推 CD (m)↓	说明
Full Model (\(2\delta t\))	✓	✓	✓	✓	32.631	0.046	29.591	0.073	完整模型
w/o 运动门控 \(q_i\)	✗	✓	✓	✓	30.164	0.540	29.016	0.358	缺失门控出现外观捷径，内插CD恶化近12倍
w/o 速度加速度约束 \(\ell_{\text{cont1}}\)	✓	✗	✓	✓	31.927	0.066	28.945	0.079	速度演化缺乏约束，外推质量下降
w/o 位移速度约束 \(\ell_{\text{cont2}}\)	✓	✓	✗	✓	32.628	0.047	27.468	0.151	位移连续性断裂，外推PSNR大跌2.12dB且CD翻倍
w/o 运动网络 \(M_\theta\)	✓	✗	✗	✗	32.521	0.046	23.297	0.547	仅靠形变场，外推全面崩溃（PSNR暴跌6.3dB）
采样间隔 \(\Delta t = 1\delta t\)	✓	✓	✓	✓	32.498	0.059	29.411	0.075	较短时间步推演
采样间隔 \(\Delta t = 3\delta t\)	✓	✓	✓	✓	32.597	0.048	29.467	0.081	较长时间步推演