MonoPhysics: Estimating Geometry, Appearance, and Physical Parameters from Monocular Videos¶

会议: NeurIPS 2026
arXiv: 2605.30320
代码: https://daniel03c1.github.io/MonoPhysics/
领域: 重建与渲染
关键词: 单目逆向物理、可微MPM仿真、3D高斯溅射、尺度重参数化、可微位置图

一句话总结¶

针对单目视频中缺失多视角几何约束导致尺度模糊、几何欠准与物理解耦失效的难题，MonoPhysics 结合可微 MPM 仿真与 3D 高斯溅射，提出全局尺度重参数化、物态感知几何精化与可微位置图三大视觉-物理桥梁，实现单目动刚/弹塑性物体几何、外观与物理参数的联合优化与高精度未来预测。

研究背景与动机¶

从视频中估计可变形物体的物理属性（如材料杨氏模量、泊松比及屈服应力）是机器人精准操作、高仿真数字孪生构建与具身环境交互的基础支撑。近年来，可微物理仿真（如 DiffTaichi）与神经 3D 表征（如 NeRF 与 3DGS）的结合使得通过端到端梯度反传估计系统物理参数成为可能。然而，现有先进的逆向物理系统（如 PAC-NeRF、SpringGaus、GIC 等）普遍严重依赖同步多视角视频输入，通过多视角三角测量与几何视差先验直接确定物体的三维空间结构与真实世界尺度，进而将逆向估计退化为在已知可靠几何底座上的纯物性参数辨识。

然而在现实开放动态场景中，绝大多数动态视频均由单相机拍摄，难以部署复杂昂贵的多视角采集阵列。当剥离多视角几何约束后，单目逆向物理面临三项根本性挑战：其一，由于单目投影沿射线方向的不变性，场景深度与物理绝对尺度存在本质混淆，而重力、接触碰撞时间、体积及应力等所有物理演化方程都严格依赖真实绝对尺度，尺度偏差会级联污染后续所有物理参数；其二，单目单帧 3D 基础模型生成的先验几何在背面与遮挡区域缺乏可靠依据，而粒子表征无法如连续神经场般平滑更新；其三，传统 3DGS 渲染损失依赖像素重叠区域的颜色和不透明度，在剧烈变形或大位移下无法向空间上脱离目标的孤立粒子提供指向目标轮廓的有效几何位移梯度。

面对这些挑战，如果继续沿用传统将几何重建与物理辨识割裂的分步范式，误差将不可避免地发散放大。本文的核心 idea 是：将单目逆向物理重塑为几何、外观与物理参数的端到端联合优化问题，利用可微 MPM 动力学演化反向约束不可见几何，并通过全局尺度重参数化标量、融合物理体积感知的粒子重分配机制以及引入反向梯度的可微位置图这三大“视觉-物理桥梁”，打通单目视觉线索向底层物理规律的梯度传导通路。

方法详解¶

整体框架¶

MonoPhysics 的输入为单相机拍摄的可变形物体动态交互 RGB 视频（如物体在重力作用下坠落撞击刚性平面的过程），已知相机内外参、地面位置与本构模型（如 Neo-Hookean 弹性或屈服塑性模型），并提供逐帧前景前景掩码。系统输出为物体的优化 3D 几何结构（3D 高斯粒子群）、初始线速度 $\mathbf{v}_0$、材质物理参数（杨氏模量 $E$、泊松比 $\nu$ 及塑性屈服应力 $\sigma_y$）以及随时间动态演化的外观与未来运动轨迹。

整体优化流程分为两个阶段。第一阶段为主干联合优化：利用单目单帧 3D 重建基础模型（SAM 3D）从初始帧生成初始 3D 高斯点云，并离散化采样为物质点法（MPM）仿真粒子。系统在相机坐标系维护粒子基准并通过全局尺度标量映射至世界坐标系，借助可微 MPM 模拟推进动力学并展开为各时刻变形粒子；通过可微高斯光栅化生成预测轮廓、双时间跨度光流以及可微位置图，联合最小化渲染透明度损失、轮廓最优传输 Sinkhorn 损失、概率化双向光流损失与初始帧近邻粒子排斥正则化，反传梯度更新物理参数、高斯协方差与中心位置。第二阶段为外观精化：冻结已收敛的物理及几何参数，仅利用光度 L1 与 SSIM 损失精修高斯球谐颜色。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    In["单目单视角 RGB 视频<br/>+ 前景掩码序列"] --> Init["单目 3D 初始化<br/>SAM 3D 产生初始 3DGS"]
    Init --> Scale["场景重参数化<br/>相机坐标系 + 全局尺度标量 s"]
    Scale --> MPM["可微 MPM 动力学仿真<br/>推进变形状态与时间轨迹"]

    subgraph S1["视觉-物理联合优化阶段"]
        direction TB
        MPM --> Render["多模态可微渲染<br/>轮廓 / 光流 / 深度位置图"]
        Render --> PosMap["可微位置图<br/>构造 2D 停止梯度中心化映射"]
        PosMap --> Losses["复合物理目标函数<br/>Sinkhorn 轮廓 + 概率光流 + KNN 正则"]
        Losses --> Backprop["端到端梯度反传<br/>物性 / 初始速度 / 几何位置 / 标量 s"]
        Backprop --> GeoRefine["物态感知几何精化<br/>体积划分基元 + 视物综合权重重分配"]
        GeoRefine --> MPM
    end

    S1 --> S2["外观精化阶段<br/>冻结动力学，联合 L1 + SSIM 优化颜色"]
    S2 --> Out["最终输出：真实尺度 3D 几何、<br/>物理参数 (E, v, σ_y) 与未来预测轨迹"]

关键设计¶

1. 场景尺度重参数化：聚合全局动力学梯度化解单目深度模糊

在单视角观测中，沿视线投射射线缩放物体几何在二维成像投影上保持不变，但对物理系统而言，绝对物理尺度直接决定物体质量分布、重力落体时间、接触碰撞瞬间的时序以及内部形变应力强度。如果直接将粒子放在世界坐标系中并依赖各自独立的三维坐标微调，每个粒子的局部反传梯度会相互抵消，局部变形更新会淹没整体尺度信号，导致优化陷入局部极值。MonoPhysics 将所有 3D 高斯物理粒子的基准坐标保留在相机局部坐标系 $\mathbf{x}_i$，并显式解耦出一个全局可学习正标量 $s$。当进入可微物理引擎计算前，利用已知相机位姿旋转矩阵 $\mathbf{R}$ 与平移向量 $\mathbf{t}$ 动态变换至世界空间坐标 $\mathbf{x}_i^w$： $$\mathbf{x}_{i}^{w} = \mathbf{R}\,(s\cdot\mathbf{x}_{i}) + \mathbf{t}$$ 在相机坐标系中沿视线缩放不会改变 2D 图像投影轮廓，但会改变世界坐标系下的绝对坠落高度与相互作用尺度。任何因物理动力学不匹配（如过早碰撞或下落迟滞）引发的图像反传误差，均会跨所有粒子与所有观测时间步累加聚合到这一独立标量 $s$ 上，为其提供了纯净全局的优化梯度通路，使得系统即便在尺度初始化偏移数倍的情况下依然能稳定恢复真实尺度。

2. 物态感知几何精化：动态局部体积统一性与物性驱动的粒子重分配

由于单目视觉存在大量遮挡盲区，单帧生成的几何必然存在内部虚空或局部欠密问题，而粒子离散表征中单个粒子的体积直接决定了质量守恒与弹性形变恢复力。现有方法在初始化后将粒子体积冻结，使得几何一旦改变便违背物理网格划分规则。MonoPhysics 提出了物理约束驱动的几何自适应更新机制。首先，在优化迭代中动态保持 MPM 网格的单位分解（Partition-of-Unity）性质： $$\sum_{i} V_{i} w_{i\ell} = \Delta x^{3}$$ 其中 $\Delta x$ 为 MPM 背景背景网格步长，$w_{i\ell}$ 为粒子 $i$ 对网格节点 $\ell$ 的插值形函数权重。系统在每步通过迭代重松弛更新每个粒子的物理等效体积 $V_i$，使其忠实反映几何形变导致的局部质量重构。其次，在粒子分裂与剪枝管理中，摒弃传统仅依赖视觉不透明度梯度的准则，提出综合视觉重要度 $p_i^{vis}$ 与物理重要度 $p_i^{phys}$ 的联合决策指标： $$p_i \propto \frac{1}{2} p_i^{vis} + \frac{1}{2} p_i^{phys}, \quad p_i^{vis} \propto \det(\boldsymbol{\Sigma}_i)^{1/2} \cdot o_i, \quad p_i^{phys} \propto V_i$$ 其中 $\boldsymbol{\Sigma}_i$ 为高斯空间协方差，$o_i$ 为不透明度。算法周期性地识别并剔除视觉或物理贡献双重极低的冗余漂移粒子，并在整体重要度高的高负荷承载区复制分裂粒子，引导几何表达向不可见但受物理形变强约束的区域密集重构。

3. 可微位置图：打通无重叠全局轮廓监督的位置梯度流

在标准的 3DGS 渲染中，像素颜色与透明度由高斯投影响应加权混合而成，这导致基于图像或轮廓掩码的损失函数只能在预测渲染形状与真实标注存在像素重叠时产生局部牵引梯度；当单目预测因参数初始偏差较大而发生整体位置漂移、或者物体剧烈形变导致轮廓完全脱开时，重叠区域外的粒子梯度完全归零。为提供全局定向几何引力，MonoPhysics 构造了可微位置图。对于落在高斯 $i$ 投影范围内的像素 $\mathbf{p}$，基于其 2D 均值 $\mathbf{x}_i^{2D}$ 与协方差 $\boldsymbol{\Sigma}_i^{2D}$ 构造显式包含中心坐标的位置代理 $\tilde{\mathbf{p}}_i$： $$\tilde{\mathbf{p}}_i = \mathbf{x}_i^{2D} + (\boldsymbol{\Sigma}_i^{2D})^{1/2}\mathbf{z}, \quad \mathbf{z} = \text{sg}\left((\boldsymbol{\Sigma}_i^{2D})^{-1/2}(\mathbf{p} - \mathbf{x}_i^{2D})\right)$$ 其中 $\text{sg}(\cdot)$ 为停止反向传播算子（stop-gradient）。利用与颜色渲染相同的 $\alpha$-blending 机制渲染出像素位置图： $$\tilde{\mathbf{p}} = \mathbf{p}\prod_i (1-\alpha_i) + \sum_i \alpha_i \tilde{\mathbf{p}}_i \prod_{j<i}(1-\alpha_j)$$ 数值上 $\tilde{\mathbf{p}}$ 严格退化等于真实像素坐标 $\mathbf{p}$，但在计算图上使像素坐标成为中心参数 $\mathbf{x}_i^{2D}$ 的直接可微函数。将此可微点集与真实前景像素点集构成加权点云，计算非平衡去偏 Sinkhorn 距离（Unbalanced Debiased Sinkhorn Divergence）： $$\mathcal{L}_{sil}^t = \text{SD}\left(\{\tilde{\mathbf{p}}_k, \tilde{a}_k\}_{k \in \hat{\Omega}_t}, \{\mathbf{p}_j, a_j\}_{j \in \Omega_t}\right)$$ 该最优传输测度能感知整体轮廓分布差异，并在两者完全分离时计算出沿测地线指向真实物体轮廓的长程空间位移场，直接拉动高斯粒子向正确方位对齐。

损失函数 / 训练策略¶

第一阶段物理联合优化的总损失函数由四项构成： $$\mathcal{L} = \sum_{t=0}^T \left[\mathcal{L}_\alpha^t + \mathcal{L}_{sil}^t\right] + \sum_{t=1}^T \mathcal{L}_{flow}^t + \mathcal{L}_{distr}$$ 其中，$\mathcal{L}_\alpha^t$ 为渲染透明度与真值前景掩码的 L1 损失；$\mathcal{L}_{sil}^t$ 为基于可微位置图的 Sinkhorn 轮廓损失；$\mathcal{L}_{flow}^t$ 为抗噪概率光流损失，通过渲染粒子世界速度在图像平面的高斯投影，同时监督以第 0 帧为基准的长程位移流 $\mathbf{f}_{0 \to t}$ 与相邻帧瞬时速度流 $\mathbf{f}_{t-1 \to t}$： $$\mathcal{L}_{flow} = -\frac{1}{|\Omega_t|} \sum_{j \in \Omega_t} \left[ \log p(\mathbf{f}_{0\to t}(\mathbf{p}_j) \mid \hat{\mathbf{f}}_{0\to t}(\mathbf{p}_j)) + \log p(\mathbf{f}_{t-1\to t}(\mathbf{p}_j) \mid \hat{\mathbf{f}}_{t-1\to t}(\mathbf{p}_j)) \right]$$ $\mathcal{L}_{distr}$ 为初始帧粒子分布正则项，防止粒子在优化中过度聚集粘连或脱离基底虚假漂移： $$\mathcal{L}_{distr} = \sum_{i=1}^N \sum_{j \in \mathcal{N}_K(i)} \max\left(0, \|\mathbf{x}_i - \mathbf{x}_j\| - \tau_{max}\Delta x\right) + \max\left(0, \tau_{min}\Delta x - \|\mathbf{x}_i - \mathbf{x}_j\|\right)$$ 训练在 Taichi 框架中进行 250 次大迭代，前 150 步采用由 4 帧线性增加至全序列的动态时间窗课程学习，并在每次仿真后进行 100 步轻量透明度局部更新。第二阶段冻结物理轨迹，使用 RGB 图像的 L1 与 SSIM 损失优化 3DGS 颜色 1000 步。

实验关键数据¶

主实验¶

评估在 Vid2Sim 基准（12 个弹性体场景，5 个独立单相机视角，共 60 次独立单目运行）、新建合成数据集（包含来自 Google Scanned Objects 的 5 个 Neo-Hookean 弹性体与 5 个塑性体，各 5 个视角）以及 SpringGaus 真实世界物理视频上展开。核心指标包括未来帧图像预测质量（PSNR、SSIM、LPIPS）、3D 几何轨迹度量（Chamfer Distance CD、Earth Mover's Distance EMD）以及物理参数绝对误差（杨氏模量 $\log E$、泊松比 $\nu$、塑性屈服应力 $\log \sigma_y$ 与初速度 $\mathbf{v}_0$）。

在 Vid2Sim 基准上的未来预测与物理参数辨识对比（单目方法报告中位数 [Q1, Q3]；Vid2Sim 为 12 视角多目基线）：

方法	视角数	PSNR ↑	LPIPS ↓	SSIM ↑	MAE $\log E$ ↓	MAE $\nu$ ↓
Vid2Sim* (多视角上界)	12	25.07	-	0.95	0.51	0.06
Oracle Midpoint (先验中值)	-	-	-	-	0.57 [0.25, 0.77]	0.03 [0.02, 0.07]
PAC-NeRF	1	17.9 [16.6, 18.8]	0.15 [0.14, 0.19]	0.91 [0.89, 0.93]	2.07 [0.97, 2.83]	0.14 [0.08, 0.36]
SpringGaus	1	18.9 [16.4, 20.6]	0.16 [0.10, 0.20]	0.91 [0.89, 0.94]	-	-
GIC	1	18.7 [17.5, 20.3]	0.16 [0.14, 0.18]	0.92 [0.90, 0.93]	0.48 [0.25, 0.77]	0.07 [0.03, 0.10]
MonoPhysics (本文)	1	22.4 [20.5, 23.6]	0.09 [0.07, 0.13]	0.94 [0.92, 0.95]	0.45 [0.21, 0.80]	0.10 [0.06, 0.13]

在合成 GSO 弹塑性数据集上的 3D 轨迹与物理参数对比（报告中位数）：

材质分类	方法	CD ↓	EMD ↓	PSNR ↑	SSIM ↑	MAE $\log E$ ↓	MAE $\log \sigma_y$ ↓
Elastic (弹性体)	PAC-NeRF	438	0.74	17.4	0.92	1.33	-
	SpringGaus	693	0.97	16.7	0.91	-	-
	GIC	421	0.75	18.5	0.92	0.66	-
	MonoPhysics (本文)	24	0.26	21.1	0.93	0.31	-
Plasticine (塑性体)	PAC-NeRF	247	0.62	19.8	0.94	2.55	0.57
	SpringGaus	450	0.67	17.3	0.92	-	-
	GIC	333	0.65	22.0	0.94	0.95	0.34
	MonoPhysics (本文)	19	0.24	23.4	0.95	0.40	0.33

消融实验¶

在合成塑性体数据集上对各优化损失项进行的系统性消融结果（报告中位数 [Q1, Q3]）：

配置	CD ↓	PSNR ↑	MAE $\log E$ ↓	MAE $\log \sigma_y$ ↓	说明
$\mathcal{L}_\alpha$ (基线掩码)	78 [33, 294]	21.8 [20.3, 23.9]	0.34 [0.13, 0.82]	0.45 [0.30, 0.98]	仅利用常规渲染透明度掩码，缺乏几何位置长程引力
+ $\mathcal{L}_{distr}$	64 [14, 183]	22.2 [19.8, 28.1]	0.23 [0.13, 1.02]	0.27 [0.11, 0.62]	加入粒子近邻正则化，有效抑制粒子漂移游离与内部空洞
+ $\mathcal{L}_{distr}$ + $\mathcal{L}_{flow}$	71 [32, 153]	22.9 [20.8, 24.9]	0.50 [0.17, 1.18]	0.21 [0.16, 0.53]	引入概率光流锚定局部瞬时速度，但缺少全局轮廓边界牵引
+ $\mathcal{L}_{distr}$ + $\mathcal{L}_{sil}$	26 [11, 72]	22.9 [21.4, 24.4]	0.36 [0.17, 0.64]	0.52 [0.28, 0.85]	引入可微位置图与 Sinkhorn 损失，提供大幅度轮廓收敛力，CD 骤降
完整模型 (Full)	19 [7, 72]	23.4 [22.4, 25.4]	0.40 [0.14, 0.81]	0.33 [0.19, 0.50]	完整融合光流运动轨迹与轮廓空间对齐，各项指标综合最佳

几何精化模块的有效性独立验证（在基准代表性场景上对比物理感知几何精化）： - 未启用物态感知几何精化时：初始几何 CD 为 10.79，未来轨迹预测 CD 为 223，$\log E$ 误差为 1.10。 - 启用物态感知几何精化后：初始几何 CD 降至 4.69，未来预测 CD 降至 78，$\log E$ 误差降至 0.55。

关键发现¶

单目精度逼近多视角上界：在 Vid2Sim 基准上，MonoPhysics 仅凭单个普通相机输入，便实现了 0.45 的杨氏模量对数误差，甚至优于原论文中使用 12 个同步相机协同优化的 Vid2Sim 基线（0.51），打破了单目几何无法精确支持逆向物理辨识的固有认知。
可微位置图是几何收敛的核心转折点：消融数据显示，仅依靠光流无法显著降低几何误差（CD 为 71），而引入基于可微位置图的 Sinkhorn 轮廓损失后，CD 直接从 64 骤降至 26，降幅高达 59.4%，证实长程位置梯度在处理无重叠、大形变对齐中的不可替代性。
真实场景零样本泛化能力强：在 SpringGaus 真实世界拍摄数据集上，MonoPhysics 在无真实物理标签监督的情况下，未来帧渲染 PSNR 达到 32.33 dB（较 SpringGaus 的 28.94 dB 提升超 3.3 dB），验证了物理模拟在真实复杂摩擦与碰撞中的鲁棒预测价值。

亮点与洞察¶

全局尺度重参数化优雅解耦退化自由度：通过将 3DGS 粒子维护在相机空间并引入可学习标量 $s$ 控制射线深度缩放，避免了单粒子微调中的梯度相互抵消，为单目物理尺度估计开辟了纯净的全局反传梯度通道。
计算图技巧赋予像素坐标反向梯度：巧借停止反向传播算子 $\text{sg}(\cdot)$ 与协方差重参数化，在数值保持像素绝对位置不变的同时，将像素坐标伪装为高斯中心的高阶可微函数，巧妙绕过了 3DGS 栅格化不可微的传统瓶颈。
物理与视觉双向赋能的闭环设计：不仅用视觉损失修正物理参数，更利用物理 MPM 仿真的网格体积守恒反哺不可见区域的几何重拓扑，展现了“物理辅助视觉生成、视觉约束物理规律”的协同范式。

局限与展望¶

先验强假设约束真实落地：当前方法仍严格假定已知精准的相机标定矩阵、水平刚性地面位置以及确定的材料本构物理方程（如 Neo-Hookean），在非平整交互、动态相机或未知摩擦体系的野外自然场景下仍难以直接运行。
重力弹道依赖性：当前全部评测序列均为重力主导的下落碰撞过程，绝对物理尺度之所以能被单目解算，高度依赖于重力加速度（$g=9.8\,\text{m/s}^2$）作为已知物理尺标；若物体处于失重悬浮或无特征外部受力工况下，尺度的可辨识度将大幅削弱。
不可观测隐蔽区域的几何不可辨识：虽然物理体积守恒显著改善了背面缺陷，但在未发生形变或未参与接触受力的深层内部区域，几何精度依然依赖初始生成模型的先验质量。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性解决单目视频逆向物理中的尺度与长程梯度消失问题，视觉-物理三大桥梁设计极其精巧。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 Vid2Sim、自建 GSO 弹塑性数据集及真实视频，指标包含 2D 渲染、3D 点云轨迹及真实物理量多维度评估。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，对单视角物理退化机理分析透彻，数学推导与实验消融互相呼应。
价值: ⭐⭐⭐⭐⭐ 为具身智能与交互式三维物理感知提供了无需昂贵多目传感器的轻量化低成本实用方案。

配置	CD ↓	PSNR ↑	MAE \(\log E\) ↓	MAE \(\log \sigma_y\) ↓	说明
\(\mathcal{L}_\alpha\) (基线掩码)	78 [33, 294]	21.8 [20.3, 23.9]	0.34 [0.13, 0.82]	0.45 [0.30, 0.98]	仅利用常规渲染透明度掩码，缺乏几何位置长程引力
+ \(\mathcal{L}_{distr}\)	64 [14, 183]	22.2 [19.8, 28.1]	0.23 [0.13, 1.02]	0.27 [0.11, 0.62]	加入粒子近邻正则化，有效抑制粒子漂移游离与内部空洞
+ \(\mathcal{L}_{distr}\) + \(\mathcal{L}_{flow}\)	71 [32, 153]	22.9 [20.8, 24.9]	0.50 [0.17, 1.18]	0.21 [0.16, 0.53]	引入概率光流锚定局部瞬时速度，但缺少全局轮廓边界牵引
+ \(\mathcal{L}_{distr}\) + \(\mathcal{L}_{sil}\)	26 [11, 72]	22.9 [21.4, 24.4]	0.36 [0.17, 0.64]	0.52 [0.28, 0.85]	引入可微位置图与 Sinkhorn 损失，提供大幅度轮廓收敛力，CD 骤降
完整模型 (Full)	19 [7, 72]	23.4 [22.4, 25.4]	0.40 [0.14, 0.81]	0.33 [0.19, 0.50]	完整融合光流运动轨迹与轮廓空间对齐，各项指标综合最佳