Learning Implicit Constitutive Laws for Dynamic 3D Gaussian Splatting from Monocular Videos¶

会议: ECCV 2026
论文: ECCV 2026 Poster
领域: 物理/科学计算
关键词: 本构关系, 可微物理仿真, 3D高斯泼溅, 单目动态视频, 视物对齐

一句话总结¶

针对单目视频反演物体动力学中严重的几何与材料欠定问题，本文提出 GCA 框架，结合 LoRA 微调、基于秩次一致性的深度几何锚点与本构先验软正则化，实现了高质量隐式本构关系的稳健学习。

研究背景与动机¶

赋予机器对物体内在动力学的理解是空间智能的核心基石，它使得数字孪生、可控虚拟交互以及遵循物理规律的机器人具身操作成为可能。近年来，结合可微物理求解器与可微渲染器的分析与反演管线取得了显著进展。然而，在可变形物体的动力学建模中，现有方法呈现出两难的分裂局面：显式本构建模依赖连续介质力学的预定义方程（如超弹性模量、泊松比），不仅需要针对特定材料手工挑选法则与精调超参数，而且难以表达高度耦合的复杂复合材料，更关键的是对观测噪声极其敏感，在单目视角下极易发散；而基于神经网络参数化的隐式本构模型（如 NeuMA）虽然具备更强的拟合自由度，但在稀疏且带噪声的单目视频监督下极易陷入局部极值，缺乏物理可解释性与长期外推稳定性。

在动态 3D Gaussian Splatting 设定下，虽然可以借助多视角静态扫描获得物体的初始 3D 几何，但当物体受力发生动态变形时，观测条件往往受限于单重视角视频。单目动态观测引入了双重严重病态性：一方面是由于单目视角的深度缺失与自遮挡、剧烈旋转所带来的几何二义性；另一方面是由于未知本构形式和参数组合所导致的材料二义性。如果仅依赖像素级重渲染颜色损失进行监督，光照变化和域偏移会导致动力学反演完全崩塌。

本文的核心思路是打破纯视觉渲染驱动的单向优化局限，构建视觉与物理的双向对齐机制。核心 idea：提出高斯本构对齐框架 GCA，结合 LoRA 保持基础物理能力并防御视觉过拟合，通过尺度不变的秩次深度几何锚点化解单目几何二义性，同时引入经典物理法则的软正则先验约束材料解空间，实现单目动态视频下稳健且高泛化性的隐式本构关系学习。

方法详解¶

整体框架¶

GCA 接收物体的静态 3D Gaussians 作为初始几何，并以单目动态形变视频作为唯一动态监督输入，目标是学习描述弹塑性连续动力系统的隐式本构网络。系统状态由粒子的三维位置、速度以及弹性变形梯度组成，利用半隐式欧拉积分推进物理状态，并通过可微 3DGS 渲染器生成图像与深度。为克服单目视频的不适定性，GCA 冻结基础隐式物理模型并引入 LoRA 增量，在时间步推进中引入“秩次深度几何锚点”（RDGA）构建前向几何约束，并在本构更新中引入“本构先验正则项”（CPR）施加反向物理规律引导。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["单目动态视频 + 初始3D高斯"] --> B["LoRA增量微调隐式本构网络<br/>半隐式欧拉推进物态"]
    B --> C["秩次深度几何锚点<br/>尺度不变秩相关过滤稳定锚点"]
    B --> D["本构先验正则项<br/>经典力学假设逆估计与置信加权"]
    C --> E["全局轮廓/几何损失 + 局部锚点约束"]
    D --> E
    E --> F["更新LoRA权重与动力学演化"]

关键设计¶

1. LoRA增量微调隐式本构网络：参数轻量化与物理防过拟合 纯神经本构模型直接进行全量参数微调时，容易直接拟合单目视频中的像素噪声、光照伪影和单重视角退化，破坏神经网络在预训练中所学到的连续介质基本物理守恒性。GCA 基于 NCLaw 架构构建弹塑性动力系统，将弹性法则网络和塑性法则网络解耦为预训练冻结基座加低秩自适应增量： $$E_{\theta_e} = E_0 + \Delta E_{\theta_e}, \quad P_{\theta_p} = P_0 + \Delta P_{\theta_p}$$ 在时间步 $t$ 中，粒子根据当前弹性变形梯度经神经网络计算第一 Piola–Kirchhoff 应力张量，随后通过半隐式欧拉积分更新粒子位置与速度，并得到试探形变梯度，最后通过塑性网络修正试探形变。LoRA 仅优化低秩矩阵，不仅降低了 60% 显存并加速 87% 的训练流程，更从结构上充当了强物理正则化，避免了全量微调导致的物理动力学漂移。

2. 秩次深度几何锚点：化解单目深度尺度漂移与边界误差 在单目视频中，逐像素的颜色重渲染监督对光照剧烈变化和视角遮挡极不稳健，而单目深度估计网络则固有地存在帧间尺度与平移二义性，若强行采用常规 $L_1$ 或 $L_2$ 度量损失直接监督渲染深度，会将深度估计器的尺度偏移噪声反向注入动力学仿真。RDGA 采用特征匹配提取渲染图与真实帧之间的 2D 匹配点对，并通过形态学开运算将易受边界膨胀干扰的边缘像素剔除，仅在物体稳定内部区域进行深度验证。对于每对匹配坐标，在局部 $k \times k$ 深度窗口内计算斯皮尔曼秩相关系数： $$\gamma_i = 1 - \frac{6 \sum_{j=1}^{k^2} (r_j - s_j)^2}{k^2 (k^4 - 1)}$$ 其中 $r_j$ 与 $s_j$ 分别代表渲染深度与单目估计深度在局部窗口内的相对排序等级。RDGA 仅保留满足相关性阈值的点对作为可靠的几何锚点，结合全局对齐损失与局部锚点损失共同约束 3D 粒子的空间形变，彻底免除了对绝对尺度对齐的敏感依赖。

3. 本构先验正则项：假设验证与自适应置信加权软约束 如果完全依赖神经网络自由拟合材料参数，单目观测下的材料二义性容易使优化收敛至非物理的退化解。反之，如果将经典力学法则设为硬约束，则无法泛化至未知及复杂非线性复合材料。CPR 将经典弹性假设集合（共旋转弹性、StVK、体积弹性、Sigma 弹性）与塑性假设集合（恒等塑性、Sigma 塑性、von Mises 屈服、Drucker–Prager 塑性）作为可微软先验。在形变梯度采样集上反向拟合各经典候选法则的显式物理参数，并根据参数估计的方差衡量各假设的数值稳定性： $$\omega_{k}^e = \frac{1}{\mathrm{Var}\{\hat{\Theta}_{k}^e\} + \epsilon}$$ 将稳定性方差的倒数归一化为置信度权重，计算神经网络预测与经典模型之间的加权物理残差 $\mathcal{R}_e$ 和 $\mathcal{R}_p$。这种机制既不强制锁定任一特定模型，又为神经网络提供了遵循基本能量与几何稳定性的渐进物理拉力，即使真实材料完全超出假设集合，也能维持物理合理性。

损失函数 / 训练策略¶

GCA 的端到端训练目标联合了宏观视觉轮廓、几何对齐以及微观物理法则残差： $$\mathcal{L} = \lambda_m \mathcal{L}_{\text{mask}} + \lambda_g \mathcal{L}_{\text{geo}} + \mathcal{R}_e + \mathcal{R}_p$$ 其中 $\mathcal{L}_{\text{mask}} = \|M_{\text{render}} - M_{\text{gt}}\|_2^2$ 保证前景轮廓重合；$\mathcal{L}_{\text{geo}}$ 联合全局点云对齐与经过斯皮尔曼局部秩检验筛选的锚点对进行局部几何约束；$\mathcal{R}_e$ 与 $\mathcal{R}_p$ 为自适应加权的弹塑性物理先验正则项。实验中预设采样粒子子集大小为 $|S| = 256$，所有模型在单张 NVIDIA A800 80GB GPU 上基于 PyTorch 及可微 3DGS 平台进行反向传播优化。

实验关键数据¶

主实验¶

论文在涵盖 6 种材料类别（弹性体、凝胶、橡胶、橡皮泥、颗粒物、非牛顿流体）的合成数据集上评测粒子位置的倒角距离（Chamfer Distance, CD $\downarrow$），以验证动力学仿真精度；并在真实静态扫描重构几何驱动仿真（Real-to-Sim）数据集上进一步评估泛化表现。

数据集 / 场景	材料类型 (物体)	NCLaw (隐式,需粒子GT)	NeuMA (隐式视觉基线)	本文 (GCA, 单目)	相对提升
Synthetic	弹性体 (Ball)	4.085	1.123	0.922	误差降 17.9%
Synthetic	凝胶 (Duck)	2.934	1.863	0.702	误差降 62.3%
Synthetic	橡胶 (Pawn)	2.031	0.517	0.200	误差降 61.3%
Synthetic	橡皮泥 (Cat)	1.909	0.844	0.318	误差降 62.3%
Synthetic	颗粒物 (Fish)	0.536	0.322	0.077	误差降 76.1%
Synthetic	非牛顿流体 (Bottle)	1.631	1.056	0.757	误差降 28.3%
Synthetic	全类别平均	2.188	0.954	0.496	误差降低 48.0%
Real-to-Sim	橡皮泥龙 (Plast. Dragon)	25.021	3.527	2.081	误差降 41.0%
Real-to-Sim	砂质狼 (Sand Wolf)	49.420	9.803	5.842	误差降 40.4%
Real-to-Sim	布丁 (Gel Pudding)	38.149	13.804	0.906	误差降 93.4%

消融实验¶

消融实验详尽剖析了各核心组件、深度监督设计以及微调方式对动力学拟合的影响。

配置	平均 CD $\downarrow$	弹性体	橡胶	颗粒物	非牛顿流体	说明
NeuMA (基线)	0.954	1.123	0.517	0.322	1.056	缺少深度锚点与物理先验
w/o 全局几何对齐	> 100	> 100	> 100	> 100	> 100	优化完全发散，无法捕获整体运动
w/o 局部锚点监督	0.744	1.024	0.637	0.164	1.166	丢失局部几何形变细节
用常规 L1 替换秩次深度	0.844	1.064	0.846	0.147	0.989	尺度平移二义性引入严重噪声
w/o RDGA (无深度锚点)	2.128	3.842	1.975	0.559	1.531	单目视角下几何约束严重缺失
w/o CPR (无本构先验)	0.557	1.024	0.243	0.084	0.769	缺少物理法则约束，收敛变慢
GCA (完整模型)	0.496	0.922	0.200	0.077	0.757	所有材料上均达最优性能
全量参数微调 (Full FT)	1.350	-	-	-	-	显存 76.9GB，拟合视觉噪声导致发散
LoRA 增量微调 (Ours)	0.500	-	-	-	-	显存仅 30.5GB，耗时减少 87%

关键发现¶

尺度不变的秩次检验优于度量损失：将斯皮尔曼秩次检验替换为绝对数值 $L_1$ 深度误差后，平均倒角距离从 0.496 恶化至 0.844，在 6 类材料中有 5 类大幅掉点。这证实了单目深度估计器的主要价值在于相对深度顺序，强行对齐未定标的绝对数值反而会成为破坏优化的噪声源。
显式方法直接迁移单目完全失效：实验尝试将经典显式方法 PAC-NeRF 增加单目深度扩展到单目场景，但优化直接发散（CD > 100）。这是由于显式连续介质模型参数化过于刚性，对单目深度的噪声极度敏感，凸显了 GCA 隐式结合软约束机制的优越性。
真实应力响应层面的精确反演：在保留变形梯度下的直接本构验证实验中，GCA 将平均本构响应误差从 NeuMA 的 39.6% 锐减到 8.0%，表明该方法真正学到了物体的底层本构规律，而非仅仅过拟合视觉表象运动轨迹。
分布外与复合材料鲁棒性：当故意将真实材料的理论方程从 CPR 的候选假设库中移除时，GCA 的表现依然显著超越无物理先验的基线，证明软正则化提供了普适的物理稳定性拉力。

亮点与洞察¶

将单目深度估计作为相对拓扑约束而非绝对距离：通过斯皮尔曼秩次相关系数在物体稳定内部区域过滤局部几何锚点，巧妙化解了单目深度估计无法克服的帧间尺度漂移难题。
以多假设参数方差反比作为先验置信权重：避免了一刀切的显式公式假设强加，通过在线拟合各力学模型的参数离散度动态分配置信度，实现了隐式网络的表达自由度与显式力学稳定性的统一。
LoRA 在物理反演领域的自正则化特性：证明了在病态视物反演任务中，低秩更新不仅节约了 60% 显存，更重要的是限制了参数扰动空间，有效防止神经网络被单重视角下的单目渲染伪影带偏。

局限与展望¶

依赖预先获取的多视角静态几何扫描：当前管线仍需要静态条件下的环绕扫描以初始化高质量 3D 高斯点云，尚未实现从完全单目单视角一镜到底联合重构几何与反演动力学。
计算复杂度随时间展开增加：物理仿真必须通过半隐式欧拉积分在时间维度连续前向迭代，长时序反向传播存在计算瓶颈。
多物体交互与异质材料拓展：当前验证主要针对单一均质材料物体，在多刚体/软体接触碰撞以及空间非均质多材料物体的动力学辨识方面仍待拓展。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次打通单目视频下 3DGS 隐式本构关系反演，提出尺度无关秩次深度锚点与方差加权物理先验，构思严谨新颖。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 大类材料合成场景、Real-to-Sim 复杂几何重构仿真、SpringGaus 真实视频评测以及外推应力响应校验，对比极具说服力。
写作质量: ⭐⭐⭐⭐⭐ 数学表达清晰，物理建模与连续介质力学背景阐述透彻，实验消融逻辑严密。
价值: ⭐⭐⭐⭐⭐ 为单目视频驱动的具身交互、物理现实数字孪生及可微物理系统辨识提供了极具实用价值的范式。