ReconPhys: Reconstruct Appearance and Physical Attributes from Single Video¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/chuanshuogushi/ReconPhys
领域: 3D 视觉
关键词: 非刚体重建、物理属性估计、高斯泼溅、弹簧质点系统、自监督学习

一句话总结¶

ReconPhys 将冻结的单图 3D 高斯重建器与视频物理参数预测器连接到可微弹簧质点仿真，用图像重建误差学习从单目自由落体视频生成可仿真资产，在合成测试集上将未来预测 PSNR 从 Spring-Gaus 的 13.27 提高到 21.64，并报告小于 1 秒的前馈推理时间。

研究背景与动机¶

动态三维重建可以把一个正在变形的物体渲染得很逼真，却未必知道它为什么这样变形。NeRF 和动态 3D Gaussian Splatting（3DGS，高斯泼溅）通常学习时间与外观、几何变化的对应关系；如果要求物体在新时刻继续运动，或受到新的挤压，单纯拟合已有视频的形变场不一定能给出合理结果。机器人仿真需要的不是一段可回放动画，而是带有动力学响应的对象。

已有物理重建方法把渲染与仿真连接起来，以观测误差反推材料参数。Spring-Gaus 用弹簧质点系统驱动高斯，能够表达弹性形变，但通常需要多视角采集与逐场景优化。ReconPhys 要改变的是参数获取方式：让网络从大量物体的运动中学习跨对象的视觉到物理映射，使测试时不必为每个新物体重新优化数小时。这里的任务主要是重力下的下落、碰撞与反弹，不是任意现实视频的通用物理反演。

下落视频既包含物体的形状与纹理，也包含接触后压缩、回弹和能量耗散的线索。作者用预训练重建器提供规范形态，把学习重点放在能解释运动的物理属性上。核心 idea：让网络一次预测弹簧质点参数，再把这些参数经过可微仿真和高斯渲染得到的视频与观测比较，用运动重现误差训练前馈物理估计器。

方法详解¶

整体框架¶

输入是一段单视角视频，实验中使用前 20 帧；初始参考图像进入冻结的 3DGS 预测器，得到规范高斯对象。视频同时进入物理预测分支，输出质量、刚度、阻尼和地面摩擦参数；这些参数驱动由规范几何建立的稀疏弹簧质点系统，再通过绑定关系带动高斯中心运动。

最终产物包含规范外观、几何及可用于后续仿真的物理属性，而不是只输出未来图像。训练阶段需要仿真、渲染与重建误差反馈；测试时前馈预测资产后，可以继续仿真未来状态或施加交互，不再做场景专属参数优化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["单目视频"] -->|初始参考图像| Canonical["冻结规范重建"]
    Input --> Physics["视频物理估计"]
    Canonical --> Binding["稀疏动力学绑定"]
    Physics -->|预测物理参数| Binding
    Binding --> Rollout["自驱动仿真监督"]
    Input -.->|训练时图像监督| Rollout
    Rollout -.->|训练时更新预测器| Physics
    Rollout --> Output["动态高斯与<br/>未来仿真"]

关键设计¶

1. 冻结规范重建：固定外观基础，让物理分支承担解释运动的任务

3DGS 预测器根据初始图像给出高斯中心、旋转、颜色、尺度和不透明度。论文明确使用现成预训练权重，并在物理训练中始终冻结该预测器；因此，摘要中“联合推断外观和物理”不应理解为两个分支从头共同训练。仿真展开时只更新高斯中心，其余属性保持固定。这为物理估计提供了稳定的视觉表示，也意味着模型不能靠随时间改颜色或透明度来掩盖错误运动。

这种约束同时留下了误差来源：单图重建出的几何若不准确，物理分支只能在这个规范对象上寻找最能解释视频的参数，未必能恢复真实材料。数据合成阶段使用 TRELLIS 从四个正交视图构建高斯资产；正文对模型分支只明确说明使用冻结的预训练 3DGS 预测器，不能据此把数据生成过程的四视图输入误写成测试时要求。

2. 视频物理估计：用整段运动预测共享参数，而不是逐点自由拟合

InternViT 提取每帧视觉特征，带自注意力的 ResNet 主干聚合时空信息，MLP 解码器输出物理属性。实验采用 InternViT-300M。尽管问题定义允许每个质点拥有独立质量、每条弹簧拥有独立刚度与阻尼，实际模型预测的是四个共享量，所有质点、弹簧分别复用对应参数：

\[ \hat{\mathbf{p}}=(\hat m,\hat k,\hat d,\hat f),\qquad \hat m_i=\hat m,\quad \hat k_{ij}=\hat k,\quad \hat d_{ij}=\hat d. \]

这里的质量是共享的质点质量参数，不应直接当作整个物体的总质量。运动特征让相同几何可以对应不同参数，而共享约束大幅限制了输出自由度，减少仅凭二维观测估计高维材料场的难度。代价是无法表达同一物体内部明显不同的质量或弹性分布；“物理属性预测”在本文中不是逐体素材料识别。

3. 稀疏动力学绑定：只模拟少量体内锚点，再让密集高斯跟随

系统在物体体积内部采样稀疏锚点，而非只在表面放点，以支撑更稳定的体积形变。初始形状上的 K 近邻确定弹簧连接与静止长度，之后连接关系保持不变。每一步根据非线性弹簧力、阻尼力和重力更新状态：弹簧力取决于当前长度相对静止长度的变化，阻尼抑制沿连接方向的相对运动；半隐式 Euler 积分先更新速度，再更新位置，随后施加地面碰撞边界条件。

高斯不需要各自参加昂贵的动力学计算。每个高斯绑定到邻近锚点，使用由初始距离确定的逆距离权重插值更新中心，越近的锚点影响越大。这样把“渲染需要密集元素”与“仿真需要较少状态”分开，同时使图像误差能经过高斯中心回传到锚点和物理参数。缓存中的力学与积分公式存在明显提取损坏，这里只说明正文可确认的机制，不补写无法核实的精确式子。

4. 自驱动仿真监督：用自己的历史状态展开，同时截断跨步梯度

预测参数被送入可微仿真器后，每一步都从模型自身上一步的状态继续推进，而不是用真实或代理真实状态重置轨迹。作者将这一策略称为 Self Forcing。高斯随锚点形变，再由可微渲染器生成视频帧；训练信号沿“图像误差、渲染、高斯中心、锚点更新、物理参数”的路径回传，使预测器学到能重现运动的参数，而不需要物理参数标签。

前向使用完整的自回归状态，并不等于反向保留完整的跨时间计算图。论文在每一步计算下一状态前分离输入状态，采用截断反向传播，防止长轨迹上的梯度爆炸或消失；当前步对共享物理参数的依赖仍可提供学习信号。因此，其稳定性设计是“让前向体验自身误差，但不让反向穿过全部历史”，而非用真实轨迹替换仿真结果。原文没有去掉该策略的定量消融，不能单独归因其收益。

一个完整示例¶

以论文展示的 Hamburger 对象为例，输入是 20 帧下落和碰撞视频。第一帧提供规范高斯几何；体内锚点和固定近邻弹簧建立物理骨架；视频分支观察碰撞后的压缩与回弹，输出共享的质量、刚度、阻尼、摩擦参数。仿真器随后让这套骨架运动，高斯根据绑定关系跟随，得到可渲染的动态对象。

训练时，前 20 帧的观测用来约束渲染出的运动；评测未来预测时，继续仿真后 10 帧，与保留真值比较。对同一几何赋予不同物理属性后，两段输入运动应产生不同参数和未来轨迹，而不是因外观相同得到同一个结果。论文用两组属性的对象对检验这一点，但并未声称每个参数都得到同等精度的恢复。

损失函数 / 训练策略¶

训练目标是各帧观测图像与渲染图像之间的平方 L2 重建误差之和。物理参数真值仅用于合成数据及误差评估，不进入该自监督训练目标；自监督也不意味着完全不依赖预训练模型或合成资产。缓存中的公式排版不完整，因此不将修复后的表达式伪装为作者原式。

合成数据从 Objaverse-XL 候选中经 Qwen3-8B 语义筛选，再生成可仿真资产；采样种子由对象标识的哈希决定，让同一物体反复生成的锚点一致。物理采样范围为质量 [0.2, 6.0]、刚度 [10, 1200.0]、阻尼 [0.1, 5.0]、摩擦 [0.0, 1.0]；正文未说明这些参数统一的物理单位，不应自行补成 SI 单位。

数据流水线段落写筛得 500 个对象，实验设置实际使用 496 个对象，分为 450 个训练对象和 46 个测试对象，未说明中间差额。每个训练对象采样 10 组物理属性，每个测试对象采样 2 组；生成 30 帧、512 × 512 视频，训练使用 8 张 RTX 4090、批量大小 8、100K 次迭代。小于 1 秒是论文报告的推理时间，不含这些离线训练成本。

实验关键数据¶

主实验¶

原文表 1 在 46 个未见对象上测试。ReconPhys 输入单视角 20 帧，基线按各自原协议使用四视角 20 帧进行逐场景优化。作者说明本文指标在保留的单视角上计算，基线在优化使用的视角上计算；因此这不是输入视角和测试条件完全相同的受控比较。

方法	重建 PSNR ↑	重建 SSIM ↑	重建 CD ↓	未来 PSNR ↑	未来 LPIPS ↓	未来 CD ↓	报告时间
4DGS	30.33	0.983	0.593	不支持	不支持	不支持	>1 h
Spring-Gaus	22.26	0.874	0.466	13.27	0.2856	0.349	>1 h
ReconPhys	33.84	0.953	0.001	21.64	0.0876	0.004	<1 s

PSNR 和 SSIM 衡量图像相似性，LPIPS 衡量感知差异；CD 是 Chamfer Distance，衡量三维点集的几何差异。本文未来 PSNR 相比 Spring-Gaus 增加 8.37 dB，但重建 SSIM 仍低于 4DGS 的 0.983，不能概括为所有指标均最好。时间列还涉及前馈推理与逐场景优化两种不同计算流程。

原文表 2 使用 Spring-Gaus 的真实世界数据，结果如下；这里未提供真实几何误差或真实材料参数误差。

方法	重建 PSNR ↑	重建 SSIM ↑	重建 LPIPS ↓	未来 PSNR ↑	未来 SSIM ↑	未来 LPIPS ↓
Spring-Gaus	22.12	0.865	0.148	13.44	0.736	0.278
ReconPhys	28.53	0.882	0.112	19.45	0.857	0.126

消融实验¶

可用全文没有提供去除物理分支、Self Forcing、截断梯度或绑定机制的模块消融。下表是原文表 4 的物理属性恢复分析，不是人为构造的消融；指标为预测参数与真值之间的平均绝对误差（MAE），各列量纲不同，不能直接相加比较。

方法	刚度 MAE ↓	阻尼 MAE ↓	质量 MAE ↓	摩擦 MAE ↓
Spring-Gaus	827.67	2.546	2.276	1.082
ReconPhys	297.3	1.151	1.337	1.508

关键发现¶

未来运动的图像质量优势在合成与真实数据上都出现，真实数据未来 PSNR 从 13.44 升至 19.45；这支持一定跨域能力，不等于对任意相机与材料都有效。
刚度、阻尼和质量 MAE 更低，但摩擦 MAE 从 1.082 增至 1.508。摩擦误差还大于所述合成采样区间 [0.0, 1.0] 的宽度，原文未交代预测边界或误差尺度，应保留疑问而不擅自修正数值。
原文表 3 比较同一几何的两组物理属性，支持不同运动状态可被区分；这与逐个物理参数被唯一辨识并不是同一结论。

亮点与洞察¶

把逐场景优化成本转移到共享预测器的离线训练，使生成可仿真资产成为前馈任务。真正改变部署方式的是跨对象学习物理估计，而不是简单增加一个渲染模块。
冻结外观并让高斯中心由物理状态决定，限制了网络用视觉自由度绕开动力学解释的空间。这种约束适合已有可靠重建器、但物理标签稀缺的场景。
稀疏锚点与密集高斯的绑定，让仿真分辨率不必等于视觉分辨率。这一接口可复用于需要可微物理与高质量渲染协作的资产建模。

局限与展望¶

作者明确指出，固定 KNN 连接无法表达撕裂、断裂或永久自接触分离；弹簧质点先验也限制了塑性流动等训练分布外现象。
实际使用共享参数而非空间材料场，对异质物体的解释能力有限；更高维参数化仍需面对单目观测不足的问题。
光度拟合较好不保证参数唯一正确，尤其质量与刚度等量可能共同影响运动。本笔记将此视为辨识层面的风险，论文没有给出唯一性证明或专门消融。
真实域结果仍受规范几何、相机条件和运动模式影响；论文展示了键盘控制点驱动的抓取器或手部交互仿真，不是经过成功率评测的真实机器人策略。

评分¶

新颖性: 4/5，将前馈视频物理估计与冻结高斯重建、可微仿真串联，部署目标清晰，但基础物理表示主要继承已有工作。
实验充分度: 3/5，包含未见对象、真实域和参数恢复分析，缺少模块消融与更严格的等条件比较。
写作质量: 3/5，流程可理解，但部分概括超出表格结果，且 500/496 对象差额及摩擦误差尺度未解释。
价值: 4/5，为快速创建可交互非刚体资产提供了实用途径，尚不能视为通用真实材料测量工具。