KineticGS: Momentum-driven Coherent 4D Gaussian Splatting for Monocular Dynamic Scene Reconstruction¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/wyunqing/KineticGS.git
领域: 重建与渲染
关键词: 动态场景重建 / 4D高斯泼溅 / 单目视频 / 动量驱动 / 运动一致性

一句话总结¶

针对单目动态场景重建中由于缺乏物理先验导致的运动轨迹断裂与非物理形变，KineticGS 将高斯图元建模为承载动量的粒子，构建起“动量引导采样-可学习能量流激活-整体动能同步”的分层物理约束体系，在动态目标区域实现了超越现有方案 +0.91 dB PSNR 的高质量一致性重建。

研究背景与动机¶

从单目视频中恢复真实环境的 4D 动态几何与时空演化，对于沉浸式 AR/VR、机器人具身感知及数字人建模具有关键意义。然而，单目视角重建属于高度病态的反问题，观测者仅能获取单一视角的投影画面，需要从极度受限的信息中解耦复杂的物体运动、频繁的自遮挡以及剧烈的非刚性形变。基于隐式神经辐射场（NeRF）的早期动态重建方法受制于体素采样的计算负担，推理渲染极其缓慢；近期兴起的 4D 高斯泼溅（4DGS）凭借显式点云原语和高效可微光栅化显著加速了渲染，但现有 4DGS 变体大多完全依赖纯粹的图像外观光度损失进行监督。

这种纯外观驱动范式的核心矛盾在于：缺少底层物理运动先验对高斯变形场的时空轨迹施加约束。虽然部分前序工作尝试引入预训练 2D 光流或单目深度等先验作为辅助几何指导，但在单目视频中，2D 线索往往充满噪声，且在物体遭遇快速遮挡、运动模糊或弱纹理区域时会迅速失效甚至中断。这就导致高斯图元在物体遮挡重现时出现断裂轨迹与突兀的透明度跳变，引发严重的几何漂移与画面闪烁。另有一些尝试引入牛顿动力学的物理仿真方法，又必须依赖精确的材料力学常数与外力参数，在不可控的真实单目场景中根本无法获取。

本文的切入角度是：无需陷入难以辨识的材料仿真力学，而是将经典力学中“动量连续性”（动量具有时空惯性且驱动运动演化）作为核心归纳偏置，把高斯粒子视作承载动量的物理实体。核心 idea：KineticGS 构建了一套分层动量驱动的 4D 高斯泼溅框架，通过结合几何可信度与非刚性残差光流构建隐式动量场引导高动态粒子稠密采样，结合双 Sigmoid 可学习能量流窗口维持遮挡下的动量持续性，并借助空间填充曲线对局部动量场施加整体动能同步，实现从图元到物体级的高保真物理连贯重建。

方法详解¶

整体框架¶

KineticGS 将单目动态重建解构为高斯图元、动量承载粒子（Particles）以及宏观运动物体三个层次的递进建模。整个方法从单目视频输入出发，首先利用单目几何深度置信度表征“质量”惯性，结合扣除刚体光流后的残差光流表征非刚性“速度”，构建二维空间动量场并在第一帧（正则空间）反投影生成动量粒子；随后粒子通过可学习能量流窗口控制局部动量随时间的激活与释放，即便在遮挡期间仍保留潜在动量演化；最后在空间填充曲线构建的同物邻域中施加动能同步约束，驱动周围神经高斯图元变形渲染。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["单目视频输入<br/>RGB帧序列"] --> B["动量引导粒子初始化<br/>深度置信度×残差光流构建动量场"]
    B --> C["可学习能量流激活<br/>双Sigmoid时间窗口控制动量释放"]
    C --> D["整体动能同步<br/>空间填充曲线构建邻域约束动量一致性"]
    D --> E["神经高斯变形与可微渲染<br/>输出时空连贯4D动态场景"]

关键设计¶

1. 动量引导粒子初始化：将表征算力自适应倾斜至高动能区域

针对单目动态重建中盲目均匀铺设锚点导致动态复杂区域表达能力不足、静态背景过参数化的问题，KineticGS 依据经典物理动量定理 $\mathbf{p} = m \mathbf{v}$ 构建了场景动量场。在单目视频中，质量与速度无法直接测量，本文将单目深度估计的几何置信度映射为质量 $m(u, v)$，置信度高的稳定表面具有更大的优化惯性；将实测光流 $\mathbf{f}(u, v)$ 减去由几何相机运动导出的刚性光流 $\mathbf{f}_{\text{geom}}(u, v)$ 所得的残差非刚性光流作为速度项。由此像素级动量定义为： $$ \mathbf{p}(u, v) = m(u, v) \otimes \big(\mathbf{f}(u, v) - \mathbf{f}_{\text{geom}}(u, v)\big) $$ 基于此动量场的能量密度平方 $|\mathbf{p}(u, v)|^2$ 归一化后作为概率分布进行重要性采样，将粒子密集播撒至剧烈运动区域，并通过首帧深度反投影到 3D 空间作为运动感知粒子基元。在早期训练阶段，进一步使用光流-深度一致性损失将粒子预测位置与反投影目标对齐，使粒子真正充当具有物理惯性的局部运动载体。

2. 可学习能量流激活：以连续能量窗口克服遮挡下的运动断裂与闪烁

针对动态物体在自遮挡或出入视野时由于帧级离散更新造成的图元突兀消隐与轨迹断裂，本文基于动量守恒的持久性原理，提出可学习能量流激活模块。每个粒子维护一个随时间连续平滑变化的激活窗口 $\mathbf{w}_i^t$，利用双 Sigmoid 函数构造时序门控： $$ \mathbf{w}_i^t = \sigma\left(\frac{t - (t_i^{\text{ct}} - t_i^{\text{cr}})}{\tau}\right) \cdot \sigma\left(\frac{(t_i^{\text{ct}} + t_i^{\text{cr}}) - t}{\tau}\right) $$ 其中激活中心时间 $t_i^{\text{ct}}$ 与时间跨度半宽 $t_i^{\text{cr}}$ 由轻量 MLP 预测，$\tau > 0$ 控制过渡平滑性。在渲染变形时，空间位移偏移采用二值门控 $\mathcal{H}(\mathbf{w}_i^t) \in \{0, 1\}$，确保仅在有效动能窗口期内施加位移偏移，避免非物理飘移；而神经特征、网格偏移与缩放则经由连续权重 $\mathbf{w}_i^t$ 调制，实现物体从隐蔽到再现过程中外观的平滑过渡。

3. 整体动能同步：利用空间填充曲线规避单目语义误联并保证物体级协同

针对局部粒子在单目深度模糊下各自动态发散、破坏物体整体刚性或流体完整性的痛点，KineticGS 在物体尺度上施加宏观动量一致性约束。传统 KNN 聚类在单目场景中极易在深度断裂处将空间接近但属于不同运动场的物体点连接成邻域。为此，本文将粒子坐标序列化投影到 Hilbert 空间填充曲线或 Z-order 空间填充曲线上，利用空间填充曲线良好的空间局部保形性建立连续的 1D 邻域结构。在训练中随机轮换两种曲线编码，以此构建鲁棒的局部同物邻域 $\mathcal{N}$，并对邻域内粒子对施加位移偏移与激活中心时间的动能协同正则化： $$ \mathcal{L}{\text{coh}} = \sum|^2 $$ 该项强力约束了相邻运动图元的速度分异，抑制了杂乱漂移，保证了同一运动部件在遮挡和剧烈形变下的物理连贯性。}} |\Delta \mathbf{l}_i - \Delta \mathbf{l}_j|_2^2 + \alpha |t_i^{\text{ct}} - t_j^{\text{ct}

损失函数 / 训练策略¶

KineticGS 的总优化目标整合了传统可微渲染光度一致性损失与三项物理先验正则化： $$ \mathcal{L}{\text{total}} = \mathcal{L}}} + \lambda_{\text{flow}}\mathcal{L{\text{flow}} + \lambda}}\mathcal{L{\text{reg}} + \lambda $$ 其中 }}\mathcal{L}_{\text{coh}$\mathcal{L}_{\text{flow}}$ 为早期残差光流-几何一致性监督；$\mathcal{L}_{\text{reg}}$ 计算所有粒子激活中心直方图与激活跨度直方图相对于均匀参考分布的 KL 散度，防止粒子激活退化或向个别帧极度堆叠；$\mathcal{L}_{\text{coh}}$ 为整体动能同步损失。模型采用温和预热（Warm-up）调度，逐步激活各项物理动量损失，并在单张 NVIDIA RTX 3090 GPU 上完成全部优化。

实验关键数据¶

主实验¶

论文在 DyCheck-iPhone 动态真实手持序列与 HyperNeRF-interp 平滑非刚性形变基准上进行了评估。主实验在 U2-Net 提取的动态物体核心区域（Table 1）与整场景全局（Table 2）分别汇报 mPSNR(dB)、mSSIM 与 mLPIPS。

数据集 / 区域	指标	KineticGS (本文)	MoDec-GS [17] (前次优)	4DGaussians [41]	Deformable 3DGS [48]	相比次优提升
DyCheck-iPhone (动态目标区均值)	mPSNR (dB) ↑ mSSIM ↑ mLPIPS ↓	20.12 0.840 0.136	19.21 0.832 0.139	18.43 0.826 0.137	17.22 0.807 0.151	+0.91 dB +0.008 -0.003
- Apple 序列 (动态区)	mPSNR (dB) ↑	24.98	23.96	21.98	19.46	+1.02 dB
- Block 序列 (动态区)	mPSNR (dB) ↑	20.55	19.62	18.29	15.65	+0.93 dB
- Paper-windmill (动态区)	mPSNR (dB) ↑	22.06	20.58	20.03	18.73	+1.48 dB
- Teddy 序列 (动态区)	mPSNR (dB) ↑	20.53	19.72	18.67	17.09	+0.81 dB
DyCheck-iPhone (全场景均值)	mPSNR (dB) ↑ mSSIM ↑ mLPIPS ↓	14.65 0.342 0.511	14.42 0.336 0.524	14.24 0.325 0.532	12.60 0.303 0.590	+0.23 dB +0.006 -0.013
HyperNeRF-interp (全场景均值)	mPSNR (dB) ↑ mSSIM ↑ mLPIPS ↓	27.92 0.828 0.221	27.78 0.827 0.219	27.59 0.802 0.287	25.90 0.764 0.291	+0.14 dB +0.001 +0.002

消融实验¶

论文针对 KineticGS 的三个核心层级设计（动量引导初始化、可学习能量流激活、整体动能同步）在 DyCheck-iPhone 动态物体区域开展了递进消融评估（Table 6a），并在全场景针对空间填充曲线邻域构造方式展开对比（Fig. 7a）。

配置 / 变体	动量引导初始化	能量流激活	动能同步	mPSNR (dB) ↑	mSSIM ↑	mLPIPS ↓	说明 / 相对基线变化
传统体素初始化基线 (Voxel Baseline)	✗	✗	✗	19.17	0.829	0.141	仅使用常规空间均匀/体素锚点
+ 动量引导初始化 (Momentum-Guided)	✓	✗	✗	19.68	0.836	0.138	引入动量场引导非刚性区域密集采样 (+0.51 dB)
+ 可学习能量流激活 (Learnable Act.)	✓	✓	✗	19.76	0.837	0.134	引入平滑时序激活窗口改善感知质量 (+0.59 dB)
KineticGS 完整模型 (Full Model)	✓	✓	✓	20.12	0.840	0.136	完整模型：同步施加局部物体级动量一致性 (+0.95 dB)

邻域构造机制消融 (全场景 DyCheck)	PSNR (dB) ↑	SSIM ↑	说明
体素初始化基线 (Voxel Init. Base)	14.41	0.335	无曲线空间聚类，传统基线
KNN 邻域聚类 ($k=8$)	14.53	0.337	欧式距离易产生跨越物体边界的错误关联
空间填充曲线邻域 (Space-filling Curves, 本文)	14.65	0.342	Hilbert/Z-order 随机交替映射，物体边界更清晰

关键发现¶

动态区域收益远高于全场景均值：在全场景平均指标中，因为大量静态背景的存在稀释了运动变化（提升 0.23 dB），而在 U2-Net 分离出的动态物体区域，KineticGS 实现了大幅度质变，平均提升达 +0.91 dB，在风车 Paper-windmill 序列上更实现了高达 +1.48 dB 的增益。
逐帧时序指标展现强抗遮挡韧性：在切香蕉刀刃序列的逐帧 PSNR 曲线中，传统 4DGS 在快速移动和遮挡时 PSNR 产生剧烈凹陷断崖，而 KineticGS 借助动量持续性平滑维持潜变量，曲线极度平稳。
存储效率提升明显：基于锚点化动量粒子组织神经高斯的层级设计使得模型参数量高度紧凑，存储占用仅为经典 4DGaussians 的约 25%。

亮点与洞察¶

将不可直接测量的动力学拆解为视觉代理量：巧妙地将深度几何置信度视作惯性“质量”，将扣除刚体光流后的残差光流视作非刚性“速度”，绕开了传统物理拟合必须获取物体材料刚度与外力的不可行假设。
空间填充曲线巧妙破解单目邻域误连接：利用 Hilbert 和 Z-order 空间填充曲线在离散网格中的连续局部保形性，不仅大幅降低了 3D 近邻搜索的计算开销，更避免了单目视角下跨深度断层的边缘黏连。
双 Sigmoid 动能窗口作为运动潜变量保护罩：时序门控函数在遮挡期保持动能分布平稳演变，使物体再度露头时不会重新经历“冷启动”式的闪烁与破损。

局限与展望¶

依赖第一帧作为参考正则空间：作者明确指出目前框架遵循经典正则空间假设，以首帧作为基准锚点。当场景中存在多个动态物体互相进出视野，或出现剧烈的循环往复长视频时，首帧参考点云会失去覆盖力。
单目深度与光流先验的累积误差：虽然动量公式对单目估计做了置信度加权，但在极度反光、强动态阴影或快速模糊下，残差光流本身的符号错误依然可能传导至初始化采样。
未来改进方向：构建可伴随时序动态扩展更新的自适应流式正则空间，以及引入无监督时序循环几何一致性纠偏。

评分¶

新颖性: ⭐⭐⭐⭐☆ 巧妙将经典物理动量守恒定理转化为单目 4DGS 动量场，并用空间填充曲线同步邻域。
实验充分度: ⭐⭐⭐⭐☆ 覆盖真实单目与受控形变数据集，动量区域与全场景分层评测详实，消融完备。
写作质量: ⭐⭐⭐⭐⭐ 逻辑极为清晰，从物理直觉到数学公式映射自洽，问题叙述精准。
价值: ⭐⭐⭐⭐☆ 为无约束单目动态三维重建提供了一种兼顾物理合理性与计算高效性的显式运动建模范式。