PhysMani: Physics-principled 3D World Model for Dynamic Object Manipulation¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/vLAR-group/PhysMani
领域: 机器人
关键词: 物理世界模型, 动态物体操纵, 3D高斯泼溅, 速度场, 具身智能

一句话总结¶

针对传统VLA和视频世界模型缺乏显式3D几何与物理规律导致无法处理高速运动物体的问题，本文提出了耦合物理原则3D高斯世界模型与未来感知策略网络的PhysMani框架，通过在线优化无散度高斯速度场预测场景未来动力学，并在动态操纵基准上实现了显著超越SOTA的成功率。

研究背景与动机¶

近年来，视觉-语言-动作模型（VLA）与视频生成世界模型在具身智能领域取得了引人注目的进展，使机器人能够在各种桌面环境中执行丰富的长程操作任务。然而，现有的具身操作模型绝大多数局限在静态或准静态物体交互场景中，对于高速、无结构且动态变化的物体操纵研究仍然严重不足。在实际动态交互任务中（例如接住抛掷的球、向移动的传送带装载物品或将杯子挂上旋转架），环境目标往往呈现复杂的线性、圆周或转动轨迹，机器人不仅需要反应式反馈，更必须在3D物理空间中准确预判目标的未来状态演化，并以毫秒级延迟生成敏捷的控制轨迹。

现有尝试直接结合视频世界模型或通用VLA的方法在此类任务上面临三项难以克服的瓶颈：第一，主流视频生成世界模型本质上运行在2D像素空间，缺乏对3D物理几何与深度的显式建模，无法为末端执行器提供精准的度量级位姿指引；第二，生成的未来视频帧虽然在视觉上逼真，但缺乏底层的物理定律约束，经常出现质量不守恒、虚假形变或违反动力学常识的运动轨迹；第三，由大型视觉骨干与多模态大语言模型构成的串联管线具有极高的推理延迟（通常数百毫秒甚至数秒），根本无法满足时间高度敏感的高速动态交互需求。

本文的切入角度是打破离线物理仿真与大模型粗粒度推理的局限，将可微分的高斯物理速度场重构为轻量级在线优化过程，使世界模型直接且快速地在3D空间中预测严格满足物理约束的未来动力学。核心 idea：构建物理原则的 3D 高斯世界模型，通过流式观测在线优化无散度高斯速度场以预测未来 3D 动力学，并借助可学习局部交叉注意力将其无缝注入基于 Rectified Flow 的末端位姿去噪策略中。

方法详解¶

整体框架¶

PhysMani 由两个高度解耦且并行运行的核心模型构成：物理原则 3D 高斯世界模型与未来感知动作策略模型。世界模型负责流式吸收多视点 RGB-D 观测，在线维护显式场景几何并预测每个 3D 高斯核的 6 自由度基础物理速度场；策略模型则将点云几何、语言指令以及世界模型生成的局部未来动力学表征相互融合，通过连续时间流匹配（Rectified Flow）去噪生成末端执行器的动作关键位姿轨迹。

整个流程的端到端数据流如下所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视点 RGB-D 观测 + 语言指令"] --> B["规范化 3D 高斯初始化<br/>反投影稀疏点云并拟合静态场景"]
    B --> C["在线优化未来动力学<br/>交错中点法前向并联合优化外貌与速度"]
    C --> D["无散度高斯速度场预测<br/>输出每高斯6维速度分量 Vt"]
    D --> E["局部邻域动力学聚合<br/>KNN偏移与速度投影过可学习查询向量 L"]
    E --> F["整机流匹配动作去噪<br/>结合未来感知特征与本体感知去噪轨迹"]
    F --> G["执行机构逆运动学关节控制"]

关键设计¶

1. 规范化 3D 高斯初始化：为动态演化建立精确的规范化几何起点 在初始时刻 \(t=0\)，系统接收由 \(C\) 个固定位姿相机采集的多视点 RGB-D 观测 \(\{(I^c_0, D^c_0)\}_{c=1}^C\)。首先利用反投影生成的点云初始化一组规范化 3D 高斯核 \(\mathcal{G}_0\)，每个高斯核具有中心位置 \(g_0\)、旋转四元数 \(r_0\)、缩放参数 \(s_0\)、不透明度 \(\sigma\) 与球谐颜色 \(c\)。通过可微高斯泼溅渲染管线，利用 \(\ell_1\) 图像重建损失与 \(\ell_{ssim}\) 结构相似度损失对高斯属性进行初始优化，为后续的高速物理演化提供保真度极高且带有显式几何属性的 3D 场景基底。

2. 在线优化未来动力学：解耦形变并实现毫秒级流式物理场更新 先前的 FreeGave 等 3D 高斯物理模型依赖复杂的辅助形变场与耗时的离线迭代优化，完全无法部署在在线机器人控制流中。本文移除了辅助形变网络及其复杂的协同优化，设计了轻量级在线优化算法：当系统在时间戳 \(t\) 接收到新的多视点流式观测时，首先利用速度多层感知机网络 \(f_{vel}\) 预测高斯速度，并采用交错中点数值积分法（interleaved mid-point method）将高斯核从 \(t'\) 驱动演化至 \(t\)；随后执行 \(T\) 轮基于渲染残差的梯度下降更新高斯位姿与速度网络权重，再固定速度网络执行额外的 \(T'\) 轮细化微调，以补偿场景长期细微的外貌漂移。为进一步消除 CUDA 算子启动开销，优化过程全程复用静态计算图，将单轮在线动力学优化的耗时彻底压缩至约 200 ms（\(T=50, T'=7\)）。

3. 无散度高斯速度场：保证外推轨迹严格服从流体与刚体物理学先验 为了让外推预测的未来 3D 运动具备严格的物理合理性而非仅仅视觉连贯，网络 \(f_{vel}\) 为每个高斯核学习 6 维基本速度分量 \(V_t = [v_t^x, v_t^y, v_t^z, w_t^z, w_t^y, w_t^x]\)，分别对应三维线速度与三维角速度。随后通过位置相关的正交基矩阵 \(\mathcal{B}(g_t) \in \mathbb{R}^{6 \times 3}\) 线性组合得到任意高斯位置处的速度矢量 \(v(g_t, t)\)：

\[v(g_t, t) = V_t \cdot \mathcal{B}(g_t), \quad V_t = f_{vel}(g_0, t)\]

基矩阵的解析结构严格保证了该速度场在三维空间中满足散度为零（\(\nabla \cdot v = 0\)）的连续性物理约束，有效杜绝了模型在长时间外推时出现虚假聚拢、体积畸变或撕裂等非物理假象。

4. 局部邻域动力学聚合：以可学习令牌实现几何空间与速度特征的自适应融合 策略模型直接利用点云骨干 3D FlowMatch Actor（3DFA），需将场景高斯速度场精准传导给离散点云 token。给定从当前深度图反投影采样的 4096 个场景点 \(P_t\)，对于每一个中心点 \(p_t\)，首先使用 KNN 在空间中检索距离最近的 \(K\) 个 3D 高斯核 \(\{g_t^k\}_{k=1}^K\)；接着计算相对坐标偏移 \(\Delta p = p_t - g_t^k\) 并索引其对应的 6 维速度分量 \(\hat{D}_t\)。经由独立 MLP 升维映射为特征 token \(\Delta \bar{P} \in \mathbb{R}^{4096 \times K \times 120}\) 与 \(\bar{D}_t \in \mathbb{R}^{4096 \times K \times 120}\) 后，引入一个全局可学习查询向量 \(L \in \mathbb{R}^{1 \times 120}\)，以 \(\Delta \bar{P}\) 作为 Key、\(\bar{D}_t\) 作为 Value，通过 3 层交叉注意力模块自适应提取邻域运动核心模式，生成紧凑的动力学特征 \(\tilde{D}_t \in \mathbb{R}^{4096 \times 120}\)，并残差累加至视觉语言多模态特征上，使控制策略在生成下一步位姿时天然拥有明确的前瞻物理感知。

损失函数 / 训练策略¶

世界模型在线优化阶段采用渲染 RGB/D 与真值间的复合加权损失：

\[\mathcal{L}_{world} = (1 - \lambda)\mathcal{L}_1(I_{render}, I_{gt}) + \lambda \mathcal{L}_{ssim}(I_{render}, I_{gt})\]

策略网络采用端到端模仿学习，学习基于 Rectified Flow 的轨迹去噪场。给定真值轨迹 \(\tau^0 = (a^{pos}_{t:t+J}, a^{rot}_{t:t+J})\)，在线性加噪插值轨迹 \(\tau^i = (1 - i)\epsilon + i\tau^0\)（其中 \(i \sim \sigma(\mathcal{N}(0, 1)), \epsilon \sim \mathcal{N}(0, 1)\)）上联合监督连续速度场与离散末端夹爪开合状态：

\[\mathcal{L}_{policy} = \|V_{flow}(A, o, l, \tau^i, \epsilon) - (\tau^0 - \epsilon)\|_2^2 + \text{BCE}(f_{open}(A, o, l, \tau^i), a^{open}_{t:t+J})\]

实验关键数据¶

主实验¶

在本文构建的包含 16 项动态操纵任务的 PhysMani-Bench 仿真基准上，各方法均采用统一架构与相同训练数据训练单一多任务模型，表 1 汇总了各任务组（常规速度与高速两组设置下的 8 类代表性动作）的平均成功率（SR, %）。

方法	平均成功率 (Mean SR)	碰转线圈 (Beat Buzz)	转轴套圈 (Insert Peg)	动圈投篮 (Drop to Hoop)	抓移动方块 (Pick Cube)	拍移动按钮 (Push Button)	丢移动垃圾桶 (Deposit Rubbish)	动态放杯 (Place Cup)	动态取杯 (Remove Cup)
Act3D	27.1 ± 2.7	46.7 ± 5.9	58.3 ± 4.7	6.7 ± 1.2	56.7 ± 6.6	49.2 ± 11.2	81.7 ± 5.1	0.0 ± 0.0	21.7 ± 8.5
\(\pi_{0.5}\)	8.3 ± 0.2	16.7 ± 3.1	0.8 ± 1.2	0.8 ± 1.2	18.3 ± 10.5	34.2 ± 4.7	8.3 ± 1.2	0.0 ± 0.0	22.5 ± 6.1
ManiGaussian	22.5 ± 0.8	40.0 ± 8.9	35.8 ± 4.2	6.7 ± 6.2	32.5 ± 12.7	18.3 ± 2.4	67.5 ± 2.0	1.7 ± 1.2	61.7 ± 10.5
3DDA	35.1 ± 1.7	60.0 ± 4.1	68.3 ± 6.6	9.2 ± 2.4	63.3 ± 6.6	39.2 ± 6.6	67.5 ± 4.1	15.8 ± 3.1	58.3 ± 3.1
3DFA	37.8 ± 0.9	82.5 ± 2.0	38.3 ± 6.2	30.8 ± 3.1	70.0 ± 6.1	55.8 ± 4.2	53.3 ± 4.2	17.5 ± 4.1	63.3 ± 2.4
3DFA-OF	37.5 ± 1.0	79.2 ± 4.7	45.0 ± 5.4	27.5 ± 5.4	60.8 ± 5.9	54.2 ± 3.1	58.3 ± 4.2	14.2 ± 5.1	58.3 ± 11.2
PhysMani (Ours)	45.9 ± 0.8	78.3 ± 4.2	37.5 ± 6.1	71.7 ± 3.1	84.2 ± 3.1	57.5 ± 3.5	60.0 ± 2.0	15.0 ± 3.5	61.7 ± 6.6

在高速模式对应子项（High Speed）中，PhysMani 同样展现出强劲优势，例如在高速 Drop to Hoop 任务上取得 46.7 ± 4.2%（3DFA 仅 9.2 ± 3.1%，\(\pi_{0.5}\) 降至 0.0%）；在高速 Deposit Rubbish 任务上达到 46.7 ± 4.2%（3DFA 为 19.2 ± 4.2%）。

此外，在未来帧物理预测质量评估（Table 2）中，PhysMani 在第 1 帧、第 5 帧与第 10 帧（对应 50ms、250ms、500ms 预测跨度）下的轨迹中心误差（Traj. Err.）分别维持在极低的 0.008 m、0.039 m 和 0.074 m；相比之下，ManiGaussian 仅在预测未来第 1 帧时轨迹误差就急剧飙升至 0.388 m。

消融实验¶

消融实验对比验证了未来动力学分量 \(D_t\) 以及局部交互机制中的可学习查询向量 \(L\) 对系统整体性能的影响。

| 配置 | 平均成功率 (Mean SR) | 碰转线圈 | 转轴套圈 | 动圈投篮 | 抓移动方块 | 拍移动按钮 | 丢移动垃圾桶 | 动态放杯 | 动态取杯 | |---|---|---|---|---|---|---|---|---| | (1) 移除动力学特征 \(D_t\) | 37.9 ± 0.1 | 76.2 ± 1.2 | 43.8 ± 6.2 | 30.0 ± 2.5 | 65.0 ± 2.5 | 47.5 ± 2.5 | 65.0 ± 0.0 | 21.2 ± 1.2 | 58.8 ± 1.2 | | (2) 移除可学习向量 \(L\)（改纯自注意力） | 40.8 ± 1.1 | 78.8 ± 3.8 | 31.2 ± 1.2 | 66.2 ± 1.2 | 72.5 ± 0.0 | 58.8 ± 3.8 | 62.5 ± 10.0 | 10.0 ± 2.5 | 58.8 ± 8.8 | | 完整模型 (Full PhysMani) | 45.4 ± 0.9 | 76.2 ± 3.8 | 43.8 ± 1.2 | 70.0 ± 2.5 | 85.0 ± 0.0 | 53.8 ± 1.2 | 61.2 ± 1.2 | 16.2 ± 1.2 | 50.0 ± 2.5 |

关键发现¶

移除 3D 动力学特征 \(D_t\) 后，系统平均成功率从 45.4% 骤降至 37.9%，性能回退至基线 3DFA（37.8%）水平，尤其是在高速动态拦截任务（如 Drop to Hoop 掉点超过 30%）上出现雪崩，证明无散度物理速度场提供了不可或缺的前瞻决策依据。
在融合特征时，使用单一通用自注意力机制相比引入专用的可学习令牌 \(L\) 导致性能下降 4.6 个百分点（从 45.4% 跌至 40.8%），证明利用紧凑的查询向量归纳局部邻域物理演化能有效滤除高斯点云空间稀疏与局部噪声的不利影响。
敏感性分析表明，世界模型在线优化迭代轮数 \(T\) 从 50 逐步缩减至 10 时，系统整体平均成功率仅微幅波动（从 45.4% 变为 44.7%），说明无散度解析基函数对物理规律具有极强的归纳偏置，即使在极低迭代步数下也能维持高度可靠的未来外推能力。

亮点与洞察¶

无散度速度场的极简解析参数化：利用坐标张量外积与斜对称性质构造基矩阵 \(\mathcal{B}(g_t)\)，使 MLP 仅需输出 6 维基础线速度与角速度分量即可在整个 3D 连续空间保证不可压缩无散度约束，巧妙避开了传统流体/物理仿真器高昂的偏微分方程约束求解开销。
静态计算图与在线微分更新的工程解耦：将固定点数（\(H=30000\)）的 3D 高斯场景绑定至静态执行图，成功将原本耗时数秒的动态高斯神经渲染与物理场优化压至 200 ms 以内，使高精度 3D 世界模型真正具备了进入实时机器人控制闭环的可行性。
可迁移的局部物理特征交叉注意力结构：所设计的利用点云空间邻域检索 3D 高斯速度并借助可学习 token 压缩的结构，天然解耦了高斯神经渲染表征与控制点云表征，可直接迁移推广到任何以点云或体素为输入的机械臂/移动操作策略网络中。

局限与展望¶

作者承认的局限：目前的 PhysMani-Bench 包含 16 项任务，虽然在动态速度与动作种类上具备代表性，但相比静态操作基准而言规模依然有限；此外物理模型假设场景主要遵循刚体或准连续动力学，缺乏对大尺度拓扑断裂、流体泼溅及复杂布料形变的显式动力学建模。
深入分析发现的局限：尽管在线动力学更新时间达到了 200 ms，但结合 272.8 ms 的策略模型推理耗时后，全闭环感知-决策延迟依然处于 3-5 Hz 范围，对于超高速动态交互（如乒乓球高速扣杀、高速抛接）仍需依赖外推时序集成与开环执行缓存，高频交互的瞬态碰撞鲁棒性仍有提升空间。
改进思路：可引入多尺度或分层高斯聚类机制，只对动态前景区域的高斯粒子进行高频物理优化，静态背景完全冻结，将物理场优化进一步提速至 50 Hz 级别；同时尝试联合蒸馏策略网络，将流匹配去噪步数压缩至 1-2 步。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将无散度 3D 高斯物理速度场重构为在线优化世界模型并直接闭环指导高速动态机器人操纵。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖自建 16 项挑战性动态任务基准、详尽的未来动力学数值指标对比、完整的消融实验及 Astribot S1 实机验证。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，方法推导清晰流畅，系统架构与流程图表呈现专业。
价值: ⭐⭐⭐⭐⭐ 为具身智能从静态桌面操作走向真实物理世界的高动态、高敏捷交互奠定了极其重要的理论与工程基石。