MoSE3: Learning World-Space SE(3) at Every Pixel¶

会议: NeurIPS 2026
arXiv: 2610.03716
代码: https://mose3-tracker.github.io
领域: 其他
关键词: SE(3)运动估计、稠密点追踪、刚体嵌入、世界坐标系、铰接物体

一句话总结¶

本文提出了首个从单目RGB视频以纯前向方式预测像素级世界坐标系6-DoF刚体变换的MoSE3模型，通过将SE(3)分解为稠密3D轨迹与刚体嵌入并采用可微加权Horn拟合闭式求解，在大规模合成铰接数据集Art-Kubric上联合训练，在刚体与铰接场景中均取得了SOTA的SE(3)姿态恢复与3D点追踪性能。

研究背景与动机¶

从单目视频理解动态场景的3D运动是计算机视觉与机器人操作（如铰接物体操作、物理推理）的基础。近年来，动态场景运动估计从短程光流、长程2D点追踪快速演进到依托几何基础模型的长程3D点追踪。然而，现有的稠密点追踪表征本质上仍只是每个像素的三自由度（3-DoF）空间平移曲线，仅记录了表面点的位移，既没有刻画底层刚体部件的三维旋转，也无法揭示哪些像素属于同一个刚性运动整体。下游系统若想获知铰链门的转轴方向与关节开角，只能面对散乱的百万点云轨迹进行繁琐后处理。

直接从野外单目视频回归世界坐标系下的像素级SE(3)变换面临严峻技术瓶颈：一方面，3D旋转流形具备内在弯曲几何结构，在欧式回归损失下极难泛化，以往方法往往依赖CAD模型、深度传感器或离线视频逐例优化；另一方面，场景级全维度长程SE(3)真值标注极度匮乏，现有点追踪合成数据集大多只涵盖纯刚体或无刚性分块的蒙皮生物，缺乏富含多刚体物理接触交互的精细铰接部件标注。

本文的切入角度是将难泛化的直接流形回归转化为两个更易学习且更具泛化力的几何中间量：预测稠密3D空间轨迹与像素级刚体嵌入表示，再通过可微加权正交对齐闭式解析恢复刚体变换。核心 idea：将单目像素级世界坐标系SE(3)运动预测解耦为稠密3D点追踪与连续刚体嵌入两个中间表征，利用软刚性权重支持下的可微加权Horn正交拟合解析求解6-DoF变换，使稀缺的SE(3)监督能够端到端反向优化轨迹一致性与全局刚体分组。

方法详解¶

整体框架¶

输入为长度为 \(N\)、分辨率为 \(H \times W\) 的单目RGB视频序列 \(\{I_i\}_{i=1}^N\) 以及指定的查询帧索引 \(q\)。模型需要输出在统一世界坐标系下的像素级稠密刚体运动序列 \(\{\mathbf{T}_{q \to i}\}_{i=1}^N\)，其中每个像素携带包含3D旋转与平移的变换 \(\mathbf{T}_{q \to i}(\mathbf{u}) = (\mathbf{R}_{q \to i}, \mathbf{t}_{q \to i}) \in \mathrm{SE}(3)\)。

架构整体沿用预训练多视图几何大模型 \(\pi^3\) 的主干，冻结其前10层图像编码器及几何解码分支以保持单目深度和相机位姿先验，并行构建26层可微追踪分支。追踪分支通过单向注意力交叉读取冻结几何分支的特征，向后接入两个专有输出头：点追踪头输出相机系局部3D坐标轨迹 \(\mathbf{X}_i^c\) 及可见性对数几率 \(V_i\)，结合 \(\pi^3\) 预测的相机世界位姿 \(\mathbf{P}_i\) 转换至世界系轨迹 \(\mathbf{X}_i^w\)；刚体嵌入头输出与查询帧无关、具L2归一化的紧凑刚体特征图 \(\mathbf{E}_i\)。最后，选取查询帧参考像素集，通过刚体嵌入内积计算软相似度权重，经由加权Horn解析求解闭式恢复出全分辨率像素级SE(3)变换。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["单目RGB视频帧与指定查询帧"] --> B["冻结几何先验与双流跨分支注意力"]
    B --> C["解耦几何预测：3D空间轨迹与刚体嵌入"]
    C --> D["可微闭式加权Horn拟合求解世界系SE(3)"]
    D --> E["端到端多任务联合监督与物部级刚体聚类"]

关键设计¶

1. 冻结几何先验与双流跨分支注意力：在保留预训练空间先验的同时解耦动态追踪表征

单目动态场景运动恢复的痛点在于相机自身自运动与场景内独立运动极度纠缠。若从头联合学习几何与运动，模型极易退化并破坏单目重建基础模型的强零样本泛化能力。MoSE3冻结了 \(\pi^3\)-Large 模型的图像编码器及前10层解码层，几何分支维持完全冻结以输出高质量逐帧点图与外参位姿；从第10层开始并行分叉出26层可训练追踪分支。在追踪分支的每个Transformer Block内，注意力查询向量 \(\mathrm{Q}\) 仅来自追踪特征，键和值则沿Token维度拼接追踪分支与冻结几何分支的投影 \(\mathrm{K},\mathrm{V} = [\mathrm{Tokens}_{\text{track}}, \mathrm{Tokens}_{\text{geom}}]\)。这种设计让追踪特征在每一层均能参考共视区域的严谨表面几何约束，避免了外加显式门控导致的优化不稳定。

2. 解耦几何预测：3D空间轨迹与刚体嵌入：规避流形回归瓶颈并建立连续刚体亲和力

直接在神经网络输出端回归SO(3)旋转与平移会在曲率流形上遭遇梯度震荡，且受限于标注极度匮乏。MoSE3将其解耦为两项具有丰富合成数据监督的中间任务：点追踪头采用交替的帧内自注意力与跨帧全局自注意力层，并通过自适应层归一化（AdaLN）注入查询帧身份条件，输出绝对图像平面归一化坐标 \((u_i, v_i)\) 与解码深度参数 \(\eta_i\)，利用几何拟合的焦距提升至3D世界轨迹 \(\mathbf{X}_i^w\)；刚体嵌入头则摆脱查询帧条件，直接输出16维L2归一化嵌入向量 \(\mathbf{E}_i \in \mathbb{R}^{H \times W \times 16}\)。同一刚体部件上的像素在特征空间具有高内积余弦相似度，非刚性变形物体则表现为局部光滑变化的连续场，避免了硬性类别分割在铰接边界上的不连续问题。

3. 可微闭式加权Horn拟合求解世界系SE(3)：以加权正交对齐反哺点轨迹刚性与全局聚类

获得3D轨迹与刚体嵌入后，传统做法需通过启发式k近邻硬聚类或不可导的几何配准获取位姿，割裂了特征学习与变换估计。MoSE3对于查询像素 \(\mathbf{u}\)，引入温度系数 \(\tau\) 对刚体嵌入内积进行Softmax归一化，得到它与参考像素 \(\mathbf{v} \in \mathcal{G}\) 之间的连续软刚体权重 \(w(\mathbf{u}, \mathbf{v})\)：

\[w(\mathbf{u},\mathbf{v}) = \frac{\exp(\mathbf{E}_q(\mathbf{u})^\top \mathbf{E}_q(\mathbf{v})/\tau)}{\sum_{\mathbf{v}' \in \mathcal{G}}\exp(\mathbf{E}_q(\mathbf{u})^\top \mathbf{E}_q(\mathbf{v}')/\tau)}\]

利用四元数形式的加权Horn配准方法，构建加权质心 \(\bar{\mathbf{s}}, \bar{\mathbf{t}}\) 与加权互协方差矩阵 \(\Sigma\)，通过求解对称矩阵特征向量解析闭式导出最优旋转 \(\mathbf{R}_{q \to i}(\mathbf{u})\) 与平移 \(\mathbf{t}_{q \to i}(\mathbf{u}) = \bar{\mathbf{t}} - \mathbf{R}_{q \to i}(\mathbf{u})\bar{\mathbf{s}}\)。由于整个配准过程数学上完全可微，下游对SE(3)变换施加的测地旋转角损失与质心Huber平移损失，能够平滑反向传播至上游的点追踪头与嵌入头，促使追踪轨迹自主符合刚体运动几何约束。

损失函数 / 训练策略¶

训练采用单阶段三阶段学习率退火，综合多任务损失：

\[\mathcal{L} = \lambda_{\text{track}}\mathcal{L}_{\text{track}} + \lambda_{\text{vis}}\mathcal{L}_{\text{vis}} + \lambda_{\text{emb}}\mathcal{L}_{\text{emb}} + \lambda_{\mathrm{SE}(3)}\mathcal{L}_{\mathrm{SE}(3)}\]

固定损失权重为 \(\lambda_{\text{track}}=1.0, \lambda_{\text{vis}}=0.1, \lambda_{\text{emb}}=0.1, \lambda_{\mathrm{SE}(3)}=1.0\)。 - 轨迹损失 \(\mathcal{L}_{\text{track}}\)：包含归一化像素坐标L1损失、带逆深度权重的尺度对齐深度损失、查询帧密集表面梯度损失 \(\mathcal{L}_\nabla\)（权重1.0）及连续帧相对时间位移一致性损失 \(\mathcal{L}_\Delta\)（权重2.0）。 - 刚体嵌入损失 \(\mathcal{L}_{\text{emb}}\)：由SE(3)测地距离导出的刚体亲和度损失 \(\mathcal{L}_{\text{aff}}^{\mathrm{SE}(3)}\) 与纯几何距离保持度损失 \(\mathcal{L}_{\text{aff}}^{\text{trk}}\) 构成，通过行归一化交叉熵匹配预测相似度分布与真值分布。 - SE(3)回归损失 \(\mathcal{L}_{\mathrm{SE}(3)}\)：由旋转测地角与变换后支承质心距离的Huber损失组合而成（平衡因子 \(\alpha=20\)）。模型在64块NVIDIA H100 GPU上进行分布式优化，配合本研究提出的5000个铰接多物体交互物理场景合成数据集Art-Kubric以及Kubric、Syn4D等多源数据混合预训练。

实验关键数据¶

主实验¶

在真实手-物交互刚体基准HO3D与合成多部件铰接基准iTACO上评估像素级及物体/部件级SE(3)估计精度，对比代表性SOTA三维点追踪与4D重建方案（基准方法统一使用最佳k-NN邻域匹配加Horn拟合）。

数据集	评估层级与方法	旋转误差 RRE (°) ↓	位移误差 ADD (cm) ↓	旋转AUC (\(30^\circ\)) ↑	位移AUC ↑	聚类掩码 IoU ↑
HO3D	SpatialTrackerV2 (k-NN)	36.45	3.73	0.376	0.633	-
HO3D	Track4World-Pi3x (k-NN)	33.21	3.37	0.371	0.669	-
HO3D	MoSE3 (Ours, rigid clust.)	18.28	2.16	0.569	0.785	-
HO3D (Part/Obj)	SpatialTrackerV2	32.56	3.46	-	0.670	0.385
HO3D (Part/Obj)	Track4World-Pi3x	30.46	3.17	-	0.698	0.414
HO3D (Part/Obj)	MoSE3 (Ours, rigid clust.)	17.96	2.06	-	0.802	0.709
iTACO	SpatialTrackerV2 (k-NN)	36.71	28.45	0.408	0.309	-
iTACO	Track4World-Pi3x (k-NN)	28.07	24.82	0.447	0.312	-
iTACO	MoSE3 (Ours, rigid clust.)	12.30	11.37	0.741	0.594	-
iTACO (Part/Obj)	SpatialTrackerV2	27.25	23.01	-	0.421	0.239
iTACO (Part/Obj)	Track4World-Pi3x	18.80	20.14	-	0.397	0.353
iTACO (Part/Obj)	MoSE3 (Ours, rigid clust.)	10.76	10.49	-	0.625	0.784

在TAPVid-3D世界坐标系点追踪基准上（PointOdyssey、ADT、PStudio），MoSE3在长时程L-50平均准确率达到 0.5946（相比此前SOTA Track4World的0.5402大幅提升超5个百分点）。

消融实验¶

在iTACO基准上验证网络架构、训练数据、训练策略与损失函数设计的消融结果（像素级SE(3)指标）：

配置	变体设计说明	RRE (°) ↓	AUC_r (\(30^\circ\)) ↑	ADD (cm) ↓	AUC_ADD (\(20\text{cm}\)) ↑
Ours (full)	完整模型（解耦表征 + Art-Kubric + 联合损失）	17.27	0.647	14.09	0.517
(a) 架构消融	移除解耦设计，直接神经网络回归SE(3)	24.57	0.525	19.05	0.393
(b) 数据消融	训练集移除合成铰接数据集 Art-Kubric	22.89	0.566	17.01	0.462
(c) 策略消融	仅点追踪训练 + 测试时k-NN硬聚类	31.11	0.453	20.96	0.382
(c) 策略消融	仅点追踪训练 + 全模型刚体嵌入软聚类	24.30	0.550	18.01	0.460
(d) 损失消融	移除刚体亲和度损失 \(\mathcal{L}_{\text{emb}}\)	18.97	0.614	15.83	0.480
(d) 损失消融	移除端到端SE(3)姿态回归损失 \(\mathcal{L}_{\mathrm{SE}(3)}\)	23.90	0.555	17.82	0.465

关键发现¶

直接SE(3)回归严重劣于解耦设计：架构消融表明直接回归旋转与平移使RRE从 \(17.27^\circ\) 恶化到 \(24.57^\circ\)，证明在稀缺姿态标签下，将问题转化为欧式稠密轨迹与几何亲和力学习具有极显著的泛化优势。
SE(3)端到端反馈强化点追踪质量：即便在消融中人为使用完整模型的刚体嵌入来消除聚类差异，仅训练点追踪分支的模型（Track-only + rigid clust.）其RRE仍比全监督模型高出 \(7.03^\circ\)（\(24.30^\circ\) vs \(17.27^\circ\)），证实来自加权Horn的可微SE(3)梯度反向修正了点追踪轨迹的物理刚性一致性。
Art-Kubric是突破铰接泛化的关键：去除Art-Kubric后，模型在纯刚体HO3D上性能变化不大，但在多体铰接iTACO上的ADD误差骤增（从14.09cm退化至17.01cm），印证了大规模多刚体物理接触标注对理解部件级相对运动的不可或缺性。

亮点与洞察¶

将不可微的姿态估计重构为完全可微的加权Procrustes计算：利用四元数矩阵特征分解实现解析配准，巧妙架起了深度神经网络离散特征输出与李群SE(3)连续几何优化之间的双向梯度桥梁。
用连续度量学习统一了刚体、铰接与局部非刚性变形：以软相似度权重代替硬分割掩码，使网络无需预定义关节树或骨骼拓扑，就能以统一表征自适应呈现刚性部件与柔性非刚性流。
揭示了高层刚体约束对底层底层几何追踪的反哺效应：证明了引入全局物体级刚体约束不仅能输出更高级别的位姿，还能直接纠正底层单目深度估计与光流漂移，形成几何与运动的双赢闭环。

局限与展望¶

强依赖单目几何基础模型的相机估计精度：世界坐标系变换依赖 \(\pi^3\) 的相机外参姿态与点图投影，若视频出现极端抖动或大范围弱纹理导致基础模型相机位姿崩溃，位姿估计误差会被级联放大。
高动态快速运动下的轨迹退化：由于SE(3)依赖于点追踪与嵌入支持，当场景存在剧烈运动模糊或大跨度遮挡导致点轨迹断流时，加权Horn拟合精度会随之受到负面影响。
非刚性变形缺乏严格量化评测：当前实验量化指标集中于刚体与铰接机械结构，对布料、肌肉等复杂可形变物体的连续SE(3)场仅停留在定性可视化层面，尚需建立完备的非刚性变形评测基准。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次打破3D点追踪仅输出平移的范式，通过可微加权Horn实现单目纯前向世界坐标系全像素SE(3)闭式预测。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖刚体、铰接、野外视频等多场景，包含全维度主实验、TAPVid-3D追踪评测与多维度严密消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑层层推进，公式推导严谨精炼，架构图与图表表达极其清晰。
价值: ⭐⭐⭐⭐⭐ 为具身智能铰接操作、4D物理场景理解与动力学模拟提供了兼具高精度与结构化语义的崭新基座表征。