ProMo3D: Probing Motion Cues in Frozen 3D Foundation Models

会议: NeurIPS 2026
arXiv: 2610.33802
OpenReview: https://openreview.net/forum?id=bSpkdwCVuy
代码: https://github.com/xiaoang0211/ProMo3D
领域: 重建与渲染
关键词: 3D Foundation Models, Representation Probing, Motion Segmentation, Zero-Shot Generalization, Low-Rank Bilinear Probe

一句话总结

本文通过表征探测技术系统揭示了冻结前馈 3D 基础模型中固有的运动解耦线索，证实运动表征高度浓缩于极低秩判别子空间中，并基于此提出仅需 160 个视频训练的轻量化探测运动蒸馏框架 PMD，实现了高效强劲的零样本运动分割。

研究背景与动机

近年来，以 DUSt3R、VGGT、\(\pi^3/\pi^3\text{X}\) 以及 Depth Anything 3 为代表的前馈 3D 基础模型极大地革新了多视角 3D 重建范式，彻底摆脱了传统运动恢复结构（SfM）耗时的迭代优化过程。然而，当场景拓展至动态 4D 感知时，如何解耦静态背景几何、相机自运动与场景内独立运动物体依然极具挑战。当前主流解决方案往往走向两个极端：一类依赖重型多阶段网络或高容量神经解码器进行大规模全监督训练（如 GeoMotion），标注代价高昂、显存开销巨大且泛化受限；另一类则采用免训练启发式规则（如 Easi3R、VGGT4D），依赖特定注意力图或 Gram 矩阵等手工特征，其泛化能力脆弱且与监督方案存在显著性能差距。

这种割裂引发了一个根本性科学问题：大规模多视角几何预训练是否已经在冻结的 3D 基础模型 token 中赋予了表征运动状态的先验？如果 3D 模型在学习极线几何、多视角一致性及潜在 4D 几何时必然对破坏几何一致性的动态区域产生内在响应，那么提取运动信息是否根本无需重新训练庞大的高容量解码器，而只需极轻量的线性/双线性探测器即可激活？

本文针对这一假设展开深入探究。研究证实，冻结 3D 基础模型中确实普遍存在可解码的动静判别线索，且这些线索在谱分析下高度聚拢于极低维子空间中。核心 idea：将 4D 动态场景的运动感知重新定义为冻结 3D 几何特征的轻量探测问题，提出仅需单卡和极少视频训练的低秩双线性探测运动蒸馏（PMD）框架，通过固定锚点相似性比对直接导出稠密运动掩码。

方法详解

整体框架

ProMo3D 的核心工作流包含表征探测分析与稠密运动掩码蒸馏（Probing-based Motion Distillation, PMD）两个核心部分。给定输入多帧图像组（以目标帧为中心配合时序邻帧提供多视角几何上下文），首先送入完全冻结的 3D 基础模型（如 \(\pi^3\text{X}\)、DA3、DUSt3R）提取中间几何交互层的 token 表征。随后，利用成对低秩二次探测器计算目标帧 token 与全局固定静态锚点 token 之间的运动状态兼容度得分，取反后转化为逐 token 动态概率并双线性上采样至原图分辨率。最后通过自适应阈值化得到粗糙运动掩码，并可选接入 SAM2 进行高质量边缘细化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入多帧图像组<br/>3帧滑动窗口 / 步长2"] --> B["冻结 3D 基础模型<br/>提取目标帧几何交互 Block Tokens"]
    B --> C["成对探测函数建模<br/>低秩对称双线性交互"]
    C --> D["固定锚点单目蒸馏<br/>查询静态锚点 a=0 导出动态概率图"]
    D --> E["多层几何特征聚合<br/>跨Block动态得分均值融合"]
    E --> F["自适应阈值化掩码生成<br/>Otsu+0.2 导出粗糙运动掩码"]
    F -->|可选后处理| G["SAM2 边缘几何细化<br/>连通域形态学滤波与提示分割"]

关键设计

1. 成对探测函数建模：低秩双线性矩阵暴露紧凑动静判别子空间 为探究冻结特征中动静信息的可分离性，作者将探测任务形式化为成对分类问题：判断属于同一目标帧的任意两个 token 是否处于相同运动状态。对比直接独立的线性投影与仅考虑同通道相乘的对角二次探测，本文针对两 token 特征 \(\mathbf{h}_i, \mathbf{h}_j \in \mathbb{R}^d\) 提出了对称低秩双线性探测器：

\[\hat{z}_{ij}^{\mathrm{lr}} = \sigma\left(\mathbf{h}_i^\top \mathbf{W}_{\mathrm{lr}} \mathbf{h}_j + b\right), \quad \mathbf{W}_{\mathrm{lr}} = \frac{\mathbf{U}^\top \mathbf{V} + \mathbf{V}^\top \mathbf{U}}{2\sqrt{d}}\]

其中 \(\mathbf{U}, \mathbf{V} \in \mathbb{R}^{k \times d}\) 为可学习低秩因子，秩超参数 \(k \ll d\)（默认 \(k=8\)），保证 \(\operatorname{rank}(\mathbf{W}_{\mathrm{lr}}) \le 2k\) 且严格满足对称性 \(z_{ij} = z_{ji}\)。通过截断秩的显式约束，自由度从全秩二次型的 \(\mathcal{O}(d^2)\) 急剧收缩至 \(\mathcal{O}(kd)\)。奇异值谱分析证明，前导特征值衰减极快，低秩先验不仅有效遏制了视频 token 间高空间相关性导致的过拟合风险，更在仅 160 个训练视频的极度饥饿样本下展现出比全秩模型更优越的泛化能力。

2. 固定锚点单目蒸馏：常数索引解耦动静单目得分 将成对兼容度模型转变为全图稠密动态估计的核心痛点在于计算复杂度和推理范式转换。若对全图 \(N\) 个 token 进行全成对计算，时间复杂度高达 \(\mathcal{O}(N^2)\)。PMD 提出了极简高效的固定锚点蒸馏策略：直接指定空间索引固定为左上角首个 token（\(a=0\)）作为全局静态参考锚点 \(\mathbf{h}_a\)。针对带填充（padding）的架构（如 \(\pi^3, \pi^3\text{X}\)），该位置在几何上必然处于静止填充区；而在无填充模型中，统计表明该位置在视频数据集中绝大多数（>96%）处于静态背景。通过将探测器作为单目查询函数：

\[\hat{p}_i^{\mathrm{stat}} = f(\mathbf{h}_a, \mathbf{h}_i), \quad \hat{p}_i^{\mathrm{dyn}} = 1 - \hat{p}_i^{\mathrm{stat}}\]

所有 token 的动态得分可在单次矩阵乘法中并行计算，完全将推理开销维持在 \(\mathcal{O}(N)\) 级别，仅耗时 4.2 ms/帧，在不破坏模型并行性的同时实现了端到端极速评估。

3. 多层几何特征聚合：跨层时空交互互补与稳健二值化 通过对 3D 骨干逐层探测分析发现，动静线索并非存在于单一层，而是广泛分布于几何自注意力模块（特别是多视角跨帧全局注意力层 inter-frame blocks）中。因此，PMD 对选定几何层组（例如 \(\pi^3\text{X}\) 的 18 个 inter-frame blocks，DUSt3R 的 12 个 decoder + 4 个 head blocks）分别独立学习轻量探测器，并在得分空间进行平均集成。聚合后的动态图双线性插值回原始分辨率后，采用带有固定平移量的 Otsu 算法（默认 Otsu+0.2）进行稳健自适应二值化。该策略对多数据集分布偏移具备强容忍度，在无需任何目标域参数调整的前提下实现零样本无缝迁移。

损失函数 / 训练策略

探测器训练保持 3D 骨干网络完全冻结，仅优化极小规模的探针矩阵参数。在 160 个 YouTube-VOS 2018 视频切片中，每 epoch 在目标帧内采样 20 万对 token 对，通过投影真实动态掩码获得二元成对真值标签 \(z_{ij} \in \{0, 1\}\)，采用标准二元交叉熵损失进行端到端优化：

\[\mathcal{L}_{\mathrm{probe}} = -\frac{1}{|\mathcal{P}|} \sum_{(i,j)\in\mathcal{P}} \left[ z_{ij} \log \hat{z}_{ij} + (1 - z_{ij}) \log(1 - \hat{z}_{ij}) \right]\]

优化器采用 AdamW，恒定学习率 \(1 \times 10^{-3}\)，不设置权重衰减和学习率衰减调度，训练仅需 16 个 epoch，在单张消费级 RTX 5070 Ti（16GB 显存）上几分钟内即可完成。

实验关键数据

主实验

在未经过目标数据集微调的前提下，将基于 160 个 YouTube-VOS 视频训练的 PMD 跨数据集零样本迁移至 DAVIS17、SegTrackv2 以及 FBMS-59 评估基准，并与免训练启发式方法和重型全监督模型进行全方位对比。

方法	运动掩码监督来源	额外推理组件	DAVIS17 (J-M / J-R)	SegTrackv2 (J-M / J-R)	FBMS-59 (J-M / J-R)	可训练参数量	额外计算量 (FLOPs/帧)
VGGT4D	无 (免训练启发式)	VGGT 几何	56.5 / 65.6	–	–	0	–
Easi3R (DUSt3R)	无 (免训练启发式)	DUSt3R 几何	46.9 / 50.5	–	–	0	–
Easi3R + SAM2	无 (免训练启发式)	DUSt3R + SAM2	60.1 / 65.3	–	–	0	–
Flow-SAM	合成数据预训练+DAVIS微调	RAFT + SAM	71.6 / –	84.2 / –	88.7 / –	9.83 M	>3.63×10⁴ G
SegAnyMo	3个大规模数据集全监督	DINOv2+Depth+TAPIR+SAM2	–	76.3 / –	78.3 / –	3.44 M	>2.08 G
GeoMotion	5个大规模数据集全监督	\(\pi^3\) + RAFT + DINOv2	75.4 / 87.2	–	–	80.3 M	>3.09×10² G
GeoMotion + SAM2	5个大规模数据集全监督	\(\pi^3\) + RAFT + DINOv2 + SAM2	81.1 / 92.6	77.3 / –	72.5 / –	80.3 M	>3.09×10² G
DUSt3R-PMD (粗糙)	160个 YouTube-VOS 视频	DUSt3R 几何	62.2 / 70.0	58.6 / 77.3	64.0 / 74.5	0.295 M	1.62 G
DA3-PMD (粗糙)	160个 YouTube-VOS 视频	DA3 几何	69.6 / 85.8	66.3 / 80.3	69.8 / 81.4	0.295 M	1.62 G
\(\pi^3\text{X}\)-PMD (粗糙)	160个 YouTube-VOS 视频	\(\pi^3\text{X}\) 几何	73.7 / 91.0	72.9 / 94.0	73.5 / 88.8	0.295 M	1.62 G
\(\pi^3\text{X}\)-PMD + SAM2	160个 YouTube-VOS 视频	\(\pi^3\text{X}\) 几何 + SAM2	81.9 / 92.3	86.4 / 99.3	83.2 / 89.3	0.295 M	1.62 G

消融实验

为了严格证明低秩表征的充要性与探测器的选择性（避免语义虚假关联），论文进行了详尽的秩配置扫描以及标签打乱控制实验。

配置 / 探测机制	参数量	占全秩参数比例	YouTube-VOS Val 准确率 (%)	归一化增益 (NG ×10²)	DAVIS-all J-M (粗糙)	说明
低秩探测 (\(k=4\), 正确标签)	0.147 M	0.78%	96.10	60.60	69.5	极小容量已捕获绝大部分可解码信号
低秩探测 (\(k=8\), 正确标签, 默认)	0.295 M	1.56%	96.12	60.77	70.7	综合精度最高，谱能量集中
低秩探测 (\(k=16\), 正确标签)	0.590 M	3.12%	96.10	60.55	70.4	精度出现边际饱和
低秩探测 (\(k=64\), 正确标签)	2.359 M	12.50%	96.08	60.38	69.8	容量上升伴随轻度过拟合
全秩二次探测 (\(k=\text{full}\))	18.87 M	100.0%	95.88	58.20	68.2	参数量巨大，泛化性下降
打乱标签对照 (\(k=8\), 随机置换)	0.295 M	1.56%	84.48	0.01	–	平衡准确率跌至 50.34%，排除虚假拟合
常数基线 (恒判同状态)	0 M	0%	84.47	0.00	–	数据集本身静态类不平衡先验

关键发现

• 低秩约束具备强归纳偏置：将双线性核秩限制在 \(k=8\) 时，不仅比全秩参数少 98.4%，而且在跨域评估中性能更强，说明 3D 几何特征中蕴含的动静区分维度天然具有极高紧凑性，高秩反而捕获无关噪声与语义冗余。
• 粗糙掩码召回率奇高：\(\pi^3\text{X}\)-PMD 粗糙掩码在 DAVIS17 上的 Jaccard 召回率即达 91.0%，引入 SAM2 后 J-R 仅微增 1.3，而 Easi3R+SAM2 增益高达 14.8。这表明 PMD 粗糙预测本身已准确定位了几乎所有运动实例的粗胚核心，SAM2 仅起到边界平滑修饰作用。
• 骨干表征解耦度决定上限：具备显式多视角几何注意力机制的 \(\pi^3\text{X}\) 和 DA3 显著超越了纯立体成对回归架构 DUSt3R（J-M 差距超 11 点），验证了多视角跨帧全局注意力层是自发涌现动静分离表征的关键载体。

亮点与洞察

• 范式颠覆性：打破了动态 4D 场景必依赖重型时序光流网络或庞大神经解码器的思维惯性，首次证实冻结前馈 3D 基础模型在没有专门运动监督预训练的情况下，其潜在 token 空间已隐式编码了清晰的动静几何破缺信号。
• 极致轻量且数据饥渴度极低：全流程仅优化 0.295M 参数，训练仅需 160 个常用视频、单卡耗时几分钟，单帧推理增量延迟仅 4.2 ms，为端侧及实时机器人 4D 动态感知提供了极具实用价值的极简范式。
• 理论分析透彻：结合代数对称分解、奇异值谱衰减分析、样本复杂度界定以及标签置换选择性对照实验，多维度严谨证实了动静表征的低维子空间存在性，而非模型过参数化的假象。

局限与展望

• 空间分辨率受限于 ViT Token 粒度：直接预测依赖 Patch Token 尺寸（如 \(14 \times 14\)），粗糙掩码边缘呈现马赛克网格效应，在不接入外部超分或 SAM2 细化时微细结构边界精度不足。
• 存在语义级泄漏（Semantic Leakage）现象：在多同类物体场景中，当一个实例运动而另一个实例静止时，静止实例往往因特征与运动实例高度相似而接收到微弱的虚假动态激发。
• 仅限二元动静切分，缺乏精细动力学物理量：目前仅能判断“动与静”，无法区分就地关节运动、局部非刚性形变与刚体位移，也无法直接导出 3D 速度或轨迹向量。

相关工作与启发

• vs GeoMotion：GeoMotion 同样基于 \(\pi^3\) 探索 4D 潜在几何，但引入了高达 80.3M 参数的多头神经解码器及 RAFT 光流，训练依赖 5 个大型混合数据集。本文证明利用极简低秩探针（0.295M 参数）即可逼近甚至在特定指标上超越 GeoMotion，算力与数据开销下降超两个数量级。
• vs Easi3R / VGGT4D：两者均为免训练启发式方案，通过注意力权重或特征 Gram 矩阵手工抽取运动。PMD 揭示了此类纯手工启发式在应对复杂几何形变时的脆弱性，通过有监督但极低容量的自适应矩阵投影，大幅弥合了无监督与强监督之间的鸿沟。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次系统证明冻结 3D 基础模型中低秩动静子空间的存在，构思极为巧妙。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖层级分析、多骨干对比、置换对照、数据饥饿度及端到端延迟测试，论证滴水不漏。
• 写作质量: ⭐⭐⭐⭐⭐ 结构清晰严谨，数学公式与动机推演浑然一体。
• 价值: ⭐⭐⭐⭐⭐ 极大降低了动态 4D 感知的研究与部署门槛，具备极高的学术启发性与工程落地价值。

相关论文

• [NeurIPS 2026] Towards Reconstructing Geographically Diverse Architecture with 3D Foundation Models
• [ECCV 2026] Repurposing Geometric Foundation Models for Multi-view Diffusion
• [ECCV 2026] Zero-Shot Novel Depth Synthesis Using Foundation Models Scene Representations
• [NeurIPS 2026] Geometry-Centered 3D Latent World Models for Growing Surfaces
• [CVPR 2026] ArtHOI: Taming Foundation Models for Monocular 4D Reconstruction of Hand-Articulated-Object Interactions