Diffusion Masked Pretraining for Dynamic Point Cloud¶

会议: NeurIPS 2026
arXiv: 2605.03639
OpenReview: https://openreview.net/forum?id=xFR59J1lic
领域: 3D表示与场景理解
关键词: 动态点云、自监督预训练、扩散模型、位置泄漏、时空表示学习

一句话总结¶

针对动态点云自监督预训练中时空管中心位置泄漏及确定性运动回归导致的均值坍缩问题，提出扩散掩码预训练框架（DiMP），通过对掩码管中心进行扩散去噪阻断位置作弊，并引入分层时间步 DDPM 建模多模态帧间位移分布，在 4D 动作分割与点级语义分割上取得显著突破。

研究背景与动机¶

动态点云通过连续帧序列记录三维空间几何与时序形变，是自动驾驶、具身智能和动作识别等三维感知任务的关键数据载体。随着掩码自编码器（MAE）在静态三维点云表示学习中展现出优异性能，近期的研究（如 MaST-Pre、M2PSC）开始将时空管掩码机制迁移至动态点云序列。然而，这些方法直接将真实的时空管中心坐标作为解码器的位置嵌入输入。在静态点云中，对所有 patch 中心均匀施加噪声可以缓解位置偏置；但在动态视频序列中，可见管中心坐标同时扮演着编码器几何锚点与维系帧间连续性的时序条件信号，盲目破坏可见坐标会严重削弱跨帧几何关联与运动平滑性，使得简单的全局加噪策略完全失效。

更为本质的瓶颈在于现有方法对时序运动的监督机制。以往方案普遍采用确定性代理任务（如位移均值回归或时序点数差异预测）来监督帧间动态，这等价于拟合运动轨迹的条件期望。然而，动态场景中的轨迹往往具有内在的不确定性与多峰特性——相同的历史时空上下文在物理上可能存在多种合理的未来运动分支。确定性回归会不可避免地将这些多模态轨迹坍缩为一个处于各模态折中位置的条件均值，而该均值往往落入极低概率甚至物理不合理的无效区域，从而在特征中抹杀了用于区分动作类别的轨迹方差与高阶几何结构。更关键的是，时空位置泄漏与运动建模并非孤立存在：一旦真实管中心泄漏给解码器，解码器的交叉注意力就会退化为单纯的局部几何坐标检索，绕过编码器直接生成表面点，从而切断了运动扩散梯度向主干编码器反向传播的有效信息通路。

针对上述核心矛盾，本文的核心 idea 是构建一个将去噪扩散模型统一引入位置推断与运动建模的双阶段自监督预训练框架（DiMP），一方面仅对掩码管中心施加前向扩散噪声，保留干净的可见管作为时序定位锚点以彻底杜绝位置泄漏；另一方面将点级帧间位移重构为在解码表征条件下的分层 DDPM 噪声预测任务，以变分代理目标驱使编码器捕获完整的运动多峰概率分布。

方法详解¶

整体框架¶

DiMP 的整体流程包含数据管切分、双流掩码中心去噪编码（阶段一）、停止梯度条件解码与双头并行重构（阶段二）三个核心阶段。给定包含 $L$ 帧、每帧 $N$ 个点的动态点云序列，系统首先在时空邻域内将其划分为 $K$ 个时空管，并利用 P4DConv 卷积算子提取局部几何特征向量。所有管中心坐标在全局去均值化以消除刚体平移干扰。在随机掩码绝大多数管之后，可见管中心保持无噪，而掩码管中心与管内原始坐标在共享扩散时间步 $t_c$ 下被独立施加前向高斯噪声。双流编码器通过自注意力与交叉注意力处理可见与掩码 token，由中心预测头预测干净的掩码中心；随后，非对称解码器结合可见特征、加噪掩码嵌入以及带有停止梯度操作的去噪中心位置编码，输出联合时空表征，并分别向逐帧 Chamfer 距离几何重建分支与分层时间步运动扩散噪声预测分支分发监督信号。预训练完成后，解码器与所有扩散头均被丢弃，仅保留编码器权重用于下游任务微调。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["动态点云时空管划分<br/>P4DConv 提取可见管几何特征"] --> B["仅掩码管中心扩散去噪<br/>双流编码器推断干净中心并阻断泄漏"]
    B --> C["停止梯度与条件解码融合<br/>融合可见潜码与去噪中心并切断作弊捷径"]
    C --> D["分层时间步运动扩散<br/>多区间分层 DDPM 建模多峰位移分布"]
    C --> E["几何重建分支<br/>逐帧 Chamfer 距离监督坐标恢复"]
    D --> F["下游 4D 任务微调评估<br/>动作分割、点级语义分割与动作识别"]
    E --> F

关键设计¶

1. 仅掩码管中心扩散去噪：阻断时空位置泄漏并维系时序几何锚点

现有静态点云扩散预训练方法通常对全部中心点统一加噪，但在动态序列中，可见管中心不仅是空间几何定位点，更是串联前后帧运动轨迹的时序条件锚点；若直接对可见中心加噪，跨帧对应关系将被破坏并导致下游性能单调暴跌。相反，若直接向解码器输入真实掩码中心，则会造成严重的中心坐标泄漏。

为兼顾时序连续性与位置防作弊，DiMP 在阶段一采样单一时间步 $t_c \sim \mathcal{U}\{1, T\}$，仅对掩码管中心 $\mathbf{C}_0^m$ 及管内点坐标 $\mathbf{P}_0^m$ 施加前向扩散加噪： $$\mathbf{C}_{t_c}^m = \sqrt{\bar{\alpha}_{t_c}} \mathbf{C}_0^m + \sqrt{1 - \bar{\alpha}_{t_c}} \boldsymbol{\epsilon}_c, \quad \mathbf{P}_{t_c}^m = \sqrt{\bar{\alpha}_{t_c}} \mathbf{P}_0^m + \sqrt{1 - \bar{\alpha}_{t_c}} \boldsymbol{\varepsilon}_c$$ 其中 $\boldsymbol{\epsilon}_c, \boldsymbol{\varepsilon}_c \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$ 独立采样但共享相同的余弦加噪调度，可见中心 $\mathbf{C}_0^v$ 则始终保持无噪。双流编码器采用堆叠的 VisMaskBlock 架构，可见 token 间执行标准自注意力 $\mathbf{Z}_{\ell+1}^v = \mathrm{SelfAttn}(\mathbf{Z}_\ell^v)$，而掩码 token 仅通过交叉注意力单向查询可见上下文 $\mathbf{Z}_{\ell+1}^m = \mathrm{CrossAttn}(\mathbf{Z}_\ell^m, \mathbf{Z}_\ell^v)$。轻量中心预测头 $g_m$ 根据输出的掩码隐状态 $\mathbf{Z}^m$ 预测未加噪中心 $\hat{\mathbf{C}}_0^m = g_m(\mathbf{Z}^m)$，并计算均方误差损失 $\mathcal{L}_{\mathrm{cen}}$。这迫使网络必须依据纯净的可见时空环境来推断未知区域的几何布局，既保留了干净的时序锚点，又彻底根除了位置泄漏。

2. 停止梯度与条件解码融合：切断几何查表捷径并对齐多模态特征

若在阶段二解码阶段直接将预测中心的反向传播梯度回传至中心预测头，或者重新使用真实中心坐标，多任务优化中的几何重构目标就会促使解码器通过退化的交叉注意力在局部区域做查表式拼凑，削弱主干编码器提取高阶语义表征的动力。

为此，DiMP 的非对称解码器 $f_d$ 显式引入了停止梯度算子 $\mathrm{sg}(\cdot)$。解码器的输入同时结合可见编码特征 $\mathbf{Z}^v$、加噪掩码内容嵌入 $\mathbf{e}_{t_c}^m$、基于干净可见中心的位置编码 $\phi_{\mathrm{dec}}(\mathbf{C}_0^v, t_f)$、基于预测中心的停止梯度位置编码 $\phi_{\mathrm{dec}}(\mathrm{sg}(\hat{\mathbf{C}}_0^m), t_f)$ 以及对应扩散步的条件 token $\tau(t_c)$： $$\mathbf{Z}_{\mathrm{dec}} = f_d\left(\mathbf{Z}^v, \mathbf{e}_{t_c}^m, \phi_{\mathrm{dec}}(\mathbf{C}_0^v, t_f), \phi_{\mathrm{dec}}\left(\mathrm{sg}(\hat{\mathbf{C}}_0^m), t_f\right), \tau(t_c)\right)$$ 停止梯度机制确保中心预测头 $g_m$ 专心受控于中心去噪目标，不受几何重建与运动扩散梯度的干扰。解码器输出的完整时空表征 $\mathbf{Z}_{\mathrm{dec}}$ 随后通过线性头预测点坐标 $\hat{\mathbf{P}}^{\mathrm{pre}}$，并在掩码管内计算逐帧 Chamfer 距离 $\mathcal{L}_{\mathrm{geo}}$。这一解耦设计消除了捷径交互，确保生成的稠密潜在特征 $\mathbf{Z}_{\mathrm{dec}}$ 充分凝聚了全局时空关联，为后续运动建模构筑了坚实的表征底座。

3. 分层时间步运动扩散：变分目标刻画多峰位移并破除均值坍缩

针对确定性回归无法拟合多模态运动分布的理论缺陷（当两类动作具有相似条件均值但方差或高阶矩不同时，均值回归的贝叶斯误差无法降低），DiMP 将点级跨帧位移 $\mathbf{M}_0 \in \mathbb{R}^{N \times (L-1) \times 3}$ 建模为条件 DDPM 扩散过程。真实位移标签离线由预训练且冻结权重的 CorrNet3D 生成，在训练中作为固定监督信号。

为了避免深层解码器条件注入导致的梯度严重衰减，并实现对运动尺度全谱系的平衡学习，DiMP 将扩散区间 $[1, T]$ 均匀划分为 $h=4$ 个分层子区间 $Q_i = [d \cdot i + 1, d \cdot (i+1)]$（其中 $d=\lfloor T/h \rfloor$）。在单次训练迭代中，模型在所有 $h$ 个区间内同时独立抽取时间步 $t_i^M \sim \mathcal{U}(Q_i)$ 与高斯噪声 $\boldsymbol{\epsilon}_i^M$，计算加噪位移 $\mathbf{M}_{t_i^M}$，并通过带重置门控机制的轻量 PCNet 预测头 $h_m$ 预测噪声： $$\mathcal{L}_{\mathrm{mot}} = \frac{1}{h} \sum_{i=0}^{h-1} \mathbb{E}\left[\left\|\boldsymbol{\epsilon}_i^M - h_m\left(\sqrt{\bar{\alpha}_{t_i^M}} \mathbf{M}_0 + \sqrt{1 - \bar{\alpha}_{t_i^M}} \boldsymbol{\epsilon}_i^M, t_i^M, \mathbf{Z}_{\mathrm{dec}}\right)\right\|^2\right]$$ 较小的时间步 $t_i^M$ 迫使模型拟合局部高频形变细节，而较大的时间步则引导模型理解粗粒度的全局语义运动。分层采样单步内并发反传多元化的梯度信号，有效放大了运动分支传递至编码器的监督驱动力。

一个完整示例¶

以一段包含 150 帧人体动作交互的动态点云为例：系统在时空邻域内将点云切分为 $K=128$ 个时空管，随机掩码其中的 $K_m=96$ 个管（掩码率 75%），保留 $K_v=32$ 个可见管。在阶段一，仅对 96 个掩码管的中心坐标与内部点注入第 $t_c$ 步的高斯扩散噪声，32 个可见管中心保持原值；双流编码器使掩码管向可见管查询几何线索，中心预测头输出预测中心 $\hat{\mathbf{C}}_0^m$ 并计算中心损失 $\mathcal{L}_{\mathrm{cen}}$。在阶段二，将截断梯度的预测中心与可见中心拼装为解码位置嵌入，与可见特征共同送入解码器生成 128 个融合时空 token $\mathbf{Z}_{\mathrm{dec}}$。几何头对其计算逐帧 Chamfer 距离；运动分支则在 4 个分层区间（如 $t \in [1,250], [251,500], [501,750], [751,1000]$）并发施加加噪位移，并由轻量噪声预测头在 $\mathbf{Z}_{\mathrm{dec}}$ 条件下预测 4 组噪声 $\boldsymbol{\epsilon}_i^M$。整套流程联合更新编码器与解码器，最终将学到的多模态时空先验完整赋能给主干网络。

损失函数 / 训练策略¶

DiMP 的联合训练目标为三项损失的加权和： $$\mathcal{L} = \mathcal{L}_{\mathrm{geo}} + \gamma_{\mathrm{cen}} \mathcal{L}_{\mathrm{cen}} + \lambda_{\mathrm{mot}} \mathcal{L}_{\mathrm{mot}}$$ 默认超参数设置为 $\gamma_{\mathrm{cen}} = 0.1$，$\lambda_{\mathrm{mot}} = 1.0$，几何重建项保持单位权重 1.0。主干模型分别适配 P4Transformer 与 PPTr，采用 AdamW 优化器与余弦学习率衰减策略进行端到端预训练。微调阶段丢弃所有解码器与扩散模块，仅保留编码器并在下游任务特定头部下进行全量微调。

实验关键数据¶

主实验¶

在主流大规模 4D 动态点云基准 HOI4D 动作分割任务上，DiMP 在两种不同骨干网络（PPTr 与 P4Transformer）上均展现出对以往预训练方法的压倒性优势，尤其在长序列时序指标（Edit 与高重叠阈值 F1@50）上提升尤为剧烈。

主干模型与方法	会议/年份	Acc (%)	Edit	F1@10 (%)	F1@25 (%)	F1@50 (%)
PPTr (Backbone)	ECCV 2022	77.4	80.1	81.7	78.5	69.5
PPTr + STRL	ICCV 2021	78.4	79.1	81.8	78.6	69.7
PPTr + VideoMAE	NeurIPS 2022	78.6	80.2	81.9	78.7	69.9
PPTr + C2P	CVPR 2023	81.1	84.0	85.4	82.5	74.1
PPTr + DiMP (本文)	NeurIPS 2026	83.97 (+6.57)	86.15 (+6.05)	89.13 (+7.43)	86.64 (+8.14)	81.43 (+11.93)
P4Transformer (Backbone)	CVPR 2021	71.2	73.1	73.8	69.2	58.2
P4Transformer + C2P	CVPR 2023	73.5	76.8	77.2	72.9	62.4
P4Transformer + MaST-Pre	ICCV 2023	74.1	75.4	76.6	73.4	63.8
P4Transformer + M2PSC	ECCV 2024	75.9	77.1	78.4	74.1	65.9
P4Transformer + DiMP (本文)	NeurIPS 2026	82.41 (+11.21)	84.90 (+11.80)	87.26 (+13.46)	85.92 (+16.72)	80.77 (+22.57)

在因果约束的在线动作分割评测（Online Action Segmentation，仅依赖历史帧预测当前动作，无未来帧上下文）中，DiMP 的表现进一步拉开差距：

在线动作分割方法 (150帧)	会议/年份	Acc (%)	Edit	F1@10 (%)	F1@25 (%)	F1@50 (%)	吞吐量 (Clips/s)
PointNet++	CVPR 2017	50.8	40.2	42.6	35.3	23.5	35.8
P4Transformer	CVPR 2021	66.7	62.0	65.3	59.8	46.3	26.6
P4Mamba	WACV 2026	71.0	78.5	77.8	73.4	61.5	33.4
PPTr	ECCV 2022	69.7	64.5	69.4	64.8	52.9	–
PointNet4D	WACV 2026	70.3	72.3	73.7	69.1	57.2	31.8
4DMAP	WACV 2026	72.4	78.7	78.8	74.8	63.6	31.8
P4Transformer + DiMP (本文)	NeurIPS 2026	80.35 (+13.65)	82.19 (+20.19)	84.77 (+19.47)	83.21 (+23.41)	73.50 (+27.20)	27.3 (+0.7)

消融实验¶

为严格验证中心扩散（CD）与运动扩散（MD）的协同机理，论文在 P4Transformer 主干上进行了析因消融（Factorial Ablation），结果揭示出明显的层级依赖效应：

中心扩散 (CD)	运动扩散 (MD)	HOI4D F1@50 (%)	HOI4D mIoU (%)	MSRAction-3D Acc (%)	机制说明
$\times$	$\times$	75.37	41.3	91.63	基线设定，存在位置泄漏与确定性运动监督
$\times$	$\checkmark$	75.43	41.2	91.72	仅加运动扩散几无增益，位置泄漏切断了表征反传通道
$\checkmark$	$\times$	77.28	43.5	92.46	引入中心扩散修复位置泄漏，迫使编码器推断上下文
$\checkmark$	$\checkmark$	80.77	47.6	93.97	完整模型：消除了前提阻碍后运动扩散释放巨大潜力

可见中心加噪尺度的敏感性实验（测试相对加噪强度从 0.0 至 1.0）表明：当加噪尺度为 0.0（本文设计，可见中心无噪）时 F1@50 为 80.77%，加噪 0.25 下降至 77.91%，加噪 0.50 下降至 75.43%，加噪 1.0 时进一步跌至 74.16%，彻底证明保持可见中心无噪对维护时序连续性的决定性作用。

关键发现¶

中心扩散是运动扩散发挥作用的前提屏障：消融数据表明，在未消除位置泄漏的情况下，单独引入运动扩散在 HOI4D 上的 F1@50 仅微增 0.06%（75.37% $\to$ 75.43%）；而一旦通过中心扩散修补了位置泄漏，运动扩散能带来额外 3.49% 的巨大跃升（77.28% $\to$ 80.77%）。这确证了真实中心泄漏会使解码器跨注意力退化为坐标查表，阻碍运动表征的反传。
在线因果推断下概率分布增益更为显著：在缺失未来帧的在线因果设定下，DiMP 相对 P4Transformer 基线的 F1@50 净增幅高达 +27.20%（46.3% $\to$ 73.50%），Edit 净增幅达 +20.19%，超越离线设定下的增益幅度 5 到 6 个百分点。这证明捕获多模态运动分布能够在仅有过去上下文时提供极为强大的动作外推先验。
表征能力向点级精细感知平移：在 HOI4D 点级 4D 语义分割上，DiMP 取得了 47.6% mIoU（对比 P4Transformer 原生 40.1%，提升 +7.5%），在 PPTr 上取得 48.2% mIoU（提升 +7.2%），表明分布式的运动轨迹建模促使网络学会了更清晰的物体表面与运动边界几何。

亮点与洞察¶

辨析了静态与动态点云扩散预训练的本质差异，创造性地提出“仅对掩码中心加噪”方案，在阻断坐标泄漏的同时守住了时序连续性锚点。
从贝叶斯误差与条件均值坍缩视角切入，首次在 4D 点云领域将帧间位移重塑为条件 DDPM 噪声预测，解决了多模态动态轨迹均值模糊问题。
设计了多时间步分层均匀采样机制，一方面实现了从细粒度局部形变到位姿级粗粒度运动的多尺度平衡监督，另一方面并发反传梯度化解了解码器条件注入引起的梯度衰减。

局限与展望¶

计算复杂度与推理延迟：当前实现以 P4Transformer 为代表性骨干，其二次方复杂度的注意力机制导致在线处理帧率（27.3 Clips/s）相对受限，与基于状态空间模型的高效架构（如 P4Mamba 的 33.4 Clips/s）相比存在速度劣势。
离线位移标注的前置依赖：训练时依赖外部预训练的 CorrNet3D 生成点对应位移标签，这增加了离线数据预处理的计算负担，并在点云密度极端稀疏或剧烈遮挡时可能引入标注噪声。
未来改进方向：可进一步探索结合线性时序算子（如 Mamba 或低秩时空注意力）的高效 4D 主干网络，以及无需外部对应标签的无监督隐式运动流自演化扩散机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次揭示动态点云位置泄漏与运动均值坍缩的双重困境，扩散中心与位移双重建模构思巧妙。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖离线分割、因果在线推理、点级语义分割及动作识别，析因消融与分层递进验证极其扎实。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻，理论命题与实验机理前后呼应，架构与数学形式严谨完备。
价值: ⭐⭐⭐⭐⭐ 为 4D 点云大模型及具身智能时空感知提供了全新的自监督范式与强有力的开源参考基线。

中心扩散 (CD)	运动扩散 (MD)	HOI4D F1@50 (%)	HOI4D mIoU (%)	MSRAction-3D Acc (%)	机制说明
\(\times\)	\(\times\)	75.37	41.3	91.63	基线设定，存在位置泄漏与确定性运动监督
\(\times\)	\(\checkmark\)	75.43	41.2	91.72	仅加运动扩散几无增益，位置泄漏切断了表征反传通道
\(\checkmark\)	\(\times\)	77.28	43.5	92.46	引入中心扩散修复位置泄漏，迫使编码器推断上下文
\(\checkmark\)	\(\checkmark\)	80.77	47.6	93.97	完整模型：消除了前提阻碍后运动扩散释放巨大潜力