SIEVE: Overcoming Topological Obstruction in Equivariant Self-Supervised Learning

会议: NeurIPS 2026
arXiv: 2610.21087
论文: https://arxiv.org/abs/2610.21087
代码: https://github.com/voltwin-dev/SIEVE_NeurIPS26
领域: 自监督/表示学习
关键词: 自监督学习、SE(3)等变网络、掩码自编码器、拓扑阻碍、球面投影掩码

一句话总结

针对三维点云在 SE(3) 等变掩码自编码器中因各向同性掩码引发的拓扑坍缩问题，提出结合球面投影掩码与等变瓶颈的自监督框架 SIEVE，将内在几何结构压缩为节点级刚体不变标量表征。

研究背景与动机

点云作为三维空间感知的基石，与像素网格与色彩解耦的二维图像存在根本不同：点云的坐标既是空间载体又是几何特征本身。为了使模型摆脱对绝对坐标的捷径依赖，近年来 SE(3) 等变神经网络受到广泛关注。然而，等变网络由于架构约束严重受制于狭窄且崎岖的优化曲面，直接下游端到端训练成本高昂。一种极具吸引力的范式是利用自监督预训练（SSL）将三维几何先验蒸馏为刚体变换不变（SE(3)-invariant）的特征嵌入，再即插即用赋能下游通用架构。

然而，将主流掩码自编码器（MAE）直接套用于 SE(3) 等变网络时存在根本性的理论缺陷。常规 MAE 采用可学习常数 token 或随机掩码替换被遮蔽的节点特征，但在等变框架下，这种各向同性掩码破坏了点云几何与向量丛结构之间的对应关系。基于向量丛拉回（pullback of vector bundles）理论可严格证明：当被掩码区域失去局部标架支撑且仅提供常数/噪声向量时，模型被迫在缺乏参考标架的前提下凭空臆测旋转朝向，导致向量管线发生拓扑阻碍并诱发表示坍缩（representational collapse），输出甚至退化为近乎零维的无结构点团。

本文的切入角度是重新审视掩码算子在拓扑流形上的数学本质：掩码不应粗暴抹除全部空间信息，而应实现空间位置与内在语义的分离。核心 idea：利用球面投影掩码将点云全局姿态与局部语义解耦，在保留全局定向（where）的同时迫使等变编码器将局部几何语义（what）深度压缩进不变标量通道，从数学构造上绕开等变自监督重建中的拓扑坍缩。

方法详解

整体框架

SIEVE 的核心思想是通过等变瓶颈（equivariant bottleneck）实现“语义-几何”双流解耦。网络整体包含等变编码器、球面投影掩码算子与等变解码器三部分。输入点云首先经由等变编码器处理，编码器拥有标量特征流与向量特征流，在输出端丢弃全部向量特征，仅保留不变标量嵌入；解码器则以该标量嵌入为语义条件，结合经球面投影掩码处理后的骨架点云，逐步还原出各节点的精确绝对三维坐标。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入点云 X (坐标向量) + 标量高斯噪声"] --> B["等变特征编码与瓶颈压缩<br/>GATr 双流编码，丢弃向量保留标量"]
    A --> C["球面投影掩码算子<br/>中心化归一化到单位球面 + 噪声扰动"]
    B --> D["等变几何重构与局部注意力遮蔽<br/>解码器融合标量语义与投影骨架，L1重建"]
    C --> D
    D --> E["重构点云坐标 X^"]

关键设计

1. 球面投影掩码算子：规避向量丛非平凡拓扑坍缩 传统掩码采用常数各向同性 token，在代数拓扑视角下等价于用一维平凡丛替代非平凡向量丛，使等变网络无法逼近具有非平凡拓扑结构的截面（global sections）。为解决此痛点，SIEVE 提出球面投影掩码。设输入点云为 \(\mathcal{X}=\{\mathbf{x}_{i}\}_{i=1}^{N_{p}}\subset\mathbb{R}^{3}\)，其几何质心为 \(\overline{\mathbf{x}}=\frac{1}{N_{p}}\sum_{i=1}^{N_{p}}\mathbf{x}_{i}\)。算子将每个点沿中心方向投影至单位球面 \(S^2\)：

\[\mathrm{SphericalMask}(\mathbf{x}_{i})=\overline{\mathbf{x}}+\frac{\mathbf{x}_{i}-\overline{\mathbf{x}}}{\|\mathbf{x}_{i}-\overline{\mathbf{x}}\|_{2}}\]

由于质心计算天然与平移等变，沿径向的单位投影与旋转严格等变，因此该算子保持了严格的 SE(3) 等变性。在拓扑性质上，该投影诱导了球面切空间与重言丛（tautological bundle）的拉回，能够完备覆盖三维闭流形上的各向同构向量丛类，彻底杜绝了常数掩码下退化为零维点团的数学必然。针对无扰动投影容易让模型利用半径标量 \(r=\|\mathbf{x}_i-\overline{\mathbf{x}}\|\) 构成捷径的问题，算子在投影坐标上叠加独立同分布高斯噪声扰动。

2. 等变特征编码与瓶颈压缩：双流交互与纯标量抽取 为从刚体变换中提取纯净的几何语义，SIEVE 采用几何代数 Transformer（GATr）作为等变骨干，在每层网络中维护标量通道 \(s\in\mathbb{R}^{N_p\times h_1}\) 与多向量通道 \(\mathbf{v}\in\mathbb{R}^{N_p\times h_2\times 3}\) 的连续几何乘积交互。编码器将原始点云坐标作为初始向量输入，并注入独立高斯噪声标量以破坏均匀输入的对称性锁死。前向计算完成后，模型施加等变信息瓶颈：直接舍弃包含姿态朝向的向量输出 \(\mathbf{v}_{code}\)，仅保留 32 维标量特征 \(s_{code}\)。这一设计强制迫使标量流承载点云所有与旋转、平移无关的内在几何构型，生成完全 SE(3) 不变的节点级紧凑表征。

3. 等变几何重构与局部注意力遮蔽：强制全局几何解耦 解码器接收等变编码器输出的不变标量嵌入 \(s_{code}\) 作为标量流输入，以受扰动的球面投影点云 \(\mathbf{x}_{masked}\) 作为初始几何载体。若解码器能够在全注意力机制下自由交互，其可能仅依据极邻近节点的相对距离推断局部曲率，导致标量嵌入发生退化。为阻断局部几何短路，SIEVE 在解码器自注意力中引入 \(k\) 近邻注意力掩码（NN Attention Mask），动态屏蔽每个节点空间最近的 70% 邻居。这迫使解码器必须依赖标量流中传递的全局几何语义 \(s_{code}\) 协同远距离球面骨架完成坐标恢复，最终输出三维重构向量 \(\hat{\mathcal{X}}\) 并丢弃辅助标量。

损失函数 / 训练策略

模型在预训练阶段执行节点级点云坐标重构，采用严格保证几何平移敏感度的 \(\mathcal{L}_1\) 损失函数对预测坐标与真值进行约束：

\[\mathcal{L}_1 = \frac{1}{N_{p}} \sum_{i=1}^{N_{p}} \|\mathbf{x}_{i} - \hat{\mathbf{x}}_{i}\|_{1}\]

在 OpenShape 大规模三维数据集（约 87.6 万个三维模型，每样本采样 2048 点）上，采用 AdamW 优化器、bf16 混合精度和余弦退火学习率调度器（最大学习率 \(3\times 10^{-4}\)，warmup 阶段），批量大小为 200，在单卡 NVIDIA B200 上训练 10 个 epoch。下游迁移时，SIEVE 预训练编码器参数完全冻结，生成的 32 维不变标量 \(s_{code}\) 直接与原始点坐标拼接输入通用网络，零微调开销。

实验关键数据

主实验

在合成不同拓扑数据集（立方体与环面）验证中，常数掩码与椭球噪声掩码发生彻底坍缩（验证损失停滞在 0.5 左右且重构成零维点团），而 SIEVE 的验证损失降至 0.01 以下。在真实下游迁移任务中，冻结的 SIEVE 表征直接赋能各骨干模型：

分子点云表面分割测试准确率（RNA Segmentation，%）：

骨干模型	纯坐标输入 (xyz)	径向特征 (r)	主曲率特征 (\(\kappa_1, \kappa_2\))	SIEVE 标量表征 (Ours)	性能提升
PointNet++	71.55	75.54	72.90	86.28	+14.73
DeltaNet	87.21	88.07	86.86	89.58	+2.37
DiffusionNet	81.20	85.89	85.97	89.30	+8.10

三维点云补全 Chamfer 距离误差（3D-EPN 数据集，\(\mathcal{L}_2\ \text{CD}\times 10^4\)，越低越好）：

测试类别分布	基线模型 (PCN)	PCN + SIEVE (Ours)	相对降低幅度
已见类别平均 (Seen Categories)	4.6366	4.5615	-1.62%
未见类别平均 (Unseen Categories)	11.9848	10.4869	-12.50%

消融实验

在合成拓扑数据、输入噪声选择与解码器预训练策略上的消融实验充分验证了理论假设的正确性：

实验配置 / 策略	评测场景与指标	性能表现	说明与机理
常数向量掩码 (Constant Mask)	双拓扑重构 \(\mathcal{L}_1\) Loss	~0.5000	拓扑坍缩，无法收敛，点云退化为零维点团
椭球噪声掩码 (Ellipsoid Mask)	双拓扑重构 \(\mathcal{L}_1\) Loss	~0.5000	即使保留轴向各向异性，仍缺乏非平凡向量丛截面导致坍缩
球面投影掩码 (Spherical Mask)	双拓扑重构 \(\mathcal{L}_1\) Loss	<0.0100	完备拉回非平凡丛，完美恢复立方体与环面几何
编码器输入：常数全 1 向量	ModelNet40 重构效果	几何细节严重失真	缺乏随机打破对称性导致几何重构模糊
编码器输入：标量高斯噪声	ModelNet40 重构 \(\mathcal{L}_1\) Loss	0.0100	无需手工预计算几何特征，跨随机种子保持一致稳定性
无噪声球面掩码 (No Noise)	RNA 分割 (PointNet++)	76.08%	表征第 1 主成分方差占比达 95%，高度退化为纯半径表征
简易噪声球面掩码 (Simple Noise)	RNA 分割 (PointNet++)	75.94%	阻断确定性半径捷径，第 1 主成分降至 84.2%
法线与曲率多任务重构	RNA 分割 (PointNet++)	78.05%	显式监督引导局部微分几何特征学习
邻近注意力遮蔽 (NN Attention Mask)	RNA 分割 (PointNet++)	84.99%	阻断局部自注意力偷窥，强制标量流承载深层全局几何
随机未初始化编码器 (Random Init)	RNA 分割 (PointNet++)	67.47%	性能大幅劣于纯坐标，证明增益源自预训练本身而非架构偏差

关键发现

• 拓扑坍缩的决定性根因：在单一同拓扑数据集（DeepJEB 飞机支架，含同等孔洞数量）上，常数掩码与球面投影掩码均可实现高质量重构；而一旦样本涵盖不同拓扑类别（如亏格为 0 的立方体与亏格为 1 的环面），常数与噪声掩码全面坍缩。这确凿证实了坍缩并非由网络容量引起，而是各向同性掩码受制于非平凡向量丛的拓扑阻碍。
• 未知类别泛化显著领先：在三维补全（3D-EPN）与几何配准（ModelNet40 分离类别）中，SIEVE 带来的增益在未见类别（Unseen）上显著超越已见类别（补全误差下降 12.5% vs 1.62%；分离类别旋转 MAE 从 1.78° 降至 0.51°）。这表明 SE(3) 不变标量特征抽取了物体通用的本征流形先验，而非过拟合于已见类别的空间坐标排布。
• 即插即用低开销：在下游任务中，冻结的 SIEVE 只增加一次单向推理。对于 PointNet++ 和 PCN，下游微调显存开销仅增加约 1.5%，训练耗时仅增加 16%~34%，展现出卓越的工程实用性。

亮点与洞察

• 拓扑代数理论与深度几何学习的深层联姻：论文不仅提出了新模块，更是首次用纤维丛与向量丛拉回理论揭示了等变自监督学习中掩码坍缩的数学成因，将几何深度学习的分析视野提升到代数拓扑的高度。
• “保姿态、隐语义”的球面投影反转设计：传统 MAE 倾向于掩盖几何区域以迫使网络推断形状，但在等变网络中保留全局外向姿态参考（where）才是避免空间朝向臆测的关键；将语义（what）完全逼入标量瓶颈，设计极其优雅。
• 跨骨干即插即用通用性：无需下游模型自身具备昂贵的等变架构，仅靠在输入端拼接节点级 SE(3) 不变特征，即可赋予普通坐标模型强大的刚体几何感知与旋转鲁棒性。

局限与展望

• 理论拉回丛的类型限制：作者在附录中承认，SIEVE 的理论保证基于球面上重言丛及其拉回结构，对于那些无法表达为向球面拉回的更为奇特、复杂的非平凡向量丛流形，该框架尚无法在理论上覆盖。
• 尺度不变性尚未解耦：当前球面投影基于减去几何中心并除以 \(L_2\) 范数，处理了平移和旋转等变，但点云的各向同性缩放仍会影响原始尺度的数值分布，尚未实现全相似变换群 \(\mathrm{Sim}(3)\) 的完备解耦。
• 大尺度无界场景扩展：目前实验主要集中在以物体为中心的 CAD 与分子点云（OpenShape, ModelNet40, RNA），自动驾驶或室内大场景等复杂开放点云由于缺乏全局唯一定义的中心，球面投影算子需要进一步设计局部化分块策略。

相关工作与启发

• vs Point-BERT / Point-MAE / ACT: 后者基于局部 patch 掩码并在非等变 Transformer 上运行，严重依赖数据增强且对全局三维旋转敏感；SIEVE 原生集成 SE(3) 等变性，且产出节点级（Node-level）特征，下游无需修改网络头即可无缝兼容任意架构。
• vs RI-MAE / RIVQ-VAE: 既有旋转不变方法采用 PCA 局部坐标系对齐或向量量化离散化，易受噪声扰动且存在轴向二义性；SIEVE 采用连续李群等变网络与严谨拓扑掩码，消除了离散化与手工对齐带来的系统误差。
• vs 分子等变模型 (TorchMD-net / Equiformer): 分子领域天然拥有原子序数作为强先验标量，而纯几何点云缺乏物理属性标量；SIEVE 通过引入标量高斯噪声破坏对称锁死，开辟了纯几何点云与等变自监督结合的新路径。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次从代数拓扑向量丛理论揭示等变自监督掩码坍缩的本质，并提出球面投影掩码与等变标量瓶颈，理论贡献极具开创性。
• 实验充分度: ⭐⭐⭐⭐☆ 包含严格的代数拓扑坍缩合成验证、三项代表性真实下游任务及详尽深入的附录表征消融分析。
• 写作质量: ⭐⭐⭐⭐⭐ 数学证明严谨完整，动机到理论再到架构设计的推导环环相扣，逻辑极为通畅。
• 价值: ⭐⭐⭐⭐⭐ 为等变自监督学习确立了坚实的拓扑学理论基石，提供的即插即用节点级几何特征对 3D 视觉与表示学习社区具有显著实用价值。

相关论文

• [ICLR 2026] Equivariant Splitting: Self-supervised learning from incomplete data
• [NeurIPS 2026] Revisiting Cross-View Completion: Self-Supervised Pre-Training via Reconstruction Error Comparison
• [NeurIPS 2026] I Have a Stream: Making Self-Supervised Learning Work on Continuous Video
• [NeurIPS 2026] SS3D: End2End Self-Supervised 3D from Web Videos
• [NeurIPS 2026] Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning