SuperFlex: Deformable Superquadrics for Point Cloud Decomposition¶

会议: ECCV2026
论文: ECCV 原文
项目: https://superflex3d.github.io/
领域: 3D 视觉
关键词: 点云分解、超二次曲面、弯曲与渐缩、体积监督、遮挡补全

一句话总结¶

SuperFlex 用联合体积与表面损失学习可弯曲、可渐缩的超二次曲面，并以优化后的完整分解监督遮挡输入，使 ShapeNet 前馈 IoU 从 SuperDec 的 0.59 提升到 0.72，同时保留平均 5.64 个基元的紧凑表示。

研究背景与动机¶

点云和网格能够记录精细表面，却不会自然告诉系统一个物体由哪些几何部件组成。超二次曲面提供另一种表示：用少量参数描述尺度、形状和姿态，把复杂物体近似成可操作的部件集合。这种表示适合需要结构抽象的场景，但分解时必须同时回答“哪些点属于同一部件”和“该部件应是什么形状”。逐物体优化方法需要反复解决这一耦合问题；SuperDec 则通过集合预测网络同时预测基元及点到基元的分配。它提供了快速前馈分解的起点，但主要依赖 Chamfer 距离，可能留下基元之间的空隙，或把边缘拟合得过于圆滑。

单纯增加基元数量并不能解决表示本身的限制。论文讨论的刚性超二次曲面具有凸、对称的形状约束，难以用一个基元描述弯曲扶手或截面逐渐变化的部件。把这些部件拆成更多小块虽然可以逼近表面，却会削弱表示的紧凑性和整体结构。另一方面，表面采样点的距离较小，并不保证所有基元的并集占据了正确的三维体积。因此，作者同时修改可表示的形状和训练监督，而不是只替换点云编码器。

真实扫描还带来另一个问题：可见点集不等于完整物体。仅让重建贴合可见点，无法直接教会模型恢复被遮挡的部件，甚至会鼓励缺失几何。作者先在完整物体上获得高质量基元分解，再让遮挡输入预测同一完整结构，从而把几何拟合能力变成结构补全监督。这一区分很重要：基础模型的完整点云重建、可选的测试时优化，以及鲁棒版本的额外微调是三个不同设置。 核心 idea：用体积与表面共同约束可变形基元，再把精修后的完整基元集合用作部分点云的几何监督。

方法详解¶

整体框架¶

输入是单个物体的点云，输出是一个带存在概率的可变形超二次曲面集合，以及训练时使用的点到基元软分配。基础网络先进行“可变形集合预测”，以“联合几何监督”学习完整物体分解；“活动基元精修”是可选的逐物体优化。为了处理遮挡，“匹配式结构补全”再使用精修结果训练鲁棒预测器，部署时从部分输入前馈输出完整基元结构。图中通向补全阶段的边表示训练监督，不表示每次部分点云推理都要先获得完整物体。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Input["完整物体点云"] --> Predict["可变形集合预测"]
        Predict --> Joint["联合几何监督"]
        Full["完整几何占据<br/>仅训练或精修可用"] -.-> Joint
        Joint --> Refine["活动基元精修"]
        Refine -->|完整分解伪标签| Robust["匹配式结构补全"]
        Partial["部分物体点云"] --> Robust
        Robust --> Output["完整基元结构"]

关键设计¶

1. 可变形集合预测：让一个基元能够解释曲线与变截面部件

模型沿用 SuperDec 的主体架构，PVCNN 先提取逐点特征，另一侧初始化固定数量的超二次曲面查询。查询经过自注意力交换部件信息，通过交叉注意力读取点云特征，再由回归头输出各基元的几何参数与存在概率。分割头把逐点特征与投影后的基元查询相匹配，对每个点进行 softmax，得到其属于各基元的软分配。因此，网络不是先做硬分割再独立拟合，而是共同学习部件划分与几何表示。存在概率允许固定大小的候选集合表达不同复杂度的物体，不要求所有候选都成为最终部件。

刚性表示包含 3 个尺度、2 个形状参数和合计 6 个姿态自由度，论文按 11 个参数计数。 SuperFlex 额外引入沿 z 轴变化的 x、y 方向渐缩参数，以及分别绕三个轴定义的弯曲曲率和方向角。这增加了 2 个渐缩参数和 6 个弯曲参数，使每个基元的几何参数总数成为 19；存在概率另行预测。渐缩让截面逐步收窄或放宽，弯曲则将直线轮廓变为圆弧，从而避免把同一连续部件切成许多刚性小块。判断空间点与变形基元的关系时，先逆刚体变换，再依次逆 z、x、y 轴弯曲，最后逆渐缩，回到规范超二次曲面。这里的顺序来自原文第 4–5 页；缓存中的显式变形公式有损坏，因此不把补写的解析式当作作者公式。

2. 联合几何监督：同时约束物体体积、局部表面与分解冗余

仅比较表面采样点的 Chamfer 距离，未必能惩罚两个相邻基元之间的体积空洞。体积项在包围物体的单位立方体中采样空间点，通过径向距离的软指示函数获得各基元占据概率，再聚合为整体占据。预测占据与完整物体的真实占据通过可微 IoU 目标对齐，因而监督直接作用于基元并集，而不是只作用于孤立表面点。径向距离指沿基元中心与查询点连线到表面的距离；它是计算方便的代理，不应被称为精确欧氏 SDF。虽然论文将局部项命名为 SDF loss，实际使用的正是这个径向距离及其稳定化激活。

局部表面项对输入点到每个基元的距离进行惩罚，影响大小由网络预测的点到基元分配权重控制。距离经过激活函数处理以提高稳定性和抗离群点能力，但该激活的详细形式位于缓存未包含的附录。体积项负责整体占据，表面项帮助保留细部；两者并不保证自动消除不同基元之间的重复解释。重叠正则因此惩罚同一位置上多个基元软占据之和超过 1 的情况。稀疏正则作用于各基元平均分配权重的 0.5 范数，存在性正则则以使用量阈值产生目标并训练存在概率。这些约束一起避免“更多重叠体积就等于更好重建”的退化方向。

按原文第 6–7 页的文字定义，基础训练目标可写为：

\[ \mathcal{L}=\lambda_{\mathrm{IoU}}\mathcal{L}_{\mathrm{IoU}}+\lambda_{\mathrm{SDF}}\mathcal{L}_{\mathrm{SDF}}+\mathcal{L}_{\mathrm{reg}}. \]

这里的正则项包含重叠、稀疏和存在性约束；监督虽不需要人工部件标签，仍需要完整几何的占据信息。因此，“自监督分解”不能理解为只提供任意部分扫描就能直接执行同一训练目标。

3. 活动基元精修：在确定部件数量后优化整个几何并集

前馈输出可以直接使用；若需要更高保真度，则保留存在概率大于 0.5 的活动基元并优化其几何参数。精修阶段不再优化一个动态候选集合，而是在已选择的基元上调整姿态、形状及变形。与训练阶段按预测分配加权不同，此时把基元视为整体形状，用 LogSumExp 近似距离场的硬最小值。这样各个表面附近仍有平滑梯度，不必依赖原来的逐点分割权重才能调整基元。体积项也改为对统一距离场直接应用软占据函数，不再沿用前馈训练中的概率聚合方式。

这一变化意味着“使用相同损失”指继续采用体积与表面目标，而不意味着所有计算细节完全相同。实验采用 Adam 对每个物体运行 1000 次迭代，优化温度为 0.01。表 2 中活动基元平均数前后都是 5.64，说明提升来自既有基元的拟合，而非增加部件数量。代价是每个物体从前馈的 0.0082 s 变为报告的 5 s，不能把精修精度和前馈延迟合成一个结果。这一步还承担离线标签生成职责，为后续鲁棒训练提供完整物体的高质量分解。

4. 匹配式结构补全：用完整几何监督遮挡输入，而不强求参数逐项一致

对同一完整物体先生成精修基元，再用部分可见点训练模型恢复该集合。但相同几何可以由轴交换、符号翻转等不同参数表达，直接回归参数会产生互相冲突的监督。作者将其视为集合预测问题，先通过 Hungarian matching 建立预测基元与目标基元的一对一对应。匹配后只对真实存在的目标基元计算表面采样点之间的 Chamfer 距离，以几何一致性代替参数一致性。 Chamfer 距离在这里是“对应部件之间”的监督，与基础模型中只靠整体表面距离拟合的设置不同。

补全训练同时保留基于完整物体占据的 IoU 项，避免仅凭可见区域决定整体形状。另一个刚性几何辅助项关闭弯曲和渐缩后比较对应基元表面，为粗部件结构提供先验。它不要求最终输出保持刚性，而是减少依赖复杂变形弥补粗结构错误的倾向。遮挡增强通过 Hidden Point Removal 模拟视角可见性，并用随机球形遮罩模拟前景遮挡。作者还在 ASE 部分点云上微调 100 个 epoch；这是额外目标域适配，不能与纯 ShapeNet 遮挡增强混为一谈。

原文第 8 页给出的补全目标为：

\[ \mathcal{L}_{\mathrm{sup}}=\mathcal{L}_{\mathrm{geom}}+\lambda_{\mathrm{IoU}}\mathcal{L}_{\mathrm{IoU}}+\mathcal{L}_{\mathrm{rigid}}. \]

损失函数 / 训练策略¶

ShapeNet 实验使用 13 个类别及 Choy 等人的训练、验证、测试划分，物体预先对齐到规范朝向。每个物体通过最远点采样获得 4096 个点；候选基元数为 16，特征维度为 128，解码器有 3 层。基础模型从 SuperDec 的 ShapeNet 检查点开始训练 1000 个 epoch，不是从随机初始化得到全部收益。训练使用 4 张 GPU、batch size 32；标准学习率为 \(3\times10^{-4}\)，鲁棒微调为 \(1\times10^{-4}\)。体积占据温度为 0.001，IoU 与 SDF 权重分别为 0.2、3.2，重叠、稀疏、存在性权重分别为 5、1.26、0.01。缓存把使用量阈值提取为 24，与前文平均概率的定义不相容；此处不将它作为可直接复现的超参数。

实验关键数据¶

主实验¶

下表摘自原文表 1，第 10 页：ShapeNet 13 类、规范朝向、每物体 4096 点；SuperFlex 两行为前馈结果。 IoU 与 F-score 越高越好，Chamfer L1/L2 和平均基元数越低越好；L1/L2 按原表显示为原始数值乘 \(10^2\)。

方法	弯曲与渐缩	IoU	F-score	L1	L2	平均基元数	耗时
Marching Primitives	否	0.56	0.18	2.08	0.10	24.10	163.41 s
SuperDec	否	0.59	0.28	1.77	0.050	5.79	0.0075 s
SuperFlex	否	0.70	0.35	1.75	0.049	6.04	0.0075 s
SuperFlex	是	0.72	0.37	1.54	0.043	5.64	0.0082 s

刚性 SuperFlex 已把 IoU 提高到 0.70，说明联合监督是主结果提升的重要来源；变形进一步改善到 0.72。原文表 2，第 11 页报告精修后 IoU 为 0.87、F-score 为 0.49、L1 为 1.32、L2 为 0.036，耗时为 5 s。正文称精修相对提升 22%，但按表中 0.72 与 0.87 的舍入值计算约为 20.8%；这里保留原表，不替作者消解差异。

消融实验¶

下表摘自原文表 4，第 14 页；所有设置固定稀疏与存在性约束，逐步改变重建及重叠项。 L1/L2 保留论文的报告数值，Overlap 为原表的重叠百分比；缓存正文未给出该评测量的精确分母。

重建与重叠配置	IoU	F-score	L1	L2	平均基元数	Overlap
SuperDec 重建损失	0.59	0.29	1.75	0.050	5.78	4%
仅 IoU	0.74	0.40	1.76	0.124	5.94	32%
IoU + SDF	0.72	0.37	1.54	0.042	5.80	14%
IoU + SDF + overlap	0.72	0.37	1.54	0.043	5.64	8%

仅用 IoU 的体积分数最高，却有更差的 L2 和大量重叠；因此不能只用单一 IoU 排名判断分解质量。加入表面项后 L2 从 0.124 降至 0.042；再加重叠项，Overlap 从 14% 降至 8%，IoU 仍为 0.72。表 4 的 SuperDec 损失基线与表 1 的 SuperDec 行并不完全相同，笔记分别保留原值。另据表 5，第 14–15 页，从未变形前馈初始化进行优化时，无变形、仅渐缩、仅弯曲、两者兼有的 IoU 分别为 0.81、0.83、0.84、0.85。这个变形消融属于优化阶段，不能把其中 0.85 直接当作表 1 的前馈表现。

关键发现¶

下表摘自原文表 3，第 13 页：输入是 ASE 深度图和实例掩码提取的部分物体点云，评估目标是完整 ABO 网格。 “遮挡增强”指在 ShapeNet 上微调，“ASE 适配”指额外使用 ASE 部分点云；这里仅摘录 IoU、F-score 和平均基元数。

SuperFlex 设置	遮挡增强	ASE 适配	IoU	F-score	平均基元数
基础模型	否	否	0.20	0.16	6.3
鲁棒版本	是	否	0.48	0.16	4.9
鲁棒版本与目标域适配	是	是	0.54	0.18	4.3

遮挡增强将 IoU 从 0.20 提高到 0.48，但 F-score 仍为 0.16，提示整体占据恢复不等于局部表面细节同步提升。进一步适配后 IoU 达到 0.54；该结果包含目标域训练，不是未经适配的真实场景零样本成绩。 ScanNet++ 的真实扫描展示是图 7 的定性结果，并使用真实实例掩码，不是端到端场景检测与分解评测。

亮点与洞察¶

损失改进可独立于形状扩展成立。 刚性版本已有明显 IoU 收益，因此贡献不应全部归因于增加 8 个变形参数。
并集正确与部件合理是不同目标。 IoU、表面距离和重叠约束分别处理全局占据、局部拟合与几何冗余，消融揭示了它们的互补性。
在几何空间而非参数空间做监督。 匹配表面集合能绕开等价参数化的歧义，这一思路可迁移到其他存在对称性的结构预测任务。
精修兼作训练数据生产。 昂贵的逐物体优化不仅提高单次重建，还能离线提供完整结构监督；这是方法上的可复用思路，而非额外实验结论。

局限与展望¶

训练几何条件较强。 基础学习和精修依赖完整占据信息；论文没有证明只凭任意部分扫描即可完成同等质量的无监督训练。
真实场景证据仍有限。 ASE 提供定量结果，ScanNet++ 主要提供定性展示，且对象提取依赖实例掩码。
精修有明确时延。 5 s 的逐物体优化不能视为 0.0082 s 前馈预测的免费附加，应用需要按延迟预算选择。
表达力不是无约束的。 19 参数基元仍是受限形状族；对任意复杂拓扑、细薄结构及不确定补全的能力，本文没有给出全面保证。
复现细节存在读取缺口。 当前全文缓存缺少附录，部分公式与使用量阈值损坏，F-score 阈值也未在可读正文中明确；这些不能靠猜测补齐。
读者展望。 可进一步评估错误实例分割下的稳健性，以及多个合理补全解的不确定性；这不是论文已经验证的能力。

评分¶

新颖性: 4/5。表示和各组件有明确前作，但联合监督与完整到部分的几何训练形成了实用整合。
实验充分度: 4/5。包含完整物体、损失与变形消融及部分点云评估，真实扫描的定量覆盖仍有限。
写作质量: 4/5。主线和消融动机清楚，但正文提升比例与表格舍入值有差异，缓存还存在公式提取问题。
价值: 4/5。适合研究紧凑可解释 3D 表示、几何补全与学习加精修的组合方案。