2D Features Are All You Need for 3D Shape Understanding¶

会议: ECCV 2026
Paper: https://eccv.ecva.net/virtual/2026/poster/5088
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/8776.pdf
项目: MeshFM
作者: Jinfan Zhou、Richard Liu、Itai Lang、Rana Hanocka
领域: 3D视觉
关键词: 二维特征蒸馏、连续特征场、SAM 边界纠错、三平面表示、旋转鲁棒性

原文标题带有方法名前缀 MeshFM。项目地址来自缓存摘要；本文未联网核查项目和代码发布状态。

一句话总结¶

MeshFM 先把纠正边界混叠后的二维基础模型特征拟合为三维教师场，再训练带旋转增强的前馈网络预测该场，在无需三维人工标注的情况下，以同一套特征支持分割、对应和变形，并在 PartObjaverse-Tiny 原始/旋转语义分割上取得 0.549/0.539 mIoU。

研究背景与动机¶

二维基础模型已经学到丰富的语义和部件关系，但把这些知识搬到三维表面并不等于把图像特征简单投回网格。Diff3F、DFD 一类方法需要对每个形状渲染、提取特征并进行蒸馏处理，测试时成本较高；PartField、DenseMatcher 则把二维先验纳入三维网络训练，但分别更偏向部件分割和稠密对应，其训练目标未必能保留跨任务需要的全部信息。

本文把问题进一步追到监督信号本身：粗网格顶点不能充分接收逐像素信息，而 ViT 的 patch 切分又会让物体背景、相邻部件的特征混在一起。即使后面的三维模型很强，也可能只是在忠实拟合这些污染。作者因而提出，部分所谓“三维任务必须专门设计表示”的需求，可能来自二维知识向三维转移得不够干净，而不是二维特征必然缺少任务所需的信息。这是实验要检验的假设，并非对所有三维任务的普遍证明。

为了同时获得高质量特征和快速推理，MeshFM 将昂贵的逐形状蒸馏留在训练前处理阶段，再学习一个可推广到新形状的预测器。核心 idea：先用 SAM 掩码修复二维特征的边界污染，再将连续三维教师场蒸馏给接受旋转增强的前馈网络，让统一特征而非任务专用头承担主要的形状理解能力。

方法详解¶

整体框架¶

训练输入是三维形状及其多视角渲染，二维 DINOv2 提供主要特征监督，SAM 提供纠错所需的分区边界。第一阶段为每个训练形状单独优化一个连续三维教师场；第二阶段让共享网络从表面采样的点云直接预测三平面表示，通过查询三平面来回归教师场特征。

测试新形状时，不再运行逐形状教师场优化：点云经过一次前馈得到三平面，即可在需要的位置查询特征。分割使用聚类，对应使用正则化函数映射，变形使用 DFD 的控制柄框架；这些下游算子仍然需要执行，“一次前馈”描述的是特征预测，不等于整个任务没有后处理。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["训练网格<br/>多视角二维特征"] --> B["SAM 边界纠错"]
    B --> C["连续教师场蒸馏"]
    C -->|冻结场提供监督| D["三平面前馈预测"]
    P["表面采样点云"] --> D
    D --> E["渐进旋转增强"]
    E --> F["训练完成的预测器<br/>新形状前馈查询"]
    F --> G["聚类分割 / 函数映射<br/>控制柄变形"]

图中的渐进旋转增强是第二阶段后续训练过程，不是推理时新增的网络模块。教师场、预测器和下游算法的职责必须分开理解：教师负责清理和融合监督，预测器负责跨形状泛化，下游算法负责把特征变成任务输出。

关键设计¶

1. SAM 边界纠错：仅替换分区内偏离代表语义的异常特征

当一个图像 patch 同时覆盖细窄部件和背景时，插值后的特征图可能已经失去清晰边界。继续优化三维场不会自动知道哪些混合特征是错的。MeshFM 对每个渲染视图生成互不重叠的 SAM 掩码，假定同一掩码内部主要属于语义一致的部件，并按通道计算该区域全部特征向量的中位数。它不是对整块区域无差别平均，而是只清除显著偏离代表特征的像素，从而尽可能保留区域内正常的变化。

原文公式的文本抽取有缺字；下面依据紧邻的文字定义整理等价表达。对掩码内像素，若其原特征与区域中位数的欧氏距离超过阈值，就用中位数替换，否则保持原值：

\[ \widetilde{\mathbf f}_{u}= \begin{cases} \boldsymbol\mu_i, & \|\mathbf f_u-\boldsymbol\mu_i\|_2>\tau,\\ \mathbf f_u, & \text{otherwise}, \end{cases} \qquad \boldsymbol\mu_i=\operatorname{median}_{u\in M_i}\mathbf f_u,\quad \tau=1. \]

中位数是逐通道计算的；阈值 1 对应原文采用单位归一化特征的设定，不能不加检查地搬到任意尺度的特征上。SAM 在这里主要提供可靠分区，而非取代 DINOv2 的语义特征。纠错有效也依赖掩码确实划出了语义一致区域：若掩码合并了不同部件，真实的细节同样可能被误判为异常。

2. 连续教师场蒸馏：让监督落到表面位置而不受粗顶点采样限制

完成纠错后，方法沿用 DFD 的重心坐标特征蒸馏思路，把渲染像素对应到三角形表面位置，并汇总多视角监督。神经场学习从三维坐标映射到该位置的特征，而不是只给已有顶点存一份向量。其关键价值在于监督的空间密度不再由原网格的三角剖分决定：一块很大的三角面内部也可以接收许多像素的语义信息。

每个训练形状单独拟合一个教师场，但这些场回归同一个二维基础模型的特征空间，因此不同形状的输出具备共同的语义坐标系。这为第二阶段跨形状回归提供了统一目标。连续性指可以查询坐标位置，不代表从未被多视角观察到的表面或任意空间位置都已有可靠语义监督；场拟合也无法凭空补回二维模型本来不辨别的概念。

3. 三平面前馈预测：从点云生成可在表面任意位置查询的特征

第二阶段先将形状归一化到单位立方体，并在表面采样点云。PVCNN 编码器提取逐点几何特征，再通过均值归约正交投影到 XY、XZ、YZ 三个轴对齐平面。这里采用三平面不是再做三幅图像的语义识别，而是为一个三维连续场构建紧凑、可插值的存储表示。

初始平面经过二维 CNN 下采样，展平后交给 Transformer 建模全局上下文，再用转置二维 CNN 上采样为最终三平面。查询一个表面点时，将坐标分别投影到三个平面，在各平面上做双线性插值，最后将三个特征向量相加。共享网络由此可以先读入固定采样的点云，再在不同网格顶点或查询点集合上输出特征，不必为每种任务重新训练一个预测头。

4. 渐进旋转增强：把昂贵的二维监督转换为可复用的三维训练目标

轴对齐三平面和 PVCNN 本身不是严格的旋转不变结构。MeshFM 先在没有旋转的训练设置下收敛，再追加 365k 次迭代，对三个坐标轴随机采样旋转角，并在前 125k 次迭代将最大角度线性增加至 \(2\pi\)。这使预测器逐步面对任意朝向，避免只把固定坐标位置当作部件线索。

这一训练策略能成立，是因为第一阶段已经把多视角图像监督固定为可查询的三维教师场，第二阶段不必为每次增强重新生成二维 SAM 分区。实现时必须保持旋转后的输入、查询位置和对应教师目标的几何关系一致；缓存正文未展开具体的坐标变换代码，也未说明随机角采样是否实现了 SO(3) 上的均匀分布，因此不额外假定这些细节。实验支持的是学习得到的旋转鲁棒性，而不是严格的群等变保证。

一个完整示例¶

以带有细腿和靠背的椅子为说明性输入：训练时先从多视角图像提取 DINOv2 特征，SAM 把可见部件划为区域；若椅腿边缘某些像素混入了背景特征，纠错操作将异常向量替换为所属区域的中位数。清理后的二维信号经表面投影用于拟合这把椅子的教师场。

接着，共享预测器仅从椅子表面点云生成三平面，训练时在采样表面点上查询预测值并对齐冻结教师。后续旋转增强要求相应部位在不同输入朝向下仍保持可用特征。测试另一把椅子时，无须重做教师优化，即可聚类得到部件，或通过函数映射与另一形状建立对应；但左右对称椅腿仍可能混淆。这个例子解释流程，不是论文中单独报告的定量样本。

损失函数 / 训练策略¶

第二阶段在形状表面均匀采样查询点，以冻结教师场的输出作为目标，最小化预测特征与目标特征之间的 L2 回归损失。缓存中的公式 3 排版损坏，因此这里保留明确的训练含义，不臆补平方、归一化等缺失符号。没有另外引入部件标签损失、对应标签损失或任务专用特征微调。

原文报告使用 4 张 L40S，每卡 4 个物体，Adam 学习率为 \(10^{-4}\)，网络约 126M 参数。正文未给出完整训练形状清单、首段收敛迭代数、总教师生成时间及测试延迟，不能据“前馈”直接推断具体实时帧率。“无需三维标注”也不等于无需三维数据：训练仍需要形状几何，以及由二维特征生成的三维教师监督。

实验关键数据¶

主实验¶

分割在 PartObjaverse-Tiny 的 200 个形状和 PartNetE 测试集的 1,906 个形状上评测；各方法统一使用凝聚聚类，聚类数设置为真实标签数，再用匈牙利算法对齐标签并计算 mIoU。旋转版为每个形状采样 5 个随机 SO(3) 旋转。以下表格保留原文的小数或误差数值，不混写百分比。

任务 / 数据集	设置与指标	Diff3F	PartField	DenseMatcher	MeshFM
语义分割 / PartObjaverse-Tiny	原始 mIoU ↑	0.515	0.542	未报告	0.549
语义分割 / PartObjaverse-Tiny	旋转 mIoU ↑	0.488	0.393	未报告	0.539
语义分割 / PartNetE	原始 mIoU ↑	0.496	0.517	未报告	0.520
语义分割 / PartNetE	旋转 mIoU ↑	0.501	0.499	未报告	0.510
稠密对应 / DenseCorr3D 全类别	原始 AUC ↑ / Err ↓	0.46 / 11.8	0.35 / 17.1	0.50 / 10.2	0.52 / 9.6
稠密对应 / DenseCorr3D 全类别	旋转 AUC ↑ / Err ↓	0.42 / 13.8	0.24 / 21.0	0.46 / 11.8	0.50 / 10.5
稠密对应 / TOSCA	原始 AUC ↑ / Err ↓	0.48 / 17.1	0.25 / 19.3	0.11 / 31.5	0.34 / 18.8
稠密对应 / TOSCA	旋转 AUC ↑ / Err ↓	0.28 / 24.8	0.05 / 39.5	0.02 / 41.7	0.33 / 19.3

来源为原文表 1–4。DenseMatcher 在分割数据集的非流形输入上失败，故未报告该项，不能将其缺失值写成 0。对应任务统一使用正则化函数映射；Err 是原文报告的归一化测地误差，AUC 使用 10% 阈值。TOSCA 有 420 对形状；DenseCorr3D 有 306 个测试对，覆盖 24 类，其中 3 类为 held-out。

DenseCorr3D 的 held-out 原始 AUC/Err 为 MeshFM 0.51/7.2、DenseMatcher 0.52/6.8；旋转后分别为 0.51/7.0 和 0.50/7.8。因此，MeshFM 在全类别平均上较强，不意味着每个子集都超过专用方法。

分类采用平均池化特征并训练三层 MLP，不能归入无需任务训练的零样本结果。原文表 5 的 Manifold40 原始/旋转准确率为：MeshFM 0.92/0.85，Diff3F 0.88/0.33，PartField 0.85/0.41，DenseMatcher 0.82/0.28。网格变形只给出基于控制柄和 DFD 的定性展示，没有独立定量误差表。

消融实验¶

PartObjaverse-Tiny 教师场实例分割	不使用 SAM 纠错 mIoU	使用 SAM 纠错 mIoU	绝对变化
平均	0.630	0.661	+0.031
Food	0.620	0.778	+0.158
Plants	0.592	0.633	+0.041
Human-Shape	0.680	0.714	+0.034
Daily-Use	0.653	0.647	-0.006

这是原文表 6 的教师场消融，不是最终 MeshFM 的语义分割结果，不能拿 0.661 与主表的 0.549 直接计算“学生损失”。变化列由原始两列相减得到；平均提升 0.031 相当于 3.1 个百分点，而不是相对提升 3.1%。Daily-Use 存在下降，故不能照正文的笼统措辞写成“所有类别都提升”。

PartNetE 教师场语义分割，原文表 7	平均 mIoU
DINOv2	0.54
RADIO	0.54
SAM2	0.51
DINOv3	0.54

这一消融比较的是作为语义特征源的二维模型，而不是前一表中“是否使用 SAM 掩码纠错”。按原文保留两位小数，不能把它扩写成更精确数值；SAM2 较低的原因被作者归为跨视角不一致，但没有进一步隔离该因素的定量消融。

关键发现¶

MeshFM 的 PartObjaverse-Tiny 平均语义 mIoU 从 0.549 变为 0.539，降幅 0.010；PartField 从 0.542 变为 0.393，降幅 0.149。鲁棒性是更突出的优势，但旋转增强训练不对称影响因果归因。
原始 TOSCA 上 Diff3F 的 AUC 0.48 高于 MeshFM 的 0.34；本文更强的是旋转后保持 0.33，而非所有原始对应基准都最好。
SAM 纠错平均有效但不是逐类必胜；不同基础模型的教师场结果相近，也只说明已测数据和指标下具有一定替换空间。

亮点与洞察¶

将监督质量和推理效率分开解决。先花成本构建连续教师场，再用共享预测器摊销到新形状，避免要求一个训练目标同时处理二维噪声和跨形状泛化。
SAM 的角色是提供边界，而不是把所有特征变成分割标签。局部中位数纠错保留二维语义空间，使同一表示仍能用于对应和变形。
跨任务统一后处理有助于检验表示本身。PartField 在分割强、对应较弱，提醒读者部件可聚类性和跨形状匹配能力不是同一指标。

局限与展望¶

作者明确指出 DINOv2 对左右对称部件区分不足，会产生椅腿或动物肢体匹配错误。二维教师缺失的相对位置信息不会被蒸馏自动补全。
作者承认 PartField 未采用相同旋转增强，而 MeshFM 采用了；现有比较证明完整训练方案更稳健，但不能单独证明教师蒸馏或网络结构造成全部收益。
分割评估知道真实部件数，并采用最优标签匹配。这适合评估特征聚类质量，不等于部署时能自行决定部件数或输出开放词汇标签。
教师场优化仍昂贵，正文没有速度、显存和完整训练数据披露，也缺少相同增强条件下的预测器消融；“实时”和无数据泄漏的强结论均缺乏这里可核对的证据。
SAM 区域语义一致的假设可能不成立；阈值敏感性、局部细节抹平和掩码质量之间的关系没有充分实验展开。补充材料未包含于当前缓存，因此不补造实例分割全表或额外实现超参。

评分¶

以下为笔记作者的主观评分，满分 5 分，不是会议评审分数。

新颖性: 4/5。边界纠错与两阶段通用表示的组合有明确问题指向，但骨干和连续蒸馏大量复用既有方法。
实验充分度: 3/5。覆盖分割、对应、分类和变形，但缺少公平旋转训练对照、速度数据和更完整模块消融。
写作质量: 4/5。两阶段主线清楚；部分“跨所有类别改善”的表述强于表格支持，需要逐项核查。
价值: 4/5。为无需三维人工标注的跨任务形状特征提供实用路线，但不能据此认定二维特征已经解决全部三维理解问题。