FUSE: A Flow-based Mapping Between Shapes¶
会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/LorenzoOlearo/FUSE-Flow-based-Mapping-Between-Shapes
领域: 3D视觉
关键词: 形状匹配, 流匹配, 神经表示, 测地特征嵌入, 可逆流
一句话总结¶
把每个形状表示成一条从共享单位高斯锚点出发的可逆连续流(用流匹配训练),源形状的逆流与目标形状的正流一复合就得到两形状之间的点映射——既不训练配对模型也不做测试时优化,还能在网格、点云、SDF 与四面体网格之间跨表示匹配,在 FAUST/SMAL 等地标监督基准上达到最低或接近最低的对应误差。
研究背景与动机¶
形状匹配被公认为几何处理里的"关键问题":一旦拿到准确对应,姿态迁移、形状插值这类下游任务就有了现成解法。长期以来的主流做法建立在三角网格表示上,其中函数映射框架(Functional Maps)把对应表示成两个函数空间之间的线性算子,平滑、对形变不敏感,却也因此依赖谱基——谱基只在网格上天然可得,且这类方法很难保证得到双射。另一条路是最优传输(OT),把对应写成把特征分布从一个形状搬到另一个形状的运输方案,但在采样不均衡或特征歧义时会出现质量分裂(mass splitting):单个点的概率质量被摊到多个目标点上,恢复离散对应时锐度和稳定性都会下降。配准类方法则直接优化 3D 形变场,精度好,代价是要解重的优化问题,并且依赖刚体初始化或学到的先验。与此同时,神经表示(NeRF、DeepSDF、Geometry Distributions 等)让 3D 几何的编码方式迅速多样化,却不像网格那样自带一整套分析与操控工具。
真正的矛盾在于:几何表示越来越多样,而几乎所有匹配管线都把自己的先验焊死在某一种表示上。Diff3F 要先渲染网格再借视觉大模型提语义特征,ULRSSM 要大规模训练数据才能学出谱特征,函数映射类要谱基。于是"在两个不同表示之间建立对应"要么需要重训一个模型,要么只能退回 3D 坐标这种到处能算、却既不编码语义也不编码几何的通用嵌入。本文想要的是一种既通用又不牺牲精度的映射表示:它对形状只提两个要求——能从表面采样点、能为每个点算一个逐点嵌入——而不用管这个形状是网格、点云、SDF 还是体网格,也不需要任何成对优化。
核心 idea:让每个形状各自学一条从共享高斯锚点到自身嵌入分布的可逆流,两个形状的流通过同一个高斯"接驳",源形状的逆流复合目标形状的正流就得到映射——配对所需的唯一共享信息是少量地标,不需要配对训练,也不需要测试时优化。
方法详解¶
整体框架¶
输入是两个共享语义的 3D 形状 \(S_1\)、\(S_2\)(表示任意,只要能采样表面点)以及少量地标。整条流程分四步:先在两个形状表面采样点,为每个点计算一个逐点嵌入(默认是到地标的测地距离特征);然后每个形状独立训练一个流模型,把固定的共享高斯锚点 \(p_0 = \mathcal{N}(0,1)^d\) 输运到该形状的嵌入分布 \(p_\ell\);接着把"源到目标的映射"定义为两个流的复合——先用源形状的逆流把 \(S_1\) 的嵌入点送回高斯,再用目标形状的正流把它们前推到 \(S_2\),得到的是一条连续映射,落点已经在目标的嵌入空间里;最后在嵌入空间做一次最近邻检索,把连续映射离散成点对点对应。整个过程没有任何配对训练、没有测试时微调,两个形状之间唯一共享的信息就是那几组地标。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["形状 S1 / S2<br/>网格·点云·SDF·体网格"] --> B["测地特征嵌入与地标先验<br/>表面采样 → 逐点测地特征"]
B --> C["逐形状可逆流与共享高斯锚点<br/>嵌入分布 ↔ N(0, I)"]
C --> D["流复合即映射<br/>Φ = ψ2 ∘ (ψ1)⁻¹"]
D --> E["嵌入空间最近邻<br/>点对点对应 T12"]
E --> F["下游应用<br/>UV 参数化·人体扫描拟合·体匹配"]
关键设计¶
1. 测地特征嵌入与地标先验:用最小的先验换来跨表示的通用嵌入
每一条形状匹配管线都必须靠某种先验来消解根本歧义,其中最典型的是内蕴对称——纯几何信息无法区分"左手"和"右手"。已有方法把这个先验放在不同的地方:函数映射类靠谱签名,Diff3F 靠渲染视图 + 预训练视觉大模型,ULRSSM 靠在大规模形状集合上训练出来的特征提取器。这些选择各自引入表示相关的依赖(谱基、渲染管线、训练数据),正好限制了它们的适用范围。而 3D 坐标虽然人人都能算,却既不含内蕴几何也不含语义,用它做嵌入时 KNN 与 FUSE 的误差都很高(FAUST 上分别是 0.1572 与 0.1488),也捕捉不到非刚体形变。本文选的是测地特征嵌入(GFE):每个表面点用"到一小撮地标 \(L\) 的测地距离组成的向量"表示,维数等于地标个数,编码的是内蕴几何,而且天然跨表示——网格上可以用热方法或 Dijkstra,点云上可以用热测地,SDF 上可以先体素化再跑 Dijkstra。地标是一份"最小但够用"的先验:它可证明地消解内蕴对称、锚定形状的语义朝向,这也正是函数映射一系公理化方法的通行做法。本文在人形上取 5 个地标、动物上取 6 个,先在第一个形状上人工点选,再通过真值对应传播到整个数据集。
但地标本身不解决分布层面的问题:非刚体形变会显著改变点与点之间的测地距离,所以 GFE 在两个形状上的分布并不天然对齐——这正是流复合要接手的地方(见设计 3)。更重要的是,决定 FUSE 是否有效的并不是嵌入的维度,而是嵌入的平滑性。表 2 给出的证据很干净:GFE 的 Dirichlet 能量极低(FAUST 上 0.0001),流一上手就把 KNN 的 0.0454 压到 0.0289;而 WKS 与 ULRSSM 学到的嵌入能量高一个数量级以上(0.0056 / 0.1847),FUSE 在 WKS 上几乎毫无改善(0.1007 → 0.1015),在 ULRSSM 上甚至变差(0.0723 → 0.0829)。作者称之为频率诅咒(curse of frequency):高频嵌入诱导出的分布更复杂,流更难对齐,这与函数映射优化中长期存在的困难同源。反过来做实验也成立——把嵌入投影到少量 Laplace–Beltrami 特征基上做平滑(表 2 里的 WKS* 与 WKS-L*),FUSE 又重新稳定优于 KNN(0.1125 → 0.0901,0.0522 → 0.0416),说明"平滑的学习特征 + 流式对齐"是一条可行路线。FUSE 也不怕维度升高:地标从 3 个加到 30 个,误差单调下降且始终优于 KNN;把地标位置按形状直径的某个比例随机扰动,FUSE 的优势同样保持。
2. 逐形状可逆流与共享高斯锚点:把"形状"表示成一条从高斯出发的连续流
这一设计回答的是"形状本身怎么被表示"。给定形状 \(\ell\) 的嵌入分布 \(p_\ell\)(即嵌入矩阵的行所构成的分布),本文训练一个独立的流 \(\psi^\ell: [0,1] \times \mathbb{R}^d \to \mathbb{R}^d\),它把固定的共享高斯 \(p_0 = \mathcal{N}(0,1)^d\) 输运到 \(p_\ell\),也就是从高斯采样一个点、正向积分一步到 \(t=1\),落点就服从该形状的嵌入分布。流由神经网络参数化的速度场给出,满足以恒等映射为初值的 ODE \(\frac{d}{dt}\psi_t(x) = u_t(\psi_t(x))\)、\(\psi_0(x)=x\);因此流天然可逆且是微分同胚,反向积分就是从形状回到高斯。真实的速度场不可解,训练改用条件流匹配(Conditional Flow Matching):用可解的条件速度场做回归,路径取最简单的线性插值(\(x_t=(1-t)x_0+tx_1\),\(u_t=x_1-x_0\)),目标函数为
(⚠️ 原文式 (1) 在本缓存中 OCR 有损,此处按 Flow Matching 原始定义的标准形式给出。)训练是模拟自由的,只有生成/映射阶段才需要积分 ODE;而且每条流只在自己形状的嵌入上训练,唯一的要求就是"能从表面采到嵌入",所以对几何表示完全不可知——这也是同一套框架能直接吃 SDF 和四面体网格的原因。
这里还有一个容易被忽略、但对整篇论文至关重要的选择:用流匹配而不是扩散。前作 Geometry Distributions 用 DDIM 把形状表示成高斯到表面的扩散过程,但 DDIM 只是通过足够长的噪声调度渐近逼近高斯,反演回锚空间时会留下偏差,于是"所有形状共享同一个潜空间"这件事只是近似成立。流匹配则在高斯与数据分布之间建立了显式关系,逆流确定性地把形状映射回精确的高斯。表 3 把这一点量化在 FAUST 上:FUSE 的锚空间欧氏/测地误差是 0.042 / 0.039,而 FUSE DDIM 是 0.099 / 0.095;平均 KL 散度 0.0375 对 0.3519,平均 JS 散度 0.0829 对 0.2128。散度上的差距直接对应到最终匹配精度(表 4 中 FUSE 0.0289 对 FUSE DDIM 0.0402),印证了"锚得准,才配得准"。
3. 流复合即映射:不需要成对训练,也不需要测试时优化
有了两条流,形状之间的映射就只是一次复合:\(\Phi^{12} = \psi^2 \circ (\psi^1)^{-1}\)。它的语义非常直白——先用源形状的逆流把 \(S_1\) 的嵌入点送回共享高斯,再用目标形状的正流把同一个点前推到 \(S_2\) 的嵌入空间,因此复合的结果不是"另一个相似度矩阵",而是一个把点真正送进目标嵌入空间的映射。要落到离散点上,只需在嵌入空间做一次最近邻检索:\(T_{12} = \mathrm{NearestSearch}(\Phi^{12}(E(S_1)), E(S_2))\)。
这条构造之所以成立,靠的是流匹配解的一个性质,而不是运气。FM 训练时高斯样本与数据样本之间用的是随机耦合,但这个随机性只进入条件速度场,不影响学到的流本身:原文引 [25] 的定理 2 说明,把条件场对 \(x_1 \sim p_1\) 取边缘就恢复出生成该概率路径的唯一边缘速度场,而它只由 \((p_1, p_0)\) 这一对分布决定,因此诱导出的流也只由分布决定。于是当 \(E(S_1) = E(S_2)\) 时两条流完全重合;当两者的分布相似时,复合 \(\psi^2 \circ (\psi^1)^{-1}\) 就等价于把 \(E(S_1)\) 对齐到 \(E(S_2)\),不同形状上嵌入相近的点会被送进锚空间中的相近区域。这带来三个实用的好处:映射自动继承嵌入本身的不变性(嵌入对某类变换不变,映射就跟着不变);任意两个"已经各自训好流"的形状之间立刻可以建立映射,不需要重新训练;建桥只要求能采样表面,所以跨表示是自然的,而不是打补丁打出来的。
同一条论证也划出了 FUSE 的能力边界:当 \(S_1\) 与 \(S_2\) 之间相差一个嵌入不具备不变性的变换时,两个嵌入分布会变得不相似,流复合也就无从对齐;反过来,嵌入对形变越不敏感、两个分布越接近,复合就越可靠——这正是实验里"等距性越弱,FUSE 相对优势越大"的机制来源。另外必须说清楚:流的可逆性本身不等于两个形状之间的双射。最后一步 KNN 是每个源点各自独立找最近邻,匹配并不严格双射,这与点对点对应方法的通行做法一致;作者也指出,由于 GFE 与流都在表面上连续定义,把构造扩展成连续、严格双射的映射是自然的后续工作,本文没有做。
损失函数 / 训练策略¶
每个形状配一个流模型,只在自己形状的嵌入上独立地用上面的 CFM 目标训练(线性插值路径、模拟自由,只需要采样嵌入);测试时只做 ODE 的逆向/正向积分加一次 KNN——没有成对优化,没有微调,也没有用真值对应训练任何模块。可选地,FUSE 的输出可以当作函数映射精修方法的初始化:先用 FUSE 得到对应,再接 ZoomOut(FUSE ZO)或 Neural Adjoint Maps(FUSE NAM)做成对优化,这一步换来的是更平滑的映射和更低的误差。地标方面,人形用 5 个、动物用 6 个,在首个形状上人工点选后靠真值对应传播。⚠️ 缓存中的正文没有给出网络结构、ODE 求解步数、训练规模等细节,这部分以原文及其补充材料为准。
实验关键数据¶
主实验¶
评测覆盖四个非刚体形状匹配基准:FAUST(近似等距的人形网格)、SMAL(非等距的四足动物网格)、SHREC20(强非等距的动物网格)和 KINECT(人体点云)。指标有四个:欧氏误差、测地误差、Dirichlet 能量(前三者越低越好)与覆盖率(越高越好)。基线横跨多种范式,包括同用测地特征的 KNN、Sinkhorn 最优传输、带测地描述子的函数映射及其精修变体(FMaps ZO、FMaps NAM)、带 WKS 的经典函数映射、神经形变金字塔 NDP、视觉基础模型特征 Diff3F,以及数据驱动的 ULRSSM。下表汇总表 4 的欧氏误差与覆盖率。
| 方法 | FAUST 欧氏↓ | SMAL 欧氏↓ | SHREC20 欧氏↓ | Kinect 欧氏↓ | FAUST 覆盖↑ | SMAL 覆盖↑ | SHREC20 覆盖↑ | Kinect 覆盖↑ |
|---|---|---|---|---|---|---|---|---|
| KNN | 0.0454 | 0.0879 | 0.1083 | 0.1119 | 0.2452 | 0.1364 | 0.1446 | 0.0995 |
| OT | 0.0926 | 0.0779 | 0.1252 | 0.1327 | 0.0890 | 0.1129 | 0.1001 | 0.0748 |
| FMaps | 0.0401 | 0.0756 | 0.1381 | 0.0810 | 0.3236 | 0.2162 | 0.2037 | 0.1683 |
| FMaps WKS | 0.0331 | 0.0647 | 0.1197 | 0.0723 | 0.3759 | 0.2585 | 0.2380 | 0.2211 |
| FMaps ZO | 0.0207 | 0.0625 | 0.1454 | 0.0706 | 0.6969 | 0.4706 | 0.3495 | 0.4043 |
| FMaps NAM | 0.0245 | 0.0617 | 0.1041 | 0.0689 | 0.6323 | 0.4694 | 0.2860 | 0.3494 |
| NDP | 0.0702 | 0.0555 | 0.0698 | 0.0457 | 0.4893 | 0.4818 | 0.5016 | 0.4190 |
| Diff3F | 0.0697 | 0.1594 | 0.0876 | 0.1394 | 0.3075 | 0.2146 | 0.1579 | 0.1448 |
| ULRSSM | 0.0092 | 0.0370 | 0.3286 | N/A | 0.7302 | 0.4936 | 0.1337 | N/A |
| FUSE | 0.0289 | 0.0595 | 0.0975 | 0.0969 | 0.5320 | 0.5156 | 0.5278 | 0.4931 |
| FUSE ZO | 0.0200 | 0.0437 | 0.1275 | 0.0690 | 0.7127 | 0.5361 | 0.3763 | 0.4173 |
| FUSE NAM | 0.0179 | 0.0422 | 0.0658 | 0.0770 | 0.7027 | 0.5520 | 0.5342 | 0.3904 |
测地误差上趋势一致:FUSE 在 FAUST 上把 KNN 的 0.0434 降到 0.0274,加上精修后 FUSE NAM 达到 0.0168;在 SHREC20 上 FUSE NAM 的 0.0603 是所有方法里最低的(NDP 为 0.0649)。
消融实验¶
嵌入类型(表 2,FAUST / SMAL 的欧氏误差与 FAUST 的 Dirichlet 能量)。 这张表同时验证了"GFE 为什么被选中"和"频率诅咒"。
| 嵌入 | 维度 | KNN(FAUST) | FUSE(FAUST) | KNN(SMAL) | FUSE(SMAL) | Dirichlet(FAUST) |
|---|---|---|---|---|---|---|
| (x, y, z) | 3 | 0.1572 | 0.1488 | 0.2903 | 0.3226 | 0.0002 |
| GFE | 5 | 0.0454 | 0.0289 | 0.0879 | 0.0595 | 0.0001 |
| WKS | 20 | 0.1007 | 0.1015 | 0.2736 | 0.3039 | 0.0056 |
| WKS*(平滑) | 20 | 0.1125 | 0.0901 | — | — | 0.0008 |
| WKS-L | 20 | 0.0428 | 0.0556 | 0.0697 | 0.0668 | 0.0022 |
| WKS-L*(平滑) | 20 | 0.0522 | 0.0416 | — | — | 0.0004 |
| ULRSSM | 256 | 0.0723 | 0.0829 | 0.1061 | 0.1117 | 0.1847 |
锚定方式(表 3,FAUST,GFE)。 对比直接对原始嵌入做最近邻(Raw)、用 DDIM 反演(FUSE DDIM)与用流匹配(FUSE):锚空间的精度与分布散度都指向同一结论。
| 指标 | Raw | FUSE DDIM | FUSE |
|---|---|---|---|
| 锚空间欧氏误差 ↓ | 0.045 | 0.099 | 0.042 |
| 锚空间测地误差 ↓ | 0.043 | 0.095 | 0.039 |
| 平均 KL 散度 ↓ | 0.2528 | 0.3519 | 0.0375 |
| 平均 JS 散度 ↓ | 0.1928 | 0.2128 | 0.0829 |
前验类型与跨表示(表 1、表 5)。 表 1 显示只用 5–6 个地标作先验时,FUSE 在 FAUST / SMAL 上的误差(0.028 / 0.059)低于用训练数据先验的 ULRSSM(0.043 / 0.063)和用视觉模型先验的 Diff3F(0.089 / 0.189)。表 5 是本文为 SDF 匹配新建的基准(从 FAUST 派生,评测时把原网格顶点投影到对应 SDF 表面,保证误差仍量在原始网格几何上;从零水平集均匀采样约 \(10^5\) 个点并体素化后用 Dijkstra 算测地距离):
| 方法 | 欧氏误差↓ | 测地误差↓ | Dirichlet↓ | 覆盖率↑ |
|---|---|---|---|---|
| KNN | 0.0562 | 0.0569 | 0.0023 | 0.1744 |
| NDP | 0.0525 | 0.0643 | 0.0016 | 0.5139 |
| OT | 0.0921 | 0.0881 | 0.0018 | 0.0936 |
| FUSE ANCHOR | 0.0472 | 0.0469 | 0.0175 | 0.2784 |
| FUSE | 0.0375 | 0.0385 | 0.0069 | 0.4653 |
关键发现¶
- 流复合最直接的收益是覆盖率。 FUSE 在 FAUST/SHREC20 上的覆盖率从 KNN 的 0.2452 / 0.1446 升到 0.5320 / 0.5278,甚至接近靠成对优化堆出来的重精修方法。原因是机制性的:流复合是一个几乎处处单值、把点真正推进目标嵌入空间的操作,而 KNN 只是每个点各找各的近邻。
- 越是非等距,FUSE 的优势越大。 在近似等距的 FAUST 上,FUSE(0.0289)不如 ULRSSM(0.0092)与 FMaps ZO(0.0207);但到了强非等距的 SHREC20,ULRSSM 直接崩到 0.3286,而 FUSE 为 0.0975、FUSE NAM 为 0.0658 反而最好。这与设计 3 的解释一致:嵌入对形变越不敏感,两个分布越接近,复合越可靠。
- FUSE 可以做更好的初始化。 用 FUSE 初始化 ZoomOut / NAM 比用标准 FMaps 初始化更好,在 SHREC20 上尤其明显(FUSE NAM 0.0658 / 0.0603 对 FMaps NAM 0.1041 / 0.0962),说明这条映射提供的起点本身就落在更合理的区域。
- FUSE 的映射不平滑,且原因被定位到了流反演。 FUSE ANCHOR(不做流复合、直接在锚空间做近邻)在 SMAL 与 SHREC20 这类非等距场景下欧氏误差略好(0.0579 / 0.0912 对 0.0595 / 0.0975),但 Dirichlet 能量高得多(0.0185 / 0.0538 对 0.0075 / 0.0339)、覆盖率低得多(0.3708 / 0.3619 对 0.5156 / 0.5278)。作者据此判断:FUSE 映射的不平滑来自"从表面反演回锚分布"这一步本身不光滑。
- 点云上效果受限。 点云既难保证可靠的测地距离,也难保证足够的表面覆盖(顶点之外的表面信息未知),FUSE 因此不敌绕开测地距离的外蕴方法 NDP(0.0969 对 0.0457)。值得注意的是,在 KINECT 一列上 FMaps 的欧氏/测地误差(0.0810 / 0.0779)其实也低于 FUSE(0.0969 / 0.0914),FUSE 的优势主要体现在覆盖率(0.4931 对 0.1683);原文此处"FUSE 仍优于未精修的测地类方法"的说法较为宽泛,⚠️ 以原文与补充材料的完整指标为准。
- 跨表示匹配基本可用。 在人为构造的 FAUST 同源集合上(原始网格取顶点当点云、另算 SDF 表示),只要两个形状里至少有一个是网格或 SDF,FUSE 就能达到与网格对网格相当的结果;两边都是点云时才明显退化。
- 体匹配上"平均更准、但并非处处更准"。 在四面体网格上与 Volumetric FMaps 比较(表 6,Accuracy 越低越好):近等距的 Octopus(0.0215 对 0.0151)与 Cat(0.0422 对 0.0237)上本文略差,强非等距的 Dino_skel(0.0426 对 0.0652)与 Airplane(0.0942 对 0.1273)上明显更好,平均值 0.0501 对 0.0578。作者认为这与表面场景的结论一致:函数式方法在强非等距时吃力。
亮点与洞察¶
- 把"两形状之间的映射"拆成"两条各自独立的流 + 一次复合",等于把一个成对的优化问题换成了两个单形状的分布拟合问题。好处是连锁的:跨形状不用重训,跨表示不用改框架,新形状加入只需训自己那一条流。这个"各自拟合到共同先验、再复合"的范式可以迁移到任何"两个域之间的对应"问题上——跨语言嵌入对齐、跨模态检索,只要有一个逐样本嵌入和一个共享先验,就能照搬。
- 把共享锚分布当作"可插拔的接头",是全文最巧的一步:它不是把两个形状的特征硬拉到一起,而是让两边都去对齐一个固定的 \(\mathcal{N}(0,1)\),于是对齐的难度变成了"各自离高斯有多远",并且可以用 KL/JS 散度直接量化(表 3)。
- "频率诅咒"是一个可复用的诊断。 作者把"嵌入的谱复杂度/平滑性"识别为流式对齐成败的关键变量,并给出立竿见影的补救(用少量 Laplace–Beltrami 特征基平滑嵌入,表 2 里 WKS* / WKS-L* 立刻转为优于 KNN)。任何"用生成模型去对齐特征分布"的工作都可以先用 Dirichlet 能量自查一遍。
- 换掉 DDIM 的动机讲得很实在:DDIM 的逆过程只能渐近逼近高斯,反演后形状其实不在同一个潜空间里,而"所有形状共享一个锚"恰恰是 FUSE 整个构造的立足点。这类"表示层的小改动决定方法能否成立"的论证方式值得借鉴。
局限与展望¶
- 作者明确承认三点:对称性的消解完全依赖嵌入,GFE + 地标可以,而 WKS 这类不含破对称信息的嵌入会明显退化;方法依赖一致的测地距离,因此在点云上效果受限,且当前形式不适合部分匹配;最后一步 KNN 让匹配不是严格双射,尽管 GFE 与流本身都是连续的、有做成连续双射的潜力。
- 我额外注意到的局限:地标虽然少,但仍需要人工在首个形状上点选、再借真值对应传播到整个数据集——在拿不到真值对应的新类别上这份先验并不免费;论文只分析了地标位置的随机扰动,没有分析地标本身选错时的退化。评测全部建立在有真值对应的小规模基准上,泛化到大规模真实扫描(含噪声、孔洞、拓扑变化)的证据还不充分。此外,"流只由分布决定"因而复合可靠的论证,前提是两个嵌入分布足够相似——跨类别、拓扑差异大的形状对上这个前提是否成立,论文没有给出可量化的判据。最后,缓存正文缺少网络结构、ODE 求解步数与训练规模等复现关键细节。
- 改进思路:按作者指出的方向,把平滑的学习特征与流式对齐结合;把锚空间里的点固定住,以支持部分匹配;用一致的连续映射替换 KNN,从而恢复严格双射;并给出一个"两个嵌入分布是否足够可对齐"的事前度量,用来预测 FUSE 什么时候会失效。
相关工作与启发¶
- vs Functional Maps(含 ZoomOut / NAM): FMap 把对应表示成函数空间之间的线性算子,平滑、Dirichlet 能量低,但依赖谱基(只在网格上自然)且难保证双射。FUSE 表示成两个可逆流的复合,天然对表示不可知、覆盖率显著更高,代价是映射不平滑。两者互补:FUSE 可直接作为 ZO / NAM 的初始化,且比标准 FMaps 初始化更好(SHREC20 上 FUSE NAM 0.0658 / 0.0603 对 FMaps NAM 0.1041 / 0.0962)。
- vs OT(Sinkhorn): OT 在采样不均衡或特征歧义时出现质量分裂,恢复出的离散对应不够锐利;实验里 OT 在所有数据集上都明显落后(FAUST 0.0926、Kinect 0.1327,覆盖率也只有 0.0890 / 0.0748)。
- vs NDP: NDP 直接优化 3D 形变场、绕开测地距离,因此在点云上最好(Kinect 0.0457),但在强非刚体形变下失效(FAUST 0.0702);FUSE 与此恰好互补。
- vs ULRSSM: 数据驱动的无监督谱特征学习,在 FAUST / SMAL 上最好(0.0092 / 0.0370),但强非等距时崩到 0.3286,且只能在网格上做、依赖大规模训练数据;FUSE 用 5–6 个地标就跨表示工作。
- vs Diff3F: 用视觉基础模型从渲染视图蒸馏语义特征,需要渲染管线且对表示有依赖;FUSE 只要求表面采样与逐点嵌入。
- vs Geometry Distributions: 同样用"高斯 → 形状"的概率表示,但前者用 DDIM 表示单个形状,FUSE 换成流匹配、把流建在内蕴特征空间上,并把目标改成表示形状之间的映射。
评分¶
- 新颖性: ⭐⭐⭐⭐ 首次把流匹配用于形状间的映射表示,以共享高斯锚点实现免配对训练、跨表示的复合映射。
- 实验充分度: ⭐⭐⭐⭐ 四个网格/点云基准 + 自建 SDF 与体网格基准 + 多组嵌入与锚定消融,但缺网络结构与训练超参细节,且点云一列的结论可再推敲。
- 写作质量: ⭐⭐⭐⭐ 机制论证清楚(为什么复合有效、FM 相对 DDIM 的差别讲得透),公式克制、图表配合得当。
- 价值: ⭐⭐⭐⭐ 提供了一种表示任意两种几何表示之间映射的新范式,覆盖率与跨表示能力对 UV 参数化、扫描拟合、部分匹配等后续工作有直接价值。