MV-GEL: Language-Driven Multi-View Geometric Entity Localization on Meshes¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/kbali1297/MV-GEL
领域: 3D表示与场景理解
关键词: 几何实体定位、多视角选择、视觉语言模型、CAD网格、3D参考分割

一句话总结¶

针对传统3D点云分割缺乏拓扑边界约束且视点遮挡严重的问题，MV-GEL提出结合提示引导的视点几何排序模块（GELviews）与CAD自适应推理分割（LISA-CAD），仅依赖无结构三角网格即可高精度定位自然语言描述的CAD面与边实体。

研究背景与动机¶

在计算机辅助设计（CAD）、机器人抓取规划与工程科学仿真中，对3D物体的精细几何实体（如圆角、倒角、内外柱面、承载平面及边缘曲线）进行精准定位与语义接地是实现智能制造与自主交互的核心基石。然而，这类几何实体在数学上由严格的边界表示（B-Rep）拓扑定义，当输入退化为无拓扑元数据的离散三角网格或点云时，传统方法往往难以精确捕捉其实体边界。

虽然现代视觉语言模型（VLM）在2D图像参考分割（Referring Expression Segmentation）中展现出强大的深层推理能力，但将2D语言理解直接迁移至3D几何结构面临严重的视点敏感性壁垒。在3D空间中，同一几何实体在不同观察视角下的可见度存在巨大差异：正面视点下清晰可辨的薄壁或倒角，在侧向或仰角视点下常因自遮挡（self-occlusion）或投影缩减（foreshortening）而完全丢失几何特征。此外，现有基于点云或高斯泼溅的3D开放词表定位方法（如 PartSLIP、Find3D）缺乏离散网格拓扑连通性，在工业零件无纹理表面上极易发生大面积“语义泛红溢出”（over-segmentation bleed），在1D线状边缘上的交并比甚至低于0.02。

面对上述困境，本文的核心洞见在于：语言驱动的3D几何实体定位本质上并非单纯的分割迁移任务，而是一个几何感知视角优先级排序问题——核心矛盾在于如何使2D推理模型在几何可消化（digestible）的最优视角下接收实体线索。本文的核心 idea 是：解耦提示引导的几何视角选择与2D推理分割，提出结合跨视点自注意力排序（GELviews）与CAD领域微调分割（LISA-CAD）的模块化框架，通过几何感知光线投射将2D掩码无损提升至离散网格面与边。

方法详解¶

整体框架¶

MV-GEL 的输入为一个离散三角网格 $M = (V, E, F)$（包含顶点集 $V$、边集 $E$ 和面集 $F$）以及描述目标几何实体的自然语言查询 $q$；输出为网格基元上的二值标签 $\hat{y} \in \{0, 1\}^{|X|}$（其中 $X \in \{E, F\}$ 分别对应面定位或边定位任务）。整个处理流程分为离散多视点渲染、提示引导视角排序、图像空间推理分割和几何拓扑提升四个阶段。

在视角生成阶段，系统在方位角 $[0^\circ, 360^\circ)$ 和仰角 $[-60^\circ, 60^\circ]$ 范围内按 $30^\circ$ 步长均匀布设虚拟相机，生成 60 个候选视角的渲染图像。随后，GELviews 模块通过多模态特征融合与视角间自注意力机制，对所有候选视角评估其对查询实体的几何可观测性，并贪心选取前 $K$ 个最佳视角。接着，域自适应分割主干 LISA-CAD 逐一处理选定的渲染视角，生成对应的 2D 二值掩码。最后，几何感知光线提升算子将多视角 2D 掩码反投影至网格表面，通过射线求交判定并聚合离散面片与边缘的置信度。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：三角网格 M 与自然语言提示 q"] --> B["均匀采样候选视角渲染<br/>60个方位角/仰角视点投影"]
    B --> C["GELviews 视点几何排序<br/>LoRA-CLIP编码 + 跨视点Transformer"]
    C --> D["贪心选取 Top-K 最佳视角<br/>保留近邻冗余作为容错冗余"]
    D --> E["LISA-CAD 2D推理分割<br/>LLaVA生成SEG标记 + SAM解码掩码"]
    E --> F["几何感知光线拓扑提升<br/>视线投射相交反演至面集 F 与边集 E"]
    F --> G["输出：网格拓扑实体二值预测 ŷ"]

关键设计¶

1. GELviews 视点几何排序：融合空间位置编码与跨视点自注意力 传统基于 CLIP 的视角选择方法依赖整图与文本的全局余弦相似度，在缺乏丰富纹理和自然语义的工业零件网格上，无法感知微小几何实体（如内倒角、沉头孔）的暴露程度与遮挡状态。为此，GELviews 首先利用 LoRA 微调的 CLIP 图像与文本编码器提取视点特征 $f_v$ 和文本嵌入 $t$，并在图像特征中注入可学习的视点绝对方位位置编码 $p_v$，构成位置感知特征 $\tilde{f}_v = f_v + p_v$。随后引入特征级仿射调制（FiLM）算子将文本语义显式注入视觉表示： $$\text{FiLM}(\tilde{f}_v, t) = \gamma(t) \odot \tilde{f}_v + \beta(t)$$ 为进一步捕捉视点间相对的遮挡互补关系，特征进入跨视角 Transformer 编码器进行自注意力交互，使每个视点的表征综合全局视点布局。轻量化打分头最终输出几何校正分 $s_v^{\text{geo}}$，并与初始 CLIP 相似度加权融合为综合排序分： $$s_v = \alpha (s_v^{\text{clip}} + s_v^{\text{geo}})$$ 这种机制使网络能够自主剔除视线掠射或自遮挡严重的视角，强力召回正对实体的高信息量视角。

2. 软间隔成对排序目标：聚焦高信息量视界分离 在候选视点集合中，绝大多数视角因完全遮挡或背向实体而呈现无有效信息的长尾分布，强行拟合所有弱视角之间的细粒度顺序容易引入大量梯度噪声。MV-GEL 采用最远点采样（FPS）在目标实体上提取代表性点集 $P_E$，通过向视点反向投射射线计算实体真实可见度得分 $r_v$。随后将最高得分的前 5 个视角（占比 $\rho = 0.09$）划入正样本集合 $V^+$，其余视角划入负样本集合 $V^-$。模型在正负样本视角对集合 $\mathcal{P}$ 上优化软间隔排序损失： $$\mathcal{L}_{\text{rank}} = \frac{1}{|\mathcal{P}|} \sum_{(i,j) \in \mathcal{P}} \ln\left(1 + \exp(-(s_i - s_j - m))\right)$$ 其中设定平滑间隔 $m = 0.1$。该目标函数迫使正向最优视角与背景视角的得分清晰分流，同时避免在无意义的弱视角对之间过度惩罚。

3. 几何感知光线拓扑提升与视角保留策略：拒绝非极大值抑制 将 2D 像素掩码转换为 3D 网格预测时，MV-GEL 借助虚拟相机标定参数向三维空间反向投射射线，直接求取射线与网格三角形基元的交点，将像素概率聚合至对应三角面片及相邻边缘。在视角过滤策略上，常规多视角重建普遍采用视点非极大值抑制（View-NMS）以消除角度相近的冗余视点；但作者在实验中发现，强行剔除相邻视角反而显著降低整体定位指标。原因是微小几何特征（尤其是 1D 细线边缘）在单一视角下极易受到采样量化或模型瞬态漏检的影响，相邻视点提供了宝贵的“容错冗余”（fallback），在贪心聚合过程中能够大幅提升实体的几何召回完整度。

损失函数 / 训练策略¶

MV-GEL 采取完全解耦的两阶段独立训练策略： 1. GELviews 训练：在 5.4 万对语言查询与 CAD 模型渲染图构建的数据集上，利用软间隔成对排序损失 $\mathcal{L}_{\text{rank}}$ 训练 LoRA 适配层（秩 $r=8$，$\alpha=16$，dropout 为 0.1）、视角位置编码及跨视角 Transformer。 2. LISA-CAD 微调：以 LLaVA-7B 为多模态基础模型，冻结视觉主干与语言解码器主体，仅对 LoRA 模块与 SAM 掩码解码器进行微调，使用自回归文本生成损失、二值交叉熵（BCE）与 DICE 掩码损失联合监督。全部训练在 4 张 NVIDIA H100 GPU 上完成，学习率统一设置为 $1 \times 10^{-4}$。模块解耦避免了通过不可微的光线投射渲染过程进行端到端梯度的反向传播。

实验关键数据¶

主实验¶

评估在包含 218 个复杂 CAD 零件、1535 个测试查询（655 个面实体与 880 个边实体）的保留测试集上展开。所有指标均直接在网格实体拓扑上计算，采用面积（面片）与长度（边缘）加权的交并比（IoU）、精确率（Precision）、召回率（Recall）及 F1 分数。

分割模型	视角选择策略	面定位 IoU	面定位 Prec.	面定位 Rec.	面定位 F1	边定位 IoU	边定位 Prec.	边定位 Rec.	边定位 F1
LISA (Vanilla)	Random	0.122	0.159	0.287	0.174	0.028	0.034	0.261	0.046
LISA (Vanilla)	Only-CLIP	0.201	0.239	0.460	0.272	0.035	0.039	0.388	0.061
LISA (Vanilla)	FiLM	0.293	0.342	0.647	0.391	0.046	0.053	0.503	0.079
LISA (Vanilla)	GTviews (Oracle)	0.293	0.340	0.645	0.389	0.046	0.051	0.510	0.079
LISA-CAD	Random	0.196	0.262	0.293	0.250	0.071	0.097	0.156	0.101
LISA-CAD	Only-CLIP	0.305	0.374	0.464	0.377	0.160	0.193	0.327	0.210
LISA-CAD	No-Fusion	0.490	0.570	0.695	0.584	0.283	0.324	0.541	0.355
LISA-CAD	Cross-Attention	0.486	0.570	0.694	0.582	0.287	0.327	0.547	0.359
LISA-CAD (本文)	FiLM (本文)	0.501	0.588	0.706	0.598	0.284	0.326	0.551	0.358
LISA-CAD	GTviews (Oracle)	0.529	0.619	0.744	0.632	0.311	0.355	0.598	0.390

消融实验与点云基线对比¶

在测试集上进一步对比代表性 3D 开放词表点云分割模型（将点云预测投影回网格）以及视角选择策略（如 ViewNMS）的影响：

模型 / 视角配置	面定位 IoU	面定位 Prec.	面定位 Rec.	面定位 F1	边定位 IoU	边定位 Prec.	边定位 Rec.	边定位 F1	说明
PartSLIP (Default)	0.073	0.083	0.368	0.114	0.012	0.013	0.422	0.022	零样本点云基线，拓扑感知严重匮乏
Find3D (Default)	0.171	0.172	0.955	0.260	0.017	0.017	0.937	0.032	出现严重过分割，精确率极低
PatchAlign3D (Default)	0.159	0.161	0.893	0.242	0.017	0.017	0.895	0.031	局部特征对齐不足以分辨离散边缘
MV-GEL (FiLM@top3, ViewNMS)	0.372	0.400	0.846	0.495	0.180	0.194	0.695	0.266	引入 45° 视角 NMS，丢弃辅助冗余后指标显著下滑
MV-GEL (FiLM@top3)	0.419	0.469	0.810	0.540	0.228	0.248	0.708	0.317	贪心选取 top3，聚合覆盖面积增大
MV-GEL (FiLM@top1)	0.501	0.588	0.706	0.598	0.284	0.326	0.551	0.358	单视角最佳配置，精度与定位平衡达到峰值

关键发现¶

逼近理论视界上限：在单视角（top1）设定下，MV-GEL (FiLM) 在面定位上取得 0.598 的 F1，达到真实标注视角理论上限（GTviews Oracle，F1 0.632）的 95%；在难度极高的边定位任务上达到 0.358 的 F1，捕获了理论上限（0.390）的 91.8%，证明视点排序算法几乎完美锁定了最具表现力的投影视角。
点云模型的过分割泛滥：无拓扑点云基线（如 Find3D）表现出极高召回（面 0.955、边 0.937）但精确率极低（面 0.172、边 0.017），边缘 IoU 仅为 0.017，表明缺乏网格拓扑连通性的模型无法区分连续面与边界。
反常识的 View-NMS 负面效应：将 top3 视角加入 $45^\circ$ 阈值的 View-NMS 过滤后，面 IoU 从 0.419 暴跌至 0.372，边 F1 从 0.317 降至 0.266。证实视点冗余对 2D 模型的容错召回至关重要。
极致的推理能效比：GELviews 仅引入约 0.1 秒的额外排序开销（单个查询总耗时约 0.25 秒），单视角即可达到约 0.7 的面召回率；相比之下，随机视角采样需要至少 5 个视角（耗时超 0.6 秒，显存占用 16GB）才能达到相当召回水平。

亮点与洞察¶

解耦“可消化视角挑选”与“语言推理分割”：突破了传统 3D 视觉语言模型依赖三维稠密特征对齐的旧范式，证明对于高敏锐度 CAD 几何，把 3D 几何转化为 2D 最优视界是提升 VLM 推理效能的更优路径。
巧妙揭示相邻视角的“容错冗余”价值：推翻了多视角三维重建中普遍盲信视角 NMS 的经验主义，明确了多视点参考分割中邻近视角能够有效弥补单帧分割丢失的几何事实。
跨领域可迁移性：GELviews 中基于相对位置编码与跨视点自注意力的视点评分模块，可无缝平移至机械臂主动视觉寻物、具身智能主动探索与三维无人机巡检的最佳观察位决策。

局限与展望¶

单目标实体先验假定：当前评估框架和提示构建均假设每个查询针对单个特定面或单条边，对于包含多个重复对称实体的复合语言查询（例如“所有 M4 螺栓孔沉头面”）的处理机制仍显薄弱。
光线投射对重度自遮挡内腔的局限：外视点多相机采样难以深入高度凹陷或迷宫状的内部管道空腔，限制了在极端复杂机械内部构件上的应用。
未来方向：探索主动移动视点规划（Active Next-Best-View）机制，结合自适应相机焦距与网格剖切技术，实现工业装配体内部封闭特征的交互式探测。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统形式化无结构网格上的自然语言 CAD 实体定位任务，提出面向几何可观测性的视点排序架构。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 218 个 CAD 模型与 1535 个测试查询，细致对比点云 SOTA 基线、oracle 上限与多项模块消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑闭环紧凑，动机阐述鞭辟入里，图表与实验数据详实且极富启发性。
价值: ⭐⭐⭐⭐⭐ 为智能 CAD 辅助编辑、机器人装配抓取与几何逆向工程提供了无需 B-Rep 即可落地的实用工具。