3D-Aware VLMs with Implicit and Explicit Geometries¶

会议: ECCV2026
官方论文: 3224
论文: PDF
代码: https://github.com/Vegetebird/VLM-IE3D
领域: 多模态VLM
关键词: 三维场景理解、隐式几何、显式几何、跨注意力、空间推理

一句话总结¶

VLM-IE3D 把同一 RGB 视频的隐式几何特征与重建深度的显式几何 token 一起注入 Qwen2.5-VL，三维视频检测 [email protected] 从基座的 30.9 提升至 42.8，但相对已有几何增强模型的空间推理平均分提升较小。

研究背景与动机¶

普通 VLM 擅长识别画面中的物体，却未必能准确回答物体的三维位置、尺度和相对距离。二维外观并不直接提供相机运动与空间结构之间的对应关系。Video-3D LLM 等方法通过深度或点云输入补足这些信息，但依赖额外三维数据；VG LLM 等 RGB-only 方法则借助预训练几何编码器，从视频中提取具有三维先验的隐特征。

问题不是这些隐特征完全没有几何信息，而是其压缩、抽象的表达不一定便于语言模型读出定量细节。知道“沙发在电视前方”与准确给出沙发边界、尺寸是不同层面的能力。与此同时，几何编码器本来就有深度、位姿等预测头，只取隐藏特征而丢弃重建结果，可能浪费了更容易保留局部空间测量的信息。

本文因此复用同一个几何模型的两类输出：隐藏表示提供全局结构先验，显式预测提供局部几何细节。核心 idea：不要让显式几何替代隐式几何，而是把重建出的空间测量轻量编码后交给隐式 token 查询，再与二维语义融合，让语言模型同时获得布局与细节。

方法详解¶

整体框架¶

输入是一段 RGB 视频和自然语言问题，输出随任务变化，可以是三维框、目标首次出现的帧及其位置、物体描述或空间问题答案。Qwen2.5-VL 的二维视觉编码器负责外观语义；AnySplat 同时提供隐式几何 token（IGTs）和供显式几何 token（EGTs）编码的重建属性。三维感知适配器先融合两类几何，再加回二维特征，最后由 VLM 根据问题生成回答。

这里的“显式”指 EGTs 的来源是有物理含义的深度等属性，并不是把深度矩阵作为文本交给语言模型，也不是推理时必须使用深度传感器。默认流程中的三维信息仍然由 RGB 重建；训练任务的三维标注及评测中的候选框辅助需另行区分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["RGB 视频"] --> B["二维视觉编码器"]
A --> C["AnySplat"]
C --> D["隐式几何 token"]
C --> E["重建深度等属性"]
E --> F["显式几何 token"]
B --> G["三维感知适配器<br/>压缩、IEA、二维融合"]
D --> G
F --> G
G --> H["VLM + 自然语言问题<br/>三维预测或文字回答"]

关键设计¶

1. 隐式几何 token：利用跨帧重建特征理解整体空间布局

AnySplat 的几何编码流程包含逐帧图像编码、跨帧融合解码和任务预测头。融合解码器交替进行帧内与全局自注意力，使不同视角的信息能够相互关联。本文不把最终重建结果当成唯一几何来源，而是直接取融合解码器的输出作为 IGTs，保留多视角学习到的场景结构先验。

这种 token 适合表达整体布局和物体关系，避免 VLM 仅靠某一帧外观猜测空间结构。但它不是可直接读取的坐标表：即使距离信息潜藏在向量中，也不意味着语言模型能可靠提取。因此作者把 IGTs 定位为主要几何基础，再用显式分支补足细节，而非宣称隐特征完全不能描述局部几何。

2. 显式几何 token：轻量保留重建属性中的定量信息

AnySplat 的预测头可产生深度、相机位姿和三维 Gaussian 属性；结合重建深度与位姿反投影，还能形成点图。实验分别使用深度图、点图与 Gaussian 属性，它们的每像素通道数分别为 1、3、86。默认选择深度，因为其通道少、表示简单，实验效果也不逊于更复杂的属性。

显式嵌入模块仅包含一层 patch embedding 和两层 MLP，把稠密属性映射成与视觉 token 对齐的特征。本文并不把深度图再次送入复杂语义编码器：已有 IGTs 承担高层抽象，如果 EGTs 也过度抽象，可能反而丢掉需要补充的局部测量。这里的互补性来自输入属性和编码方式，并不意味着 EGTs 仍是未经变换的深度数值。

显式嵌入自身仅增加 0.008B 参数。消融中，用 DepthAnything V2 深编码器处理深度图反而明显退化；作者把这种现象解释为过度处理和与 IGTs 的功能冗余，但实验没有单独排除优化难度等原因，不能把这一解释当成已证明的机制。

3. 三维感知适配器：让隐式 token 查询显式细节，再保留二维语义

三路 token 先分别进行空间压缩。沿用 Qwen2.5-VL 的策略，把空间相邻的 \(2\times2\) 特征拼接，再经过两层 MLP。输入图像为 \(392\times518\)，patch 大小为 14，原始每帧 token 数为 1036，压缩后为 252，通道维度为 2048。三路具有匹配的空间布局，后续能够交互并逐元素融合，而不需要把三组 token 全部拼成长序列送入语言模型。

隐式-显式注意力（IEA）对每一帧使用压缩后的 IGTs 作 query，EGTs 同时作 key 和 value，通过多头交叉注意力获取几何细节，并带残差连接。也就是说，表示“整体应该如何理解”的隐式特征，主动从表达“这里的深度结构是什么”的显式特征中读取补充信息。跨帧关联主要已由 AnySplat 建立，此处正文描述的是逐帧几何交互，而非再做一次完整的视频全局注意力。

随后将融合后的三维 token 与压缩的二维视觉 token 逐元素相加。这样保留识别物体所需的外观语义，同时增加空间结构信息；语言主干接收到的仍是一组统一视觉表示。需要区分两个融合位置：IGTs 与 EGTs 之间使用 IEA，二维与三维之间采用无参数加法，论文并非让所有分支两两执行交叉注意力。

缓存中的原文公式 (1)–(3) 存在明显抽取缺损，因此这里不补写其代数形式。上述 query/key/value、残差以及加法流程均由紧邻公式的完整正文明确说明；缓存未给出可可靠复现的残差公式细节。

一个完整示例¶

以三维视频检测协议中的一个样本为例：输入按 1 FPS 取得的 4 个连续帧，要求预测其中可见物体的三维框。这是任务流程示例，不是额外报告的定量案例。

二维分支识别椅子等物体的外观；AnySplat 利用多视角关系产生 IGTs，并重建每帧深度。深度经显式嵌入形成 EGTs，三路 token 分别从每帧 1036 个压缩到 252 个。IEA 使隐式特征读取深度细节，再加回二维语义，VLM 才输出物体三维框。因此模型既有“这是什么”的视觉线索，也有帮助约束框大小和位置的几何线索。

多数任务以第一帧为参考坐标系；三维视觉定位例外，框在各帧局部相机坐标系中表达。若问题要求定位目标首次出现的帧，还需输出相应时序位置，不能把检测与定位当成同一种输出协议。

损失函数 / 训练策略¶

基座为 Qwen2.5-VL-3B，几何编码器为 AnySplat。训练冻结二维视觉编码器与几何编码器，更新 VLM 主干及显式嵌入；适配器是新引入的融合模块，但实现段没有逐项列出它的冻结状态。缓存未单独定义训练损失公式或损失权重，因此不追加一个假定的几何重建损失。

训练使用 Adam，进行 1 个 epoch，warmup 比例为 0.03，学习率升至 \(10^{-5}\) 后衰减到 0；每 GPU batch size 为 1，使用 8 张 H100 80G，最大视频长度为 32 帧。冻结几何编码器意味着这里主要学习如何利用既有几何输出，并非联合从零训练一个重建器。

三维场景理解模型混合训练 Scan2Cap、ScanRefer 和三维视频检测任务；空间推理则另外训练模型，使用 SPAR-7M 的 234K 样本（3%）与 LLaVA-Video-178K 中 LLaVA-Hound 划分的 63K 样本（25%）。因此跨四个任务的结果不应表述为同一个检查点无差别完成全部评测。

实验关键数据¶

主实验¶

下表摘取原文表 1–4，保留 RGB 输入的主要对照。Scan2Cap 的 C/M 分别指 CIDEr/METEOR，@0.5 表示三维框 IoU 为 0.5 的评测门槛；ScanRefer 的 Acc 是相应 IoU 门槛下的定位准确率。三维视频检测的 P25、R25、F125 分别是 IoU=0.25 下的精确率、召回率和 F1。VSI-Bench Avg. 是原文报告的混合数值问答与选择题总体分数，不等同于单一分类准确率。

任务与指标	Qwen2.5-VL-3B	VG LLM	VLM-IE3D
Scan2Cap [email protected]	58.0	78.6	80.4
Scan2Cap [email protected]	26.9	28.6	28.8
ScanRefer [email protected]，原始输出	34.0	36.4	43.2
ScanRefer [email protected]，原始输出	10.6	11.8	16.9
ScanRefer [email protected]，候选框精修	50.7	53.5	55.4
ScanRefer [email protected]，候选框精修	44.7	47.5	48.9
三维视频检测 P25 / R25 / F125	32.1 / 30.1 / 30.9	41.7 / 35.7 / 38.2	44.2 / 41.9 / 42.8
VSI-Bench Avg.	30.6	47.3	47.6

VSI-Bench 表中的几何增强模型标为 VG LLM-4B 与 VLM-IE3D-4B。表 3 另报告三维检测可训练参数量为 3.09B、3.13B、3.23B；这些口径不能混为精确总参数量。单 H100 上三者速度分别为 14、7、6 FPS。

Scan2Cap 使用 LEO 提供的 Mask3D 物体 proposals，并依据物体中心生成描述；ScanRefer 精修把预测框匹配到预检测 proposals。因此 RGB-only 指核心模型输入，不能解读为这些评测从候选框生成到最终输出都不借助外部三维信息。三维检测使用 EmbodiedScan 派生数据，958 个训练场景、243 个评测场景，每场景分别抽取 150、10 个样本，评测 20 个类别。

消融实验¶

下表来自原文表 5–8，均为三维视频检测 F125。分组中的默认完整模型是 42.8；表 5 的“仅 IGTs”是作者自己的受控消融，不能用主实验 VG LLM 的 38.2 替代。

消融组	配置	F125	说明
几何来源	无几何基座	30.9	起点
几何来源	仅 EGTs	34.7	单独显式几何
几何来源	仅 IGTs	40.5	单独隐式几何
几何来源	IGTs + EGTs	42.8	互补优于任一单路
几何融合	拼接后投影	41.5	非注意力融合
几何融合	直接相加	42.4	距 IEA 仅 0.4
几何融合	两个可学习权重加和	41.2	不保证优于固定加法
几何融合	IEA	42.8	默认方案
显式属性	点图 / 深度 / Gaussian	42.6 / 42.8 / 42.5	三种属性差距较小
显式嵌入	平均池化 / 加正弦位置编码	42.0 / 42.5	轻量替代仍有效
显式嵌入	DepthAnything V2 深编码器	35.9	低于仅 IGTs

关键发现¶

隐式几何贡献基础能力：仅 IGTs 比基座提高 9.6 点；在它之上加入 EGTs 再提高 2.3 点。这里支持的是互补，不是“显式优于隐式”。
IEA 相比简单加法只有 0.4 点优势，不能把全部提升归功于注意力。更重要的设计是同时暴露两类几何信息。
原文表 9 中，使用 π3、VGGT、AnySplat 的完整框架分别为 42.1、41.7、42.8；用 DepthAnything V2 的重建深度配合 AnySplat IGTs 为 42.5。更换深度来源与用深编码器重新编码深度，是两种不同实验。
VSI-Bench 平均分只比 VG LLM 高 0.3；相对距离从 44.6 到 47.7，但出现顺序从 36.4 降到 31.9。细粒度几何改进没有带来所有推理子任务的一致收益。

亮点与洞察¶

同一重建模型的隐藏特征与预测结果可以同时作为 VLM 接口。前者保留学到的结构，后者把更具物理意义的信息显露出来，不必为显式分支再训练大型三维网络。
保留互补信息比增加网络深度更重要。轻量显式嵌入胜过深编码器，提示在几何、姿态或运动属性融合中，应先检查编码器是否把需要的测量细节抽象掉了。
几何-几何交互与语义-几何融合采用不同复杂度。本文在前者使用 IEA，在后者使用简单加法，为分支融合提供了一个可复用的设计起点。

局限与展望¶

作者没有单列局限章节。以下主要是依据实验范围作出的评议，不能误写成作者已经验证的失败机制。
对重建误差、低纹理区域、遮挡和相机运动变化缺少系统鲁棒性实验。显式几何来自估计而非真值，未来可通过噪声扰动与置信度加权检验错误是否被适配器放大。
定位仍明显依赖候选框质量：[email protected] 从原始 16.9 到精修 48.9，说明精细定位并未解决。应分别评估无 proposals 与带 proposals 的完整流程。
三维理解实验集中在室内数据，空间推理总体收益较小，且部分子项退化；缓存未报告重复实验方差。不能据此宣称全面超过所有有三维输入的方法，Video-3D LLM 的 ScanRefer 精修对照仍达到 58.1 / 51.7。
额外分支相对 VG LLM 较轻，但相对基座的速度从 14 降至 6 FPS，且训练使用 8 张 H100 80G。“轻量”是相对增量，不等于已经证明低资源实时部署可行。

评分¶

新颖性: 4/5。显式与隐式几何的互补定位清晰，主要创新在表示接口与融合，而非新型重建算法。
实验充分度: 4/5。覆盖多任务及多类消融，但缺少误差鲁棒性、方差和完全摆脱候选框的验证。
写作质量: 4/5。主线和消融组织清楚，RGB-only 的评测边界需要读者仔细区分。
价值: 4/5。为已有几何增强 VLM 提供可复用增量，检测收益明显，但部署与广泛推理能力仍需验证。