Multi-View Foundation Models¶

会议: ECCV2026
论文: ECCV 原文
领域: 3D 视觉
关键词: 基础模型、多视图一致性、跨视图注意力、对应点监督、语义保持

一句话总结¶

本文在二维基础模型内部插入多视图适配器，联合处理同一静态场景的图像，并以几何对应监督和语义正则约束特征，使 DINOv2 的 ScanNet++ 定位误差从 0.1029 降至 0.0247，同时将相对原模型的特征余弦相似度保持在 0.9376。

研究背景与动机¶

DINO、CLIP 和 SAM 的优势是从大量二维图像中学到了可迁移的语义，但语义相似不等于几何对应准确。例如，同一物体的不同部位可能具有相近语义，而同一物理点在视角改变后又可能产生不同特征。如果逐张独立编码，模型无法利用另一张图像中的可见区域来校正当前视图的表示。这会影响跨视图匹配、统一坐标系中的表面法线估计，以及把一次交互提示传播到其他视角的分割应用。

已有特征提升方法尝试借助 NeRF 或 Gaussian Splatting 建立共享三维特征场，但逐场景优化和特征渲染引入额外成本。 FiT3D、SnD 等方法将三维监督转移给前馈图像模型，MEF 则利用对应点与排序式目标调整特征；它们在推理时仍主要独立处理每张图像。另一端的 VGGT 和 π3 擅长显式几何预测，但本文关注的是保留二维基础模型的原生语义空间，而不是训练一个只服务于几何输出的模型。因此，真正需要解决的是让跨视图信息进入特征形成过程，同时避免几何训练把原有语义能力改写掉。

作者借鉴模型“膨胀”的思路，把视图间交互插入预训练 Transformer 的内部，而不是在最后附加一个独立重建模块。几何监督只依赖预先建立的对应关系，不需要为每个新骨干重新拟合三维特征场。这将架构上的联合观察与训练上的语义保持分开控制，也使相同监督可以复用于不同特征空间。 核心 idea：让多个视图在基础模型内部交换信息，用对应位置约束它们看见同一个三维点，再用原模型特征约束它们不要丢掉原来的语义。

方法详解¶

整体框架¶

输入是同一静态场景的多张 RGB 图像；完整版本还接收相机参数，无位姿版本则省略射线条件。输出仍是每张图像对应的特征图，而不是点云、网格或渲染出来的新视角。原有 Transformer 负责视图内编码，新插入的适配器负责视图间信息交换，两者逐层交错执行。相机射线条件给联合注意力提供几何上下文；训练时，对应点监督约束定位，语义锚定约束特征相对原模型的变化。图中虚线表示训练监督，不是推理时必须输入的真值或额外处理阶段。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Images["同一静态场景<br/>多视图图像"] --> Adapter["交错多视图适配器"]
        Camera["相机参数<br/>完整版本"] --> Rays["相机射线条件"]
        Rays --> Adapter
        Adapter --> Features["逐视图特征图"]
        Features --> Output["对应匹配或下游探测"]
        Features -.-> Corr["直接对应点监督"]
        Matches["训练对应点"] -.-> Corr
        Features -.-> Anchor["语义锚定微调"]
        Base["原模型特征"] -.-> Anchor

关键设计¶

1. 相机射线条件：让图像 token 知道自己的观察方向

只有图像纹理时，跨视图注意力必须同时推断外观关系和相机关系，重复纹理尤其容易造成歧义。完整模型以第一视图为参考，根据各视图相机参数计算稠密射线图。第 3.1 节将每个像素的射线描述为由原点和方向组成的 6 维信息，再通过 patch embedding 投影到条件通道。这些条件与初始图像特征沿通道维拼接，使后续视图间交互能访问几何信息，而不只是比较外观。射线图不是预测深度，也不是先建立一个可渲染的三维场景；它提供的是相机观测几何。因此，此分支依赖相机参数，但不要求在推理时提供训练用的对应点。

原文把这部分称作 Plücker embedding，但缓存式 (4) 将其写成射线原点与方向的拼接。这与常见的方向和矩向量形式存在表述差异，本笔记保留可核实的射线条件机制，不替作者补写精确坐标变换。无位姿版本直接去掉该拼接，仍然保留联合多视图注意力和相同的训练思路。它不是退化回独立图像模型，也不是额外加入一个位姿估计器。这种区分很重要：实验中无位姿版本的改进说明，几何一致性不完全来自显式相机输入。

2. 交错多视图适配器：在每一层语义提取后交换跨视图信息

在每个原始 Transformer block 中，各视图仍独立执行空间自注意力，沿用预训练模型的视图内表示路径。随后，适配器把所有视图的 patch token 合并成一条联合序列，执行多头自注意力和前馈网络。若有 \(M\) 个视图、每个特征网格为 \(H\times W\)，跨视图注意力处理的序列长度就是 \(MHW\)。每个 patch 因而可以访问其他视图的 patch，而不是等到所有二维特征生成后才尝试对齐它们。交互结果再按视图拆回，送入下一个原始 block，几何上下文会影响后续语义特征的形成。这里所谓 3D-attention 指跨视图联合注意力，并不意味着 token 已被放入显式三维体素网格。

为了避免随机初始化的适配器立即扰乱预训练特征，作者用零初始化线性投影把适配器输出并回主干。式 (3) 的残差关系可读为：

\[ \mathbf{Z}_i^l=\tilde{\mathbf{Z}}_i^l+\operatorname{ZeroProj}(\mathbf{H}_i^l). \]

其中，前一项是当前二维 block 的输出，后一项是多视图适配器给该视图的增量。零投影令适配器分支在初始化时不改变主干输出，随后训练再逐步放开跨视图修正。这不是训练结束后仍强制输出原特征；它只控制适配开始时的扰动。论文图 1 的残差可视化支持“在接近原语义的特征上增加几何信号”的解释，但不能据此认为表示完全没有变化。

3. 直接对应点监督：要求相似特征出现在正确位置

直接拉近对应点的特征距离有一个明显漏洞：把所有位置都输出成同一向量，也能让成对距离很小。本文采用已有的 geometry-aware dense loss，把监督对象从“两个向量必须相同”改成“通过特征应当找对位置”。对一个源图像查询点，先归一化它的特征，再与目标特征图的全部位置计算余弦相似度。相似度经温度参数控制的 softmax 转成空间概率分布，SoftArgMax 计算该分布下的位置期望。训练损失惩罚这个预测位置与真实对应位置之间的欧氏距离，并在多个匹配点和视图对上计算。因此，正确位置需要在整张目标图的竞争中突出，单纯让所有特征相等无法解释分散在不同位置的真实匹配。

对应点由三维点云投影建立；原文以 COLMAP 为例说明如何获得跨视图匹配。三维信息用于准备监督，而不是让网络为每一个骨干渲染新的特征教师。只要图像位置对应关系不变，同一套监督就能用于 DINOv2、DINOv3、CLIP 和 SAM，即便它们的特征维度和语义空间不同。缓存的式 (6) 至式 (8) 排版受损，因此这里按正文解释概率定位过程，不猜测缺失的归一化或聚合细节。还要区分训练和评测：训练用可微的 SoftArgMax，定位评测则检索目标图中最相似的特征位置。

4. 语义锚定微调：限制几何改造对原特征空间的偏移

对应监督能让模型更会匹配，但没有理由自动保留原来的分类语义。作者因此为每个适配后特征保留一个原始基础模型的参照，同时约束余弦方向相似性和特征范数接近程度。方向项避免向量转到完全不同的语义方向，范数项避免仅靠尺度变化规避对齐意图。总目标由对应损失与带权重的语义正则共同组成，而不是先做几何训练、推理时再把特征投影回去。缓存式 (9) 的范数项符号不完整，本笔记不把常见正则形式冒充作者的精确实现。

优化时，原始基础模型使用 LoRA 微调，新增适配器参数则完整训练。 LoRA 限制主干参数更新的自由度，零初始化限制适配起点，语义正则限制最终表示漂移，三者作用并不相同。消融中去掉正则会进一步改善定位，却让基础特征相似度显著下降，说明几何指标与语义保留确实存在冲突。因此，本文的目标不是最低的单一定位误差，而是在几何能力增加后仍能复用原有特征空间。

一个完整示例¶

以训练中的 4 张场景图像为例，假设同一个桌面角点在其中多个视图里可见；这是流程示意，不是新增实验。完整版本先把各相机的射线信息编码到对应图像 token，随后每一层都交替进行视图内提取与视图间交流。角点的表示可以利用其他视图提供的外观和相机上下文，而不是只依赖当前视图的一小块纹理。训练时，源视图角点与目标图的全部位置比较，位置期望应靠近点云投影得到的目标角点。与此同时，同一批图像的原始模型特征作为语义参照，防止所有 token 只为匹配而重新组织。训练完成后，这些对应真值和原模型参照都不需要作为推理输入。

若骨干换成 SAM，可以在第一视图点击目标，再用联合特征找到其他视图最相似的位置，把这些位置作为 SAM 的提示。输出仍由 SAM 的提示与掩码机制产生，多视图特征负责的是提示的几何传播，而不是直接把一张掩码复制到其他图像。第 4.3 节还报告可冻结骨干、用原 SAM 输出自监督地短暂微调提示编码器和解码器，进一步改善结果。这一应用在主文中主要是定性展示，不应被写成已有跨视图分割精度表。

损失函数 / 训练策略¶

训练使用 ScanNet++ 的 230 个场景和 140K 个视图，每个场景每轮采样 1,000 组图像。每组含 4 张 \(512\times512\) 图像，每次迭代使用 128 个采样对应点计算对应损失。常规训练为 24 个 epoch，SAM 和 DINOv3 使用 12 个 epoch。优化器为 AdamW，学习率 \(10^{-4}\)，采用线性调度；LoRA 的秩和缩放参数均为 32。骨干分别是带 register tokens 的 DINOv2 ViT-S/14、SAM ViT-B、DINOv3 ViT-B/16 和 CLIP ViT-B/16。主文未在可读实现段给出 softmax 温度与正则权重的具体取值，不把这份摘要当成完整复现配置。表面法线实验另行冻结骨干，训练带自注意力的轻量多视图探测头，输出法线的 3 个分量及不确定性参数。该探测头使用不确定性加权目标、AdamW、50 个 epoch 和 \(5\times10^{-5}\) 学习率；它不属于基础模型适配阶段。

实验关键数据¶

主实验¶

对应评测包含 50 个留出的 ScanNet++ 场景，以及来自 8 个数据集的 115 个泛化场景，覆盖室内、室外、真实、合成和物体中心数据。定位误差是预测匹配与真实匹配的归一化欧氏距离，越低越好；原文可读正文未明确展开归一化分母，不能把它解释为像素或米。下表合并原文表 1（第 9 页）和表 2（第 11 页）；比较方法都基于小型 DINOv2，ImageNet 列为论文所称的零样本 KNN 分类，而非 CLIP 文本提示分类。

方法	ScanNet++ 定位误差	泛化集定位误差	ScanNet++ 原特征相似度	ImageNet Top-1	ImageNet Top-5
DINOv2	0.1029	0.1404	不适用	62.50%	84.37%
MEF	0.0978	0.1232	-0.0249	51.74%	74.44%
FiT3D	0.0858	0.1378	0.7484	48.68%	71.74%
SnD	0.0876	0.1267	0.6125	56.31%	80.37%
本文，无位姿	0.0262	0.0861	0.9360	58.02%	80.91%
本文，完整模型	0.0247	0.0782	0.9376	58.02%	81.21%

完整模型的 ScanNet++ 定位误差比原 DINOv2 低约 76.0%，泛化集低约 44.3%；这些相对下降根据表 2 计算。但 Top-1 从 62.50% 变为 58.02%，仍下降 4.48 个百分点，因此应称“比其他提升方法更好地保持语义”，不能称“完全无损”。特征余弦相似度与分类能力并非同一指标：FiT3D 的特征相似度高于 MEF，但 Top-1 更低。

消融实验¶

下表来自原文表 5（第 14 页），定位误差对应 ScanNet++；前三个加号配置逐步累加，去正则配置是在完整方案上移除正则。

配置	定位误差	原特征相似度	说明
Base DINOv2	0.1029	不适用	原始二维特征
+ LoRA Training	0.0347	0.9117	对应训练下的单视图微调配置
+ Multi-View Adapter	0.0262	0.9360	加入视图间交互，无射线条件
+ Plücker	0.0247	0.9376	完整模型，加入相机射线条件
- Regularization	0.0204	0.1054	几何误差更低，但语义空间大幅漂移

适配器将误差从 0.0347 降至 0.0262，同时提高特征相似度，说明跨视图交流并非只能以语义损失为代价。射线条件进一步降至 0.0247，但幅度小于前面对应训练和联合处理带来的变化。移除正则使相似度从 0.9376 降至 0.1054，这比只强调定位误差改善更能解释最终设计的取舍。

关键发现¶

原文表 3（第 11 页）在 NAVI 的统一三维参考系法线探测中报告，DINOv2 的角度 RMSE 为 56.00，本文为 32.17；30 度阈值召回率按表内比例分别为 0.434 和 0.693。表 3 标题称“百分比召回率”，单元格实际采用小数比例，这里按原表保留，不将 0.693 误读成 0.693%。原文表 4（第 13 页）显示，SAM 的 ScanNet++ 定位误差从 0.1846 降至 0.0244，特征相似度为 0.9547；CLIP 和 DINOv3 也有定位改善。跨骨干结果支持方法可复用，但不能用特征相似度代替对每个骨干全部原生任务的完整验收。图 4 显示本文随视角差增大的定位误差曲线更平缓；本笔记不从图像抽取未经核实的逐角度数值。

亮点与洞察¶

一致性来自共同观察。 不是让每张图单独猜一个共享三维答案，而是在中间层就允许不同视图协商特征，对大视角变化更有针对性。
监督与骨干解耦。 对应坐标不依赖某个特征空间，不必为更换骨干重建特征场；可复用的是几何对应数据，而不是无需训练的通用权重。
把语义保留纳入目标与评测。 同时报告匹配误差、原特征相似度和分类准确率，能暴露“几何更准但基础模型能力变差”的隐藏代价。

局限与展望¶

静态与相机条件。 主方法针对静态场景，完整版本依赖相机参数；动态物体、严重遮挡和相机标定误差下的表现不能由现有结果直接推出。
联合注意力成本。 从 \(MHW\) 个 token 做全局交互会带来随视图数增长的计算和显存压力；这是架构分析，不是本文已测得的速度结论。
语义仍有损失。 ImageNet Top-1 的 4.48 个百分点下降说明保持并不等于完全不变，还应核验更多原生下游任务。
探测头不是无学习读出。 虽然骨干冻结，但自注意力探测头仍经过训练；结果支持几何信息更易利用，不能严格证明全部三维推断都由骨干独立完成。
证据边界。 指定缓存只有主文与参考文献，未含所述补充材料；视图数、延迟、正则强度、上下文稳定性和对应密度实验的具体数值均未核验。
可探索方向。 读者可考虑局部或稀疏跨视图注意力，以及对位姿噪声的系统评测，但这些是后续建议，不是论文已完成的改进。

评分¶

新颖性: 4/5。联合多视图架构与语义保持目标结合明确，但适配器、LoRA 和几何定位损失均有既有技术基础。
实验充分度: 4/5。包含泛化场景、多骨干、语义分类与消融，仍缺本次可核验的补充效率数据和动态场景证据。
写作质量: 4/5。主要机制与对照清楚，但“无损语义”式措辞强于分类数字，射线记法和缓存公式也需谨慎解读。
价值: 4/5。适合需要几何一致语义特征的多视图系统，实际收益需与额外视图输入和联合注意力开销共同评估。