Towards Reconstructing Geographically Diverse Architecture with 3D Foundation Models¶
会议: NeurIPS 2026
arXiv: 2610.22514
OpenReview: https://openreview.net/forum?id=qbpVyvprTf
代码: https://arch-world.github.io
领域: 自监督 / 表示学习
关键词: 3D基础模型, 地理多样性, 建筑重建, 跨视角注意力, 免微调干预
一句话总结¶
提出了首个涵盖全球 8 大区域、396 个真实地标的度量级 3D 重建基准 ArchWorld，揭示了当前 3D 基础模型在地理与建筑类型上的显著性能偏差源于建筑本征复杂度和背景干扰而非单纯数据代表性，并提出了通过梯度上升引导跨视角注意力的免微调干预方法 ArchAttend，显著降低了重建误差与区域差距。
研究背景与动机¶
互联网规模的地标建筑真实照片库在过去二十年中推动了多视角立体视觉（MVS）、单目几何估计和位姿估计等 3D 视觉任务的长足发展。近期，以 DUSt3R、MASt3R、VGGT、Depth Anything v3（DA3）以及 \(\pi^3\) 为代表的 3D 基础模型（3DFM）相继问世，它们能够在单次前向传播中直接从非受限图像集合推断出密集 3D 几何与相机参数，展现出统一传统复杂几何管线的巨大潜力。然而，面对真实世界中外观剧烈变化、光照转移以及动态前景遮挡的野外地标建筑群，现有前沿模型仍频繁崩溃，难以鲁棒恢复高保真度几何结构。
更深层次的危机在于，3D 重建技术正被加速应用于全球文化遗产数字化工程中；若重建管线在不同文化与地理区域之间存在系统性性能偏差，将直接导致文化遗产在数字化可用性上的分层与边缘化，使代表性匮乏的文明在全球数字空间中的文化影响力进一步被削弱。以往针对 3D 基础模型局限性的诊断主要集中于视角稀疏性与分布密度，而缺乏在地理区域、建筑风格等社会与文化维度上的细粒度评估。阻碍此类审计的核心瓶颈是缺乏兼具广泛地理覆盖度、真实度量比例（Metric Scale）真值以及丰富语义元数据的高质量三维基准——现有基准如 MegaDepth 几乎全由欧洲古迹主导，而通用非受限数据集则缺乏稠密几何真值或细粒度属性标签。
深入剖析后发现，3D 重建中的地理性能差异并不遵循传统计算机视觉公平性任务中「训练集样本少则测试性能差」的直观规律。由于建筑形态固有的结构复杂度、体量尺度以及周边城市环境背景干扰的存在，各区域的场景重建难度天生具有强烈的异质性。例如训练数据极其丰富的北美现代摩天大楼由于强背景干扰与大尺度视点分散反而表现垫底，而样本稀缺的东南亚则因主要是规则的简单教堂立面而取得最高精度。核心 idea：构建首个兼具 8 大地理分区、真实度量尺度与建筑构件标注的基准 ArchWorld，定量归因模型在注意力机制上的背景泄漏瓶颈，并提出免微调的跨视角注意力转向方案 ArchAttend，在单次前向中将注意力拉回核心建筑语义锚点，从而在提升重建精度的同时大幅平抑跨区域与跨风格差距。
方法详解¶
整体框架¶
本文的方法体系包含两大核心支柱：第一部分是面向地理多样性建筑三维重建评估的 ArchWorld 基准构建与归一化误差评估协议；第二部分则是基于注意力失效分析衍生的免微调干预方法 ArchAttend。系统首先从非受限多视角照片中利用贪心重叠覆盖策略筛选出 50 张关键视角，利用 SAM 3 提取各建筑预定义构件与背景干扰物的分割掩膜；在第一遍前向推理中计算各层全局注意力的语义跨视角注意力（SCVA）分布并确定主导建筑锚点元素；随后在第二遍推理中冻结模型骨干网络参数，直接对全局注意力层的 token 表征施加单步梯度上升优化，强化对应锚点构件的跨视角几何对应响应，输出精准度量点云与相机几何。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多视角图像输入<br/>50 视角覆盖子集"] --> B["阶段 1：全局前向推理与 SCVA 分析<br/>跨视角注意力汇聚与背景泄漏诊断"]
B --> C["阶段 2：建筑锚点选择<br/>SAM 3 语义掩膜引导确定核心构件 e*"]
C --> D["阶段 3：免微调表征梯度干预<br/>冻结权重并对全局注意力 token 施加梯度上升"]
D --> E["精确几何预测输出<br/>3D 密集点图与相机姿态"]关键设计¶
1. 归一化倒角距离与真实尺度真值标定：消除场景物理尺度的混杂偏差 传统三维几何评估直接计算预测点云与真值点云之间的绝对倒角距离（Chamfer Distance, CD）。然而在跨区域建筑评估中，建筑物的物理尺寸跨度极大（从数十米的小教堂到数百米高的大厦）；即使两个场景具有相同的相对重建误差，绝对尺度更大的建筑也会产生远高于小型建筑的 CD 误差，从而掩盖真实算法性能。为实现无偏跨场景比对，作者通过人工核对真值重建中两点间距与 Google Earth 实测物理距离，为全部 396 个场景重复测量 3 次标定了精确的公制尺度因子（Scale Factor），并进一步设计了基于三维包围盒对角线长度归一化的无量纲倒角距离 \(\widehat{\mathrm{CD}}\)：
此外，为避免城市复杂背景中相邻建筑、地面道路与移动遮挡物扭曲评估误差，作者手工构建了精确的三维地标点云掩膜，反投影至各二维视图并利用 MVS 深度图滤除前景遮挡，确保误差严格反映目标文化建筑本身，将高阶场景物理尺度与背景混杂因素完全剥离。
2. 语义跨视角注意力分析（SCVA）：定量诊断注意力的构件聚焦与背景泄漏 前沿 3D 基础模型隐式依赖 Transformer 全局注意力块在不同输入图像之间建立几何对应关系。作者提出语义跨视角注意力（Semantic Cross-View Attention, SCVA），将离散的 patch 级配对注意力沿高层语义构件进行空间汇聚。具体而言，将场景中可能出现的目标分为建筑构件集合 \(\mathcal{E}_{\mathrm{arch}}\)（如尖塔、圆顶、拱门、立面）与非建筑干扰集合 \(\mathcal{E}_{\mathrm{non}}\)（如天空、植被、水面、远景建筑），通过 SAM 3 提取各视图对应像素掩膜。对于属于构件 \(e \in \mathcal{E}\) 的查询 patch \(i\)，其在第 \(l\) 个全局注意力层上的 SCVA 得分 \(s_i\) 定义为该 patch 对所有其他视图中同一构件对应区域 \(\mathcal{P}_e\) 内 patch 的注意力权重总和：
对低误差场景与高误差场景的注意力图谱可视化分析揭示了根本症结：在高质量重建中，跨视角注意力强力聚焦于特征显著的建筑构件本身；而在重建崩溃的高误差场景中，大量跨视角注意力严重「泄漏」至天空、地面及杂乱背景中，导致关键几何对应丢失与预测点云发散模糊。
3. 免微调两阶段表征转向干预（ArchAttend）：利用语义锚点梯度上升修正特征聚焦 基于注意力泄漏的诊断洞察，作者提出了完全无需重新训练模型权重的测试期干预策略 ArchAttend。在第一遍推理中，系统在最终全局注意力层汇总各个建筑构件的全局 SCVA 总量：
从中自动选出跨视角注意力响应最强、最具几何几何对齐潜力的建筑核心元素作为引导锚点 \(e^* = \arg\max_{e \in \mathcal{E}_{\mathrm{arch}}} S^{l_{\mathrm{last}}}(e)\)。在第二遍前向传播中，冻结所有网络权重，将第 \(l\) 层全局注意力输入处的 token 表征 \(\mathbf{T}^l \in \mathbb{R}^{N \times D}\) 视为可优化隐变量，沿最大化锚点注意力得分的方向执行单步显式梯度上升微调：
其中 \(\eta\) 为步长因子。该操作以极小的计算开销在测试时动态引导注意力机制避开非语义干扰物，强制模型聚焦于核心建筑结构，从而在无需人工监督的情况下系统性纠正下游深度与点图预测中的几何畸变。
损失函数 / 训练策略¶
ArchAttend 是纯粹的测试期推理干预方案（Training-Free），不涉及任何模型参数的反向传播更新或重训练。在推理实施中，输入图像统一调整宽度至 518 像素并自适应中心裁剪，采用贪心视角重叠亲和力算法固定选取的 50 个输入视角。步长因子 \(\eta\) 在固定候选集合 \(\{1, 10, 100, 1000, 5000\}\) 中进行评测；实验显示虽然最优步长存在场景特异性，但在点云预测阶段无需真值即可通过视觉重建物是否存在伪影直接判定合适步长。同时，即使在所有场景上固定使用全局恒定的统一单一超参（如 DA3 采用 \(\eta=1\)），依然能够平抑 \(41.7\%\) 的跨区域表现差距。
实验关键数据¶
主实验¶
在 ArchWorld 涵盖的 8 个全球地理区域（共 396 个评测场景）上对主流 3D 基础模型 Depth Anything v3（DA3）、VGGT（1B）及 \(\pi^3\) 进行系统性评测。下表汇总了各模型在各区域的归一化倒角距离 \(\widehat{\mathrm{CD}} \; (\times 10^3)\) 中位数与四分位距（IQR），以及区域间极端性能差异（Disparity = 最大中位数 - 最小中位数）：
| 模型 | 东南亚 (50) | 西亚/中亚 (51) | 拉美 (50) | 欧洲 (51) | 南亚 (53) | 非洲 (40) | 北美 (44) | 东亚 (43) | 区域差距 (Disparity) | 全局中位数 |
|---|---|---|---|---|---|---|---|---|---|---|
| DA3 | 7.88 (10.04) | 11.08 (12.37) | 7.57 (18.91) | 8.73 (10.37) | 9.99 (21.77) | 10.41 (15.25) | 18.83 (32.00) | 15.52 (18.07) | 11.26 | 10.36 (16.77) |
| VGGT | 2.85 (3.12) | 2.08 (2.94) | 2.15 (2.94) | 3.03 (4.30) | 3.76 (4.66) | 3.75 (5.16) | 4.35 (8.52) | 6.63 (12.32) | 4.55 | 3.28 (5.45) |
| \(\boldsymbol{\pi^3}\) | 1.34 (1.20) | 1.43 (1.34) | 1.48 (0.80) | 1.68 (1.42) | 1.97 (1.92) | 2.24 (3.92) | 2.27 (3.76) | 2.75 (4.76) | 1.41 | 1.75 (1.86) |
注：括号内为四分位距（IQR）；区域列按最强基线 \(\pi^3\) 的性能从优到劣排列。
消融与干预对比实验¶
在 DA3 模型上对比 ArchAttend 干预前后的指标变化，并与三种基于输入图像显式抠图掩膜的直觉基准方案（输入端强制剔除天空、非建筑背景或非地标区域）进行消融对比：
| 干预方案 / 配置 | 区域中位 \(\widehat{\mathrm{CD}}\) 相对改善 | 区域极值差距改善 (Disparity Imp.) | 建筑类型中位 \(\widehat{\mathrm{CD}}\) 改善 | 建筑类型极值差距改善 | 结论与机制说明 |
|---|---|---|---|---|---|
| ArchAttend (本文) | -13.9% (10.36 → 8.92) | -38.2% (11.26 → 6.96) | -14.0% | -33.5% (13.75 → 9.14) | 内部特征层梯度微调，平抑性能低谷，且保持完整上下文 |
| 地标掩膜基准 (Landmark-Masked) | +9.1% (性能劣化) | +23.3% (差距扩大) | +11.0% (性能劣化) | +27.6% (差距扩大) | 硬性抠掉背景破坏了自然透视与相机推断上下文 |
| 建筑掩膜基准 (Building-Masked) | +32.3% (性能劣化) | +68.1% (差距恶化) | +35.8% (性能劣化) | +88.0% (差距恶化) | 粗糙语义分割引入人工硬边界与信息割裂 |
| 天空遮蔽基准 (Sky-Masked) | +40.0% (性能劣化) | +43.8% (差距恶化) | +27.7% (性能劣化) | +31.8% (差距恶化) | 丢失视平线与天空轮廓导致全局几何位姿对齐严重漂移 |
关键发现¶
- 地理代表性并非主导因素：欧洲在 MegaScenes 训练源数据中占据 73% 绝大多数样本，但其性能并未登顶；东南亚样本仅占 3.3%，却在所有模型中取得最低的倒角误差。这主要是因为东南亚 68% 的样本均为结构规则平整、视点紧凑的西式教堂立面。
- 环境与体量尺度带来内在难度梯度：北美虽然数据充沛，但包含大量高耸摩天楼及密集高楼背景（如多伦多市政厅、高塔）；这类高尺度场景中相机拍摄距离远、分散度高（与误差 Pearson \(r=0.514\)），地标占据像素比例低（与误差 \(r=0.545\)），造成模型跨视角对应极其脆弱。
- 建筑风格内在差异：三类典型宗教建筑中，教堂结构最易（中位 \(\widehat{\mathrm{CD}}=1.43\)），清真寺因细长宣礼塔易产生伪影次之（\(1.91\)），而东方复杂梁柱斗拱结构构成的寺庙最难（\(2.16\)）。
- 干预使弱势群体获益最显著：ArchAttend 在基线最差的组别上收益最显著，北美区域误差降低 31.9%（18.83 降至 12.82），高塔类建筑误差降低 22.6%（21.04 降至 16.29），在全面提升质量的同时，有效缩小了区域不公。
亮点与洞察¶
- 文化遗产视角切入 3D 基础模型评估：跳脱出单纯的算法刷榜模式，从全球文明数字化公平性与社会学代表性视角出发，构建了真正覆盖 8 大地理区、具备度量尺度真值的标准化基准。
- 免微调隐空间注意力梯度重导向：敏锐抓住「注意力泄漏到非几何背景」这一核心机理，创造性地将图像编辑中的注意力引导思路引入 3D 重建测试期，无需重训练或额外标注即可对 token 施加即时几何纠偏。
- 硬掩膜与软引导的哲学对比：实验有力证明在 3DFM 中简单剪裁/屏蔽无关背景（硬掩膜）会彻底摧毁 Transformer 依赖的场景全局几何感知，而通过注意力表征梯度修正（软引导）才能在保留背景上下文的同时维持高保真结构重建。
局限与展望¶
- 作者承认的局限：ArchWorld 基准目前仅涵盖 8 大宏观区域，未能对撒哈拉以南非洲和北非做更精细的拆分，也未包含大洋洲；评测全为室外地标，未覆盖室内建筑；依赖互联网公开照片导致其仍偏向于拍摄度密集的热门遗址，未能触达更偏远的濒危建筑遗产；此外 ArchAttend 虽能强化主体完整度，但在极精细结构处点云仍存在轻微噪点与模糊。
- 潜在改进与发展：当前超参 \(\eta\) 需网格搜索或人工肉眼挑选，未来可开发端到端的自适应置信度预测模块以动态选定步长；同时，基准数据集若被后续 3DFM 吸纳为预训练数据，将面临测试集污染风险，需要建立持续迭代更新机制。
相关工作与启发¶
- vs MegaDepth / MegaScenes: MegaDepth 场景高度集中于欧洲且无度量尺度因子；MegaScenes 规模宏大但缺乏稠密几何真值且分布严重倾斜。ArchWorld 填补了兼备真实尺度真值、全球多区域均匀分布与地标构件分割标签的空白。
- vs E3D-Bench / MegaUnScene: 现有 3D 基础模型评测工作主要探索视点稀疏性极限或鲁棒性边界，而本文首次将评估解构至地理区域与建筑风格维度，揭示了场景固有几何复杂度与环境混杂的干扰机制。
- vs Attend-and-Excite 等扩散干预机制: 后者在文生图扩散过程的交叉注意力层中激活指定词 token，而 ArchAttend 首次将该思想成功迁移至前向 3D Transformer 的自注意力层，开辟了免微调几何优化的全新范式。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统建立 3D 重建的地理与文化公平性基准，并提出利用注意力和梯度上升进行测试期几何干预的新范式。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8 大地理区域、多模型评测、Bootstrap 95% 置信区间计算、尺度归一化理论论证与详尽消融对比。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨、问题动机深刻、图表论证充分且对于技术局限坦诚清晰。
- 价值: ⭐⭐⭐⭐⭐ 为 3D 基础模型在真实复杂场景中的鲁棒性评估与全球文化遗产数字化工程提供了关键基石与可落地工具。