UnderOneFacade: Worldwide Facade Semantic Segmentation Benchmark Dataset¶

会议: ECCV 2026
论文: ECCV 原文 / 项目页
领域: 3D视觉 / 语义分割
关键词: 立面语义分割 / 点云基准数据集 / 跨域泛化 / 长尾分布 / 层级类别体系

一句话总结¶

UnderOneFacade 用静态 TLS、背包式与车载激光扫描在英国（诺丁汉）、德国（慕尼黑）、新加坡三地采集了约 366 栋建筑的立面点云，共 2.7B 个厘米级精度标注点，沿用并跨国扩展 ZAHA 的 LoFG 层级类别体系（LoFG3 15 类 / LoFG2 5 类）完成约 5,500 机时人工标注，并在 xyz-only、统一 100 epoch 的协议下评测 6 个代表性点云网络，发现最优模型在细粒度 LoFG3 上也只有约 33 mIoU，且跨洲零样本迁移会进一步腰斩。

研究背景与动机¶

3D 城市点云语义分割在过去十年借着激光雷达与大规模重建的成熟推进得很快，Semantic3D、Paris-Lille-3D、Toronto-3D、KITTI-360 这些数据集把"城市理解"变成了一个有标准测试集的赛道。但它们标注的类别都停在建筑、道路、植被这一层，立面级的细类（窗、门、阳台、线脚）要么完全缺席，要么只被当作一个粗糙的"building"类。而数字孪生、能耗建模、建筑变化检测这些下游任务要用的恰恰是这些细类。立面自身的难点又特别刁：类别分布是典型长尾——墙体这类主类占据绝大部分点数，而语义上最关键的构件（门、窗、阳台）样本稀少，几何上还又薄又重复，模型很自然地倒向主类，哪怕在同一建筑风格内也认不出这些小构件。

已有的立面数据集则普遍陷在"小、单城、各类各定义"的三角里：ArCH、TUM-FAÇADE、ZAHA、Tuscany、TrueCity、City-Facade 加起来各有各的类别表，规模从不到 0.1B 到 0.6B 个立面标注点，且几乎都是单座城市、单一采集平台。为什么迟迟没有大规模立面基准？一是厘米级几何只有激光扫描能给——立面解析对几何精度近乎苛刻，窗框、线脚只有几厘米宽，靠街景影像做的重建在这个尺度上直接失真；二是立面构件的标注极其昂贵，小、重复、结构复杂，逐点标一栋楼就是十几个小时。ZAHA（WACV 2025）提出的 Level of Facade Generalization（LoFG）是重要一步：它第一次把类别定义锚到 CityGML、IFC、AAT 这类建筑标准上，让"窗"在不同数据集里指同一件事；但它的实现只覆盖慕尼黑一座城市，实际验证的只是中欧建筑类型，跨域这件事本身从未被真正测量过。

本文的判断很直接：要谈"能不能跨域"，数据集本身就必须跨域，而且类别定义必须在跨域之前先统一。于是它把 ZAHA 的 LoFG 体系和德国子集整套继承下来，用同一套类别定义再去采英国与新加坡的数据，让几何精度、语义一致性、地理多样性三个条件同时成立，并配套一套跨国、跨洲、多粒度的评测协议。跨国采集和统一类别是互为正反馈的：类别体系由建筑标准支撑才可能跨国成立，而只有跨国数据才能暴露这套体系在哪些类别上失效。核心 idea：用一套锚定建筑标准的层级类别体系 + 三国厘米级多传感器点云，把立面分割从"单城拟合"变成可量化的跨域泛化基准。

方法详解¶

整体框架¶

UnderOneFacade 的输入是三个国家的城市街区——英国诺丁汉的 The Park 住宅区、德国慕尼黑市中心、新加坡的若干主干道段；输出是一套带层级语义标签的立面点云基准（2.7B 点、约 366 个立面、LoFG3/LoFG2/LoFG1 三级标签）外加一套固定的训练与评测协议。数据的产生是一条串行管线：多传感器激光扫描 → 全球地理参照与配准 → 用 OSM 建筑轮廓（外扩 5 m 缓冲）逐栋切出立面点云 → 按 LoFG 体系人工逐点标注 → 标注者共识校核 → 以建筑为单位做 70/20/10 的空间不重叠划分 → 在统一协议下评测 6 个点云分割网络。整条管线的设计目标不是"采到更多点"，而是让三类域偏移——采集方式、地域风格、类别频率——都能在同一套标签与同一套协议下被单独讨论。

评测层面，基准沿三条轴展开：跨国家/跨洲的域偏移、层级语义粒度（LoFG2 与 LoFG3 对照）、以及真实长尾类别分布。跨国聚合后的类别分布比任何单国数据集都更重尾（论文统计：欧洲训练集中 wall 与 other 两类就占了 58.3% 的点，而新加坡子集的类别覆盖更均衡），这正是它想测量的东西。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["跨洲多传感器采集<br/>TLS / 背包 / 车载，厘米级"] --> B["LoFG 层级语义体系<br/>15 / 5 / 1 类"]
    B --> C["人工标注与共识校核<br/>约 5,500 机时，修正率约 10%"]
    C --> D["按建筑划分<br/>70 / 20 / 10，空间不重叠"]

关键设计¶

1. 跨洲多传感器采集：用厘米级几何换可迁移的立面细节

英国子集用 Leica RTC360 做静态地面激光扫描（TLS），在诺丁汉 The Park 住宅区沿街区布了 17 个测站——静态多测站相对移动测量能显著提高竖直结构上的点密度并减少遮挡，代价是采集慢。测站先用扫描仪自带的视觉-惯性系统初配准，再做全局配准；全球定位来自 GNSS + RTK 实测的地面控制点网（GCP），把点云落到国家坐标系的厘米级位置上。德国子集直接沿用 ZAHA，其上游是慕尼黑市中心的 TUM-MLS-2016：MODISSA 车载平台车头挂两个 Velodyne HDL-64E、车尾两个 VLP-16，靠惯导加 SAPOS 差分服务做地理参照。新加坡子集用 Leica BLK360，以背包和街面站位沿主干道扫描，先做几何特征配准，再借 OSM 数据参考到地理坐标。三地走同一条切分流程：用 OSM 建筑轮廓外扩 5 m 缓冲以吸收轮廓自身误差，从配准后的点云里逐栋裁出立面，并刻意不做任何去噪以保留原始采集保真度。三个子集分别得到 997M（英国，约 100 个立面）、601M（德国，约 66 个立面）、1.117B（新加坡，约 200 个立面）个点。

用三种扫描平台是刻意的取舍：静态 TLS 的点密度和几何质量最好但覆盖慢，车载平台覆盖快但竖直面点密度低，背包式介于两者之间。这样叠加后，跨域评测里既有建筑风格的差异，也有采集方式的差异——这既让基准更接近真实的城市级部署条件，也带来了一个作者自己承认的解耦难题（见"局限与展望"）。另外，欧洲两地的选择是有意为之：英国与德国共享历史影响，但在立面材料、装饰和结构构成上分属维多利亚式与奥斯曼式，构成"同洲不同风格"的对照；新加坡则代表东南亚城市建筑——传统马来与中国元素与现代高密度建造混合，与欧洲形成最强的风格落差。

2. LoFG 层级语义体系：把类别定义锚到建筑标准上，而不是锚到某个数据集

标注体系继承 ZAHA 的 LoFG（Level of Facade Generalization）并做了跨国适配，核心是把标签语义挂到国际建筑建模与建筑学词表标准（CityGML、IFC、Art and Architecture Thesaurus）上，而不是每采一个城市就重写一份类别表。LoFG3 给出 15 个细类：wall、balcony、molding、deco、stairs、column、arch、window、blinds、door、roof、ground、terrain、interior、other（后者主要是噪声）；LoFG2 把它们折成 5 个功能组——主体结构（wall / column / arch / balcony / stairs）、开口（blinds / door / window）、装饰（molding / deco）、地面（ground surface / terrain）、其他（roof / other / interior）；LoFG1 把整个立面压成一个类。

层级的存在不只是"标签更好看"：它同时是一个可切换的评测开关。同一个模型在 LoFG2 与 LoFG3 上的分数差距，直接暴露了"聚合类别"到底掩盖了什么——实验里 LoFG2 的 floor 类能到 93.3 F1，而拆回 LoFG3 的 stairs 只剩 6.5（PointNet++），说明把细类合并成粗类能让数字好看，却不改变模型根本没学会识别这些构件的事实。这也是本文相对 ZAHA 的主要扩展：类别体系原样继承，但规模从 0.6B 涨到 2.7B（4.5×），并第一次把同一套类别表放到三个国家上验证。

3. 人工标注与共识校核：把类别歧义压在标注阶段解决

全部标注由受过建筑与地理空间建模训练的标注员在专业点云软件 Cyclone 3DR 中逐点手工完成，单栋立面约需 15 小时，全量约 366 个立面累计约 5,500 机时。标注之后还有一道统一化与交叉校核：由标注者共识（annotator consensus）决定争议点的归属，整体修正率约 10%，且集中在语义上真正模糊的类别上（典型如 molding 与 deco 的边界），判定规则写在论文补充材料的标注指南（Suppl. Sec. 9）里。

这一步之所以值得单列，是因为它处理的不是几何问题而是定义问题：线脚（molding）和装饰（deco）在几何上往往连在一起、没有清晰的分界面，模型不可能从点云里"学出"建筑规范怎么规定，只能依赖标注定义本身是稳定的。约 10% 的修正率就是这个定义被钉住所付出的代价，同时也是一个有用的信号——它标出了整个类别体系里最不稳定的一小块，后续想复用这套标签的工作可以据此预判噪声集中在哪。

4. 按建筑划分：让测试集考的是没见过的楼，而不是没见过的点

每个国家子集按总点数 70/20/10 划分训练/验证/测试，划分单元是建筑而非点云块，保证完整立面只属于一个子集、三个子集在空间上互不重叠，并且刻意让主类与稀有类在三个子集里都有出现。按建筑划分的理由很具体：同一栋楼的点高度相关——同样的材料、同一批重复的窗、同样的线脚样式——如果按点随机划分，同一栋楼的点会同时落进训练和测试，指标会被同源泄漏抬高。论文同时给出便于判断域偏移来源的统计：三个子集的平均立面高度分别为 8.2 / 10.6 / 12.1 m（新加坡 / 英国 / 德国），体素化前平均点密度为 11,483 / 28,713 / 33,199 pts/m²，体素化后降到 575 / 427 / 2,446 pts/m²。

损失函数 / 训练策略¶

基线选择覆盖点云网络的三大工作范式：点式（PointNet++、KPConv）、图式（DGCNN）、Transformer 式（OctFormer、Point Transformer v1、Point Transformer v3），理由是它们代表了不同的特征聚合机制，且在多个点云基准上被广泛用作参照。主基准只用 xyz 坐标作为输入，把辐射信息的影响单独拿出来分析——这是为了把"几何难度"和"外观难度"分开，让主排行榜反映的是纯几何条件下的分割能力。

训练协议刻意做成统一的：固定 100 个 epoch，不针对单个方法调参，所有方法共享相同的数据预处理与均匀点采样策略，训练阶段统一做 5 cm 体素化以压低各国子集之间的点密度差。损失函数用的是未加权的交叉熵——作者明确说明这是有意为之，不加类别频率权重，以便把长尾分布的压力原样施加到每个方法上，而不是用重加权把稀有类的问题掩盖过去。

指标沿用分割领域的标准集合：Overall Accuracy（OA）、Precision（P）、Recall（R）、F1 与 IoU，并在 LoFG2 与 LoFG3 两个粒度上分别报告；mIoU 取该粒度下所有类别 IoU 的算术平均（LoFG3 为 15 类，LoFG2 为 5 类）。由于是逐类算 IoU 再平均，主类的高分无法抵消稀有类的零分——这正是本文需要它而不是只看 OA 的原因：Table 2 里 KPConv 在英国的 OA 高达 83.3，但 mIoU 只有 23.4。

跨洲泛化采用零样本迁移协议：模型在某一洲训练（欧洲 = 英国 + 德国子集，亚洲 = 新加坡子集），直接在另一洲测试，不做任何目标域自适应，并同时报告 LoFG2 与 LoFG3 的结果。两个方向的训练量被主动对齐（欧洲约 1.5B 点、亚洲约 1.2B 点），目的是让观测到的差异归于分布而非数据规模。

实验关键数据¶

主实验¶

表 1 是 LoFG3（最细粒度）上的主排行榜。Overall 列指在完整 UnderOneFacade 上训练的模型，其余各国列指只在该国子集内训练的模型。

家族	方法	UK OA / mIoU	Singapore OA / mIoU	Germany OA / mIoU	Overall OA / mIoU
点式	PointNet++	68.5 / 22.1	59.6 / 29.8	66.4 / 25.6	60.9 / 29.7
点式	KPConv	83.3 / 23.4	41.5 / 11.2	55.8 / 11.2	49.0 / 15.0
图式	DGCNN	77.8 / 28.3	62.2 / 31.3	71.1 / 33.4	62.7 / 33.4
Transformer	Point Transformer (PTv1)	79.0 / 31.0	44.7 / 19.8	75.0 / 41.6	48.8 / 15.1
Transformer	PTv3	79.0 / 26.5	58.5 / 29.6	56.8 / 15.7	58.3 / 27.3
Transformer	OctFormer	75.5 / 27.7	61.5 / 34.6	44.9 / 13.5	57.9 / 27.3

表 2 是跨洲零样本迁移（输入同为 xyz），"欧→亚"指在 UK + 德国子集上训练、在新加坡测试，反之亦然。

方法	欧→亚 LoFG2 OA / mIoU	欧→亚 LoFG3 OA / mIoU	亚→欧 LoFG2 OA / mIoU	亚→欧 LoFG3 OA / mIoU
PointNet++	56.4 / 33.9	40.5 / 14.0	65.8 / 38.8	51.9 / 23.6
KPConv	48.6 / 25.7	32.1 / 6.6	48.9 / 28.8	33.9 / 9.4
DGCNN	56.4 / 38.3	42.6 / 14.8	63.9 / 40.5	44.8 / 17.4
OctFormer	59.2 / 37.0	39.0 / 11.5	62.3 / 40.0	50.5 / 16.2
PTv1	55.1 / 34.2	33.8 / 14.0	58.1 / 38.1	41.9 / 20.4
PTv3	60.9 / 40.8	41.5 / 11.0	53.4 / 34.2	49.0 / 15.7

消融实验¶

表 3 为辐射特征消融：在固定的 UK LoFG3 测试集上，把纯 xyz 输入换成 xyz + 投影 RGB + 激光强度（RGBI），∆ 为相对 xyz 的变化。

方法	配置	OA	µIoU	window F1	door F1	molding F1	interior F1
PointNet++	xyz	68.5	22.1	13.7	5.7	23.6	23.2
PointNet++	+rgbi	73.9	29.4	48.8	30.2	41.5	64.4
PointNet++	∆	+5.4	+7.3	+35.1	+24.5	+17.9	+41.2
PTv1	xyz	79.0	31.0	23.1	21.7	46.3	55.4
PTv1	+rgbi	83.9	39.1	54.5	44.8	60.9	74.8
PTv1	∆	+4.9	+8.1	+31.4	+23.1	+14.6	+19.4
DGCNN	xyz	77.8	28.3	27.9	10.3	40.7	49.7
DGCNN	+rgbi	76.5	30.2	38.2	43.0	47.1	39.8
DGCNN	∆	−1.3	+1.9	+10.3	+32.7	+6.4	−9.9

表 4 进一步把跨国性能漂移拆到类别上（UK / SG 的 F1 差 ∆ = SG − UK，仅列 4 个代表性方法；完整 6 方法结果见原文 Table 4）。

类别	PointNet++	DGCNN	PTv1	OctFormer
wall（LoFG3）	−18.1	−21.5	−39.9	−16.7
terrain（LoFG3）	−33.0	−34.2	−39.7	−25.9
window（LoFG3）	−10.6	−25.3	−17.9	−10.5
molding（LoFG3）	+36.6	+22.6	−23.4	+27.3
column（LoFG3）	+56.8	+48.8	+11.8	+65.4
arch（LoFG3）	+62.0	+67.3	+57.6	+80.0
opening（LoFG2）	−71.1	−77.4	−90.9	−60.3
structural（LoFG2）	+40.2	+25.7	+10.3	+31.5

关键发现¶

细粒度立面分割远未解决。 在最难的 LoFG3 上，全量数据训练的最强模型（DGCNN）也只有 33.4 mIoU；多数方法 OA 看着还行（57–63），mIoU 却停在 15–33，说明分数主要来自 wall、terrain、roof 这类主类。
图网络反超 Transformer。 DGCNN 在 Overall 上以 33.4 mIoU 领先，明显好过 PTv1（15.1）与 PTv3（27.3），是全文最反直觉的结论之一：作者认为现有 Transformer 的点云设计还没能有效抓住立面那种细长、重复、局部几何主导的结构。
单国训练的假象。 PTv1 在德国子集内训练能拿到 41.6 mIoU，一旦换成三国混训的 Overall 却跌到 15.1——单国指标反映的是对某一地风格的过拟合，而不是可迁移的分割能力。
层级聚合不解决长尾。 LoFG2 下 floor 类能到 93.3 F1（PointNet++），但同批方法在 LoFG3 的 stairs 上只有 0.7–9.1、deco 只有 9.2–10.0、door 最高 26.7。把类合并只是把难题藏起来；同时 opening 类在方法间的方差极大（DGCNN 92.1 vs PTv3 16.4），说明粗粒度下仍有强烈的架构敏感性。
跨洲迁移有明确的非对称性。 LoFG3 上亚→欧（51.9 OA / 23.6 mIoU）全面好于欧→亚（42.6 / 14.8）。论文给出的数据化解释是源域类别均衡度：欧洲训练集里 wall 与 other 两类就占 58.3% 的点，而新加坡子集覆盖的立面类别更均衡，因此亚洲数据对稀有类的监督更强。数据量对齐之后，起作用的是源域语义均衡而不是规模——这是整篇论文最可迁移的发现。
跨洲漂移在类别层面极不均匀。 wall、terrain 在新加坡普遍掉 17–40 F1，window 掉 10–25；而 molding、column、arch 在新加坡反而是正增益（arch 在 UK 上几乎所有方法都是 0.0 F1，到 SG 变成 57.6–80.0）。这说明"跨域掉点"里混着两种东西：真正学不会的形状差异，以及某些类别在源域根本没有样本。LoFG2 的 opening 掉得最惨（PTv1 97.7→6.8），作者归因于东南亚建筑的开口形态比英国维多利亚式的重复窗型复杂得多。
辐射特征是双刃剑。 加上 RGBI 后 window/door 的 F1 提升超过 30（PointNet++ window +35.1、door +24.5），说明颜色确实是弱几何构件的重要线索；但 DGCNN 的 OA 反而掉 1.3、interior 掉 9.9，作者判断模型可能学到了"数据集特有的外观捷径"而非稳健表示。地形这类大平面几乎不受影响（terrain 变化 −6.3 ~ +0.2）。

亮点与洞察¶

把"类别体系"当方法贡献来设计。 LoFG 不是标注约定，而是评测开关：同一模型在 LoFG2/LoFG3 上的落差能直接定位"聚合掩盖了什么"。这个思路可以迁移到任何长尾分割基准——先把层级画出来，再决定报哪一级的分数。
跨国采集把"域偏移"从修辞变成了度量。 通过对齐训练量（欧洲 1.5B vs 亚洲 1.2B）并把两个迁移方向都跑一遍，论文能给出"源域类别均衡度决定迁移上限"这种可行动的结论，而不是笼统地说"跨域很难"。
用未加权交叉熵 + 纯 xyz 输入主动把设定调难。 不按类别频率重加权、不用颜色，等于拒绝了一切能让数字好看的补偿手段，把长尾与几何难度原样暴露给排行榜。这是一种值得其他基准借鉴的"自我加压"式协议设计。
5 cm 统一体素化作为跨传感器密度脱敏。 三国点密度差三倍（11,483 vs 33,199 pts/m²），训练统一体素化把这一项压下去，使 mIoU 差异更可能来自建筑与采集几何、而非采样率。这是低成本的域对齐手段，几乎不损失有效信息。
"类别均衡优先于数据量"对采集策略的直接提示。 既然亚洲子集仅用更少的点就获得更好的跨洲迁移，那么与其在同一城市加采几千平米，不如去补稀有类的样本覆盖——这个结论对所有长尾 3D 数据集的构建都有指导价值。
类别层面的正负增益暴露了数据集的风格指纹。 arch 在 UK 全为 0、在 SG 跳到大几十，这种极端不对称本身就说明两国建筑在构件使用上的差异，可以被后续做域自适应的研究直接用作"类别存在性偏移（class-existence shift）"的实验素材。

局限与展望¶

作者承认的最主要局限是传感器与风格的纠缠：数据集混合了车载移动扫描、背包式和静态 TLS 三种采集方式，这让跨国、跨洲的域偏移无法归因到单一因素——传感器类型、点密度、采集几何与建筑风格是一起变的。他们也做了部分解耦（统一 5 cm 体素化降低密度差、Table 5 的辐射特征分析隔离外观偏移），但坦承无法做同一环境的受控采集来彻底分离传感器影响。
数据集保留自然长尾分布，代价是部分稀有类的训练样本极少（stairs、arch 在 UK 上几乎所有方法都是 0.0 F1），这既反映真实城市，也意味着某些类别的评测结果方差很大、结论要谨慎。
覆盖范围只有三座城市（诺丁汉、慕尼黑、新加坡），尽管风格跨度大，仍不足以代表全球立面类型的多样性；作者强调 LoFG 体系与标注协议是可扩展的，后续城市与传感配置可以继续并入。
我自己的观察：论文只报了 6 个基线与两个统一的训练预算（100 epoch、未调参），没有纳入近期更强的点云骨干（如 PointNeXt、基于超点/superpoint 的方法），也没有给出任何域自适应或微调后的跨域上限，因此"33 mIoU"更像当前开箱即用方法的下界而非上限；此外 10% 的标注修正率只说明有争议点被改动，缺少标注者间一致性（如 Cohen's kappa）这类更硬的可靠性指标，也没有报告各国 test split 的点数与类别分布明细。
可改进方向：公开 test 集与在线 leaderboard 以固定评测口径；补一组域自适应/微调基线量化"跨域差距中可被适配消除的部分"；把辐射特征分析从只在 UK 做扩展到跨国对照；为稀有类给出少样本或加权损失下的对照实验，明确哪些是数据不足、哪些是模型能力不足。

评分¶

新颖性: ⭐⭐⭐⭐ 层级类别体系继承自 ZAHA，真正的贡献在跨洲规模、多传感器采集与首次系统性的跨国跨洲泛化评测，方法论新颖但工程与协议设计扎实。
实验充分度: ⭐⭐⭐⭐ 6 个基线横跨三大范式、两种语义粒度、两个迁移方向、一组辐射特征消融，结论一致且有数据化解释；但缺域自适应/微调上限、缺标注者间一致性等可靠性指标。
写作质量: ⭐⭐⭐⭐ 动机与设计取舍交代清楚，表格与正文数字自洽，作者对传感器纠缠与长尾的局限写得坦诚。
价值: ⭐⭐⭐⭐⭐ 2.7B 标注点、CC BY 4.0 开放、配套评测脚本与预训练模型，是立面分割与长尾 3D 分割领域少有的可直接使用的跨域基准，短期就会被后续工作大量引用。