Cracks in the Foundation: A Civil Infrastructure Dataset to Challenge Vision Foundation Models¶
会议: NeurIPS 2026
arXiv: 2605.18413
代码: https://github.com/IBM/cracks-in-the-foundation
领域: 语义分割
关键词: 基础设施检测, 实例分割, 视觉基础模型, 域泛化, 裂缝分割
一句话总结¶
IBM 与苏黎世联邦理工学院等联合推出首个超大规模土木基础设施细粒度实例分割基准数据集 CiF（约 15 万张图像、25 万个掩码），揭示了前沿视觉基础模型与 VLM 在零样本工业缺陷检测中近乎失效、专用监督模型 mAP 停滞在 25% 的严峻泛化困境。
研究背景与动机¶
自动化结构健康监测（Structural Health Monitoring, SHM）是预防桥梁等重大土木基础设施发生灾难性坍塌、保障公共安全与巨额资产的核心技术手段。在土木工程实践中，工程师不仅需要知道结构是否存在缺陷，更要求对裂缝、剥落等病害的类型、具体面积、几何轮廓和空间分布进行精确的像素级定量评估。然而，长期以来，土木基础设施缺陷分割的研究与落地一直受到高质量数据极端匮乏的严重制约。由于区分微观材料劣化与普通光影纹理需要极高的专业门槛，传统的大规模众包标注在此完全失效，现有公开数据集大多仅停留在小规模图像分类或粗粒度语义分割，缺乏支持精准病害个体追踪与量化评估的细粒度实例分割基准。
更深层次的瓶颈在于，土木结构图像理解天然暴露了现代深度学习视觉骨干网络的算法软肋。混凝土与钢构件表面通常呈现大面积单色、均质且近乎无纹理的平坦外观，模型无法依赖通用自然图像中赖以生存的纹理偏置，而必须高度依赖精细的几何轮廓与形状先验；与此同时，结构裂缝等典型病害呈现出极端细长、非凸以及高度分支的多尺度几何形态，与当前主流目标检测与分割架构中固有的中心偏置（center-bias）存在根本性冲突。
近年来，以 SAM 系列为代表的可提示视觉基础模型（Foundation Models）和具备视觉定位能力的大型多模态语言模型（VLMs）展现出强大的通用场景解析能力，在自然图像分布下甚至营造出“密集图像理解已被彻底解决”的虚假繁荣。然而，当这些主要在互联网抓取图像（如 COCO、LAION）上训练的模型被置于土木工程严苛的物理环境中时，其零样本泛化能力却出现断崖式下跌。核心 idea：历时五年联合土木工程专家构建目前规模最大、分辨率最高的土木基础设施多类别细粒度实例分割基准 CiF，系统实证评估工业界主流架构与最新视觉基础模型，用详实的评测证据揭示通用大模型范式在工程结构检测中的盲区与“裂痕”。
方法详解¶
整体框架¶
CiF（Cracks in the Foundation）针对土木结构检测中极端多尺度与真实环境异质性问题，构建了覆盖真实野外巡检与高精可重复无人机采样的两阶段混合采集流程，并结合专家指导的严格质量控制管道，最终生成原生超高分辨率全景（Full）与规整切片（Tiled）两个协同发布版本。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["混合数据采集<br/>野外巡检 26% + 无人机受控采集 74%"] --> B["双模态飞行采集机制<br/>正交扫描覆盖 + 悬停网格高精采集"]
B --> C["专家协同分类体系与多源标注指南<br/>6 类可操作病害 + 5 年动态校准规范"]
C --> D["双阶段质量保障管道<br/>供应商初审 + 10% 实例级双盲抽检质检"]
D --> E["双形态基准构建与切片重构<br/>原生全景 Full 16.66 MPx + 均匀切片 Tiled 1024×1024"]关键设计¶
1. 双模态飞行采集机制：兼顾大范围地表覆盖与超高分辨率微细裂缝重建
土木结构（特别是大型跨海、跨河桥梁）空间跨度极大且局部结构异质，既需要对大面积混凝土构件实现无死角的几何排查，又要求极高的局部像素密度以捕捉毫米级微细裂缝。为破解覆盖效率与空间分辨率不可兼得的矛盾，团队设计了两种互补的受控无人机机载采集模态。
在扫描模式（Scan Setup）下，搭载 DJI Zenmuse P1 / X7 / H20T 传感器的无人机与待检表面保持平行，相机呈严格垂直朝向，沿预设的之字形（zigzag）轨迹巡航，同步记录高精度 RTK/GPS 空间位姿，实现宏观表面结构的高效、系统化覆盖；在高分辨率模式（High-Resolution Setup）下，无人机在关键结构节点保持定点悬停，云台相机以极窄视场进行结构化网格变焦拍摄，利用无倾斜假设和局部单应性变换（homography）将网格图像拼装映射至统一参考系，生成局部的超高分辨率正射镶嵌图，使最细微的毛细裂缝（像素宽度低至 1-2 像素）亦能在超高分辨率图像中清晰成像。
2. 专家协同分类体系与多源标注指南：收敛操作性病害并控制边界歧义
土木工程领域病害表现受光照、材质风化和相机传感特性的剧烈干扰，不同专家对微弱损伤的定义极易产生分歧，导致标注噪声泛滥。为确保数据集在工程实际中的可操作性，团队与丹麦国家基础设施运营方（Sund & Bælt）等土木专家历经五年迭代，将病害空间收敛为兼具结构破坏危险性与像素级分割可行性的 6 核心类别：线性裂缝（Crack）、网状龟裂（Net-Crack）、析出物裂缝（Crack with Precipitation）、混凝土剥落（Spalling）、钢筋锈蚀（Rust）与藻类生物侵蚀（Algae）。
针对不同传感器（手机、单反、工业无人机机载相机）和不同资产类型（混凝土梁桥、城市钢混结构），团队分别制定了针对性的定制化标注指南，明确界定了正负样本边界与常见假阳性混淆物（如模板拼缝、无害水渍暗影）。该指南在 5 年内保持动态演化，标注过程中凡遇到具有争议的模糊样本，均提交土木工程师联合仲裁，仲裁结果即时沉淀为新基准案例回流至规范文档，从源头上遏制了细粒度视觉病害分类中的主观歧义。
3. 双阶段质量保障管道：试点标定与 10% 严格质检闭环
大规模多边形实例标注在极高分辨率图像上面临极高的人工疲劳和漏标风险。为此，团队构建了以批次类型（Batch Type）为单位的双层闭环质检管道。
每个批次（500–1000 张）开始前必须经过 10–50 张图像的试点阶段（Pilot Phase），由外部专业标注商交付后由研究团队联合土木专家做全量逐像素审查，直至标注团队完全对齐本批次构件的病害特征与成像差异；在全量批次交付阶段，先由标注商内部执行第一道初审，交付后由经过领域专家受训的内部 ML 专家团队严格执行实例级二道抽检（随机抽取 10% 图像）。协议中设定了严苛的准出红线：若抽检中实例级假阳性（FP）或假阴性（FN）错误率超过 10%，则整批退回重标；同时前 5 个批次实行 100% 全量精细审查以校准内部质检团队尺度，确保了 25 万个多边形掩码的高保真度。
4. 双形态基准构建与切片重构：打破传统下采样失真与跨尺度评估失配
传统缺陷数据集往往采用全局下采样或预先随机裁剪，前者彻底抹平了细长裂缝的高频空间特征，后者丢失了缺陷在真实场景下的全局空间上下文。CiF 创新性地同时开源两种协同对齐的发布形态。
原生全景版（Full Variant）完整保留 12,896 张超高清图像（平均分辨率高达 16.66 MPx，中位数 20.16 MPx，约为 COCO 的 50 倍、Cityscapes 的 8 倍），并在原始空间保留微小至单像素宽度的精细多边形；切片版（Tiled Variant）则将原生图像统一划分为 \(1024 \times 1024\) 均匀切片（总计 148,642 张），过滤面积过小的孤立噪声并对大尺度连通病害（如大片水渍侵蚀与网状裂缝）建立切片级拓扑标注，同时在切片级继承父图像的严格划分（70% 训练、15% 验证、15% 测试），彻底杜绝数据在不同空间尺度间的交叉泄露。
实验关键数据¶
主实验¶
论文在 Tiled 切片基准上全面评测了三类代表性监督学习模型架构：工业级端到端检测器（YOLOv11、YOLOv26）、现代 DETR 架构（Mask-DINO、RF-DETR）以及基于海量互联网数据自监督预训练的视觉表征骨干（EoMT 搭载 DINOv2 / DINOv3）。
| 模型架构 | 骨干/规格 | 检测指标 \(mAP_{50:95}\) (bb) | 分割指标 \(mAP_{50:95}\) (seg) | Algae (seg) | Crack (seg) | Net-Crack (seg) | Precipitation (seg) | Rust (seg) | Spalling (seg) |
|---|---|---|---|---|---|---|---|---|---|
| Mask-DINO | ResNet-50 | 29.0 | 20.4 | 46.5 | 3.0 | 22.8 | 4.3 | 26.7 | 19.0 |
| YOLOv11 | nano | 31.0 | 19.8 | 43.6 | 6.5 | 21.0 | 4.9 | 25.1 | 17.7 |
| YOLOv11 | small | 32.3 | 20.7 | 43.9 | 7.5 | 21.7 | 5.9 | 26.7 | 18.7 |
| YOLOv11 | medium | 33.2 | 21.5 | 44.3 | 8.2 | 23.2 | 6.3 | 27.4 | 19.7 |
| YOLOv11 | large | 33.9 | 21.9 | 44.7 | 8.5 | 23.5 | 6.7 | 27.8 | 20.3 |
| YOLOv11 | xlarge | 33.9 | 21.9 | 44.3 | 8.6 | 23.4 | 7.2 | 28.2 | 19.9 |
| YOLOv26 | nano | 30.2 | 19.5 | 43.5 | 6.8 | 20.7 | 4.9 | 23.6 | 17.4 |
| YOLOv26 | small | 32.2 | 20.9 | 43.9 | 7.6 | 21.8 | 7.0 | 25.9 | 19.0 |
| YOLOv26 | medium | 32.8 | 21.4 | 44.3 | 8.1 | 22.9 | 6.9 | 27.3 | 19.1 |
| YOLOv26 | large | 32.0 | 20.2 | 42.8 | 7.9 | 20.4 | 6.3 | 25.6 | 18.5 |
| YOLOv26 | xlarge | 32.7 | 21.0 | 43.4 | 8.9 | 20.6 | 6.8 | 26.2 | 20.3 |
| RF-DETR | nano | 35.3 | 18.3 | 46.1 | 1.2 | 21.5 | 7.3 | 16.7 | 17.1 |
| RF-DETR | small | 36.2 | 18.2 | 46.2 | 1.3 | 21.4 | 7.2 | 17.4 | 15.8 |
| RF-DETR | medium | 35.7 | 18.3 | 46.8 | 1.2 | 21.5 | 6.8 | 17.0 | 16.7 |
| RF-DETR | large | 35.7 | 18.3 | 46.5 | 1.3 | 21.0 | 7.6 | 16.7 | 16.6 |
| EoMT | DINOv2 | 32.7 | 24.1 | 48.8 | 5.0 | 23.5 | 9.5 | 32.6 | 25.2 |
| EoMT | DINOv3 | 32.9 | 24.2 | 49.6 | 4.7 | 24.1 | 10.3 | 31.6 | 25.1 |
消融实验¶
为系统探测当前通用视觉基础模型（SAM3）与前沿多模态大模型（Qwen3-VL）在真实物理世界工程检测中的零样本泛化能力，论文设置了基于文本、预言机提示（Oracle Points / Bounding Box）以及智能体协同架构的横向探测实验。
| 模型与提示策略 | 提示形式 / 参数规模 | 评测任务 | \(mAP_{50:95}\) | Algae | Crack | Net-Crack | Precipitation | Rust | Spalling |
|---|---|---|---|---|---|---|---|---|---|
| SAM3-Agent | Qwen3-VL + SAM3 串联 | 实例分割 | 1.7 | 1.0 | 0.7 | 0.0 | 1.0 | 7.0 | 0.7 |
| SAM3-Text | 纯文本类别提示 | 实例分割 | 2.0 | 1.0 | 0.7 | 0.0 | 1.6 | 8.8 | 0.0 |
| SAM3-Oracle Point (1 pt) | 真实掩码随机采样 1 点 | 实例分割 | 7.8 | 10.4 | 0.4 | 6.7 | 3.0 | 18.1 | 8.2 |
| SAM3-Oracle Point (3 pts) | 真实掩码随机采样 3 点 | 实例分割 | 16.1 | 30.5 | 0.6 | 20.9 | 4.6 | 25.5 | 14.7 |
| SAM3-Oracle Point (5 pts) | 真实掩码随机采样 5 点 | 实例分割 | 18.6 | 33.9 | 0.8 | 25.0 | 5.8 | 28.2 | 17.9 |
| SAM3-Oracle Box | 真实真值外接矩形框 | 实例分割 | 34.2 | 56.0 | 1.9 | 54.1 | 10.4 | 46.0 | 37.1 |
| Qwen3-VL | 4B (文本检测提示) | 边界框检测 | 1.5 | 4.7 | 2.4 | 0.1 | 0.1 | 1.4 | 0.5 |
| Qwen3-VL | 8B (文本检测提示) | 边界框检测 | 1.9 | 5.8 | 2.0 | 0.1 | 0.1 | 2.8 | 0.4 |
| Qwen3-VL | 32B (文本检测提示) | 边界框检测 | 2.0 | 6.7 | 2.8 | 0.4 | 0.1 | 1.3 | 0.6 |
| Qwen3-VL | 235B-A22B MoE (文本提示) | 边界框检测 | 2.4 | 7.3 | 3.3 | 0.7 | 0.1 | 2.3 | 0.8 |
关键发现¶
- 专用监督模型的“性能天花板”：即使在充足的域内监督训练下，业内顶尖模型在 CiF 上的实例分割均值 mAP 仍集体止步于约 25%（EoMT 达到最优的 24.2%）。除了高对比度、大面积的生物藻类（Algae 分割 mAP 接近 50%）外，土木工程中最关键的结构性“裂缝（Crack）”类别分割 mAP 普遍暴跌至个位数（YOLOv11 仅为 6-8%，RF-DETR 仅为 1.2-1.3%，Mask-DINO 仅为 3.0%），反映出现有以自然物体为主的检测头无法捕捉细长连续拓扑拓扑结构的致命缺陷。
- 视觉基础模型的“零样本幻觉”：通用大模型所谓的全能理解在工业基础设施中彻底失效。拥有 235B 庞大参数量的前沿多模态大模型 Qwen3-VL 在零样本病害定位上的检测 mAP 仅为 2.4%；SAM3 在文本或弱交互提示下的分割性能几乎为零（1.7% - 2.0%）。
- 空间先验对细长病害的失效：即便为 SAM3 提供完美的真实目标外接框（Oracle Bounding Box），其在核心“Crack”类别的分割 AP 也仅有 1.9%，而对于团状块状的 Net-Crack（54.1%）和 Algae（56.0%）则大幅上升。这直接证实了在无纹理背景下，细长裂缝与外接框内部大面积混凝土背景混杂，通用模型欠缺专用的细粒度拓扑先验，极易退化，无法胜任自动辅助标注工具。
亮点与洞察¶
- 规模与精度的范式跨越：构建了土木工程监测领域目前最大的 15 万张高分辨率切片与 25 万个实例掩码数据集，将真实野外巡检的自然光影复杂性与无人机正射网格的高清几何保真度完美融合。
- 直击通用基础大模型的致命盲区：通过无可辩驳的大规模客观量化数据，粉碎了“通用视觉大模型通过零样本迁移能直接解决工业检测”的乐观假象，指出了自然图像纹理偏置与中心先验在无纹理平坦表面的根本失效。
- 推动几何拓扑感知的新型架构探索：实验明确揭示出，简单依靠海量弱标注网络图像并不能解决微观结构病害分割，未来的技术突破必须转向显式建模长程空间拓扑、极细线条连续性以及抗中心偏置的专用视觉表示架构。
局限与展望¶
- 地域与材料结构单一性：当前数据集样本主要集中于欧洲公路与市政桥梁结构，材质以混凝土和钢筋混凝土为主，对钢结构焊缝缺陷、隧道地下隐蔽工程、以及热带/高寒气候下的结构老化类型覆盖相对有限。
- 主观边界标注噪声：尽管建立了专家闭环多层复核流程，但对于低对比度析出物弥散区、以及微米级毛细裂缝末梢与混凝土粗糙微孔的交界处，不可避免地残留少量人为主观判断偏差。
- 极端长尾分布挑战：数据分布呈现强烈的长尾效应，Crack 占据原生实例的近 60%，而网状龟裂和析出物裂缝占比不足 2%，导致模型在稀有复合病害上的泛化性能进一步受限。未来需要结合几何生成模型与拓扑引导的主动学习框架开展深度攻关。
相关工作与启发¶
- vs dacl10k (Flotzinger et al., 2023): dacl10k 包含 9,920 张 3.1 MPx 图像，是目前最具影响力的桥梁语义分割基准，但其本质是像素级语义分割（无法区分个体缺陷边界）。CiF 首次跃升至 12,896 张 16.66 MPx 原生全景图（切片后 14.8 万张），且提供精细多边形实例分割，为结构健康病害追踪提供离散化个体几何支持。
- vs CConCrack (Ataei et al., 2025) / MCrack1300 (Ye et al., 2024): 以往的土木实例分割基准核心样本极小（CConCrack 仅 400 张核心图、MCrack1300 仅 1,300 张图像且仅限砌体结构），类别仅 1-2 种。CiF 在样本量上实现了两个数量级的质变扩充（15 万切片），涵盖 6 大实用工程类别，成为可支撑深度模型预训练的根基数据集。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [填补土木基础设施超大规模高精实例分割长期空白，切中大模型物理落地盲区]
- 实验充分度: ⭐⭐⭐⭐⭐ [耗费超 10,000 A100 GPU 时，横跨 17 种监督模型、多种尺寸 VLM 及 SAM3 各类交互提示全面横评]
- 写作质量: ⭐⭐⭐⭐⭐ [动机叙述逻辑严密，图表数据丰富详实，专业规范度极高]
- 价值: ⭐⭐⭐⭐⭐ [不仅为土木基础设施自动化运维提供了核心基石，更为下一代抗偏置视觉基础模型演进提供了极具挑战性的客观试金石]