GeoFidelity-Bench: Evaluating Block-Conditioned Geographic Fidelity in Text-to-Image Street-View Generation¶

会议: NeurIPS 2026
arXiv: 2606.23669
OpenReview: https://openreview.net/forum?id=LSACZLYAsF
代码: https://huggingface.co/datasets/moss-vector-714/GeoFidelity-Bench
领域: 图像生成
关键词: 文本到图像生成, 地理保真度, 街景评测, 具身街区条件, 跨模态检索

一句话总结¶

构建首个以命名街区为评估单元的街景文生图基准 GeoFidelity-Bench，通过真实 Mapillary 街景参考面板、细粒度提示控制与同城困难负样本检索，系统诊断并揭示了主流扩散模型在局部地理保真度上的盲区及传统文本对齐指标的失效。

研究背景与动机¶

现代文本到图像生成模型能够凭借“纽约市的一条街道”等自然语言提示生成细节逼真的街景画面，但这些图像究竟是重现了具体目标地点的真实空间风貌，还是仅仅拼凑了泛化的城市刻板视觉元素（如摩天大楼天际线、黄色出租车或欧式窄街），此前缺乏客观且系统的度量手段。现有的生成模型评估范式主要依赖于 FID 衡量分布统计距离、CLIPScore 评估图文匹配度，或者 LPIPS 评估感知距离。然而，如果没有与请求地点精确绑定的真实参照图像及其邻近候选场景的对比基准，这些通用指标完全无法回答“生成图像是否忠实于目标街区”。

当前位置条件生成的研究正逐步走向细粒度空间控制，从原始 GPS 坐标编码、结构化街景布局到卫星图跨视角合成，学术界迫切需要评估生成图像能否精准匹配特定街道，并且超越同城市内其他视觉合理的相似街区。这一任务面临两大核心壁垒：一方面，真实街道外观具有强烈的多视角变化，单个视角的照片极易受到拍摄朝向、视场遮挡与瞬时天气光照的影响，无法单图代表整条街道；另一方面，如果缺乏严格的同城局部对比控制，评估极易将“模型学会了某城市的宏观建筑风格”误判为“模型精确生成了特定街区”。

为了解决这一认知盲区，本文提出以 OpenStreetMap（OSM）中具有独立路名的“命名街区（named street blocks）”作为基础评测单元，并为每个街区采集多角度、真实采样的参考图像面板（Reference Panel）。核心 idea：构建跨越全球 6 大洲 25 座城市的街区级街景生成评测基准 GeoFidelity-Bench，利用真实参考面板与同城硬负样本检索协议，通过逐级提示消融与特异性置换控制，对文生图模型的局部地理保真度及语义结构一致性进行严密诊断。

方法详解¶

整体框架¶

GeoFidelity-Bench 围绕命名街区的物理范围与真实街景多视角表征展开评测。系统首先从全球 25 座代表性城市的核心区域（离市中心 6 公里以内）筛选出覆盖四类道路等级（主干道、居住区道路、步行街、次干道）的 112 个命名街区，每个街区空间间隔至少 400 米且长度截断在 500 米至 2 公里之间。针对每个街区几何路径，基准从 Mapillary 众包街景平台抓取并经过严格太阳高度角、SigLIP 城市场景分类器、语义分割比例以及清晰度与色度等多阶段流水线过滤，最终保留 7,563 条参考记录（包含 7,433 张独立真实图像，每个街区平均 67.5 张真实参考图像）。

在评测流程中，每个街区构建三个层级的生成提示词，并对 6 种主流开源文生图模型（SDXL、SD 3.5 Large、FLUX.1-dev、FLUX.1-schnell、PixArt-\(\Sigma\)、HunyuanDiT）生成的图像与目标真实面板进行多维度对比，涵盖视觉特征相似度、分布差异与多样性校准、语义属性一致性以及同城困难负样本检索。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["OSM 命名街区筛选<br/>25城112街区·四级路网分层"] --> B["Mapillary 多视角面板采集<br/>质检·太阳高度·语义过滤"]
    B --> C["提示分级与特异性控制生成<br/>L0城市 / L1街区 / L2经纬度 / 置换负控制"]
    C --> D["特征提取与跨面板表示<br/>DINOv2 ViT-B/14 嵌入编码"]
    D --> E["地理保真度综合诊断<br/>CosSim · MMD/DCSF · GAAS"]
    D --> F["困难负样本排他检索<br/>同城/同侧向/异城Top-1与局部裕度"]

关键设计¶

1. 空间提示分级与同城置换控制：剥离提示模板与真实地理特异性

为了探究模型所吸收的地理先验究竟源于城市泛化知识、具体地名实体还是数值坐标，评测设计了三个逐级注入信息的提示层级： - L0 级（城市级）：仅包含城市与国家名称（例如 taken in New York City, United States）； - L1 级（命名街区级）：在 L0 基础上注入目标街道名称与所在社区/行政分区名称（例如 taken on Broadway in the Manhattan district of New York City, United States）； - L2 级（坐标注入级）：在 L1 文本末尾追加街区质心的精确经纬度文本（例如 , near GPS coordinates (40.7128, -74.0060)）。

为了杜绝“提示词变长、细节增多引发无特异性生成质量提升”的干扰，研究引入了同城置换控制组（Prompt-Specificity Controls）：在保持 L1 提示句式结构与城市/国家不变的前提下，分别置换为同城其他街区的道路名（Wrong street）、置换社区名（Shuffled neighborhood）或同时置换道路名与社区名（Wrong street and neighborhood）。这一控制能够严格证明模型生成的相似度收益是否真实源于对特定地名视觉特征的记忆与表达。

2. 参考面板表征与多样性校准集合保真度度量：兼顾视角覆盖与模式坍缩惩罚

街道具有天然的视点多样性，单图比较极易产生误判。基准将目标街区内的真实图像集合定义为参考面板 \(\mathcal{X}_r\)，模型在对应提示下生成的 4 张图像定义为生成面板 \(\mathcal{X}_g\)。评测首先采用无监督视觉骨干 DINOv2 ViT-B/14 提取全局特征向量，计算面板均值嵌入之间的余弦相似度 \(\mathrm{CosSim}(\mathcal{X}_g, \mathcal{X}_r)\) 作为核心宏观指标：

\[\mathrm{CosSim}(\mathcal{X}_g, \mathcal{X}_r) = \frac{\bar{\mathbf{z}}_g \cdot \bar{\mathbf{z}}_r}{\|\bar{\mathbf{z}}_g\| \|\bar{\mathbf{z}}_r\|}\]

单纯的平均嵌入相似度无法反映生成样本的分布漂移或模式坍缩。因此，基准进一步构建了多样性校准集合保真度（Diversity-Calibrated Set Fidelity, DCSF）。DCSF 首先计算基于 RBF 核 \(k(\mathbf{x}, \mathbf{y}) = \exp(-\gamma \|\mathbf{x} - \mathbf{y}\|^2)\) 的无偏最大均值差异（MMD）：

\[\widehat{\mathrm{MMD}}^{2}(\mathcal{X}_g, \mathcal{X}_r) = \frac{1}{n(n-1)}\sum_{i\neq j}k(\mathbf{x}_i, \mathbf{x}_j) + \frac{1}{m(m-1)}\sum_{i\neq j}k(\mathbf{y}_i, \mathbf{y}_j) - \frac{2}{nm}\sum_{i,j}k(\mathbf{x}_i, \mathbf{y}_j)\]

其中核参数 \(\gamma\) 设为聚合样本对正欧氏距离平方的中位数的倒数。为了惩罚生成图像千篇一律、缺乏真实街区多视角多样性的现象，DCSF 引入了组内平均余弦距离多样性惩罚项：

\[\mathrm{DCSF} = \max(0, \widehat{\mathrm{MMD}}^{2}(\mathcal{X}_g, \mathcal{X}_r)) + 0.5 \max(0, \mathrm{Div}(\mathcal{X}_r) - \mathrm{Div}(\mathcal{X}_g))\]

当且仅当生成集合既在特征空间逼近真实分布、又保有与真实街道相匹配的多视角丰富度时，DCSF 才能取得理想的极低值。

3. 地理属性一致性与困难负样本排他检索：解耦宏观语义分布与微观排他辨识

除了全图无监督嵌入外，为了精确诊断生成场景中物理要素配比是否符合真实街道构成，评测提出了基于语义分割的地理属性一致性得分（Geo-Attribute Agreement Score, GAAS）。利用在 Mapillary Vistas 数据集上预训练的 Mask2Former 提取 8 类场景成分（道路、人行道、建筑物、植被、天空、杆体、交通标志、车辆）的像素占比，统计各类别在生成集合与真实集合中的归一化直方图分布 \(p_g^{(a)}\) 与 \(p_r^{(a)}\)，计算 8 大类的平均 Jensen-Shannon 距离：

\[\mathrm{GAAS}(\mathcal{X}_g, \mathcal{X}_r) = \frac{1}{8}\sum_{a=1}^{8}\sqrt{\mathrm{JS}_2\left(p_g^{(a)}, p_r^{(a)}\right)}\]

在辨识度判别方面，基准为每个目标街区定制了包含至多 5 个候选面板的检索画廊：包括目标街区真实面板、2 个同城硬负样本街区、1 个同行驶方向（靠左/靠右）的异地城市街区、以及 1 个随机异国城市街区。评测统计生成图像检索自身目标面板的 Top-1 准确率（Retrieval Accuracy），并定义局部裕度（Local Margin）为生成图像对目标面板的平均相似度减去其对两个同城硬负样本面板的最大平均相似度。当局部裕度大于 0 时，表明模型生成的内容能真正区分同城其他相近街道，而非仅仅沉溺于该城市的通识风格。

实验关键数据¶

主实验¶

论文对 6 款开源文生图模型在 L1（命名街区级）提示下的表现进行了全面评测，并与预留的真实图像（Held-out Real，每个街区预留 4 张真实图像作为查询）及两类随机真实基线进行对标。

模型 / 测试集	CosSim ↑	DCSF ↓	MMD ↓	GAAS ↓	Retrieval Acc ↑
SDXL	0.536	0.547	0.457	0.380	0.408
SD 3.5 Large	0.515	0.565	0.470	0.387	0.375
FLUX.1-schnell	0.499	0.571	0.481	0.395	0.382
PixArt-\(\Sigma\)	0.486	0.625	0.522	0.401	0.422
FLUX.1-dev	0.484	0.634	0.527	0.402	0.388
HunyuanDiT	0.477	0.637	0.531	0.421	0.420
六模型均值	0.499	0.596	0.498	0.398	0.399
Held-out Real (真实上限)	0.902	0.036	0.020	0.285	0.855
Random-Same-Country	0.710	0.160	0.151	0.365	0.259
Random-Global	0.333	0.249	0.249	0.370	0.163

消融实验¶

评测对提示注入信息级别（L0/L1/L2）以及同城地名置换控制组进行了成对消融与 Bootstrap 显著性检验。

提示条件 / 控制组	平均 CosSim	CosSim 增益 (95% CI)	检索准确率	检索增益 (95% CI)	统计正向比例
L0 基础（仅城市名）	0.464	-	0.354	-	-
L1 级（街道+社区名）	0.499	+0.036 [0.029, 0.042]	0.399	+0.045 [0.028, 0.063]	438 / 672 样本对
L2 级（L1 + 经纬度文本）	0.504	+0.004 [0.001, 0.008]	0.401	+0.002 [-0.015, 0.019]	382 / 672 样本对
控制：置换同城街道名	0.498	+0.001 [-0.004, 0.006]	0.373	+0.025 [0.008, 0.042]	保持同城结构
控制：置换同城社区名	0.492	+0.007 [0.003, 0.012]	0.361	+0.038 [0.020, 0.057]	破坏片区先验
控制：双名称同时置换	0.488	+0.011 [0.005, 0.017]	0.344	+0.054 [0.034, 0.074]	彻底丢失街区特异性

关键发现¶

街道与社区实体地名具备显著正向增益，但数值 GPS 坐标作用微弱：从 L0 到 L1，所有 6 款模型在 CosSim 上的提升均值达 +0.036（25 座城市中有 21 座呈现正向改善），表明模型在预训练数据中确实沉淀了知名街道与区域实体的视觉先验；然而在 L1 基础上直接拼接文本经纬度坐标（L2），CosSim 仅增加微弱的 +0.004，且仅在 14 座城市表现为正，证实通用纯文本提示对连续空间坐标的解析极其粗糙。
生成图像与同城硬负样本界限模糊：真实预留图像检索自身街区的准确率高达 85.5%，而六大生成模型的平均检索准确率仅有 39.9%（甚至低于二选一随机概率水平）。生成图像检索同城负样本街区的平均相似度（0.449）与检索目标自身街区（0.451）相差无几，暴露出当前模型输出更偏向“同城风格刻板印象”，难以辨识具体街区微观特征（如路缘结构、沿街商铺招牌与特定车道线形态）。
CLIP 文本对齐指标存在虚假安全感：CLIP ViT-B/32 图像-文本对齐度与目标地理保真度（CosSim）的 Spearman 相关系数仅为 0.112，与检索准确率相关系数仅为 0.041，利用 CLIP 评分预测图像能否正确检索目标街区的 AUROC 仅为 0.508（基本等同于随机猜测）。在 CLIP 匹配得分最高的前 25% 生成面板中，竟有 46.4% 的面板未能命中任何一张目标街区图像。

亮点与洞察¶

提出首个以“街区面板”为单元的地理保真度基准：摒弃单图对比与宏观国家/城市级泛化测试，首创用真实多视角街区图像面板与同城负样本构建排他性检索画廊，直击具身地理生成评测的核心短板。
精密的同城置换负控制实验：通过同城道路名与社区名的交叉重组置换，严格解耦了“提示词长度增加带来的通用细节增益”与“真正匹配目标地名实体带来的地理保真增益”，设计极具说服力。
揭示了通用多模态对齐指标在细粒度空间感知上的系统性失效：用详实的统计检验确凿证明了高分 CLIPScore 无法保证真实的地理正确性，为后续基于多模态世界模型与具身地理智能的评测敲响了警钟。

局限与展望¶

众包平台的数据覆盖偏置：基准依赖 Mapillary 平台的开源众包图像与 OSM 命名道路密度，导致东京（占全库 12.0% 参考图像）与纽约（占 10.1%）等发达都市样本极其充裕，而发展中国家及非正规居民区采样稀疏（部分城市仅保留 1 个街区）。
文本坐标注入难以替代专用空间条件编码：实验仅以自然语言字符串形式追加经纬度，未能充分评估结合地图光栅瓦片、卫星鸟瞰图、LiDAR 点云或隐式坐标编码器等专用条件引导框架的潜力。
时间与动态要素的对齐限制：参考面板由于拍摄年份、季节跨度及天气过滤策略存在一定外观色差，评测主要度量静态基础设施几何与环境语义，无法精确验证某一特定时间节点下的动态街景状态。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统建立街区尺度的街景生成地理保真度基准，评测设定极具启发性。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 6 大主流模型、全球 25 座城市、7,563 张参考图，结合多组置换消融与严谨 Bootstrap 统计验证。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰严谨，数学公式与评测指标定义完备自洽。
价值: ⭐⭐⭐⭐⭐ 为具身智能环境合成、自动驾驶仿真街景生成及世界模型的空间真实性评测奠定了基石。