Defending from GeoLocalization through Adversarial Road Trips¶
会议: ECCV 2026
论文: ECCV 2026
领域: 安全
关键词: 对抗攻击、图像地理定位、隐私保护、束搜索、地理退火
一句话总结¶
本文提出 RoadTrip Attack（RTA），将针对检索式图像地理定位模型的对抗攻击重构为在地理空间中寻找由自适应中间目标构成的“伪装旅程”，通过结合地理束搜索（Beam Search）与投影梯度下降（PGD）在极低扰动预算下实现了兼具高靶向成功率、强黑盒迁移性与优异视觉保真度的地理隐私防御。
研究背景与动机¶
基于深度学习的图像地理定位技术近年来取得了突破性进展，从基于多尺度特征匹配的检索模型到整合视觉语言大模型的生成式定位框架，算法仅凭单张普通照片即可精准推断出拍摄地的国家、城市甚至几公里范围内的经纬度坐标。然而，这类高精度定位模型在公开领域的广泛可用性引发了严峻的个人隐私侵犯与物理人身安全隐患。恶意的第三方抓取者能够轻易通过社交媒体图像反查用户行踪轨迹。针对模型开展对抗攻击以实现“地理隐私防御”（Defending from GeoLocalization）成为保护用户图像位置隐私的重要手段。
现有的通用对抗攻击（如 FGSM、PGD、C&W）在应用于地理定位任务时存在本质缺陷。一方面，图像对比学习模型（如 GeoCLIP）所构建的多模态嵌入空间具有高度的非凸性与复杂的模态内不连续性，且在不同地理区域间常存在“视觉相似但地理悬殊”的特征假象（例如相似的植被结构或现代建筑）。传统的梯度优化方法沿着源图像到目标特征的单一贪心方向直接优化，极易在特征流形中陷入次优局部极值，被迫依赖过大的扰动预算 \(\epsilon\)，从而造成人眼可见的严重图像伪影；另一方面，当前唯一的定位专用防御方法 GeoShield 依赖大模型与解耦定位区域生成对抗补丁，不仅计算极为缓慢，且在低扰动预算下欺骗率明显不足。
本文的切入视角在于重新审视地理定位任务天然蕴含的地球球面物理拓扑结构。作者认为对抗攻击不应在抽象的视觉特征空间中单步突进，而应将攻击过程建模为一场“地理公路旅行”（Road Trip）——从真实位置出发，通过一系列分布在目标周围且逐步收敛的中间地理停留点逐步引导模型预测发生漂移。核心 idea：将针对地理定位模型的对抗攻击形式化为球面物理空间中的多路径启发式探索过程，利用随剩余距离自适应退火的采样圆盘生成中间航标，并结合束搜索并行剪枝次优扰动路径，从而在复杂非凸特征空间中以极低扰动预算绕过局部极小值并实现高成功率的目标欺骗。
方法详解¶
整体框架¶
RoadTrip Attack（RTA）以待保护查询图像 \(I_q\) 及其真实地理坐标 \(x_0\) 为起点，攻击者指定一个距离真实坐标大于 2500 km 的目标地理坐标 \(x_T\)。算法采用交替迭代框架：在每轮宏观迭代中，基于当前存活的候选对抗状态计算自适应采样半径，并在地理圆盘内随机采样若干中间地理坐标作为临时诱饵；接着调用投影梯度下降（PGD）针对中间目标优化图像扰动，最后利用地球球面大圆距离（Haversine 距离）作为启发式代价，通过束搜索（Beam Search）保留最有前景的前 \(K\) 条探索路径，直至迭代收敛至目标位置 \(x_T\)。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入查询图像 $I_q$ 与目标坐标 $x_T$"] --> B["自适应地理采样半径<br/>按 Haversine 距离动态计算 $R = \eta \mathcal{G}(x, x_T)$"]
B --> C["检索目标跨熵优化<br/>局部 PGD 更新多路候选噪声 $\delta$"]
C --> D["地理束搜索剪枝<br/>按距 $x_T$ 接近程度保留 Top-K 路径"]
D -->|未达终止步数且未达收敛| B
D -->|完成 N 步迭代或进入 1km 范围| E["输出最优对抗图像 $I_q + \delta^*$"]关键设计¶
1. 自适应地理采样半径：按目标距离动态平衡全局探索与局部收敛 直接针对最终目标 \(x_T\) 贪心优化极易被特征空间的非线性局部极值锁死，而固定半径的中间点采样则面临两难困境：半径过大会引入无序的剧烈震荡，半径过小则会导致长途逼近过程停滞。为此，RTA 提出了基于球面物理距离的自适应半径伸缩机制。在第 \(i\) 步迭代中，针对存活候选状态的当前预测坐标 \(x_{m,i}\)，算法根据其到最终目标 \(x_T\) 的大圆距离 \(\mathcal{G}(x_{m,i}, x_T)\) 动态确定采样圆盘 \(D_R(x_T)\) 的半径 \(R = \eta \cdot \mathcal{G}(x_{m,i}, x_T)\)（实验中最佳缩放系数 \(\eta = 0.5\)）。在攻击初期，预测距离目标尚远，\(R\) 取值较大，赋予算法在大尺度地理空间中跳跃试探、跨越特征障碍的全局探索能力；随着攻击逐步逼近目标，\(R\) 按照物理几何距离平滑收敛，促使采样点紧密围绕 \(x_T\) 分布，转化为高精度的局部精细收敛，从而以类似“地理模拟退火”的机制引导扰动平稳前行。
2. 检索目标跨熵优化：将最近邻匹配重构为线性分类并做投影梯度更新 受攻击的检索式地理定位模型通常具备包含预提取嵌入的参考图库（Gallery）\(\mathcal{D} = \{\mathbf{e}_0, \dots, \mathbf{e}_C\}\)。查询图像通过图像编码器映射为归一化特征向量后，与库中各条目计算内积相似度 \(s_i = \langle \text{enc}(I_q), \mathbf{e}_i \rangle\)。RTA 将这一最近邻相似度检索等价映射为以原型特征为分类权重的线性分类层。对于每一个采样的中间地理目标 \(\tau_{m,j}\)，算法检索图库中与该坐标对应的目标条目索引 \(T\)，并最小化目标交叉熵损失 \(\mathcal{L}_{CE}\)。在内部局部优化时，算法采用基于符号梯度的投影梯度下降，将扰动增量限定在无穷范数球 \(B_\epsilon(I_q) = \{\delta \in \mathbb{R}^n : \|\delta\|_\infty \le \epsilon\}\) 内，在严格保证人眼不可见的极小扰动预算下，迫使模型将特征表示推向目标坐标的表征邻域。
3. 地理束搜索剪枝：多路径并行试探与地理距离贪心收缩 单一梯度轨迹面对高度非凸的地理视觉流形往往难以保证全局最优。RTA 引入束搜索机制，维护一个大小为 \(K\)（默认 \(K=4\)）的最优候选状态集 \(S_i = \{(x_{m,i}, \delta_{m,i})\}_{m=1}^K\)。在每轮迭代中，对集内每个候选分别采样 \(J\) 个独立目标（默认 \(J=5\)），并行执行局部 PGD 得到 \(K \times J\) 个候选分支。随后，代理模型对施加各分支噪声的图像进行前向推断，计算其输出位置与目标 \(x_T\) 的 Haversine 距离，并严格截取距离最小的前 \(K\) 个分支构成下一轮的存活集 \(S_{i+1}\)。通过并行分支探索与启发式剪枝的协同，算法既保留了探索潜力，又规避了穷举组合的算力爆炸，构建出一条从源点通向目标点的非显式最优“对抗公路旅行”。
一个完整示例¶
假设用户在意大利罗马（坐标 \(x_0\)）拍摄了一张街景建筑图像 \(I_q\)，防范目标为防止被恶意检索模型定位，设定攻击目标为日本东京（坐标 \(x_T\)），两地球面距离约为 9,800 km。 1. 初始化：在扰动球 \(B_\epsilon\)（\(\epsilon = 2/255\)）内随机初始化初始噪声，候选集 \(S_1\) 包含初始状态。 2. 第一轮公路旅行：此时距离目标极远，自适应半径 \(R = 0.5 \times 9800 = 4900\) km。算法在东京周围 4,900 km 范围内均匀采样 5 个中间坐标（可能落在南亚或西伯利亚等过渡区域）。针对这 5 个点分别运行 5 步局部 PGD，生成 5 个扰动样本并送入模型前向推理。束搜索评估 5 个预测坐标到东京的实际物理距离，筛选出最优的 \(K=4\) 个候选存入 \(S_2\)。 3. 多步迭代与半径退火：随着迭代推进到第 15 步，当前候选的预测位置已转移至东亚近海，与东京距离缩小至 600 km。此时采样半径 \(R\) 自动缩紧至 300 km，采样点高度集中在东京周边行政区。 4. 收敛与提前退出：当某一候选预测位置进入东京市区 1 km 阈值内时触发 Early Stopping，返回最终扰动图像 \(I_q + \delta^*\)。整张图像在视觉感知上与原图几无差异（LPIPS 仅 0.027），但模型输出坐标已完全欺骗至东京。
损失函数 / 训练策略¶
在每次内部迭代中，针对当前中间目标坐标 \(\tau_{m,j}\) 对应的图库目标索引 \(T\)，最小化跨熵损失： $\(\mathcal{L}_{CE}\left(\text{enc}(I_q + \delta), \mathbf{e}_T\right) = -\sum_{i=1}^C q_i \log p_i = -\log \frac{\exp(s_T / \tau_s)}{\sum_{j=1}^C \exp(s_j / \tau_s)}\)$ 其中 \(q_i = \mathbb{I}(i=T)\) 为 One-hot 目标标签，\(s_i = \langle \text{enc}(I_q + \delta), \mathbf{e}_i \rangle\) 为查询特征与图库原型的余弦相似度。图像扰动通过投影算子更新： $\(I_q^{(t+1)} = \Pi_{B_\epsilon(I_q)} \left( I_q^{(t)} - \alpha \cdot \text{sign}\left( \nabla_{I_q^{(t)}} \mathcal{L}_{CE} \right) \right)\)$ 其中步长 \(\alpha = \epsilon / 2\)。地球表面任意两点经纬度 \((\phi_1, \lambda_1)\) 与 \((\phi_2, \lambda_2)\) 的物理距离采用 Haversine 公式计算： $\(\mathcal{G}(x_1, x_2) = 2 R_{\text{earth}} \arcsin \sqrt{ \sin^2\left(\frac{\phi_2 - \phi_1}{2}\right) + \cos\phi_1 \cos\phi_2 \sin^2\left(\frac{\lambda_2 - \lambda_1}{2}\right) }\)$ 在每步优化中，当预测坐标与 \(x_T\) 的 Haversine 距离小于 1 km 时，算法自动提前停止该分支计算。
实验关键数据¶
主实验¶
论文在标准地理定位评测基准 Im2GPS3k 上进行了全面的白盒攻击实验，被攻击模型为当前最具代表性的对比检索模型 GeoCLIP。实验评测了真实位置准确率 \(\text{ACC}_{\text{GT}}\)（越低越好，代表成功防御）与目标攻击成功率 \(\text{ACC}_{\text{Target}}\)（越高越好，代表成功定向伪造），并在不同的距离容忍阈值（1km 至 2500km）下对比了 FGSM、PGD、C&W 与 RTA 的表现。
| 攻击方法 | 预算 \(\epsilon\) | LPIPS (↓) | \(\text{ACC}_{\text{GT}}\)@1km (↓) | \(\text{ACC}_{\text{GT}}\)@25km (↓) | \(\text{ACC}_{\text{GT}}\)@2500km (↓) | \(\text{ACC}_{\text{Target}}\)@1km (↑) | \(\text{ACC}_{\text{Target}}\)@25km (↑) | \(\text{ACC}_{\text{Target}}\)@2500km (↑) |
|---|---|---|---|---|---|---|---|---|
| C&W (\(c=0.1\)) | - | 0.031 | 0.43% | 1.63% | 10.88% | 53.79% | 55.59% | 74.74% |
| C&W (\(c=1.0\)) | - | 0.079 | 0.10% | 0.43% | 3.97% | 81.95% | 83.35% | 90.52% |
| FGSM | 2/255 | 0.007 | 6.64% | 15.98% | 55.39% | 0.33% | 0.33% | 9.41% |
| PGD | 2/255 | 0.007 | 0.40% | 1.03% | 8.34% | 71.81% | 73.97% | 85.82% |
| RTA (本文) | 2/255 | 0.027 | 0.03% | 0.03% | 1.03% | 93.43% | 94.99% | 98.50% |
| FGSM | 4/255 | 0.042 | 4.57% | 12.08% | 49.15% | 0.40% | 0.40% | 11.64% |
| PGD | 4/255 | 0.044 | 0.00% | 0.07% | 1.27% | 96.63% | 98.13% | 99.03% |
| RTA (本文) | 4/255 | 0.059 | 0.00% | 0.00% | 0.73% | 98.93% | 99.73% | 99.93% |
在黑盒迁移性测试中，作者以 GeoCLIP 为替代模型生成对抗图像，迁移攻击当前最顶尖的视觉语言多模态定位大模型 Img2Loc 与 G3。黑盒受害者所使用的检索图库（MP16）规模比替代模型大 40 倍以上。下表报告了在 Im2GPS3k 上的真实位置残留率 \(\text{ACC}_{\text{GT}}\)（与专属防御基线 GeoShield 对比）：
| 受害模型 | 攻击方法 | \(\epsilon=2/255\) @1km (↓) | \(\epsilon=2/255\) @2500km (↓) | \(\epsilon=4/255\) @1km (↓) | \(\epsilon=4/255\) @2500km (↓) | \(\epsilon=16/255\) @1km (↓) | \(\epsilon=16/255\) @2500km (↓) |
|---|---|---|---|---|---|---|---|
| Img2Loc | GeoShield | 8.54% | 63.43% | 7.57% | 55.52% | 2.74% | 32.10% |
| Img2Loc | RTA (本文) | 2.77% | 27.86% | 2.20% | 24.52% | 1.80% | 21.19% |
| G3 | GeoShield | 12.38% | 78.14% | 9.71% | 68.67% | 3.74% | 45.01% |
| G3 | RTA (本文) | 1.17% | 19.12% | 0.80% | 15.42% | 0.73% | 16.08% |
消融实验¶
为了验证 RTA 的性能增益来源于地理空间的自适应路径设计而非单纯的计算量增加或随机搜索，作者在 Im2GPS3k 上与同等扰动预算 \(\epsilon = 2/255\) 下的多类 PGD 变体进行了严谨消融对比： - Multi-start：运行 5 路并行 PGD 并选出最优对抗样本。 - Random restart：在优化过程中注入随机噪声重启扰动。 - Interpolated：在源位置与目标位置之间进行确定性线性插值设定 5 个中间航标。
| 配置机制 | \(\text{ACC}_{\text{GT}}\)@1km (↓) | \(\text{ACC}_{\text{GT}}\)@2500km (↓) | \(\text{ACC}_{\text{Target}}\)@1km (↑) | \(\text{ACC}_{\text{Target}}\)@2500km (↑) | 说明 |
|---|---|---|---|---|---|
| Clean (原始无攻击) | 14.11% | 83.82% | - | - | 基准性能 |
| Standard PGD | 0.40% | 8.34% | 71.81% | 85.82% | 单一贪心轨迹 |
| Multi-start (5路并行) | 0.90% | 5.41% | 72.07% | 89.19% | 算力与路径扩展，但仍无空间退火 |
| Random restart | 0.45% | 8.55% | 64.27% | 82.90% | 随机探索扰动空间 |
| Interpolated (直线插值) | 0.99% | 13.77% | 32.13% | 68.32% | 确定性地理连线反而严重受限 |
| RTA (完整模型) | 0.03% | 1.03% | 93.43% | 98.50% | 自适应半径 + 束搜索协同 |
此外，图像感知质量指标评测显示： - 在 \(\epsilon = 2/255\) 时，GeoShield 的 LPIPS 为 0.047、PSNR 为 35.26 dB，而 RTA 的 LPIPS 仅为 0.027、PSNR 达到 41.42 dB。 - 当预算放大至 \(\epsilon = 16/255\) 时，GeoShield 的 LPIPS 飙升至 0.305（图像伪影极重，人眼明显察觉），而 RTA 仍保持在 0.174，PSNR 高出约 3 dB。
关键发现¶
- 低预算优势断层领先：在极小扰动 \(\epsilon = 2/255\) 下，标准 PGD 对 GeoCLIP 的 1km 定向成功率仅为 71.81%，而 RTA 达到了 93.43%，将大尺度真实残留率 \(\text{ACC}_{\text{GT}}\)@2500km 从 8.34% 进一步彻底压低到 1.03%。
- 确定性直线插值不可行：在消融中，Interpolated 变体（沿源点到目标直线插值设定中间点）表现最差，\(\text{ACC}_{\text{Target}}\)@1km 暴跌至 32.13%，证明特征空间的地理流形高度扭曲，强行按地球表面大圆直线行进极易陷入特征盲区，必须依靠随机采样配合束搜索进行动态试探。
- 自适应采样系数灵敏度：消融显示 \(\eta = 0.5\) 时在 1km 与 25km 严格阈值下表现最佳；若增大至 \(\eta = 1.5\)，过大的跳跃步幅破坏了优化平滑性，导致定向精度显著下降。
- 并行化与运行效率卓越：得益于多路中间目标的批量并行优化以及高精度促成的提前退出机制（Early Stopping），RTA 的单图生成耗时低于标准串行 PGD，且运行速度比专用的 GeoShield 快 8 倍（GeoShield 单图需约 20 秒，RTA 仅约 2.5 秒）。
亮点与洞察¶
- 将对抗攻击形式化为地理空间模拟退火：打破了在像素或潜变量特征空间进行无约束随机搜索的旧思路，创造性地利用物理世界经纬度坐标与 Haversine 几何距离，以动态收缩圆盘实现从粗粒度全局跳跃到细粒度精准落点的自适应退火。
- 高阶黑盒迁移穿透性：在小规模图库替代模型上优化得到的对抗样本，能够跨架构、跨图库（规模差异超过 40 倍）成功瘫痪前沿的多模态 VLM 定位系统（如 G3 与 Img2Loc），证明了地理空间多步伪装路径具有模型无关的表征共性。
- 兼顾极高隐蔽性与强防御效力：传统对抗攻击在追求高定向成功率时通常会破坏图像画质，RTA 通过寻找低能量障碍的中间跃迁路径，大幅降低了达到同等攻击效果所需的噪声强度，LPIPS 指标大幅领先现有防御基准。
局限与展望¶
- 作者承认的局限：当前的实验主要验证了在纯净数字输入场景下的定向欺骗效力，尚未针对图像预处理及净化类防御机制（例如 JPEG 压缩、Feature Squeezing 输入变换、DiffPure 等扩散模型生成净化以及恢复扰动）进行系统性的鲁棒性抗性评估。
- 自行发现的局限：在极端地貌（如荒漠、公海、极地冰原）等缺乏密集参考图库特征支撑的区域，中间目标的特征反向梯度可能较为稀疏或不稳定；此外，虽然替代模型图库较小，但仍需要地理检索模型的梯度回传，在完全无梯度的严格硬标签黑盒场景下尚无法直接应用。
- 改进方向：可进一步探索结合扩散先验（Diffusion Prior）在隐空间内实现完全免梯度的语义级地理扰动；针对常见社交平台压缩机制引入可微 JPEG 变换增强物理世界鲁棒性。
相关工作与启发¶
- vs PGD / C&W: 传统梯度攻击在图像空间沿着单一目标方向贪心迭代，在高度非凸、多峰且存在模态断裂的地理特征空间中极易陷入局部最优；RTA 引入“公路旅行”概念，利用束搜索维护多条动态探索分支，在同等甚至更低的扰动预算下大幅提升了定向攻击成功率。
- vs GeoShield: GeoShield 是此前唯一的地理定位对抗防御工作，其依赖语义解耦与显著区域暴露检测生成对抗补丁，不仅推断耗时极长（约 20s/图），且生成的局部伪影在人眼下极为明显；RTA 则全图施加自适应全局微小扰动，速度提升 8 倍，视觉保真度（PSNR/LPIPS）全面占优，且在低预算黑盒迁移中欺骗效果更彻底。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐（首次将地理流形大圆距离与自适应退火机制引入对抗攻击，跳出特征空间贪心优化的思维定式，构思非常优雅巧妙）
- 实验充分度: ⭐⭐⭐⭐⭐（覆盖了 Im2GPS3k 与 YFCC4k 两大基准，涵盖白盒攻击、跨模型跨大图库黑盒迁移、多种 PGD 变体消融、感知质量评估及耗时内存分析，论证极其详实）
- 写作质量: ⭐⭐⭐⭐⭐（动机阐述深刻，几何直觉与公式定义清晰严密，算法伪代码与参数敏感性分析完备）
- 价值: ⭐⭐⭐⭐⭐（为位置隐私保护、反地理追踪与具身视觉安全领域提供了全新范式，兼具强理论启发与极高的工程实用价值）