ReliefSAM: A Geometry-Augmented Multi-Prior Adapter for Bas-Relief Segmentation¶

会议: ECCV 2026
论文: ECCV 官方页面
领域: 语义分割
关键词: 浮雕分割、SAM、参数高效微调、几何先验、文化遗产数字化

一句话总结¶

针对浅浮雕单目历史照片中由于极端材质同质性与微弱几何反差导致的边界分割难题，ReliefSAM 冻结 SAM 主干并通过轻量多先验特征编码器与双向交互适配器，显式注入从单幅 RGB 生成的图像对齐深度与软边缘先验，在免提示条件下实现了高精度的浮雕人体区域分割。

研究背景与动机¶

低浮雕（浅浮雕）石雕作为珍贵的文化遗产载体，密集记录了历史叙事、宗教典故与古代社会生活（如印尼婆罗浮屠寺院著名的“隐秘浮雕” Karmawibhangga）。在这些雕刻场景中，人物形象通常是传递叙事核心的语义主体，因而对其进行精确分割是推动文物数字化存档、图像检索以及后续考古与艺术史分析的关键基础。然而，由于历史加固工程、物理风化侵蚀或文保限制，大量浮雕早已被重新掩埋或处于不可逆的劣化状态，现场激光雷达扫描或结构光 3D 采集往往完全无法实施，研究人员只能依赖百余年前拍摄的单目存档黑白或彩色照片作为唯一的视觉证据。

在单目照片上进行浮雕人体分割面临着极其严峻的视觉挑战。与自然图像不同，浮雕完全由均质石材雕凿而成，前景人物与背景石壁在色调、纹理与反射率上高度同质化，传统的色度反差几乎完全失效。前景与背景的区分本质上完全依赖于微弱的 2.5D 浅浮雕起伏与柔和过渡边缘，而这些微弱的几何线索又极易被岁月留下的风化裂痕、剥落和物理破损所干扰。以 SAM 为代表的基础分割模型尽管在自然图像上表现出强大的零样本泛化能力，但其特征表示高度偏向自然外观纹理，面对缺乏色彩对比且边界模糊的浅浮雕表面时，既容易漏检平缓起伏的人体部位，又极易将杂乱的岩石风化裂缝误判为语义边界；现有的微调或适配方法若简单引入单一种类的几何线索，又常因先验本身的系统性偏差引发模态干扰。

针对缺乏现场 3D 数据且基础模型难以感知浅层微弱几何的瓶颈，本文提出了完全基于单幅 RGB 历史照片的无提示参数高效适配框架 ReliefSAM。核心 idea：无需外部 3D 传感器，直接从单幅单目 RGB 照片中恢复图像对齐的深度与软边缘先验，通过轻量级多先验特征编码器协同校准，并以“提取-注入”双向交叉注意力适配器将几何共识注入冻结的 SAM 编码器，用互补的 2.5D 几何约束中和单一先验偏差并打破纯外观性能上限。

方法详解¶

整体框架¶

ReliefSAM 的输入仅为单幅单目 RGB 浮雕照片 $\mathbf{I}_{\mathrm{rgb}} \in \mathbb{R}^{B \times 3 \times H \times W}$，输出为全分辨率下的前景人体二值掩码概率图 $\hat{\mathbf{Y}} \in [0, 1]^{B \times 1 \times H \times W}$。整个框架由三大核心阶段构成：首先从输入的单幅 RGB 照片中直接推导生成像素级对齐的单目深度图 $\mathbf{D}$ 与软边缘图 $\mathbf{E}$；随后，由轻量级多先验特征编码器（Multi-Prior Feature Encoder, MFE）将双路先验映射为紧凑的空间几何 token $\mathbf{Z}$，并通过通道重校准增强特征表达；接着，在冻结的 SAM ViT 图像编码器的指定 Transformer 层插入浮雕几何适配器（Relief-Specific Geometric Adapter），以“先提取后注入”的双向交叉注意力机制实现几何与视觉表征的渐进融合；最后，SAM 掩码解码器在无人工提示模式下直接预测前景概率图，并配合全图重叠滑动窗口与高斯加权融合策略输出无缝的高清全景分割掩码。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["单目浮雕输入照片<br/>I_rgb"] --> B["图像对齐多先验提取<br/>推导深度图 D 与软边缘图 E"]
    B --> C["多先验特征编码器 MFE<br/>双分支CNN提取 + SE通道重校准"]
    A --> D["冻结的 SAM ViT 图像编码器"]
    C --> E["浮雕几何适配器<br/>双向交叉注意力抽取-注入交互"]
    D <--> E
    D --> F["免提示掩码解码<br/>默认无掩码嵌入 + 单掩码输出"]
    F --> G["高斯加权滑动窗口推理<br/>重叠块预测与平滑拼接"]
    G --> H["最终高质量全分辨率掩码"]

关键设计¶

1. 图像对齐多先验生成与轻量编码：以自生几何互补破除材质同质性
针对浅浮雕在无外部 3D 采集条件下色调单一、无法依靠 RGB 边界分离前背景的痛点，模型必须从二维图像中显式恢复隐含的 2.5D 几何结构。传统 Canny 算子面对风化岩石会产生海量高频噪声碎斑，通用单目深度估计在低反差表面又容易压制起伏微弱的雕刻起伏。本文引入专门针对浮雕文物优化的先验生成机制，分别提取保留曲率细节（如五官轮廓）的深度先验 $\mathbf{D} \in \mathbb{R}^{B \times 1 \times H \times W}$ 以及模拟点云随机表面渲染软边缘的边缘置信图 $\mathbf{E} \in \mathbb{R}^{B \times 1 \times H \times W}$，归一化后送入轻量多先验特征编码器（MFE）。MFE 采用两个平行的 5 层 $3\times3$ Conv-BN-ReLU 卷积分支分别提取深度特征 $\mathbf{F}_d$ 与边缘特征 $\mathbf{F}_e$（通道数各占 $C$ 的一半），沿通道拼接后输入 Squeeze-and-Excitation (SE) 模块进行通道自适应重校准： $$\mathbf{s} = \sigma\left(W_2 \delta(W_1 \mathbf{a})\right) \in (0, 1)^{B \times C}$$ 其中 $\mathbf{a}$ 为全局平均池化描述子，$\delta$ 为 ReLU，$\sigma$ 为 Sigmoid。重校准后的特征展平重排为几何 token $\mathbf{Z} \in \mathbb{R}^{B \times N_g \times C}$（维度 $C$ 与 SAM 嵌入对齐），使深度提供的保守轮廓与边缘提供的敏锐边界在进入主干前完成初步协同。

2. 浮雕几何适配器：先提取后注入的双向跨模态交互
直接将外部几何先验（如逐元素相加）粗暴混入预训练视觉表征，会不可避免地将先验中的风化裂隙伪影与估计噪声扩散至整个主干网络。为此，本文设计了浮雕特定的几何适配器，在 ViT-B 的第 2、4、6、8、10 层以及编码器最终输出端插入两级预归一化交叉注意力结构。该结构遵循“先提取后注入”的时序逻辑：第一步，抽取器（Extractor）让几何 token $\mathbf{Z}$ 作为 Query 跨模态查询当前图像 token $\mathbf{X}^{(l)}$ 的 Key 和 Value： $$\mathbf{Z} \leftarrow \mathrm{CA}\left(\mathrm{LN}(\mathbf{Z}), \mathrm{LN}(\mathbf{X}^{(l)})\right)$$ 此举利用图像上下文感知当前物体的语义分布，动态过滤掉先验中与人物主体无关的孤立破损碎斑；第二步，注入器（Injector）再让更新后的图像 token 作为 Query 反向检索过滤后的几何 token： $$\mathbf{X}^{(l)} \leftarrow \mathbf{X}^{(l)} + \mathrm{CA}\left(\mathrm{LN}(\mathbf{X}^{(l)}), \mathrm{LN}(\mathbf{Z})\right)$$ 这一机制使 SAM 视觉特征流仅选择性吸纳经由语义校验的高置信几何约束，从而在中和单一模态偏差的同时，牢固确立前景与背景的几何分界。

3. 免提示解码与高斯平滑全景推理：兼顾全自动流线与超大分辨率拼接
浮雕全景壁画往往达到数千像素甚至更大（如婆罗浮屠面板为 $3200 \times 1024$ 像素），且实际存档文档处理要求全自动化批处理，无法进行逐点逐框的人工交互提示。在解码端，本文将 SAM 原始 Prompt Encoder 冻结并不提供任何人工点/框输入，完全依赖其默认的无掩码可学习嵌入（no-mask embedding）触发 Mask Decoder，并强制设置 multimask_output=False 输出单一前景通道。在全景推理阶段，系统采用步长为 64、窗口为 $1024 \times 1024$ 的同步多模态重叠滑动窗口切片策略。针对重叠预测区域拼缝容易出现的阶跃伪影，设计了基于空间二维高斯分布的置信度融合权重核 $\mathbf{G}$，对重叠局部概率图累积加权： $$\hat{\mathbf{Y}} = \frac{\mathbf{S}}{\mathbf{W} + \epsilon} = \frac{\sum_k \mathbf{G}_k \odot \hat{\mathbf{Y}}_k}{\sum_k \mathbf{G}_k + \epsilon}$$ 最终以 0.5 固定阈值二值化输出整幅浮雕壁画的无缝平滑分割掩码。

损失函数 / 训练策略¶

训练过程采用联合软 Dice 损失与 Focal 损失构建监督目标，兼顾整体结构重合度与困难边界像素的挖掘。损失函数形式为： $$\mathcal{L} = \lambda_{\mathrm{dice}} \mathcal{L}_{\mathrm{dice}} + \lambda_{\mathrm{focal}} \mathcal{L}_{\mathrm{focal}}$$ 其中软 Dice 损失定义为 $\mathcal{L}_{\mathrm{dice}} = 1 - \frac{2\langle\hat{\mathbf{Y}}, \mathbf{Y}\rangle + \epsilon}{\|\hat{\mathbf{Y}}\|_1 + \|\mathbf{Y}\|_1 + \epsilon}$，Focal 损失配置权重参数 $\alpha = 0.25$ 与聚焦指数 $\gamma = 2.0$。平衡权重满足 $\lambda_{\mathrm{dice}} = \lambda_{\mathrm{focal}} = 1$。模型训练严格冻结 SAM ViT-B 图像编码器与 Prompt 编码器，仅优化轻量级 MFE、各层适配器模块以及 SAM Mask Decoder。在单张 NVIDIA RTX 5090 (32GB) 上使用 AdamW 优化器以批大小 2、学习率 $1 \times 10^{-4}$、权重衰减 $1 \times 10^{-4}$ 配合余弦退火策略训练 50 个 epoch。

实验关键数据¶

主实验¶

实验基于印尼婆罗浮屠寺院 156 幅被重新掩埋的“隐秘浮雕”（Karmawibhangga）单目高分辨率历史照片（原生分辨率 $3200 \times 1024$）开展，划分 116 幅用于训练、20 幅用于验证、20 幅用于严格的图像级无信息泄漏测试。所有模型均在相同切片与滑动窗口评估协议下测试。

方法	主干网络	IoU (%) ↑	Dice (%) ↑	训练配置
SegFormer	MiT-B3	87.86	93.45	全图重叠滑动推理
DeepLabV3+	ResNet-50	89.32	94.27	全图重叠滑动推理
SAM-DecoderFT	ViT-B	83.82	90.95	冻结编码器，微调解码器
SAM-Adapter (纯RGB基线)	ViT-B	91.25	95.37	插入适配器微调，无先验
ReliefSAM (本文)	ViT-B	91.78	95.65	轻量多先验+双向适配器

消融实验¶

为了严格分离网络结构适配与多几何先验带来的实际收益，论文在固定 SAM-Adapter 主干的基础上，详细对比了引入孤立几何先验与协同双先验的精度表现（表 2 与表 3）：

变体配置	深度先验 (Depth)	边缘先验 (Edge)	IoU (%) ↑	Dice (%) ↑	精确率 Precision (%)	召回率 Recall (%)
SAM-Adapter (纯RGB)	✗	✗	91.25	95.37	94.50	96.31
+ Depth prior (单深度)	✓	✗	89.97	94.57	95.37	93.89
+ Edge prior (单边缘)	✗	✓	90.52	94.95	92.65	97.43
ReliefSAM (双先验全模型)	✓	✓	91.78	95.65	94.26	97.14

关键发现¶

单一先验引发的“模态偏置冲突”：单纯给强 RGB 适配器引入单模态几何先验反而导致总性能下降（单深度下降 1.28% IoU，单边缘下降 0.73% IoU）。深入 Precision-Recall 统计揭示了根本原因：深度先验表现保守，抑制了假阳性，取得最高的 95.37% 精确率，但由于浮雕起伏平缓导致细致弱边界漏检，召回率骤降至 93.89%；相反，边缘先验极为激进，取得最高的 97.43% 召回率，但将石材风化裂缝与破损纹理误检为边界，导致精确率大幅下滑至 92.65%。
几何共识的双向互补机制：只有在 MFE 和双向适配器中同时注入深度与软边缘时，深度先验对假阳性的压制能力与边缘先验对弱边界的敏锐捕获能力形成几何共识，成功中和了各自的独立偏置，最终以 91.78% IoU 和 95.65% Dice 打破纯 RGB 表征的天花板。
参数高效适配相对解码器微调的巨大飞跃：仅微调 SAM 解码器（SAM-DecoderFT）在浮雕任务上出现严重过拟合与表征受阻（仅 83.82% IoU），而通过在冻结编码器中插入轻量适配器引导特征表征，性能跃升超过 7.4 个点，证明在主干编码阶段校准浮雕特征是攻克该任务的先决条件。

亮点与洞察¶

从单目图像内生 2.5D 几何闭环：该设计巧妙摆脱了对昂贵且难以获取的现场 3D 扫描硬件的依赖，完全依靠单幅归档照片自举提取深度与软边缘，为大量已损坏、被掩埋或受限文物的数字化解开了数据依赖死锁。
深入揭示单一先验的模态干扰与双先验互补现象：指出了多模态几何融合中“盲目堆叠特征易造成性能反噬”的规律，通过深度（保守、重结构、提精确率）与软边缘（激进、重局部边界、提召回率）的精准抗衡，确立了先验正负抵消达到全局最优的范式。
抽取-注入双向跨注意力降噪机制：适配器先利用图像上下文反查几何信息过滤风化碎斑，再将提纯后的几何结构回灌主干特征流，这种过滤式交互可直接复用于工业缺陷检测、遥感伪装识别等同质材质复杂分割任务。

局限与展望¶

作者承认的局限：目前任务仅聚焦于浮雕人像的二值语义分割，尚未拓展至浮雕中伴随的复杂动物、神祇、建筑构件等细分多类别实例语义分割。
先验生成质量的鲁棒性瓶颈：所提取的深度与软边缘先验高度依赖前端特定单目估计网络的预处理性能，若历史底片存在严重感光衰减、对焦失真或化学霉斑，前期估计误差可能会传递并影响下游适配器。
未来改进方向：可进一步探索端到端的联合先验估计与分割优化，引入频域解耦机制分离高频风化噪声，并探索从二值人物向神话浮雕多语义元素全景解析的拓展。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次针对单目浮雕历史存档照片构建深度与边缘双先验适配架构，并系统论证了单一先验偏置与双先验中和共识机制。
实验充分度: ⭐⭐⭐⭐☆ 在印尼官方婆罗浮屠 156 幅重埋浮雕高清基准上进行了系统严谨的评估与详细的 Precision/Recall 归因消融。
写作质量: ⭐⭐⭐⭐⭐ 论文结构紧凑，动机阐述切中要害，逻辑自洽且图表分析透彻有力。
价值: ⭐⭐⭐⭐⭐ 为无法复测的世界级重埋文化遗产数字化归档开辟了切实可行且极具启发意义的无损技术路径。