TIGER-FG: Text-Guided Implicit Fine-Grained Grounding for E-Commerce Retrieval¶

会议: NeurIPS 2026
arXiv: 2605.18434
领域: 其他
关键词: 图像到多模态检索, 细粒度定位, 隐式文本引导, 知识蒸馏, 电商搜索

一句话总结¶

针对电商图像搜索中局部查询框与全图多模态商品间的模态与粒度双重不对齐难题，TIGER-FG提出无需显式目标检测的文本引导隐式细粒度定位双塔检索框架，结合空间关系与相似度分布双重蒸馏以及抗混淆训练，以轻量256维表征大幅超越主流多模态大模型基线。

研究背景与动机¶

在现代电商图像搜索系统中，用户通常以上传或拍摄的商品图片为起点。工业落地的常见交互是由上游检测器从用户图像中提取目标候选框，或者由用户手动框选感兴趣的主体，从而形成局部的视觉查询（cropped visual query）。然而在商品库候选侧，每一个入库条目均由包含复杂背景、杂乱陈列或多个共存商品的完整商品大图，以及由标题、类目层级和属性构成的结构化文本共同描述。这种非对称的图像到多模态检索（Image-to-Multimodal Retrieval, IMMR）设定，催生了传统多模态检索无法有效应对的两个核心难题：其一是模态鸿沟（modality disparity），即纯视觉查询必须映射到与图文混合商品候选兼容的表征空间；其二是粒度不匹配（granularity disparity），即局部细粒度商品框需要直接与包含无关背景和强视觉干扰项的全景大图进行匹配，传统全局整图表征极易被与查询无关但视觉显著的背景实体所主导。

为解决粒度不对齐问题，现有工业实践通常依赖显式检测或定位管线（如先运行检测器裁剪候选框，再借助文本筛选最佳区域入库），但这不仅引入了多阶段索引的巨大延迟与部署开销，还会导致检测截断与级联误差积累；而通用多模态双塔（如CLIP、BLIP）或新兴多模态大语言模型（如Qwen3-VL-Embedding）虽支持高效向量检索，却仅能输出整图全局嵌入，在商品图像存在多商品共存或复杂视觉干扰时极易发生注意力漂移。这一困境的核心矛盾在于：商品库建库与检索要求极高的高并发与低计算开销（无法在线运行复杂检测或跨模态交叉注意力重排），但准确匹配又严重依赖商品图内局部的目标级视觉证据。

本文的切入视角在于重新审视电商商品候选数据的天然结构——商品自带的结构化文本（标题、品类、属性）已经详尽指明了目标商品的语义身份。核心 idea：无需在检索或索引阶段引入显式目标检测框，直接利用商品的结构化文本作为语义先验，通过两阶段交叉注意力隐式引导视觉 patch token 的交互与聚合，同时引入空间关系与跨模态相似度双重蒸馏约束，在保持双塔高效检索的同时实现目标聚焦的细粒度图文多模态表征。

方法详解¶

整体框架¶

TIGER-FG 采用非对称的双塔向量检索架构。查询侧采用独立的视觉编码器，直接将局部商品裁剪图映射为低维查询向量；商品候选侧则由视觉骨干网络与文本编码器分别提取商品大图的 patch tokens 与结构化文本 tokens，送入核心的多模态融合模块中。该模块利用一组可学习查询向量，依次进行文本引导交叉注意力与图像 patch 交叉注意力，并辅以结合全局分类 token 的互补视觉分支，隐式提取聚焦于目标商品的统一多模态向量。在训练阶段，算法利用商品目标框作为辅助监督，通过区域-文本对比对齐、目标锚定融合表征对齐，以及空间关系蒸馏和跨模态相似度分布蒸馏进行联合约束。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    subgraph QuerySide["查询侧编码"]
        direction TB
        Q_IN["局部查询裁剪图"] --> Q_ENC["查询视觉编码器<br/>(DINOv3 ViT)"]
        Q_ENC --> Q_VEC["查询向量"]
    end

    subgraph ItemSide["商品侧编码与隐式定位"]
        direction TB
        I_IMG["商品全图"] --> V_ENC["商品视觉编码器 (ViT)"]
        I_TXT["结构化商品文本"] --> T_ENC["文本编码器 (BERT)"]
        V_ENC --> V_TOK["图像 Token / CLS"]
        T_ENC --> T_TOK["文本 Token"]

        T_TOK & V_TOK --> S1["文本引导交叉注意力<br/>(可学习 Query: 文本→图像)"]
        V_TOK & S1 --> S2["互补视觉分支<br/>(语义特征 + CLS 双锚点池化)"]
        S1 & S2 --> RES["残差融合"]
        RES --> ITEM_VEC["商品多模态向量"]
    end

    Q_VEC & ITEM_VEC --> LOSS_D["双塔对比匹配与相似度蒸馏"]
    V_TOK & ITEM_VEC --> LOSS_R["空间关系蒸馏与目标锚定正则"]

关键设计¶

1. 文本引导交叉注意力：两阶段查询槽隐式提取目标商品表征 为了在不进行显式目标检测或框回归的前提下，从复杂的候选全景图中滤除背景与无关干扰物，模型设计了基于可学习查询槽（query tokens）的级联注意力机制。针对候选商品全图提取的视觉 patch tokens 和结构化文本 tokens，模块维护 $N_q=8$ 个可学习 query 向量 $\mathbf{Q}$。查询向量首先作为 query 与文本 tokens 进行 cross-attention，将商品标题和类目的语义信息注入 query 中，生成条件化查询向量 $\mathbf{Q}'$；随后 $\mathbf{Q}'$ 再作为 query 与视觉 patch tokens 进行第二阶段 cross-attention，引导视觉注意力自发聚焦到与文本语义匹配的局部像素区域，得到富含目标线索的特征槽 $\widetilde{\mathbf{V}}$。最后，通过轻量级 MLP 计算注意力权重 $\boldsymbol{\pi}=\mathrm{softmax}(\mathrm{MLP}_\pi(\widetilde{\mathbf{V}}))$ 并加权求和，输出纯文本引导的语义向量 $\mathbf{f}^{\mathrm{m}}$。

2. 互补视觉分支：双锚点加权池化保留文本未提及的外观线索 纯文本引导虽然能有效定位目标实体，但电商标题和属性往往无法穷尽商品的全部低层视觉细节（如特殊图案、纹理微结构或未标明的色泽）。为了防止重要视觉信息在强文本引导下被过度滤除，模型引入了基于双锚点的互补视觉分支（CLS-Guided path）。该分支计算视觉 patch tokens 与两个互补锚点的余弦相似度：一个是前述文本引导特征 $\mathbf{f}^{\mathrm{m}}$，另一个则是视觉编码器的全局类别 token $\mathbf{c}'$。两者经 $\ell_2$ 归一化后以等权重加权融合（$\lambda_m = \lambda_c = 0.5$），生成温度控制下的 patch 归一化注意力权重： $$\mathbf{s} = \lambda_m\,\mathrm{norm}(\mathrm{sim}(\mathbf{f}^{\mathrm{m}}, \mathbf{V}')) + \lambda_c\,\mathrm{norm}(\mathrm{sim}(\mathbf{c}', \mathbf{V}')),\quad \mathbf{f}^{\mathrm{a}} = \sum_{k=1}^{N_v}\frac{\exp(s_k / \tau_p)}{\sum_{\ell=1}^{N_v}\exp(s_\ell / \tau_p)}\,\mathbf{V}'_k$$ 最终商品表示采用残差结构将两者融合：$\mathbf{f}^{\mathrm{i}} = \mathbf{f}^{\mathrm{m}} + \mathrm{MLP}(\mathbf{f}^{\mathrm{a}})$，兼顾了精准的目标语义聚焦与丰富的细粒度视觉表现力。

3. 空间关系与相似度分布双重蒸馏：微观几何一致性与宏观全局结构的端到端约束 为了在训练期有效约束学生网络且不引入推理负担，TIGER-FG 设计了互补的双重蒸馏体系。在微观层次上，采用空间关系蒸馏（$\mathcal{L}_{\mathrm{SRD}}$）：以冻结的 DINOv3 ViT-B/16 为教师网络，通过 ROI Align 仅在目标框区域采样教师与学生特征网格，计算区域内部 patch 间的自相似度矩阵并施加行归一化 KL 散度约束，促使学生视觉网络在多模态联合调优过程中不破坏目标区域底层的空间自组织先验，且隔绝了背景噪声污染。在宏观层次上，采用相似度分布蒸馏（$\mathcal{L}_{\mathrm{SDD}}$）：以经过大规模自监督 MoCo 预训练的以图搜图检索模型为教师，将查询框与批次内各商品真实目标框之间的图像相似度分布，通过 KL 散度对齐到双塔学生网络预测的查询-多模态候选相似度分布上，将成熟的图像级判别结构端到端迁移至多模态表征中。

4. 抗混淆 Mosaic 数据增强与跨类别硬负样本构造：破除中心偏置与视觉假阳性 电商真实图库中存在强烈的中心摆放偏置，且常规批次对比学习难以区分同一大图中的共存商品。为此，训练中构建了 1:1 的原始与 Mosaic 混叠合成样本流：将目标商品裁剪图与随机采样的跨类别干扰商品（最多 4 个）拼贴在随机背景图的不同尺度与位置，并强制将拼贴中所用商品的多个条目放入同一 mini-batch。这迫使模型在面对具有极高视觉相似度但在标题语义上存在分野的候选时，必须强制依赖文本引导准确捕获对应目标。此外，在训练目标中为每个样本引入 $K=1$ 个跨类别错配文本合成的硬负商品向量 $\mathbf{f}^{\mathrm{i,neg}}$，施加 softplus 惩罚，有效防止图文融合表征退化为无关图文的粗粒度假阳性匹配。

损失函数 / 训练策略¶

模型采用端到端联合多任务优化，总损失函数包含商品侧正则项 $\mathcal{L}_{\mathrm{item}}$ 与双塔检索项 $\mathcal{L}_{\mathrm{dual}}$： $$\mathcal{L} = \lambda_{\mathrm{dual}}\,\mathcal{L}_{\mathrm{dual}} + \lambda_{\mathrm{item}}\,\mathcal{L}_{\mathrm{item}}$$ 其中商品侧损失为： $$\mathcal{L}_{\mathrm{item}} = \lambda_{v2t}\mathcal{L}_{v2t} + \lambda_{i2v}\mathcal{L}_{i2v} + \lambda_{\mathrm{SRD}}\mathcal{L}_{\mathrm{SRD}}$$ $\mathcal{L}_{v2t}$ 为目标局部裁剪图与文本在独立对齐空间中的双向对比损失，提前构筑模态桥梁；$\mathcal{L}_{i2v}$ 则将融合后的商品向量 $\mathbf{f}^{\mathrm{i}}$ 拉向目标框特征锚点 $\mathbf{f}^{\mathrm{b}}$，并对错配文本硬负例施加 softplus 惩罚。双塔检索损失包含注入硬负例的双向对比损失 $\mathcal{L}_{q2i}$ 与相似度蒸馏损失 $\mathcal{L}_{\mathrm{SDD}}$： $$\mathcal{L}_{\mathrm{dual}} = \lambda_{q2i}\mathcal{L}_{q2i} + \lambda_{\mathrm{SDD}}\mathcal{L}_{\mathrm{SDD}}$$ 训练超参数设置为 $\lambda_{v2t}=0.5, \lambda_{i2v}=0.1, \lambda_{\mathrm{SRD}}=1.0, \lambda_h=0.1, \lambda_{q2i}=1.0, \lambda_{\mathrm{SDD}}=1.0$。所有温度参数均设为 0.07。在 8 张 H800 GPU 上采用 AdamW（学习率 $2\times 10^{-5}$，batch size 256，bf16 混合精度）在构建的 1000 万对大规模数据集上微调 10 个 epoch，耗时仅约 14 GPU 时。

实验关键数据¶

主实验¶

在构建的工业级大规模电商基准 ECom-RF-IMMR-Normal（标准测试集，10万对）与 ECom-RF-IMMR-Mosaic（强干扰多商品杂乱测试集，10万对）上，与多类代表性多模态大模型及检索模型对比（指标单位为 %）：

数据集	模型	参数量	向量维度	Recall@1	Recall@4	MRR@10	NDCG@10
Normal	CLIP-SF	188.3M	512	66.9	85.7	75.8	79.9
Normal	BLIP-FF	223.7M	768	68.8	86.0	77.0	80.7
Normal	Qwen3-VL-Emb	2.1B	2048	74.0	90.0	81.5	84.8
Normal	Ops-MM-Emb	2.2B	1536	72.7	90.3	81.0	84.5
Normal	TIGER-FG	85.7M	256	80.1	95.3	87.2	90.0
Mosaic	CLIP-SF	188.3M	512	30.0	49.4	39.6	44.9
Mosaic	BLIP-FF	223.7M	768	16.1	27.7	22.0	25.2
Mosaic	Qwen3-VL-Emb	2.1B	2048	40.8	59.7	49.9	54.5
Mosaic	Ops-MM-Emb	2.2B	1536	31.9	51.8	41.7	46.9
Mosaic	TIGER-FG	85.7M	256	75.2	93.5	83.7	87.2

消融实验¶

在挑战性更高的多实体杂乱测试集 ECom-RF-IMMR-Mosaic 上的逐项消融验证结果（指标单位为 %）：

配置	Recall@1	Recall@4	Recall@10	MRR@10	说明
TIGER-FG (Full model)	75.2	93.5	97.8	83.7	完整模型（1:1 Mosaic混叠训练）
CLIP-backbone	64.6	85.8	93.1	74.6	骨干网换用 CLIP ViT（掉点 10.6%）
w/o CVB	74.8	93.3	97.8	83.4	去除互补视觉分支（微弱掉点，外观线索缺失）
w/o SRD	75.3	93.5	97.8	83.8	去除空间关系蒸馏（排序微变，但注意力热力图变发散）
w/o SDD	69.9	91.1	96.8	79.7	去除相似度分布蒸馏（大幅掉点 5.3%）
TIGER-FG-RAW	47.8	64.0	70.7	55.6	仅用纯净原图训练、无 Mosaic 增强（剧烈掉点 27.4%）

关键发现¶

大模型并非非对称细粒度检索的万灵丹：21 亿到 22 亿参数规模的 Qwen3-VL-Embedding 和 Ops-MM-Emb 在面对杂乱背景与共存商品时，Recall@1 分别骤降至 40.8% 与 31.9%。这表明没有细粒度解耦与显式/隐式定位机制的整图多模态表征，在应对多实体混淆场景时存在固有的表征坍缩缺陷。
抗混淆训练是破除中心偏置的关键瓶颈：在消融实验中，去掉 Mosaic 混叠训练的 TIGER-FG-RAW 在 Mosaic 测试集上的 Recall@1 从 75.2% 暴跌到 47.8%（掉点达 27.4 个百分点），但在干净的 Normal 测试集上仍能达到 79.4%。这证明常规单商品居中数据训练出来的模型严重依赖位置先验与全局显著性，只有通过同批次硬负混叠才能真正激活文本对视线焦点的定向引导能力。
全局相似度蒸馏与底层空间正则分工明确：去除基于图像检索教师的相似度分布蒸馏（$\mathcal{L}_{\mathrm{SDD}}$）导致 Recall@1 显著下滑 5.3%，证明跨模态检索亟需单模态精准视觉得分的相对排序引导；而去除底层空间关系蒸馏（$\mathcal{L}_{\mathrm{SRD}}$）虽然在数值指标上差异极小（75.3% vs 75.2%），但在注意力热图定性分析中，缺乏 SRD 的模型激活区域明显发散模糊，缺乏实体轮廓凝聚力。

亮点与洞察¶

解耦推理与训练的定位范式：以往解决粒度不一致要么必须先挂载复杂的目标检测网络（耗时长、维护重、误差不可逆），要么依赖通用多模态整图表征（抗干扰差）。TIGER-FG 仅在离线训练阶段借助辅助边界框进行软性正则化与蒸馏，而在建库及在线检索时完全摈弃边界框预测，仅用 85.7M 查询参数与 256 维紧凑特征即达成毫秒级高效向量匹配。
文本作为无感应视线引导器（Gaze Router）：设计利用可学习 query 槽先后穿透文本语义与图像视觉 token，把商品结构化文本转变为自发寻找图中对应区域的注意力控制器，巧妙利用电商商品标题原本就具有高度属性密集的特点，变文本为定位锚点。
可复用的批次同构 Mosaic 竞争机制：将同一拼贴图中的不同商品分别配对各自标题打入同一 mini-batch，构造出图像完全相同但文本与查询不同的硬核负样本竞争环境，是训练细粒度视觉定位模型极具借鉴价值的数据增强技巧。

局限与展望¶

依赖相对规范的商品结构化文本：模型高度依赖文本信息对视觉 patch 进行路由。如果商品标题极短、缺失品类关键字，或者充斥无意义营销违禁词/堆砌词，文本引导可能失效甚至反向误导视觉注意力。
辅助框监督在非电商领域的标注与挖掘代价：虽然推理时不依赖检测框，但训练数据构建管线仍然使用了 GroundingDINO 与离线预标注模型生成伪标注框。若向通用跨模态检索或未标注垂直领域迁移，初期构建高质量弱监督对齐三元组存在一定流程门槛。
多主体共存时的单向量容量上限：当候选商品图像极其复杂、或包含多套搭售配件时，将整套图文压制为单个 256 维向量，可能在面对复杂组合查询时遇到表征容量瓶颈，未来可探索多向量表示或局部 Late-Interaction 混合架构。

评分¶

新颖性: ⭐⭐⭐⭐ [摆脱显式检测器的束缚，提出纯双塔架构下的文本引导隐式细粒度定位与双重蒸馏，思路清晰巧妙]
实验充分度: ⭐⭐⭐⭐⭐ [自建千万级真实电商 IMMR 评测集与 Mosaic 干扰基准，覆盖消融、公开数据集评测与多维度定性可视化]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严密，非对称检索与双重差距的提炼准确，公式与架构图规范精简]
价值: ⭐⭐⭐⭐⭐ [直击工业界电商以图搜商品中多主体、复杂背景与工程延迟的核心痛点，具有极强的工程落地推广价值]