Learning Structured Visual Compositional Representations for Weakly Supervised Referring Expression Comprehension¶

会议: ECCV 2026
论文: ECCV 2026 Poster
代码: https://github.com/quiet5daxis/SVCR
领域: 多模态VLM
关键词: 弱监督指代理解、结构化视觉表示、组合式对齐、一元对象表示、成对关系表示

一句话总结¶

针对弱监督指代理解（WREC）将关系与上下文隐式压缩为扁平一元 Anchor 的表征失配问题，本文提出 SVCR 框架，显式构建解耦的一元对象表示与成对关系表示空间，并以多粒度弱监督组合对齐与层次一致性约束实现高精度零边界框视觉定位。

研究背景与动机¶

指代理解（Referring Expression Comprehension, REC）旨在根据自然语言描述在图像中精准定位对应目标，是人机交互与视觉导航等具身智能任务的核心基础。尽管全监督方法依托密集的边界框标注取得了优异性能，但标注成本极其高昂且跨域迁移难度大，促使研究转向仅依赖图像-文本对的弱监督指代理解（WREC）。当前主流 WREC 方法普遍采用单阶段 Anchor 范式，通过对比学习在候选 Proposal 上迭代挖掘伪正样本并实施隐式期望最大化（EM）优化。为提升判别力，近期方案常引入多源基础模型特征、空间几何或类别先验对 Anchor 进行增强。

然而，现有方法在视觉表征与跨模态对齐上存在本质结构缺陷：所有上下文和关系交互最终都被压缩回孤立的一元 Anchor 嵌入中，导致视觉表征空间结构上极度扁平。而自然语言指代表达天然具备组合性与关系性，往往不仅包含目标本身的属性（如“黑色”、“木质”），更依赖复杂的成对空间与语义关系（如“桌子上的”、“在男人左边”）。当多物体间的交互信号被强行揉杂在单一 Anchor 的一元向量里时，关系语义不可避免地与单体外观、类别线索纠缠在一起，使得模型在面对复杂组合表达时难以准确建立判别边界。

本文的切入角度是打破一元表征的固有局限，让视觉特征空间的粒度与语言的组合结构显式镜像对齐。核心 idea：显式解耦并构建包含一元对象表示（UOR）与成对关系表示（PRR）的结构化视觉表征空间，在弱监督下分别与主语句子块嵌入和全句全局嵌入进行组合式对齐，并辅以层次一致性约束。

方法详解¶

整体框架¶

SVCR 的整体流程包含特征提取编码、结构化视觉表征空间构建、多粒度组合式对齐以及最终的推理定位。给定输入图像与指代表达，首先通过冻结的 YOLOv3 DarkNet-53 提取前 $K$ 个置信度最高的 Anchor 特征，并通过动态路由机制融合来自 DINOv2 与 Depth Anything v2 等视觉基础模型的通用先验；文本端则通过 LSTM 与多层自注意力提取上下文 token 序列，分别聚合得到全文全局语义向量与主语名词块（Subject Noun Chunk）向量。随后，框架显式构建一元对象表示（UOR）与成对关系表示（PRR），分别施加弱监督 InfoNCE 对齐，并在分层一致性损失与基向量正交多样性正则化下协同优化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：图像与指代表达"] --> B["多源特征编码与动态路由<br/>YOLOv3 Anchors + 基础模型特征"]
    B --> C["一元语义建模<br/>可学习全局基投影生成 UOR"]
    B --> D["显式关系建模<br/>8维几何与语义交互构建 PRR"]
    C --> E["组合式弱监督对齐<br/>UOR 与主语块对齐，PRR 与全句对齐"]
    D --> E
    E --> F["联合双路置信度聚合与检测头解码输出"]

关键设计¶

1. 一元语义建模：可学习全局基投影增强实例辨别力 针对弱监督下 Anchor 缺乏细粒度属性刻画且不应依赖人工预设属性标签的问题，该设计引入 $N$ 个共享的可学习全局语义基向量 $P = \{p_1, \dots, p_N\} \subset \mathbb{R}^d$ 来张成连续语义子空间。对于经过动态路由增强后的 Anchor 特征 $\tilde{a}_i$，通过 Softmax 归一化注意力权重投影至该子空间得到自适应语义分量 $a_i^{\text{una}} = \sum_{j=1}^N \gamma_{ij} p_j$。为了兼顾底层定位空间特征与高层解耦语义，进一步采用门控融合机制生成最终一元对象表示： $$\hat{a}_i = g_i \odot a_i^{\text{una}} + (1 - g_i) \odot \tilde{a}_i, \quad g_i = \sigma(\text{MLP}([\tilde{a}_i \parallel a_i^{\text{una}}]))$$ 同时为避免语义基向量坍缩为同质化表示，对归一化后的基矩阵施加 Frobenius 范数正交多样性正则项 $\mathcal{L}_{\text{div}} = \| B B^\top - I \|_F^2$。

2. 显式关系建模：保留二阶依赖的成对关系表示构建 现有图神经网络消息传递机制往往将上下文汇聚回一元节点，导致关系信息与主体表征混叠。本文直接在 Anchor 对上保留成对关系表示 $r_{ij} \in \mathbb{R}^d$。对于任意 Anchor 对 $(i, j)$，提取其 8 维显式几何特征描述子 $g_{ij} = [\Delta x, \Delta y, \log(w_j/w_i), \log(h_j/h_i), d_{\text{rel}}, \cos\theta, \sin\theta, \text{IoU}]$，并通过 MLP 映射为几何向量 $\delta_{ij}$。随后将两 Anchor 语义特征与几何描述拼接输入交互层，并引入自适应关系置信门控调制系数 $w_{ij}$ 以过滤背景噪点： $$r_{ij} = w_{ij} \cdot \text{MLP}([\tilde{a}_i \parallel \tilde{a}_j \parallel \delta_{ij}]), \quad w_{ij} = \sigma(\text{MLP}([\tilde{a}_i \parallel \tilde{a}_j \parallel \delta_{ij}]))$$ 该结构构建了维度为 $K \times K \times d$ 的显式关系空间，避免了关系信息的过早扁平化。

3. 组合式弱监督对齐：主客分层对比与层级一致性约束 为让多粒度视觉表示与语言的内在成分精准映射，模型将文本解析为主语名词块向量 $s_c$ 与全句向量 $s$。一元对齐计算 Anchor 与主语块的内积匹配分 $s_i^u = \hat{a}_i^\top s_c$，以伪正样本 $i^*$ 计算 $K$ 个候选间的 InfoNCE 损失 $\mathcal{L}_{\text{una}}$；成对对齐则计算关系向量与全句全局向量的兼容分 $s_{ij}^r = r_{ij}^\top s$，在 $K^2$ 个成对项上优化 $\mathcal{L}_{\text{pair}}$。为防止两路对齐在无标注下彼此发散，设计了层次一致性损失 $\mathcal{L}_{\text{cons}}$，迫使成对关系对齐的高置信度集中落在被一元匹配 Top-K 选中的主体 Anchor 上： $$\mathcal{L}_{\text{cons}} = -\log \sum_{i \in \text{TopK}(v_{\text{una}})} v_{\text{pair}}(i)$$ 使细粒度主语定位与全局关系支持形成自洽的正反馈。

损失函数 / 训练策略¶

总体训练目标由两路弱监督对比损失与两个结构正则项加权联合构成： $$\mathcal{L} = \mathcal{L}_{\text{una}} + \mathcal{L}_{\text{pair}} + \mathcal{L}_{\text{div}} + \mathcal{L}_{\text{cons}}$$ 在推理阶段，给定 Anchor $i$，其成对关系得分通过双向聚合计算对称置信度 $\text{Sim}_i^{\text{pair}} = \frac{1}{2} [\sum_j \exp(r_{ij}^\top s) + \sum_j \exp(r_{ji}^\top s)]$，并与一元匹配分 $\text{Sim}_i^{\text{una}} = \hat{a}_i^\top s_c$ 进行线性加权融合： $$\text{Score}_i = \lambda \cdot \text{Sim}_i^{\text{pair}} + (1 - \lambda) \cdot \text{Sim}_i^{\text{una}}$$ 在所有基准数据集上权重统一设定为 $\lambda = 0.6$，选取最高置信度 Anchor 经 YOLO 检测头解码出最终预测边界框。

实验关键数据¶

主实验¶

在三个标准指代理解基准（RefCOCO、RefCOCO+、RefCOCOg）上的定量评估结果如下表所示（评价指标为 [email protected] 精度）：

数据集	划分	SVCR (Ours, YOLOv3)	DViN (CVPR 2025)	WeakMCN (CVPR 2025)	RefCLIP (CVPR 2023)	相对 DViN 提升
RefCOCO	val	71.06	67.67	69.20	60.36	+3.39%
RefCOCO	testA	72.60	70.90	69.88	58.58	+1.70%
RefCOCO	testB	65.55	59.39	62.63	57.13	+6.16%
RefCOCO+	val	54.17	52.54	51.90	40.39	+1.63%
RefCOCO+	testA	60.22	57.52	57.33	40.45	+2.70%
RefCOCO+	testB	44.63	45.31	43.10	38.86	-0.68%
RefCOCOg	val	56.99	55.04	54.62	47.87	+1.95%

注：当采用更先进的 YOLOv5 主干时，SVCR* 在 RefCOCO 上 val/testA/testB 进一步跃升至 74.51%、76.93% 和 70.46%，在 RefCOCOg val 达到 60.40%，大幅缩小了弱监督与全监督模型间的代差。

消融实验¶

在基于 DINOv2 + Depth Anything v2 基础特征的基线下，逐步叠加各核心组件的消融指标如下：

配置	对齐方式	RefCOCO val	RefCOCO testB	RefCOCO+ val	RefCOCOg val	说明
Baseline (DINO + Depth)	扁平对齐 (FA)	66.59	59.94	51.22	51.08	仅含基础 Anchor 与全局文本扁平匹配
+ UOR	扁平对齐 (FA)	69.93	64.30	53.50	53.31	加入一元对象语义基增强，短文本和实体分类显著受益
+ PRR	组合对齐 (CA)	69.22	63.47	52.45	54.31	显式建模成对关系表示，长句关系依赖大幅提升
+ UOR + PRR (SVCR Full)	组合对齐 (CA)	71.06	65.55	54.17	56.99	双路结构化表征协同，RefCOCOg 增益高达 +5.91%

在关系表示形式的对比中，将关系交互重新折叠进一元嵌入的方案（+ UOR + URR）在 RefCOCOg val 上仅能获得 55.11%，显著低于显式成对表示（+ UOR + PRR）的 56.99%，证明了保留二阶关系单元的必要性。

关键发现¶

UOR 与 PRR 具备明确的互补性分工：在主要描述目标实体固有属性的短文本任务（RefCOCO testB）中，UOR 贡献最为突出（带来 +4.36% 的增益）；而在包含大量自由空间关系与复合修饰的长难句基准 RefCOCOg 上，显式 PRR 发挥了主导作用（单独带来 +3.23% 增益，与 UOR 叠加提升达 +5.91%）。
空间几何深度先验优于单纯视觉对齐先验：对比 DINO+Depth 与 DINO+CLIP 基线，引入几何深度估计模型（Depth Anything v2）显著优于 CLIP 特征，表明度量级三维连续空间提示与显式关系表征具有更强的协同效应。
全局语义基的容量平衡：语义基向量数目 $N$ 在达到 100 时性能达到峰值（RefCOCO testA 突破 72.6%），超过 160 后因冗余和弱监督噪声引起轻微过拟合。

亮点与洞察¶

从隐式关系融合到显式二阶表征的认知转变：打破了过去将多模态或图上下文一律压缩回单体 Anchor 的思维定势，在弱监督无框约束下证明了维护显式 $K \times K$ 关系矩阵不仅可行，而且能从源头解决属性与关系的纠缠问题。
层次一致性约束实现无监督双向校验：利用局部名词块匹配为关系矩阵筛选有效候选主体，用全局语义过滤无关几何噪声，以弱监督正反馈闭环替代了代价昂贵的人工标注。
可复用的弱监督结构化适配范式：这种“解耦一元属性 + 显式成对几何/语义关系 + 跨粒度对齐”的结构不仅适用于 REC，对于弱监督动作定位、视听定位及多模态密集接地区域交互任务具有极强的通用迁移价值。

局限与展望¶

否定句与排他性逻辑推理能力欠缺：原文分析揭示模型在处理带有否定从句（如“boy not wearing red”）时频繁失效，因对比学习往往偏向于强化正向共现线索，对排除逻辑建模不足。
计算复杂度随候选 Anchor 呈平方级增长：构建 $K \times K$ 的关系表示虽然提升了表现力，但在高密度密集检测场景（$K > 100$）下内存与计算开销急剧上升，亟需引入轻量稀疏关系剪枝机制。
高度重叠与严重遮挡下的视觉混淆：在密集同类聚集（如人群、密集重叠物体）或透视严重遮挡时，几何描述符区分度下降，仍易产生框偏移。

评分¶

新颖性: ⭐⭐⭐⭐☆ 突破一元 Anchor 扁平对齐范式，在弱监督下显式解耦一元与成对关系表征。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖三大主流基准所有 split，包含基线消融、基向量规模、损失正则与定性对比。
写作质量: ⭐⭐⭐⭐⭐ 动机清晰，问题剖析一针见血，方法推导和符号定义严密规范。
价值: ⭐⭐⭐⭐☆ 为弱监督多模态细粒度定位与关系推理提供了富有启发的结构化表征范式。