[ECCV 2026][视频理解][视频场景图生成] 本文指出弱监督视频场景图生成沿用全监督两阶段流程时忽略了一个根本差异——现成检测器会无差别地检出大量与交互无关的物体，而训练时这些"未匹配对"被整批丢弃，于是模型只在交互对上受过训练、却要在以非交互对为主的检测空间里推理；作者为此引入可学习的成对亲和度（pair affinity），用 RAM 借视觉语言接地精修伪标签、PALS 把亲和度分数乘进推理排序、PAM 用亲和度门控空间与时序注意力，在 Action Genome 上把弱监督 STTran 的 R@10 从 15.39 提到 22.24。

标签：ECCV 2026 · 视频理解 · 视频场景图生成 · 弱监督学习 · 成对亲和度 · 视觉语言接地 · 注意力调制

Revisiting Weakly-Supervised Video Scene Graph Generation via Pair Affinity Learning¶

会议: ECCV 2026
论文: ECCV 2026
代码: https://github.com/minseokii/PAWS
领域: 视频理解
关键词: 视频场景图生成, 弱监督学习, 成对亲和度, 视觉语言接地, 注意力调制

一句话总结¶

本文指出弱监督视频场景图生成沿用全监督两阶段流程时忽略了一个根本差异——现成检测器会无差别地检出大量与交互无关的物体，而训练时这些"未匹配对"被整批丢弃，于是模型只在交互对上受过训练、却要在以非交互对为主的检测空间里推理；作者为此引入可学习的成对亲和度（pair affinity），用 RAM 借视觉语言接地精修伪标签、PALS 把亲和度分数乘进推理排序、PAM 用亲和度门控空间与时序注意力，在 Action Genome 上把弱监督 STTran 的 R@10 从 15.39 提到 22.24。

研究背景与动机¶

视频场景图生成（VSGG）要把一段视频解析成 ⟨主语, 谓词, 宾语⟩ 形式的结构化三元组，刻画实体之间的空间与时序交互，是视频问答、视觉推理等下游任务的基础表示。全监督做法的代价极高：每一帧都要给出所有物体的边界框以及它们之间的关系标注，规模上难以承受。弱监督 VSGG（WS-VSGG）因此被提出，其中 PLA 给出了一个被后续工作广泛沿用的设定——只标注每个视频片段的中间帧，且三元组是无定位的（unlocalized triplet）：只写清主语类别、谓词、宾语类别，不给任何框。没有框就只能靠现成检测器出提议，于是主流方法清一色沿用"先检测物体、再预测关系"的两阶段架构。

问题就出在这个"照搬"上：从全监督搬到弱监督，检测器的行为已经彻底变了，而流程没有随之调整。在弱标注训练集上，一个在场景图数据集上微调过的全监督检测器每帧只产出约 5.01 个提议，且集中在与关系相关的物体上；换成现成检测器（本文用 VinVL）则每帧产出 15.15 个，绝大多数与任何交互都无关。传统流程在这些提议上做类级匹配：类别对得上的提议进入匹配集合 \(P^+\) 并接受关系标签监督，对不上的 \(P^-\) 直接被丢弃。结果是模型只在交互对上训练过，推理时却必须在由非交互对主导的检测空间里排序；更糟的是交互中的物体常常被遮挡或运动模糊，检测置信度反而偏低，背景里那些清晰可见却无关的物体更容易排到前面。这不是简单的标注噪声问题，而是训练分布与测试分布之间的系统性错位。

再往深一层看，光修正输出端的排序还不够。现代 VSGG 架构靠空间/时序注意力做上下文推理，每个对会 attend 到所有其他对并从它们那里取上下文，非交互对同样参与、同样稀释关系语境；时序注意力上还会把相邻帧里无用的上下文跨帧传播下去。与此同时，类级匹配本身在同帧存在多个同类实例时会造出假正例（图 1(b) 里的 cup 2 被当成正样本，而真正被握着的 cup 1 与它无从区分），既污染关系标签、也污染亲和度监督所依赖的匹配划分。本文的核心 idea 是为关系预测模型引入一个独立于谓词的、可学习的"成对亲和度"标量，用来回答"这对主客体是否真的参与了某个交互"，用匹配/未匹配划分做二分类监督，并让它同时进入推理排序与注意力门控，再用视觉语言接地把这份划分修干净。

方法详解¶

整体框架¶

输入是视频片段与其中间帧的无定位三元组 \(G_u=\{(c_s, p, c_o)\}\)，外加现成检测器（VinVL）对每帧给出的提议集合；输出是每一帧的场景图。整条流程由三个组件构成：RAM 是一次性的预处理，用视觉语言接地在同类候选里挑出与关系最一致的那个实例，从而给出更干净的匹配/未匹配划分；PALS 在关系预测模型内部并行维护"关系嵌入"与"亲和度嵌入"，用上述划分训练一个二分类交互分数，并把该分数乘进推理时的三元组排序；PAM 把亲和度矩阵当作门控信号加到空间与时序注意力的 logits 上，让交互对优先互相 attend，并作为即插即用模块装在 STTran / DSG-DETR 这类注意力骨架上。三者相互依存：PALS 提供的亲密度监督依赖 RAM 给出的干净划分，PAM 又必须依赖 PALS 引入的亲和度嵌入才能工作。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["中帧无定位三元组<br/>+ 现成检测器提议"] --> B["Relation-Aware Matching<br/>VL 接地精修匹配划分"]
    B -->|"产出 P+ / P−"| C["Pair Affinity Learning and Scoring<br/>关系/亲和度双嵌入解耦"]
    C -->|"亲和度嵌入逐层门控"| D["Pair Affinity Modulation<br/>门控空间与时序注意力"]
    D -->|"解码 PC 与 PA"| E["Score = conf·conf·PC·PA<br/>排序输出每帧场景图"]

关键设计¶

1. Relation-Aware Matching：用视觉语言接地消解类级匹配的歧义

伪造定位监督的前提是"把无定位三元组对到检测框上"，而三元组只给了类别、没有任何空间信息，所以既有方法把类别匹配上的所有检测都当成正伪标签：对实体 \(c\in\{c_s,c_o\}\) 取 \(D_c=\{d_j\in D_t: c_j=c\}\)。同帧出现多个同类实例时这就必然出错——非交互的 cup 2 和真正被握着的 cup 1 会同样被标成正例，冒出的假正例同时污染两个目标：关系分类拿到错误的关系标签，亲和度学习拿到被污染的匹配/未匹配划分。

RAM 的做法是对三元组里的每个实体构造一句带关系语境的文本 query（对 ⟨person, holding, cup⟩ 就是 "cup that the person is holding"），与当前帧一起送进视觉语言接地模型，从最后一个 feature enhancer 层取出 [CLS] 的跨模态注意力图 \(A\in\mathbb{R}^{H_a\times W_a}\)。因为 query 编码的不只是目标类别、还有它所在的关系语境，\(A\) 会自然集中在真正参与该关系的那个实例上。但注意力图并非总可靠，于是再用空间集中度当定位可靠性代理：把 \(A\) 归一化成概率分布 \(W\)，度量它相对加权质心的空间离散度 \(\sigma_{\text{spat}}\)——注意力集中说明模型找到了明确的视觉指代，注意力弥散则说明它分不清候选或目标根本不在。可靠性分数超过阈值 \(\tau_r=0.3\) 才执行接地匹配，否则退回类级匹配。（⚠️ 缓存中可靠性公式排版损坏，此处只按正文复述其含义，精确形式以原文 Eq.1 为准。）

对可靠的注意力图，候选框 \(b_k\) 用两个互补量打分：concentration \(C\) 是框内注意力质量占全部注意力质量的比例，density \(\rho\) 是单位面积上的注意力质量，接地分数取二者组合 \(\text{GS}(b_k)=C(b_k)\cdot\sigma(\rho(b_k))\)。选 GS 最高且超过阈值 \(\tau_{gs}=0.2\) 的检测作为匹配，两个条件都不满足就丢弃该三元组。这一步只在训练前跑一次，不改变推理路径，因此没有任何额外推理开销。

2. Pair Affinity Learning and Scoring：把"是否交互"从"是什么关系"里拆出来单独学

只修正排序的话，模型内部仍不知道哪些对值得关注。PALS 为每个主客体对并行维护两个嵌入：关系嵌入 \(R\) 编码"这对在执行哪个谓词"，亲和度嵌入 \(P\) 编码"这对是否真的参与了有意义的交互"。\(R_0\) 沿用 STTran / DSG-DETR 的对表示，由主语与宾语的检测特征、空间 union 特征和类别嵌入拼接而成；\(P_0\) 则由 \(R_0\) 经一个投影 MLP 得到，理由是 \(R_0\) 里的视觉与语义线索本身已提供了交互可能性的合理先验。两个嵌入一起穿过 \(L\) 个空间/时序注意力层，但朝着不同目标分化。

之所以显式解耦而不是让一个嵌入兼顾两件事，是因为这两个目标的性质根本不同：谓词分类是在交互对上定义的细粒度多分类，亲和度则是必须覆盖数量远为庞大的非交互对的二分类。弱监督下监督信号本就不多且带噪，让单个嵌入隐式学会两者很难；分开后每个嵌入有自己的监督信号与数据分布，模型在受限监督下的负担明显减轻。亲和度分数由最后一层的嵌入经 MLP 加 sigmoid 得到 \(PA_{(s,o)}=\sigma(\text{MLP}_{PA}(P_L^{(s,o)}))\)，用类平衡的二元交叉熵监督 \(P^+\) 与 \(P^-\)：

\[L_{PA}=-\frac{1}{2}\left(\frac{1}{|\mathcal{P}^+|}\sum_{(s,o)\in\mathcal{P}^+}\log PA_{(s,o)}+\frac{1}{|\mathcal{P}^-|}\sum_{(s,o)\in\mathcal{P}^-}\log\!\left(1-PA_{(s,o)}\right)\right)\]

两个集合分别取平均再合并，是因为弱监督下非交互对的数量压倒性地多于交互对，不这样做多数类会主导训练。（⚠️ 原文 Eq.4 排版损坏、负样本项缺失，上式按二元交叉熵补全，符号以原文为准。）

推理时，亲和度被乘进最终排序分数：

\[\text{Score}(s,p,o)=\text{conf}_s\cdot\text{conf}_o\cdot\text{PC}_p\cdot\text{PA}_{(s,o)}\]

常规流程只用 \(\text{conf}_s\cdot\text{conf}_o\cdot\text{PC}_p\)，这个函数会系统性惩罚真正在交互的对——交互中的物体常常被部分遮挡或运动模糊，检测置信度低，反而让清晰可见却无关的背景物体排到前面。乘上亲和度后，非交互对无论检测多自信、谓词分多高都会被压下去，ranking 阶段不再由检测器的置信度单独说了算。

3. Pair Affinity Modulation：用亲和度门控注意力，阻止非交互对稀释上下文

排序端的修正解决不了模型内部的推理质量：每个对仍会 attend 到序列里所有其他对，非交互对一样贡献上下文；在时序注意力里这一点被进一步放大，相邻帧的非交互对会把无信息的语境跨时间传下去。PAM 的思路是直接在注意力层里按亲和度分配信息流。在第 \(i\) 个注意力块内，用亲和度嵌入构造成对亲和度矩阵 \(G_i=P_iP_i^\top\)，其中 \(P_i\) 与 \(R_i\) 采用同一套序列组织方式——空间注意力作用在单帧内的对之间，时序注意力作用在跨帧的对之间，具体分组由骨干架构决定。由于 \(G_i\) 与注意力 logits 共享同一序列结构，\(G_i\) 的每个元素恰好对应两个对之间的注意力权重，可以直接逐元素门控：

\[\text{Attn}_i=\text{softmax}\!\left(\frac{Q_iK_i^\top}{\sqrt{d_k}}\odot\sigma(G_i)\right)V_i\]

低亲和度对之间的信息流被压制，注意力质量被重新分配到交互对上，噪声在跨帧传播之前就被滤掉。注意力输出经 FFN 更新关系嵌入 \(R\)、经投影 MLP 更新亲和度嵌入 \(P\)，两者都带残差连接。\(G_i\) 本身并没有直接监督，为保证最后一层的亲和度矩阵仍能清晰区分交互与非交互对，作者对 \(G_L\) 施加一个三元组排序损失：以某个对 \(a\) 为锚，要求它与交互对 \(b^+\) 的亲和度高于它与非交互对 \(b^-\) 的亲和度，且差值至少留出 margin \(m\)。这是纯相对排序约束，不限制亲和度的绝对值。由于 PAM 只改动注意力 logits，它对任何基于注意力的关系预测架构都是即插即用的，本文在 STTran 与 DSG-DETR 两个骨干上都做了验证。

损失函数 / 训练策略¶

总目标把关系分类与两项亲和度损失相加：\(L=L_{rel}+\lambda_{PA}L_{PA}+\lambda_{PAM}L_{PAM}\)。其中 \(L_{rel}\) 是标准关系分类损失，按骨干架构的惯例只作用在 \(P^+\) 上；\(L_{PA}\) 是上面那项类平衡二分类损失；\(L_{PAM}\) 是最后一层亲和度矩阵上的 margin 排序损失。训练沿用 PLA 的两阶段流程，用 VinVL 出提议、全程不使用真值框。RAM 侧用 GroundingDINO（Swin-B 骨干），可靠性阈值 \(\tau_r=0.3\)、接地分数阈值 \(\tau_{gs}=0.2\)；全部实验在单张 RTX 3090 上完成。两个权重系数 \(\lambda\) 的具体取值正文未给出，⚠️ 以原文补充材料 Sec. A.3 为准。

实验关键数据¶

主实验¶

数据集为 Action Genome（AG）：234,253 帧、9,201 段视频、36 类物体、25 类谓词，按既有划分用 7,464 段训练 / 1,737 段测试，监督只有中间帧的无定位三元组。协议为 Scene Graph Detection（SGDet，不给真值框、需同时检测物体并预测关系），指标是 Recall@K（K ∈ {10, 20, 50}），分 With Constraint（每对只保留最高分谓词）与 No Constraint（每对允许多个谓词）两种设置。

骨干	监督	方法	With Constraint R@10 / R@20 / R@50	No Constraint R@10 / R@20 / R@50
—	Zero-shot	RLIPv2 Vanilla	5.06 / 8.37 / 10.05	5.98 / 14.60 / 21.42
STTran	Full	Vanilla	25.20 / 34.10 / 37.00	24.60 / 36.20 / 48.80
STTran	Weak	PLA	15.39 / 21.44 / 26.24	15.83 / 22.83 / 31.74
STTran	Weak	PLA + Ours	22.24 / 26.48 / 28.00	23.20 / 30.24 / 37.47
STTran	Weak	TRKT	17.56 / 22.33 / 27.45	18.76 / 24.49 / 33.92
STTran	Weak	TRKT†	15.11 / 20.63 / 26.02	15.73 / 22.64 / 31.23
STTran	Weak	TRKT† + Ours	19.63 / 24.29 / 27.55	21.13 / 27.95 / 35.89
DSG-DETR	Full	Vanilla	30.30 / 34.80 / 36.10	32.10 / 40.90 / 48.30
DSG-DETR	Weak	PLA	15.47 / 21.33 / 25.86	15.66 / 22.71 / 31.90
DSG-DETR	Weak	PLA + Ours	21.88 / 25.92 / 27.41	23.13 / 30.34 / 37.51
DSG-DETR	Weak	TRKT†	15.23 / 20.10 / 25.92	15.60 / 22.09 / 31.18
DSG-DETR	Weak	TRKT† + Ours	19.32 / 24.81 / 27.86	21.08 / 28.14 / 35.96

（† 表示用官方代码在相同设置下复现的结果；Full 一行为各骨干的全监督上界，RLIPv2 是以 zero-shot 方式使用的图像级关系检测模型。作者另在物体/谓词类别更多的 VidHOI 上验证了同样的增益，结果放在补充材料 Sec. C，正文未给出具体数值。）

消融实验¶

以 PLA + STTran 为基线逐件加入三个组件（PAM 依赖 PALS 引入的亲和度嵌入，故不能单独使用；只加 PALS 而不加 PAM 时，亲和度只用于推理排序，注意力调制与排序损失关闭）：

配置	With R@10 / R@20 / R@50	No R@10 / R@20 / R@50	说明
(a) 基线 PLA	15.39 / 21.44 / 26.24	15.83 / 22.83 / 31.74	无任何组件
(b) + PALS	19.79 / 24.00 / 26.34	21.03 / 26.94 / 33.63	最大单项增益
(c) + PALS + PAM	20.22 / 24.48 / 26.83	21.63 / 27.84 / 34.73	PAM 在 PALS 之上稳定增益
(d) + RAM	15.90 / 21.87 / 26.63	16.46 / 23.33 / 32.36	单独加几乎无提升
(e) + RAM + PALS	22.14 / 25.74 / 27.07	23.12 / 29.94 / 36.35	RAM 放大 PALS
(f) 全部	22.24 / 26.48 / 28.00	23.20 / 30.24 / 37.47	三项协同最优

RAM 对伪标签质量的单独分析（Match = 生成的伪定位标签数，TP = 命中真值的数量）：

检测器	VL 模型	Match	TP	Precision	Recall	F1
PLA	–（原始类级匹配）	16,137	6,480	0.4016	0.4423	0.4209
PLA	GLIP	9,109	5,363	0.5888 (+46.6%)	0.3660 (−17.2%)	0.4514 (+7.2%)
PLA	GDINO	8,067	5,853	0.7255 (+80.6%)	0.3995 (−9.7%)	0.5153 (+22.4%)
TRKT	–（原始类级匹配）	21,976	7,012	0.3191	0.4786	0.3829
TRKT	GLIP	11,945	5,472	0.4581 (+43.6%)	0.3735 (−22%)	0.4115 (+7.5%)
TRKT	GDINO	10,444	5,846	0.5597 (+75%)	0.3990 (−17%)	0.4659 (+22%)

关键发现¶

PALS 是主瓶颈的对应解：不加 RAM 的情况下单独加入 PALS 已经把 (W)R@10 从 15.39 拉到 19.79，是所有单项中最大的增益，说明"无法筛掉非交互对"确实是 WS-VSGG 的第一瓶颈；它与 RAM 组合后增益进一步放大（19.79 → 22.14），因为更干净的匹配划分直接提升了亲和度监督的质量。
RAM 单独使用几乎没有收益，价值在于放大 PALS：单独加 RAM 只把 (W)R@10 从 15.39 提到 15.90（(N)R@10 15.83 → 16.46）。原因是它在降低标签噪声的同时也减少了匹配对的数量，而模型此时仍只在匹配对上训练；一旦把未匹配对作为负监督引入（(b)→(e)），精修划分的收益才体现出来。这一"看起来没用、实则关键"的依赖关系正好印证了三个组件是相互依存的流水线设计。
PAM 提升的是谓词分类本身，且在高 K 更明显：在 PALS 之上加入 PAM，With Constraint 下 R@10/R@20/R@50 分别提升 0.43/0.48/0.49，No Constraint 下为 0.60/0.90/1.10——增益随 K 增大而增大，说明门控去掉噪声上下文后，模型能把更多正确三元组排进更大的候选预算，而不只是把已有结果重新排序。
亲和度分数本身的可分性与它的排序增益：测试集上非交互对（693,945 个）的亲和度分数集中在 0 附近，交互对（63,737 个）峰值落在 0.7–0.9，两类分布清晰分离（正负比约 1:10.9，也解释了损失为何必须做类平衡）。用同一套训练权重、仅切换推理时是否乘上亲和度分数，(W)R@10 从 17.08 升到 22.24（+5.16），(N)R@10 从 16.26 升到 23.20（+6.94），越严格的预算下增益越大——亲和度主要作用是"把真正在交互的对挤进 top-K"。
与全监督的差距：最优配置（STTran 上的 PLA + Ours）在 (W)R@10 达到全监督上界的 88.3%、(N)R@10 达到 94.3%，四个基线×骨干组合的平均增益为 +5.47（(W)R@10）与 +6.43（(N)R@10）。但 R@50 上差距依旧明显（28.00 对 37.00），说明召回长尾仍是弱监督的难点。
RAM 不是绑死某个 VL 模型的技巧：换成 GLIP 也能把 PLA 的伪标签精度提升 46.6%、TRKT 提升 43.6%，虽然不如 GroundingDINO 的 +80.6% / +75%。另外，TRKT 即便经过精修，精度上限（0.56）仍明显低于 PLA（0.73），这直接解释了主表里 TRKT + Ours 始终落后于 PLA + Ours 的现象——它的起点标签质量更差。

亮点与洞察¶

把问题诊断成"分布错位"而非"标注噪声"：用每帧 5.01 vs 15.15 个检测、以及"训练只用 \(P^+\)、推理面对以 \(P^-\) 为主的空间"两句话，把 WS-VSGG 的瓶颈量化清楚。这种"先证明旧流程的某个隐含假设已经失效，再针对该假设改动"的论证方式，比直接堆模块有说服力得多。
白捡一个定位器：RAM 不训练任何新模块，只借用现成 VL 模型跨模态注意力图的空间集中度来做可靠性判断与候选打分，并且只在训练前跑一次、推理零开销。凡是手里已有 VL 接地模型的任务，都可以考虑用同样的方式把"自由文本描述"落到具体实例上。
解耦双嵌入是个可迁移的结构：主干任务（细粒度多分类，只定义在正样本上）与门控任务（二分类，正负样本极度不平衡）用两个并行嵌入各自优化，而不是让一个嵌入隐式兼顾。凡是"主任务 + 一个决定该不该参与主任务的辅助判定"的架构，都可以套这个模式。
亲和度矩阵被当成注意力门而不仅是排序分数：\(G_i=P_iP_i^\top\) 与注意力 logits 共享序列结构，才使逐元素门控成立，这一步把"用辅助分数改进主网络内部计算"做得极轻——不新增分支、不改变骨干接口。
可迁移的具体思路：视频问答、时序定位里同样存在"相关片段 vs 无关片段"的区分问题，可以把这种区分做成一个可学习标量，既乘进推理分数压制无关片段，又用它门控 self-attention 阻止无关片段稀释上下文，两处共用同一份监督。

局限与展望¶

作者承认的局限：亲和度监督的质量上限由匹配/未匹配划分决定；RAM 依赖预训练 VL 模型，可靠性估计只是一个启发式的代理指标，接地错误会引入假正例，而标注本身的不完整又会留下假负例。作者把"更可靠的接地置信度建模"列为后续方向。
假负例是被忽略的风险：监督只标注中间帧，未匹配对里其实混有"确实在交互、只是没被中帧标注覆盖"的对，把它们统统当成负监督训练亲和度，可能会压制本应正确的关系。文章只讨论了假正例方向和可靠性估计的缓解作用，没有量化假负例的影响。
RAM 只作用于中帧的伪标签构造：跨帧监督仍沿用 PLA 的"同类即传播"惯例，即相邻帧中与标注实体同类的检测都被当作训练样本，跨帧的类级歧义并未被 RAM 处理，而论文在动机里恰恰强调时序上的分布错位更严重。
评测面偏窄：主实验只在 Action Genome 上，VidHOI 的结果被放进补充材料，正文没有给数值；所有实验在单张 RTX 3090 上完成，两个损失权重 \(\lambda_{PA}\)、\(\lambda_{PAM}\) 的取值也未在正文披露，复现时需要查补充材料。
可改进方向：把启发式的可靠性阈值换成经过校准的、可学习的接地置信度；对未匹配对做软标签或不确定性加权，而不是硬性视为全负；把 RAM 的关系感知匹配扩展到跨帧传播，让每个传播样本也经过一次关系一致性筛选。

评分¶

新颖性: ⭐⭐⭐⭐ 把 WS-VSGG 的瓶颈重新表述为检测分布错位，并据此提出可学习的成对亲和度；角度清楚、论证扎实，但"筛选候选对 + 门控注意力"本身不算全新机制。
实验充分度: ⭐⭐⭐⭐ 两个骨干 × 两个弱监督基线 × 三个 K 值 × 两种约束设置的矩阵较完整，并附伪标签质量表与亲和度分布分析；不足是主数据集只有 AG，VidHOI 结果在补充材料。
写作质量: ⭐⭐⭐⭐ 图 1/图 2 把"检测特征变化"和"训练只用 \(P^+\)"讲得非常直观，三个组件的动机与消融结论一一对应；公式在缓存文本中有多处排版损坏，需对照原文。
价值: ⭐⭐⭐⭐ 即插即用、推理零额外开销的"排序分数 + 注意力门控"改造，对任何两阶段弱监督流水线都有参考价值；诊断本身也值得后续工作借鉴。