Learning to Evolve Scenes: Reasoning about Human Activities with Scene Graphs¶

会议: NeurIPS 2026
arXiv: 2607.02425
代码: https://francescapistilli.github.io/GLEN
领域: VLM Reasoning
关键词: 具身智能, 场景图演化, 第一人称视频理解, 图编辑网络, 跨模态对齐

一句话总结¶

针对第一人称视频中场景动态理解依赖隐式连续表征的局限，本文提出 SG-Ego 大规模时空场景图数据集与 GLEN 图编辑网络，将人类动作驱动的场景演化建模为条件图编辑预测任务（A-GEF），实现了显式、结构化且高可解释性的动态推理。

研究背景与动机¶

理解人类与周围环境交互中的行为与意图，是具身智能体执行长程规划、状态预测和人机协同的核心基石。第一人称（Egocentric）视频天然记录了主视角动作如何实时改变周围物体的空间位置与交互状态。然而，现有的以视频-语言模型（Video-LLM / MLLM）为主流的主视角理解方案，几乎全部依赖于在原始像素或密集视觉特征之上学习全局紧凑的隐式隐空间嵌入。这种端到端的连续表征将物体身份、高阶空间拓扑、细粒度动作接触与长程时序演化高度纠缠，导致模型只能被动输出叙述文本或分类标签，难以清晰解释场景中“究竟发生了什么改变”、“由哪项动作触发”以及“背后的因果演化机制是什么”。

即便引入了细粒度文本叙述引导的表征学习，现有范式依然缺乏一种显式、可编辑且组合式的交互状态表达。在长时程多步交互场景中，物体随着动作发生位移、隐藏、取出或功能改变，黑盒连续特征在跨时间步传递时面临严重的表征漂移与幻觉积累；而传统的视频场景图生成（VidSGG）或无条件未来场景图预测方法，又大多将场景图视作孤立的静态标注或仅基于视觉历史的单向推演，割裂了人类正在执行的具体动作对环境状态的因果驱动作用。

针对上述瓶颈，本文主张将视频动态建模从连续特征空间的隐式偏移，重构为显式结构化状态在离散符号图空间的演化更新。核心 idea：将人类动作驱动的场景动态演化形式化为动作条件图编辑预测（A-GEF），通过构建包含 380 万时空场景图的 SG-Ego 数据集与三阶段 GLEN 网络，以图编辑操作显式捕捉动作引发的物体增删与关系重构。

方法详解¶

整体框架¶

GLEN（Graph-Language Edit Network）旨在实现两大核心能力：一是学习紧凑的图-文本跨模态联合嵌入，以支持细粒度动作定位与语义检索；二是在给定初始局部场景图与未来动作文本描述的前提下，预测离散图编辑序列，完成场景状态演化的显式前瞻预测。整个系统分为离线全自动构建大规模时空场景图基准 SG-Ego，以及基于 GLEN 网络执行图-文本对齐（GTA）与动作条件图编辑预测（A-GEF）两个阶段。

输入为当前时刻的单帧空间场景图 \(G_t\) 以及描述后续动作的文本语句 \(act_t\)，目标是预测经过动作作用后的时空整合场景图 \(\hat{G}_{t:t+T}\)，并使其与动作描述的语义嵌入紧密对齐。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：初始场景图 G_t + 动作文本 act_t"] --> B["三阶段时空场景图整合构建 (SG-Ego)<br/>MLLM三元组提取→GroundingDINO定位→SAM2/DINOv2时空合并"]
    B --> C["跨模态图文本对比与匹配对齐 (GTA)<br/>TripletGCN与冻结文本编码器互导"]
    C --> D["动作条件图编辑预测架构 (A-GEF)<br/>可学习Slot Query扩展与全连通噪声初始化"]
    D --> E["双通道动作调制与局部编辑预测<br/>节点分类增删与多标签关系边更新"]
    E --> F["输出：演化预测场景图 G_hat_{t:t+T}"]

关键设计¶

1. 三阶段时空场景图整合构建 (SG-Ego)：全自动将非结构化长视频蒸馏为致密演化图谱 现存视频场景图数据集规模小且严重偏向第三人称被动视角，无法直接支持第一人称动作驱动的动态推理。为此，本文设计了免微调（training-free）的自动化抽取流水线：首先以 5 fps 采样视频帧，利用多模态大模型（Qwen3.5-9B）生成结构化的主体-谓词-客体三元组 \((subject\_x, relation, object\_y)\)，并携带跨帧实例后缀以分离相同类别的不同实体；第二步使用开集检测器 GroundingDINO 将文字三元组对齐至像素级候选框，过滤非法几何拓扑关系，构建单帧空间场景图 \(G_t\)；第三步针对第一人称视频视角频繁抖动和严重遮挡问题，结合 SAM 2 进行连续帧掩码传递，辅以 DINOv2 视觉特征余弦相似度与匈牙利匹配算法完成实体跨时间步的对齐合并。该流水线最终从 Ego4D 中固化出包含 1480 个物体类别与 387 种关系类别的闭环词表，产出涵盖 380 万时空场景图的 SG-Ego 基准。

2. 跨模态图文本对比与匹配对齐 (GTA)：建立结构化场景与动作语言的公共语义空间 为了赋予图神经网络理解自然语言动作的能力并服务于跨模态检索，GLEN 构建了专门的图编码器 \(\mathcal{F}_G\) 与文本编码器 \(\mathcal{F}_T\)。图编码器由多层 TripletGCN 组成，在深度 \(l\) 处通过聚合局部邻域节点、有向关系边和目标节点特征同步更新节点与边表征：

\[\mathbf{x}_{j}^{(l+1)} = \mathbf{x}_{j} + \phi_{2}\Big(\operatorname{mean}_{i \in \operatorname{Neigh}(j)} \phi_{1}(\mathbf{x}_{i} \mathbin{\Vert} \mathbf{y}_{i \rightarrow j} \mathbin{\Vert} \mathbf{x}_{j})\Big)\]

在对齐阶段，模型交替执行图消息传递与节点-文本交叉注意力交互。训练采用图-文本对比对齐损失（GTCA）与硬负例图-文本匹配损失（GTM）。特别地，GTCA 针对来自同一视频的样本施加局部硬负例挖掘机制，促使模型对背景相似但微动作有异的图结构产生细粒度辨识能力。

3. 动作条件图编辑预测架构 (A-GEF)：以可学习槽位与图重构破除黑盒生成幻觉 传统图编辑网络（GEN）仅基于源图到目标图的静态拓扑映射，完全无法建模由外界环境干预引发的状态转移。GLEN 首次将文本动作直接注入图编辑过程。模型首先通过冻结的 \(\mathcal{F}_G\) 提取 \(G_t\) 的节点与边特征，并引入 \(K=128\) 个可学习的查询槽位（Query Slots）附加到现有节点集合中，用于承载未来潜在新生实体的预测。在此基础上构建包含 \(|V_t|+K\) 个节点的完全图，新边用高斯噪声初始化。接着，利用动作文本嵌入 \(\mathbf{h}_{act}\) 分别对所有节点和边执行交叉注意力调制：

\[\mathbf{\tilde{Z}}_{t}^{n,cond} = \mathbf{\tilde{Z}}_{t}^{n} + \operatorname{CA}(\mathbf{\tilde{Z}}_{t}^{n}, \mathbf{h}_{act}), \quad \mathbf{\tilde{Z}}_{t}^{e,cond} = \mathbf{\tilde{Z}}_{t}^{e} + \operatorname{CA}(\mathbf{\tilde{Z}}_{t}^{e}, \mathbf{h}_{act})\]

调制后的全连通密集图送入 Graph Edit Encoder \(\mathcal{F}_{Edit}\) 执行拓扑级消息传播。

4. 局部图编辑操作联合预测：多任务解耦节点生命周期与多标签关系演化 为了降低自回归生成离散图序列的高计算复杂度，GLEN 将图编辑操作解耦为并行独立的属性预测。节点更新头负责输出各个槽位的物体类别分布，其中包括一个特殊的 no object 空类别：原图节点若被判别为 no object 即视为节点删除（Node Deletion），而候选槽位 Query 若输出有效类别则视为节点新增（Node Insertion），节点属性变换则自然统一在“删去旧节点并在相应位置插入更新属性节点”的联合逻辑中。边预测头则拆分为二值边存在性判别头 \(z^{del} \in \mathbb{R}^1\) 与多标签关系分类头 \(z^{cls} \in \mathbb{R}^{N_{rel}}\)，分别控制边的擦除与多样化谓词生成。训练时通过匈牙利算法将预测槽位与时空真值实体建立一一对齐，以分类交叉熵和二值交叉熵完成高精度监督。

损失函数 / 训练策略¶

模型训练采用两阶段解耦优化策略。第一阶段在 SG-Ego Align（3.8M 样本）上使用冻结的 Perception-Encoder / EgoVLP 文本端，联合优化图-文本对比损失 \(\mathcal{L}_{GTCA}\)（正样本为共享动作动词-名词对的样本，负样本为同视频内其他片段）和匹配二分类损失 \(\mathcal{L}_{GTM}\)。第二阶段在 SG-Ego Edit（360k 训练对）上冻结文本编码器与底层视觉抽取器，仅训练 TripletGCN 和图编辑预测头，总损失包含匈牙利匹配约束下的节点交叉熵损失 \(\mathcal{L}_{node}\)、边存在性二值交叉熵损失 \(\mathcal{L}_{edge\_del}\) 以及多标签关系分类损失 \(\mathcal{L}_{rel\_cls}\)。全部模型在单张 NVIDIA A100 GPU 上约 24 小时内完成训练。

实验关键数据¶

主实验¶

论文在长程时序推理评测 EgoSchema、跨模态多选 EgoMCQ、组合视频检索 EgoCVR、动作图编辑预测 A-GEF 以及具身长程规划基准 EXPLORE-Bench 上进行了全方位对比评估。

数据集 / 基准	评估指标	本文 (GLEN)	对比基线 (前SOTA/代表模型)	性能差距/相对提升
EgoSchema (val)	Accuracy (%)	66.0 (仅SG-Ego文本输入)	Qwen3.5-9B (Frames): 72.8 / Blind: 38.2	纯图三元组逼近原始全帧输入，+SG-Ego达 73.2
EgoMCQ	Inter-Video Acc (%)	91.2	EgoVLP: 90.6 / EgoVLPv2: 91.0 / HiERO: 91.6	结构化图表征媲美端到端密集视频微调模型
EgoMCQ	Intra-Video Acc (%)	56.2	EgoVLP: 57.2 / EgoVLPv2: 60.9	紧凑离散表征展现极高动作区分度
EgoCVR (Local)	Recall@1 / @2 / @3 (%)	47.7 / 64.8 / 76.3	TFR-CVR: 44.2 / 61.0 / 73.2	R@1 显著提升 +3.5% (全训练免费)
EgoCVR (Global)	Recall@1 / @5 / @10 (%)	15.3 / 40.3 / 56.9	Thawakar et al.: 14.6 / 41.3 / 54.9	优于在 WebVid 上重度微调的专用 CVR 模型
A-GEF (SG-Ego)	Triplet R@20 / 50 / 100 (%)	35.06 / 43.92 / 48.49	\(G_t\) 静态基线: 23.17 / 23.17 / 23.17	R@100 相对静态基准提升 +25.32%
A-GEF (SG-Ego)	Triplet R@20 / 50 / 100 (%)	35.06 / 43.92 / 48.49	Qwen3.5-9B: 9.14 / 9.14 / 9.14	结构化图归纳偏置大幅击败黑盒语言模型
EXPLORE-Bench (Full)	\(S_{obj}\) (物体软覆盖率)	65.59	Gemini-3-Pro: 60.94 / Qwen3-VL-Thinking: 62.70	零样本迁移下取得全场最高物体预测准确率
EXPLORE-Bench (Full)	\(S_{rel}\) (关系质量打分)	2.69	GPT-5.2: 2.67 / Gemini-3-Pro: 2.75	无任务微调下关系推理质量紧咬顶级商业 MLLM

消融实验¶

表 A 展示了在 EgoMCQ 检索基准上，负样本采样策略与不同损失头组装带来的影响；表 B 展示了 A-GEF 任务中可学习节点查询数量 \(K\) 对场景图演化召回率的敏感性分析。

表 A：EgoMCQ 目标头与对比损失策略消融

配置与评估模式	Inter-Video Acc (%)	Intra-Video Acc (%)	说明
GTCA (\(n=1\))	89.3	53.2	基础对比学习配置
GTCA (\(n=3\))	90.6	53.9	增加批内负样本显著增强图文本判别力
GTCA (\(n=3\)) + GTM	91.0	54.4	引入细粒度图匹配交叉注意力头
GTCA (\(n=3\)) + GTM† (仅同视频内负例)	91.0	54.9	强制同视频困难负例显著改善动作级区分度
预测分支：仅 GTCA 头	91.0	54.9	余弦相似度快速检索
预测分支：仅 GTM† 头	80.8	54.0	交互匹配打分泛化偏弱
预测分支：GTCA + GTM† 双头集成 (最终方案)	91.2	56.2	检索与匹配互补达到最优表现

表 B：A-GEF 中节点查询槽位数 \(K\) 的消融

节点查询数量 \(K\)	Triplet R@20 (%)	Triplet R@50 (%)	Triplet R@100 (%)	说明
0 (静态复制 \(G_t\))	23.17	23.17	23.17	无法预测任何新增物体与新交互
\(K = 64\)	34.98	42.19	44.73	初步具备演化推断能力
\(K = 72\)	35.12	42.84	45.89	中等容量，关系捕获仍有缺失
\(K = 100\)	35.05	43.71	47.84	性能稳步上升
\(K = 128\) (默认配置)	35.06	43.92	48.49	槽位充足支持复杂动作涉及的多物体并发插入

关键发现¶

静态惯性局限与动作驱动的必要性：A-GEF 实验中静态基准 \(G_t\) 的三元组召回率仅有 23.17%，且随候选截断 \(K\) 增加无法提升。这证实了第一人称场景变化绝非靠“环境物体惯性留存”即可糊弄，动作执行会导致大量的局部关系打破与新生交互，GLEN 相比静态基线提升了 25 个点以上。
符号图模型对黑盒 MLLM 的归纳偏置优势：大语言模型 Qwen3.5-9B 在给定初始图三元组提示后，自由文本生成的预测召回率仅为 9.14%，原因是通用生成模型难以严格维持物理实体的持久性并容易产生稀疏生成；GLEN 的显式图编辑机制提供了坚实的结构拓扑先验。
零样本长程迁移泛化：在未经任何微调的情况下，在 SG-Ego 上训练的 GLEN 直接部署于多步复合动作规划基准 EXPLORE-Bench 时，在全序列评测中以 65.59% 的物体覆盖分超越了包含 Gemini-3-Pro 和 Qwen3-VL-Thinking 在内的闭源与开源顶级多模态大模型。

亮点与洞察¶

将场景演化形式化为条件图编辑：传统视频理解要么将时间推演压扁为隐空间潜特征漂移，要么孤立做无条件图外推。本文首次将人类交互动作作为显式条件输入，通过图编辑预测（A-GEF）输出精准的节点与边变换，使场景状态演化完全可读、可控且因果明确。
免微调且高质量的超大规模基准构建：巧妙融合了 MLLM 的常识语义提取、GroundingDINO 的空间检测以及 SAM 2 / DINOv2 的时序对应跟踪，在未标注任何新像素的情况下低成本提取出 3.8M 高质量时空场景图。
可复用的通用槽位式图编辑范式：通过构建附加 \(K\) 个未定属性 Slot Query 的完全图，并将属性预测映射为包含 no object 的分类任务，绕过了昂贵的自回归图生成难题，为机器人任务规划与数字孪生状态同步提供了标准操作范式。

局限与展望¶

作者承认的局限：目前图编辑仅在离散语义和拓扑关系层面上展开（预测关系谓词与类别增删），尚不能直接回归出每个新增或位移物体的连续精确 3D 边界框或 6DoF 空间位姿。
潜在不足与拓展空间：自动化数据构建流水线重度依赖 SAM 2 和 GroundingDINO 的上游质量，在极端遮挡或强逆光下可能引入级联错误图元；此外，目前的边生成属于全连通密集注意力判断，在超大图结构（节点数大于 50）下的计算内存开销呈平方级上升。
改进与落地路径：未来最顺理成章的方向是与机器人操控（Manipulation）紧密结合，将几何坐标和物理接触状态融入边属性，使 GLEN 作为世界模型（World Model）直接服务于具身 Policy 的反事实推理与轨迹前瞻。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出动作条件图编辑预测（A-GEF）并构建了首个 3.8M 规模的主视角时空演化场景图基准 SG-Ego。
实验充分度: ⭐⭐⭐⭐⭐ 横跨长程问答、跨模态检索、组合视频定位以及长时程规划等 5 个下游基准，主实验与消融严密详实。
写作质量: ⭐⭐⭐⭐⭐ 动机清晰直击痛点，架构图与关键设计推导逻辑严密自洽，形式化描述极具学术美感。
价值: ⭐⭐⭐⭐⭐ 成功打通了具身智能高层任务规划与底层离散环境状态追踪之间的鸿沟，对 World Model 研究具有高度启发性。