ProcObject-10K: Benchmarking Object-Centric Procedural Understanding in Instructional Videos¶

会议: NeurIPS 2026
arXiv: 2512.03479
代码: https://github.com/guowenliang99/ProcObject-10K
领域: 机器人/具身智能
关键词: 指令视频理解、以物体为中心、程序性推理、时序证据定位、具身规划

一句话总结¶

ProcObject-10K 构建了包含 10,522 个时序对齐 QA 对与双视角指令视频的以物体为中心程序性理解基准，揭示当前 MLLM 普遍存在"能语言作答却难定位证据"的严重鸿沟（mIoU 显著低于 45%），并通过空时约束辅助监督显著增强了因果状态追踪与具身规划迁移能力。

研究背景与动机¶

日常人类活动和具身机器人任务（如烹饪、工业装配、手术操作）本质上是程序性的。这些任务遵循内在的因果结构：主体通过动作作用于物体引发其物理状态转变，并在步骤间形成严格的前置依赖与因果链条（例如，必须先打碎鸡蛋才能搅拌，而搅拌得到的蛋液形态直接约束后续烹饪步骤）。理解这种程序性结构，不仅需要识别动作本身，更核心的是追踪物体状态随时间的演化，并推断状态变化如何施加未来动作约束。这是具身智能体与人机协作系统通过观看示范视频学习操作技能的基石。

然而，现有指令视频理解工作绝大多数陷入了"以动作为中心"（Action-centric）的范式。主流方法通常构建动作序列的有向符号依赖图，或利用掩码建模填补缺失动作片段。这类方法默认底层程序结构完全由动作序列的转移决定。这一假设忽略了程序性活动的关键特征：任务目标的达成依赖于物体状态在物理交互下的渐进演化。相同动作在不同执行条件和初始状态下会导致截然不同的物理结果，进而改变后续合法动作集合。由于缺乏对细粒度物体状态动力学的感知，现存基准允许模型仅依赖统计动作共现或强大的语言常识先验蒙对答案，却完全无法评测模型是否真正看懂了物理世界的状态演进。

现存数据集要么专注于动作序列而缺失物体状态建模，要么仅关注通用物体演变而缺失面向目标的程序因果与错误检测。本文的核心 idea 是：将程序性活动形式化为具有时序证据支撑与前置约束的物体状态演变序列，构建覆盖 5 种互补推理类型与双重视角的大规模基准 ProcObject-10K，并引入基于空时伪标签约束的以物体为中心微调框架以弥合回答与定位之间的割裂。

方法详解¶

整体框架¶

ProcObject-10K 围绕程序性视频中物体状态的细粒度演变与因果约束展开，整体架构包含高质量基准数据集构建流水线与针对性以物体为中心监督微调（Object-Centric SFT）两大部分。

数据集构建采用四阶段半自动化流程：首先从富含复杂人手-物体交互及真实操作失误的公开源（CaptainCook4D、EgoPER、HoloAssist 及通用领域的 COIN）中收集 1,943 段长视频；随后沿时间轴滑动窗口切分子动作序列，结合密集多模态物体描述采样连续交互片段；接着利用多模态大模型 Qwen3.5 结合特定推理类型的系统提示生成问答对与时序区间；最后通过常识过滤、证据与答案对齐验证以及严格的双盲人工复核，最终筛选出 10,522 个高质量、去语言捷径的 QA 样本。在模型训练层面，针对主流多模态大模型过度依赖文本先验而忽略视觉证据的问题，作者提出利用开放词汇检测器提取支持物体的空间补丁掩码与时间存在指示器，在冻结视觉主干或标准微调的基础上通过轻量空间预测头和时间预测头引入显式空时正则化损失。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["长视频采集与动作切分<br/>CaptainCook4D / EgoPER / COIN 等"] --> B["滑动窗口连续序列采样<br/>提取关键交互物体与上下文"]
    B --> C["多模态问答与证据生成<br/>5 类程序推理问题模板"]
    C --> D["三级验证与质量过滤<br/>常识剪枝 + 对齐验证 + 人工校验"]
    D --> E["ProcObject-10K 基准库<br/>10,522 QA / 1,799 视频片段"]
    E --> F["以物体为中心伪标签构建<br/>文本实体抽取 + 开放词汇检测"]
    F --> G["空时辅助约束微调<br/>空间补丁掩码 + 时间帧级存在性"]
    G --> H["具身与视频问答推理<br/>免辅助头的高效零样本推理"]

关键设计¶

1. 五大程序性推理维度与三级质量清洗过滤

针对传统 VideoQA 评测维度单一且易被纯文本常识破解的弊端，基准显式定义了覆盖程序结构全生命周期的五大推理问题类型：前置条件定位（Precondition Grounding，推断执行某动作所需的前置物体形态）、物体状态演化（Object State Evolution，追踪操作前后物理形态的变化）、反事实推理（Counterfactual Reasoning，推测关键操作未执行或参数改变时物体的潜在状态）、操作失误识别（Mistake Recognition，诊断操作疏忽或错误操作导致的物体异常破坏）、就绪状态评估（Readiness Assessment，判定物体状态是否满足下一阶段动作启动标准）。在样本过滤阶段，首创常识过滤机制：将问题直接输入纯语言大模型，若无视频输入的回答评估得分 $\ge 4$（满分 5 分）则直接判定为仅凭常识即可作答的泄露样本并剔除，仅该步骤就过滤了约 30%（约 4,500 条）候选；随后利用 GPT-4o-mini 对裁剪视频与答案进行跨模态逻辑对齐；最后组织具备计算机专业背景的标注人员进行独立双审与手动修正，彻底消除模糊证据与语言偏差。

2. 兼顾多跳推理与大海捞针的时序搜索模式

数据集突破了以往仅评测单点时间戳的局限，根据时序证据的时空分布特性将问题划分为两大互补的搜索范式。第一种是多跳推理（Multi-hop Reasoning），该模式在状态演化预测与反事实因果推断中占主导，要求模型跨越时间上相互分离的多个视频片段综合汇聚分散线索，重建因果传递链；第二种是大海捞针（Needle-in-a-Haystack），主要分布在错误识别与就绪状态判定中，要求模型在长程连续交互中精确捕捉持续时间极短、但决定成败的关键瞬间（如指尖触碰瞬间滑脱或微小形变）。两类模式全面覆盖了机器人连续操作与离散状态跃迁的感知需求。

3. 空时解耦的以物体为中心伪标签构建

为了在微调 MLLM 时避免耗时费力的人工密集边界框标注，提出了一套自动化的以物体为中心代理监督机制。系统首先利用视觉语言模型从问答对中抽取回答所需的核心支持物体短语，再以其作为文本提示送入开放词汇目标检测器 Grounding DINO，定位视频各采样帧内的对应目标。随后将检测结果转化为两类鲁棒的自监督信号：在空间维度，将 $T$ 帧中被多模态模型视觉编码器划分为 $P$ 个视觉 Patch 的特征图映射为软 Patch 掩码 $\tilde{\mathbf{M}} \in [0,1]^{T \times P}$，记录 Patch 与物体框的交叠占比；在时间维度，聚合单帧检测置信度构造物体存在二值指示器 $\tilde{\mathbf{y}} \in \{0,1\}^T$，由帧平均置信度超过阈值 $\tau$ 触发指示函数 $\tilde{y}_t = \mathbb{I}[\bar{s}_t > \tau]$。该设计以零人工标注成本实现了对物体"在哪里"和"何时出现"的双重几何对齐。

4. 空间与时间双重注意力辅助约束

为了让模型在生成语言文本时建立与关键物体动态的物理联结，在 MLLM 视觉编码器之后分别引入轻量级的空间预测头与时间预测头。空间头输出 Patch 重叠概率 $\alpha_{t,p}$，结合帧级可靠性权重 $w_t$ 施加加权交叉熵约束： $$\mathcal{L}_{\mathrm{spl}} = \frac{1}{TP}\sum_{t=1}^{T}\sum_{p=1}^{P}w_t \left[\tilde{m}_{t,p}\log(\alpha_{t,p}) + (1-\tilde{m}_{t,p})\log(1-\alpha_{t,p})\right]$$ 时间头则输出帧级关键物体出现概率 $\beta_t$，通过时间二值交叉熵引导时序聚焦： $$\mathcal{L}_{\mathrm{tmp}} = \frac{1}{T}\sum_{t=1}^{T}\left[\tilde{y}_t \log\sigma(\beta_t) + (1-\tilde{y}_t)\log(1-\sigma(\beta_t))\right]$$ 这两个辅助头仅在训练阶段通过小权重温和预热介入，迫使视觉表征编码物体因果演化；而在推理阶段这两个辅助头被完全移除，零增加推理延迟。

损失函数 / 训练策略¶

模型的总体训练目标由标准的自回归生成语言建模损失 $\mathcal{L}_{\mathrm{gen}}$ 与两项辅助几何正则化损失共同构成： $$\mathcal{L} = \mathcal{L}_{\mathrm{gen}} + \lambda_{\mathrm{spl}}\mathcal{L}_{\mathrm{spl}} + \lambda_{\mathrm{tmp}}\mathcal{L}_{\mathrm{tmp}}$$ 在优化过程中，超参数 $\lambda_{\mathrm{spl}}$ 与 $\lambda_{\mathrm{tmp}}$ 设定为较小系数并在训练初期实施线性预热（warm-up），防止辅助检测信号干扰语言生成能力。基干模型选用开源多模态基准模型 Qwen3-VL-4B，在经过 9,472 个训练集样本微调后完成参数收敛。

实验关键数据¶

主实验¶

基准评估涵盖了 13 个代表性模型，包括 4 个纯文本盲模型（Blind LLMs：GPT-5.4-Mini、Claude-Sonnet-4.6、Qwen3-30B-A3B、Llama-3.2-3B）以及 9 个顶尖多模态模型（涵盖 Gemini-3.1-Flash-Lite、InternVL3.5 系列、Qwen3-VL 系列及 SFT 增强模型）。文本回答质量采用句子语义相似度（Sentence Similarity, S.）、BERT-Score F1（B.）与三模型四维度（事实一致性、细节完整性、因果连贯性、时间顺序）评分平均的 LLM-as-Judge 分数（J.，0-5分）；时序证据定位采用集合级交并比 mIoU、精度指标 mIoP 与召回指标 mIoG。

模型类型	代表模型	评测子集	语义相似度 S. (%)	BERT-Score B. (%)	裁判得分 J. (0-5)	定位 mIoU (%)
Blind LLM	GPT-5.4-Mini	All	73.1	89.1	3.14	-
Blind LLM	Claude-Sonnet-4.6	All	72.4	88.0	3.34	-
Blind LLM	Qwen3-30B-A3B	All	70.2	88.8	3.04	-
Blind LLM	Llama-3.2-3B	All	63.4	88.0	2.48	-
Blind LLM	GPT-5.4-Mini	Multi-hop	74.0	89.2	3.13	-
Blind LLM	Claude-Sonnet-4.6	Multi-hop	74.5	88.3	3.51	-
Blind LLM	GPT-5.4-Mini	Needle-in-a-Haystack	71.7	89.0	3.15	-
Blind LLM	Claude-Sonnet-4.6	Needle-in-a-Haystack	69.2	87.6	3.08	-

(注：纯文本模型无法输入视频，时序定位指标为缺省；由于原文未展示视觉模态基线的最终表格数值，上述纯文本对照组揭示出强力 LLM 仅凭常识即可获得超 70% 的表面文本相似度，凸显基准设计时序证据定位评测的必要性)

关键特性对比与分析¶

数据集名称	视角视角	以物体为中心	问答类型	包含时序证据	包含错误理解	领域类别
COIN	Exo	✗	-	✗	✗	Instructional
ChangeIt	Exo	✓	-	✗	✗	Instructional
EgoSchema	Ego	✗	Multi-choice	✗	✗	Human Activity
EgoPER	Ego	✗	-	✗	✓	Instructional
CaptainCook4D	Ego	✗	-	✗	✓	Instructional
ProMQA	Exo	✗	Open-ended	✗	✓	Instructional
REXTIME	Exo	✗	Multi-choice	✓	✗	Generic
VideoInfer	Exo	✓	Open-ended	✓	✓	Human Activity
MultiHop-EgoQA	Ego	✗	Open-ended	✓	✗	Human Activity
TrackVerse	Exo	✓	-	✗	✗	Generic
EPIC-KITCHENS-100-MQA	Ego	✗	Open-ended	✓	✓	Instructional
ProcObject-10K (本文)	Ego+Exo	✓	Open-ended	✓	✓	Instructional

关键发现¶

回答与定位间的严重脱节（Answering-Grounding Gap）：主流先进多模态大模型尽管能在开放式问答中输出流畅且看似合理的语言答案，但其定位支撑证据片段的平均交并比远远落后，mIoU 普遍显著低于 45%。这表明许多模型实际上在"幻觉猜答案"或凭借语言先验答题，而非基于对视频中物体细粒度演进的感知。
纯语言模型存在不可忽视的先验捷径：即使在剔除了约 30% 常识样本后，最先进的 Blind LLM（如 Claude-Sonnet-4.6 与 GPT-5.4-Mini）依然可以在无视频输入的情况下取得 72% 以上的语义相似度与超 3.3 分的裁判得分。这充分印证了常规 VideoQA 单纯依赖语言回答评估的虚高表象，必须通过强制结合时序证据定位来真实评测具身感知能力。
物体级空时监督促进具身泛化：经过以物体为中心微调后的模型不仅在 ProcObject-10K 测试集上大幅缩小了定位差距，更在零样本（Zero-shot）设定下成功迁移至 MultiHop-EgoQA 等基准，并在 ALFRED 等具身指令跟随任务的零样本规划器评估中表现出显著优势，证实了理解物体状态动态是具身规划任务的核心通用能力。

亮点与洞察¶

评测范式革新：将程序性视频理解的核心锚点从单纯的动作转移图推向"物体状态演变序列"，补齐了具身智能在长程物理交互推理中的理论盲区。
巧妙的零成本密集监督构建：利用大模型提取物体词汇配合开放词汇检测器生成软掩码与存在性指示，辅以轻量预测头仅在训练期注入正则约束，兼顾了表征对齐与推理效率。
严格的反捷径数据清洗机制：在构建期引入纯文本语言模型裁判反向剔除 30% 的常识性泄露题目，从源头上遏制了大模型的文本捷径欺骗。

局限与展望¶

自动生成伪标签存在检测噪声：依赖开放词汇检测器提取的软掩码易受到复杂手部交互遮挡、极端形变以及透明流体材料（如蛋液、面糊）的漏检与误检影响，限制了细粒度监督信号的上限。
多物体交互下的因果归因复杂度：在多工具多容器协同的工业装配或烹饪场景中，物体状态转换可能由多个实体的瞬时接触共同触发，当前框架对复合交互的解耦建模仍较初步。
未来方向：探索三维点云与深度信息驱动的物体形变追踪，并将物体状态转移隐式模型与具备闭环物理仿真的世界模型（World Models）相融合，以支撑更高精度的机器人底层控制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次确立以物体为中心的指令视频程序性理解与证据定位基准]
实验充分度: ⭐⭐⭐⭐☆ [评测了 13 个主流大模型并验证了具身规划泛化，多模态详细定量消融略有精简]
写作质量: ⭐⭐⭐⭐⭐ [动机层层递进，形式化建模严密清晰，图表统计规整]
价值: ⭐⭐⭐⭐⭐ [为具身智能规划、人机协作操作及长视频细粒度理解提供了重要基石]