跳转至

Motion-O: Trajectory-Grounded Video Reasoning

会议: NeurIPS 2026
arXiv: 2603.18856
代码: https://github.com/ostadabbas/Motion-o
领域: VLM Reasoning
关键词: 空间时序轨迹推理, 运动思维链, 视频大语言模型, 双链验证奖励, 轨迹对齐强化学习

一句话总结

针对现有视频大模型将帧间运动隐式脑补导致动态推断不可靠的缺陷，Motion-o 提出空间-时序-轨迹（STT）推理框架与离散化运动思维链（MCoT），结合轨迹一致性与时序扰动双链验证奖励，在不改动模型架构下显著提升视频动态推理准确度。

研究背景与动机

当前视频大语言模型在多模态视频理解与视觉定位上取得了长足进步，基于时空证据链（Spatio-Temporal Grounding）的推理模型逐渐能够输出特定时间戳下的物体边界框。然而，这些显式证据链本质上仍然是离散时间切片上的静态快照；模型定位了物体在不同时刻的出现位置与空间范围，却从未显式建模连接这些静态观察之间的动态演变过程。面对涉及速度快慢、运动朝向、相对缩放或轨迹反转的复杂视频推理任务时，现有模型往往依赖大语言模型的文本先验与语言插值去猜测中间动态，导致生成的推理链看似合理流畅，实则缺乏视觉证据支撑且极易产生虚假推断。

这种静态快照推理与真实动态物理世界之间的核心矛盾在于：视频动态不仅包含“在哪”和“何时”，更核心的是“如何移动”。传统方法将运动视为低级跟踪特征或文本隐式表征，无法将其作为可解析、可监督且可奖惩的结构化推理变量。一旦中间轨迹未被显式建模，模型给出错误动态推断时无法被精确问责，而碰巧答对时也无法确认其真正依赖了时序视觉信息还是语言先验捷径。

本文的切入角度是将视频时空推理拓展至轨迹维度，定义空间-时序-轨迹（Spatial-Temporal-Trajectory, STT）推理范式，并将轨迹抽象为结构化的离散思维符号。核心 idea：引入自闭合的运动思维链标签 <motion/> 作为显式中间推理变量，参数化描述方向、速度与缩放变化，并通过稠密轨迹构建与结合时序扰动的强化学习奖励实现轨迹显式监督与视觉事实对齐。

方法详解

整体框架

Motion-o 将视频推理扩展为包含目标标识、时空定位与动态轨迹的统一链条。输入视频与问题后，模型首先在 <think> 思考阶段对关键实体进行跨时间戳的目标识别与边界框检测；当同一个目标被连续观测至少两次时，模型主动插入结构化的 <motion/> 标签，用紧凑的离散语义属性参数化两个或多个观察点之间的运动关系；最后在 <answer> 中输出基于轨迹证据支持的最终答案。

整个框架采用无需修改模型骨干的两阶段训练范式：第一阶段利用离散运动基元稠密增强的时空定位数据进行监督微调（SFT），使模型掌握 MCoT 语法与结构化轨迹生成规范；第二阶段采用组序列策略优化（GSPO）进行强化学习（RL），利用轨迹一致性奖励与双链扰动视觉对齐奖励协同优化模型的运动保真度。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入视频与查询问题"] --> B["多时间戳时空目标定位<br/>obj + box + timestamp"]
    B --> C["运动思维链标签生成<br/>MCoT discrete motion tag"]
    C --> D["轨迹一致性奖励评估<br/>dir + speed + scale"]
    C --> E["双链扰动视觉对齐验证<br/>冻结关键帧运动评估"]
    D --> F["GSPO 策略优化迭代"]
    E --> F
    F --> G["生成轨迹接地的最终答案"]

关键设计

1. 运动思维链与离散参数化表征：将隐式运动转化为可解析可奖惩的显式推理符号

针对模型缺乏运动显式建模变量的痛点，MCoT 设计了一种轻量且自闭合的离散标签 <motion/>。该标签紧随跨时间戳目标检测结果之后生成，格式为 <motion obj="name" dir="D" speed="S" scale="C"/>。其中方向属性包含八个罗盘方向与静止状态（N, NE, E, SE, S, SW, W, NW, STAT）；速度属性离散化为四级（stationary, slow, moderate, fast）；尺度变化反映目标远离或靠近相机（approaching, stable, receding）。

采用离散语义基元而非连续数值坐标是其核心设计选择。连续浮点数预测对于自回归语言生成模型而言极难拟合且会导致优化崩溃，而离散化区间提供了语义清晰且容忍轻微定位抖动的符号词汇表。在数据构建阶段，研究者利用关键帧标注密集插值出连续时间轨迹，根据质心位移向量聚类得到朝向与归一化速度，根据边界框面积对数比计算尺度演化，自动生成高质量的运动监督标签。

2. 轨迹一致性与近邻容差奖励：对齐真实运动物理轨迹

针对生成的运动描述缺乏精准监督的问题，强化学习阶段引入了细粒度轨迹奖励 \(r_{\text{traj}}\)。对于同一个被跟踪目标的运动标签，系统将其与从密集边界框轨迹计算出的真实离散运动区间进行匹配：

\[r_{\text{traj}} = r_{\text{dir}} + r_{\text{speed}} + r_{\text{scale}}\]

在计算 \(r_{\text{dir}}\) 时，算法引入了带相邻容差的打分机制：若方向完全一致获得满分，若落在相邻 \(\pm 45^\circ\) 的罗盘区间则给予部分容差奖励；类似地，速度与尺度等级也对 \(\pm 1\) 邻近级别给予梯度反馈。这种软化匹配有效缓解了因视觉定位微小抖动导致的离散区间边界跳变，使得强化学习梯度更为平滑稳定。

3. 双链扰动视觉对齐验证：强制模型依赖真实时序视觉证据而非语言先验

针对视觉语言模型容易通过常识先验（例如“汽车在马路上通常向前开”）抄捷径而忽视真实画面的弊端，设计了基于时序扰动的视觉对齐奖励 \(r_{\text{ground}}\)。系统针对同一输入构建双通道验证机制：除了输入原始视频，模型还会接收一份经过局部时序冻结的扰动视频（仅在预测运动对应的时间窗内复制单帧画面以消除真实物理运动）。

两路输出对应的运动标签被严格对比，计算指示函数差异：

\[r_{\text{ground}} = \mathbb{I}[d \neq d'] + \mathbb{I}[s \neq s'] + \mathbb{I}[c \neq c']\]

若原始视频中的运动线索被消除后，模型依然预测出完全相同的方向、速度与尺度，说明模型根本没有关注视觉动态，此时对齐奖励为 0；反之，若预测发生改变（或正确坍缩为静止），则奖励为正。这一机制迫使模型必须从连续画面的真实光流与形变中提取运动证据。

损失函数 / 训练策略

训练分为两个阶段。阶段一采用标准交叉熵对 22k 稠密运动标注样本进行监督微调，统一输出格式规范。阶段二采用 GSPO（Group Sequence Policy Optimization）算法，针对输入采样 \(K\) 条候选输出，综合标量奖励进行组归一化优势计算：

\[r(x, y) = r_{\text{acc}}(x, y) + r_{\text{fmt}}(x, y) + r_{t}(x, y) + r_{s}(x, y) + r_{\text{traj}}(x, y) + r_{\text{ground}}(x, y)\]

通过序列级重要性采样比率更新策略网络，在保持长文本推理稳定性的同时提升运动推断准确性。

实验关键数据

主实验

在时空推理基准 V-STAR 以及多项通用与动态视频理解数据集（VideoMME, WorldSense, TVGBench, MVBench, MotionBench）上，Motion-o 均展现出显著超越基线模型与竞品的效果。

数据集 指标 Motion-o (Qwen2.5-VL-7B) Open-o3 Video 增益 / 对比
V-STAR mAM (综合算术均值) 35.5 33.7 +1.8
V-STAR mLGM (对数几何均值) 49.4 46.6 +2.8
V-STAR Where Chain2 (空间IoU) 15.1 6.0 +9.1
VideoMME Overall Accuracy 67.5 63.6 +3.9
WorldSense Overall Accuracy 39.2 37.5 +1.7
TVGBench Temporal Grounding 37.6 20.8 +16.8
MotionBench Motion QA Acc 60.0 45.0 +15.0

在 Open-o3 底座上进一步应用 MCoT（Open-o3 + MCoT）后，V-STAR 的 mAM 更是提升至 36.6，mLGM 达到 50.5，MotionBench 达到 63.0，远超 GPT-4o（33.0）。

消融实验

消融实验深入验证了轨迹标注密度、标签表征形态以及视觉扰动奖励的核心有效性。

配置 V-STAR mAM V-STAR mLGM VideoMME Acc 说明
完整模型 (Dense/Discrete) 35.5 49.4 67.5 稠密轨迹 + 离散语义标签
稀疏轨迹 (Sparse/Discrete) 31.2 44.5 68.1 仅依赖稀疏关键帧生成运动标签，性能明显下降
连续数值标签 (Dense/Numerical) 2.1 5.4 14.4 预测绝对位移与速度数值，导致推理崩溃
去除双链视觉奖励 (w/o \(r_{\text{ground}}\)) 35.0 48.8 64.2 移除时序扰动奖励，模型出现捷径幻觉

关键发现

  • 离散语义表征是稳定优化的生命线：尝试让大语言模型输出连续浮点数运动参数（如像素位移量、瞬时加速度）会导致推理严重崩溃（mAM 从 35.5 跌至 2.1），而八向罗盘与四档速度的离散离散化表征兼顾了精度与可学习性。
  • 静态标签具备真实信息量：dir="STAT" 并非无意义的缺省值，而是代表对目标在时序观测窗口内持续存在的物理断言。在背景持久性问答中，该标签提供了决定性的抗干扰支持。
  • 显式轨迹带来更紧凑的思维链：引入结构化 <motion/> 标签后，模型的推理 tokens 数量反而比基线 Open-o3 减少了约 19%（123 tokens vs 153 tokens），表明结构化语法抑制了无意义的语言冗长赘述。

亮点与洞察

  • 将连续物理轨迹转化为离散语法标记：设计极度精炼的自闭合 <motion/> 标签，巧妙避开了复杂的网络架构改造，使得任何标准的自回归多模态模型均可原生支持轨迹级显式推断。
  • 扰动对比机制阻断语言捷径：通过冻结时间窗口的局部扰动视频与原始视频进行差分评估，为强化学习提供了一种通用的去幻觉与时序真伪判定手段，值得迁移至更多视频时序任务。

局限与展望

  • 作者承认的局限：当前的运动描述仍以单个物体为粒度，无法表达更复杂的物体间相互作用、相机自运动（Ego-motion）与物体运动的解耦，以及遮挡重现时的长程轨迹关联。
  • 潜在不足：边界框完全依赖基座 VLM 自身生成，当模型底层目标定位存在空间噪声时，派生出的运动标签容易发生离散区间跳变。
  • 改进方向：可考虑结合轻量级专用跟踪头或点跟踪（Point Tracking）表示，将点级长程轨迹特征与 MCoT 进行深层融合。

相关工作与启发

  • vs Open-o3 Video: Open-o3 首创了在思考链中交替输出时间戳与检测框，但帧与帧之间仍然割裂；Motion-o 在其基础上补齐了动态运动连线，使离散快照升级为连续时空轨迹。
  • vs Time-R1 / SpaceR: Time-R1 仅做时间定位，SpaceR 偏重单帧物体检测；Motion-o 则将空间、时序、轨迹三者融为一体，构建了完备的 STT 证据链。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次将中间运动表征形式化为离散 MCoT 并在强化学习中予以显式奖励。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖定位、通用视频理解、运动专项等多类基准，包含详尽的标注密度与表征消融。
  • 写作质量: ⭐⭐⭐⭐⭐ 动机清晰有力，图表规范严谨，方法推导层次分明。
  • 价值: ⭐⭐⭐⭐⭐ 为视频多模态模型向具身物理推理与动态严谨问答发展提供了重要范式。

相关论文