TrAction: Action Recognition with Sparse Trajectories¶
会议: NeurIPS 2026
arXiv: 2606.03490
OpenReview: https://openreview.net/forum?id=BiWI5m66G8
代码: https://github.com/ecker-lab/TrAction
领域: 视频理解
关键词: 动作识别, 稀疏轨迹, 点跟踪, 掩码自编码器, 时序动态
一句话总结¶
针对传统稠密视频模型计算开销大且易依赖背景/外观捷径的问题，TrAction 提出首个完全基于 2.5D 稀疏点轨迹与轻量 Transformer 的动作识别架构，配合掩码轨迹自编码预训练，在无像素输入的条件下取得具竞争力的动作识别性能，并与 DINOv2、V-JEPA 2 等外观大模型形成显著的互补增益。
研究背景与动机¶
现代视频基础模型（如 V-JEPA 2、VideoPrism 与 VideoMAE）在动作识别等下游任务中取得了主导地位，其核心范式依赖于跨多帧联合处理高维稠密 RGB 体素。然而，这种基于稠密像素输入的机制存在两大根本局限：其一是计算与显存开销随着输入空间分辨率和视频片段长度呈二次方迅速爆炸，使得长视频或高帧率细粒度动作的建模代价极其昂贵；其二是稠密像素中蕴含的丰富静态纹理天然诱导模型学习外观捷径与背景偏置（Appearance Bias）。在诸如 Kinetics-400 等主流基准上，模型往往仅凭单张静态帧中的场景背景或物体类别即可做出高置信度动作预测，严重缺乏对动作本质时序动态的感知灵敏度。
为了剥离外观干扰并显式建模动态，传统方法广泛探索了光流（Optical Flow）与骨骼骨架（Skeleton）。但光流依然是稠密像素级表征，不仅延续了计算开销大、难以跨长程追踪物体对应关系的缺陷，而且运动边缘处依然泄露了物体的几何轮廓与布局信息；骨骼关键点虽然稀疏且对外观不变，却高度依赖专用人体姿态检测器，无法泛化到手物交互、工具操纵或任意非人刚体/非刚体环境中。近年来，以 CoTracker3 与 TAP-Net 为代表的动态点跟踪（Dynamic Point Tracking）技术取得了突破性进展，能够跨越遮挡在长视频中可靠追踪数百至数千个任意三维场景点的二维轨迹。这种极度稀疏的运动轨迹天然过滤了纹理与局部外观，为动作识别提供了一种天生解耦外观偏置的紧凑动态表征，但如何将其直接转化为强大的动作识别能力在学术界仍未被充分挖掘。
本文的核心切入点在于：稀疏轨迹虽然几乎不含像素外观，但其跨时序的时空几何流动蕴含了高度判别性的因果与交互信息，通过融合单目深度估计将二维轨迹提升至 2.5D，并辅以自监督掩码重构预训练，稀疏运动模态本身就能支撑高精度的细粒度动作分类。核心 idea：利用 CoTracker3 与单目深度提取 2.5D 稀疏点轨迹，通过两层 MLP 将单条轨迹的全时序压缩为单个 Token 并送入轻量 Transformer 进行点间时空交互，配合高掩码率掩码轨迹自编码预训练，实现低计算量、强外观不变性与时序敏感性的动作识别，并与前沿外观模型形成正交互补。
方法详解¶
整体框架¶
TrAction 的整体流水线分为三个串行阶段：2.5D 轨迹提取、轨迹 Transformer 编码器架构、以及自监督掩码轨迹预训练（MAE）。模型接收包含 \(M\) 条稀疏点轨迹的视频表示，完全不输入任何 RGB 帧或外观特征。首先，动态点跟踪器 CoTracker3 在视频中跨时空均匀采样查询点并生成双向二维坐标序列与可见性掩码，同时结合 Video Depth Anything 估计对应像素位置的相对深度，生成紧凑的 2.5D 轨迹；接着，经过宽高比保持的坐标归一化与高频正弦编码，每条轨迹被两层 MLP 沿时序维度折叠为一个 \(D\) 维 Token，并由 6 层标准 Transformer 编码器建模轨迹间的时空关联；在下游分类时，通过 [CLS] 词元预测动作类别，或与冻结的视觉基础模型表征进行拼接晚期融合。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入连续视频帧<br/>RGB 序列 (T×H×W)"] --> B["2.5D 轨迹提取与几何归一化<br/>CoTracker3 跟踪 + 深度估计 + 等比缩放"]
B --> C["轨迹时序折叠与 Transformer 编码器<br/>正弦频域编码 + 2层MLP压缩 + 6层自注意力"]
C -->|无监督预训练| D["掩码轨迹自编码预训练<br/>90% 轨迹掩码 + 瓶颈解码器重构 (u, v, d) 坐标"]
D -->|下游微调权重迁移| E["动作分类预测 / 与外观大模型融合<br/>[CLS] 线性分类 / 与 DINOv2 / V-JEPA 2 拼接"]关键设计¶
1. 2.5D 轨迹提取与几何归一化：消除外观偏置并补充三维运动线索
针对纯 2D 轨迹缺乏景深移动（如推/拉物体、朝向摄像机移动）判定依据的缺陷，以及端到端 3D 点跟踪计算繁重、场景重建脆弱的难题，TrAction 采取了解耦的 2.5D 轨迹提取方案。系统利用离线版 CoTracker3 在空间和时间上均匀随机采样 \(M=2500\) 个查询点 \((u, v, t)\) 并进行双向追踪，得到二维轨迹序列与可见性指标 \((u_t, v_t, \text{vis}_t)_{t=1}^T\)；跨时空采样避免了传统仅在首帧查询导致中途进入视野的物体被漏网的问题。随后，利用 Video Depth Anything 提取每帧对应位置处的相对深度 \(d_t\)，拼装成四通道轨迹 \(\mathbf{p} = (u_t, v_t, d_t, \text{vis}_t)_{t=1}^T \in \mathbb{R}^{T \times 4}\)。在归一化策略上，作者没有将 \(u, v\) 分别除以 \(W, H\)（这会拉伸形变破坏相对运动的真实几何比例），而是统一除以 \(\max(H, W)\) 保持原始图像宽高比；同时将深度通道 \(d\) 归一化为零均值，并将其标准差缩放到与空间坐标一致，使三维几何通道处于统一数值尺度。
2. 轨迹时序折叠与 Transformer 编码器：解耦点内时序与点间空间交互
如果将每个点在每一帧都作为一个独立 Token，输入序列长度将达到 \(M \times T\)（例如 \(512 \times 32 = 16384\)），注意力开销难以承受。TrAction 巧妙地将点内时序建模与点间空间关系解耦：对每个几何坐标 \((u, v, d)\) 施加 \(L=32\) 频段的正弦频域位置编码，并与标量 \(\text{vis}_t\) 拼接为维度为 \(T \times (3 \cdot 2L + 1)\) 的高维特征；随后沿时序维度展平为一维向量，通过包含 GELU 激活与 Dropout 的双层 MLP 投影至模型维度 \(D_{\text{model}}=288\)：
$$
\mathbf{z} = \mathbf{W}_2 \, \sigma\left(\text{Dropout}(\mathbf{W}1 \, \text{flatten}(\mathbf{p}_2
$$
这样每条轨迹被压缩为单个 Token }}) + \mathbf{b}_1)\right) + \mathbf{b\(\mathbf{z} \in \mathbb{R}^{D_{\text{model}}}\)，单点内部的时序演变由 MLP 隐式参数化吸收，而点与点之间的空间编组、相对位移与物体动态则交由后续 6 层标准 Transformer 编码器（4 头自注意力，共计不到 8M 参数）全局交互。模型额外添加基于轨迹起始位置 \((u_0, v_0, d_0)\) 的三维正弦绝对空间编码，并在序列首部拼接 1 个可学习的 [CLS] 词元与 4 个寄存器词元（Register Tokens），有效防止自注意力在背景稀疏点上过度聚焦。
3. 掩码轨迹自编码预训练：通过高掩码率重构学习通用物理运动规律
为了使轻量 Transformer 学习到鲁棒的物理运动与物体几何结构先验，TrAction 提出了针对轨迹域的非对称掩码自编码预训练（MAE）。在预训练阶段，模型以极高的掩码率 \(p_{\text{mask}}=90\%\) 随机遮蔽 \(m\) 个轨迹 Token 中的绝大多数，仅将保留的 10% 可见 Token 输入 6 层编码器；解码器极其轻量，由一个投影瓶颈 MLP 与 2 层自注意力层构成（隐藏维度仅 144）。被遮蔽的轨迹使用共享的可学习掩码向量并叠加其对应的三维起始位置编码，送入解码器重构全部帧上的原始几何坐标 \((u_t, v_t, d_t)\)。重构损失采用归一化空间下的平均绝对误差（L1 Loss）：
$$
\mathcal{L}{\text{MAE}} = \frac{1}{|\mathcal{M}| \cdot T} \sum}} \sum_{t=1}^T \left( |u_{i,t} - \hat{u{i,t}| + |v} - \hat{v{i,t}| + |d| \right)
$$
高掩码率迫使模型必须从极少数离散点的运动趋势中推断出整个场景的刚体变换与物体操纵动力学。预训练结束后直接舍弃解码器，仅保留编码器权重进行下游有监督微调。} - \hat{d}_{i,t
损失函数 / 训练策略¶
- 预训练配置：在目标数据集（或 K400）训练集上预训练 300 轮，使用 AdamW 优化器，学习率 \(2 \times 10^{-4}\)，权重衰减 \(5 \times 10^{-3}\)，余弦退火学习率调度并配合 10% 轮次预热，批量大小为 512。每条轨迹固定采样 \(T=32\) 帧，每批随机采样 \(m=512\) 条轨迹。
- 微调配置：下游动作分类微调 15 轮，批量大小为 64，学习率 \(2 \times 10^{-4}\)，采用标准交叉熵损失 \(\mathcal{L}_{\text{CE}}\) 端到端优化。
- 数据增强策略：为防止模型过拟合特定采样点子集，训练时对每段视频从预存的 2500 条轨迹中随机采样 512 条，并在轨迹域引入专用的几何数据增强：全局空间平移 \((\Delta x, \Delta y)\)、围绕视线 \(z\) 轴的平面旋转 \(\theta \in [-\theta_{\max}, \theta_{\max}]\)、时序平移伴随边界填充、独立高斯抖动噪声（模拟点跟踪误差）、以及随机空间框裁剪与重定中心。
- 推理与互补融合策略：推理时输入全部 \(M=2500\) 条轨迹以最大化时空覆盖。与视觉基座模型（DINOv2-B、V-JEPA 2-L 等）融合时，冻结已微调的轨迹模型与视觉模型注意力探针，将两者的输出嵌入进行特征拼接，仅训练一个随机初始化的单层线性分类器，从而在不增加复杂交互网络的前提下严格验证轨迹表征与像素表征的互补性。
实验关键数据¶
主实验¶
在注重时序推理的 Something-Something V2 (SSv2)、第一人称手物交互的 EPIC-Kitchens-100 (EK100，测试 97 类动词) 以及外观主导的 Kinetics-400 (K400) 上，系统对比了纯轨迹模型、光流模型（I3D 纯光流分支）以及与各主流视觉基础模型的晚期融合效果：
| 输入类型 / 模型方案 | 输入数据量 | SSv2 Top-1 (%) | EK100 动词 Top-1 (%) | K400 Top-1 (%) |
|---|---|---|---|---|
| I3D (纯光流分支) | \(16 \times 224^2 \times 2 \approx 1.6\text{M}\) | 38.4 | 54.0 | 63.4 |
| TrAction (本文纯轨迹) | \(32 \times 2500 \times 4 \approx 0.3\text{M}\) | 45.2 (+6.8) | 54.1 (+0.1) | 33.1 |
| DINOv2-B (单中心帧基线) | \(1 \times 224^2 \times 3 \approx 0.2\text{M}\) | 30.8 | 44.1 | 66.5 |
| DINOv2-B (单帧) + TrAction | 约 0.5M | 56.8 (+26.0) | 59.5 (+15.4) | - |
| DINOv2-B (16帧基线) | \(16 \times 224^2 \times 3 \approx 2.4\text{M}\) | 53.6 | 59.1 | 73.5 |
| DINOv2-B (16帧) + TrAction | 约 2.7M | 62.3 (+8.7) | 63.5 (+4.4) | - |
| SigLIP-2-B (16帧基线) | \(16 \times 224^2 \times 3 \approx 2.4\text{M}\) | 51.5 | 56.6 | 73.6 |
| SigLIP-2-B (16帧) + TrAction | 约 2.7M | 61.4 (+9.9) | 63.4 (+6.8) | - |
| VideoPrism-B (16帧视频基模型) | \(16 \times 224^2 \times 3 \approx 2.4\text{M}\) | 60.5 | 62.9 | 76.6 |
| VideoPrism-B + TrAction | 约 2.7M | 63.5 (+3.0) | 64.5 (+1.6) | - |
| V-JEPA 2-L (16帧顶尖视频大模型) | \(16 \times 256^2 \times 3 \approx 3.1\text{M}\) | 66.7 | 67.2 | 73.0 |
| V-JEPA 2-L + TrAction | 约 3.4M | 68.3 (+1.6) | 68.3 (+1.1) | - |
在外观不变性（IARD 基准，k-NN 协议）与时间敏感度（Chirality-in-Action 基准，测试向前/向后对映动作分类）两项诊断评测中，TrAction 展现出极为显著的模态特性： - IARD 外观解耦诊断：在动作分类准确率保持 76.6% 的前提下，TrAction 的人物身份可恢复度（Identity Accuracy）仅为 27.3%（随机基线为 20.0%），而 DINOv2 为 99.0%，VideoMAE-L 为 99.1%，V-JEPA-L 为 96.2%。TrAction 仅凭几百条无外观轨迹就天然具备与 DisMo（23.8%，在 280 万视频上专门对抗训练外观抑制的大模型）相当的外观无关性！ - Chirality-in-Action 时间对映判别：TrAction 在 SSv2 子集上达到 86.2%，直接超越了 VideoMAE-L (85.7%)、V-JEPA-L (85.4%)、DINOv2-S (79.7%) 与 SigLIP 2-B (76.8%)。
消融实验¶
消融实验均在无预训练条件下从头训练（以排除预训练干扰，探究各结构真实贡献）：
| 消融维度与实验配置 | SSv2 Top-1 (%) | EK100 Top-1 (%) | 结论说明 |
|---|---|---|---|
| 完整默认模型 (Base) | 40.9 | 49.4 | 2.5D 输入 + 正弦编码 + 绝对位置编码 |
| 预训练机制对比 | |||
| - 无 MAE 预训练 (从头微调) | 40.9 | 49.4 | 基线表现 |
| - K400 预训练后微调 | 45.8 (+4.9) | 53.9 (+4.5) | 跨数据集迁移性能优异 |
| - 目标数据集本身预训练 | 45.6 (+4.7) | 53.8 (+4.4) | 表现相当 |
| - K400 + 目标数据集联合预训练 | 45.8 (+4.9) | 54.5 (+5.1) | 通用时空物理动态知识积累显著 |
| 输入几何模态 | |||
| - 去除深度信息 (仅纯 2D 轨迹) | 31.4 (-9.5) | 43.5 (-5.9) | 深度信息对物体三维交互与前后遮挡至关重要 |
| - 去除点可见性标记 (w/o visibility) | 39.3 (-1.6) | 48.6 (-0.8) | 遮挡状态对长程点一致性具有辅助作用 |
| 输入编码方式 | |||
| - 去除正弦频域编码 (直接输入坐标) | 40.7 (-0.2) | 48.5 (-0.9) | 高频编码对微小坐标移动判别有稳定提升 |
| - 去除 3D 起始位置编码 (w/o pos enc) | 38.4 (-2.5) | 48.1 (-1.3) | 绝对空间场景锚定必不可少 |
| - 仅输入相对坐标 (首帧归零) | 32.0 (-8.9) | 42.1 (-7.3) | 丢失绝对空间位置导致动作语义严重崩溃 |
| 推理点数采样策略 | |||
| - 随机采样 512 条 | 40.0 | 48.7 | 速度快但时空覆盖略逊 |
| - 采样 5 次 512 条并取平均 (TTA) | 40.8 | 49.3 | 多次测试增强 |
| - 使用全部 2500 条轨迹 (默认) | 40.9 | 49.4 | 结构具备点数可变性，全量输入效果最优 |
关键发现¶
- 深度通道是 2D 轨迹的核心催化剂：去除单目深度后，SSv2 性能暴跌 9.5 个百分点（40.9% 降至 31.4%），EK100 掉点 5.9 个百分点。在日常生活和厨房场景中，物体前推、后拉、拿起、放下等动作严重依赖景深维度的运动分量，仅靠投影在成像平面的二维漂移无法区分运动真伪。
- 掩码预训练展现出强大的域外泛化性：在 Kinetics-400 上预训练的 MAE 权重直接迁移到 SSv2 和 EK100 上，获得的性能增益（+4.9 / +4.5）与直接在 SSv2 自身预训练（+4.7）几乎完全一致，说明高掩码率轨迹重建迫使网络学到的是跨场景通用的物理运动学连贯性规律，而非特定数据集的场景背景过拟合。
- 与外观基础模型形成极强的互补倍增效应：单帧 DINOv2 仅有 30.8% 的时序推理能力，拼接 TrAction 后飙升至 56.8%（+26.0%），一举超越输入 16 帧完整视频的 DINOv2（53.6%），而输入数据体积仅为后者的五分之一！即便是目前业界最强的视频基础模型 V-JEPA 2-L，引入纯轨迹特征后在 SSv2 上仍能稳获 +1.6% 纯增益，充分证明现代大规模视频预训练在时序精细动态上仍存在显著的信息盲区。
亮点与洞察¶
- 模态级外观解耦：与以往耗费巨大算力设计对抗损失或数据增强来迫使 RGB 网络遗忘背景的方法不同，稀疏轨迹从数据结构层面直接切断了纹理与身份信息通道，以极小参数量达成了近乎极限的外观无关性与卓越的时间逆转敏感性。
- 时序折叠与点间自注意力的分工设计：通过 2 层 MLP 将单轨迹全时序折叠为单个 Token，使 Transformer 的序列长度完全独立于视频时间跨度，仅由采样点数决定；这种精简设计将参数量压缩至不足 8M，不仅避免了 3D 时空自注意力的显存灾难，更将自注意力的重心聚焦在交互物体与背景参照点之间的相对运动拓扑上。
- 高效轻量化的视频理解新范式：在需要端侧部署或带宽受限的场景下，相机端仅需传输稀疏运动矢量即可支撑复杂行为理解，这为边缘计算、低功耗机器人操纵及隐私保护视频分析提供了崭新的架构思路。
局限与展望¶
- 依赖离线点跟踪与深度估计前置步骤：TrAction 的性能上限受制于 CoTracker3 与 Video Depth Anything 的质量。在剧烈镜头晃动、严重运动模糊或光照突变的恶劣条件下，点跟踪器容易发生漂移或丢失，且提取 2500 条轨迹并配准深度的前置计算耗时较长（全流程提取需要数百 GPU 小时），难以直接进行端到端实时流式推理。
- 对强外观主导型任务天然乏力：在 Kinetics-400、UCF-101 等以“场景/器材决定动作”（如在网球场挥拍即为打网球）的基准上，TrAction 独立分类性能仅有 33.1%，无法替代以物体语义为主体的识别任务。
- 未来改进方向：可进一步探索在线单步轻量追踪器的联合训练，将轨迹提取与动作分类打通；或在端侧机器人交互中，将稀疏轨迹作为轻量化感知接口与大型多模态具身模型（VLM/VLA）深度集成。
相关工作与启发¶
- vs I3D (光流分支): I3D 处理逐像素稠密光流图，输入尺寸高达 1.6M，且运动边界泄露了物体的几何外观与轮廓；TrAction 采用非网格化的离散 2.5D 点轨迹，数据量仅为 0.3M（降低 80%），在 SSv2 上以 45.2% 大幅超越 I3D 的 38.4%，且抗外观偏置能力更纯粹。
- vs V-JEPA 2 / VideoMAE: 现有基于像素的自监督视频大模型依赖海量视频帧重构或潜在空间特征预测，模型体积动辄数亿参数，且模型倾向于吸收高频静态纹理；TrAction 证明了参数量不足 8M 的紧凑轨迹 Transformer 能够在时间对映（Chirality）等苛刻动态测试中击败参数量巨大的视频基础模型，揭示了显式运动流模态独特的不可替代性。
- vs 骨骼动作识别 (ST-GCN / 2s-AGCN): 骨骼动作识别仅局限于预定义的人体关节点骨架，无法感知手持物体、环境交互及任意外部动态；TrAction 属于类通用“无限制场景点跟踪”，能自适应地将注意力分散或汇聚到被操纵的任意工具和刚体上，通用性大幅提升。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ [开创性地将离散点跟踪模态独立确立为动作识别核心输入，并提出了适配轨迹的时序压缩编码与 MAE 预训练体系]
- 实验充分度: ⭐⭐⭐⭐⭐ [评测跨越动作识别、外观解耦、时序敏感性三大维度，消融细致，基准测试与互补融合实验极具说服力]
- 写作质量: ⭐⭐⭐⭐⭐ [结构严谨、逻辑链条清晰，图表与动机高度自洽]
- 价值: ⭐⭐⭐⭐☆ [为突破视频大模型外观捷径与计算爆炸瓶颈提供了切实有效的正交补充路径]