Open-Vocabulary Long Term Action Anticipation¶

会议: ECCV 2026
论文: ECCV 原文
领域: 视频理解
关键词: 长期动作预测, 开放词表预测, 第一人称视觉, 多视界交叉注意力解码器, 瓶颈适配器

一句话总结¶

针对传统第一人称长期动作预测局限于闭集词表且跨多视界预测缺乏时序连贯性的问题，本文首次提出跨数据集开放词表长期动作预测评测框架，并设计了结合 4D 旋转位置编码的多视界交叉注意力解码器（MHCAD）与轻量化文本瓶颈适配器，在零样本跨数据集迁移中大幅刷新基准表现。

研究背景与动机¶

第一人称（自我中心）动作预测旨在根据当前及历史观察到的视频片段推断人类未来的行为动作，是构建主动式智能助手、人机协作系统以及可穿戴智能硬件的核心基石。在长时程规划场景中，如 Ego4D 基准所设定的长期动作预测（LTA）任务，模型需要从连续观察到的 8 个视频片段出发，按时间顺序连续预测未来多达 20 个时间视界的动作（动词-名词二元组）。以往的研究虽然在时序建模和网络架构上取得了长足进步，但无一例外都建立在严格的“闭集假设”之上——即训练集与测试集的动词和名词类别完全相同。这种封闭假设极大地限制了模型在现实开放世界中的泛化能力，因为现实生活中的行为组合与交互对象具有天然的开放性和长尾性，根本无法在离线训练阶段穷举。

然而，将长期动作预测拓展至开放词表设定面临着严峻的结构性挑战。现有主流范式主要采用基于分类器的多头预测结构，即直接从单一聚合特征中分化出 \(2 \times Z\) 个独立的预测头分别回归未来各视界的动词与名词；或者是直接微调 AntGPT、Video-LLaVA 等基于大语言模型的架构。实验表明，直接将现有方法迁移至开放词表评测时表现十分疲软：LLM/VLM 架构容易过拟合于训练集特定的文本标签分布，而多预测头机制则由于割裂了不同未来视界之间的依赖关系，生成的长程动作序列极易出现前后矛盾和时序脱节。此外，动作预测不同于静态动作识别，预测越远的未来所需依赖的视觉线索和上下文颗粒度存在显著差异，单一全局表征无法有效支撑多尺度时间跨度的特征抽取。

面对上述困境，本文提出了首个开放词表长期动作预测评估基准，在 Ego4D v2 上训练后直接跨数据集测试到词表重叠率极低的 EPIC-Kitchens-100 和 EGTEA+ 上，全面检验模型的开放词表跨域泛化能力。核心 idea：摒弃单特征多预测头的割裂架构，构建以时序因果掩码为约束的多视界时序可学习查询，结合多层稠密视觉特征的 4D RoPE 交叉注意力与共享投影头开放词表文本匹配，实现跨视界统一连贯的长程动作推断。

方法详解¶

整体框架¶

本文提出的方法建立在预训练冻结的视频骨干网络（如 LaViLa）与双路文本编码器之上。给定观察到的 \(O\) 个历史视频片段，视觉编码器抽取各片段的分类标记（CLS token）以及深层网络的多尺度细粒度空间特征图。模型整体流程包含三个核心阶段：首先利用 4D 旋转位置编码对观察片段的时空多层特征进行时序与空间解耦编码；随后将观察到的 CLS 标记与 \(Z\) 个对应未来视界的可学习查询向量拼接，送入多视界交叉注意力解码器（MHCAD），在因果自注意力与多层分级交叉注意力下逐层演化查询表征；最后，提取最终视界查询并经过共享的动词/名词线性投影头映射至文本嵌入空间，与插入瓶颈适配器的双路文本编码器输出进行归一化点积，完成开放词表下的类别打分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: 观察片段 S1...SO"] --> B["4D 旋转位置编码<br/>片段-帧-坐标解耦"]
    B --> C["视界特定查询交互<br/>因果自注意力建模"]
    C --> D["分级交叉注意力聚合<br/>按层匹配视觉特征"]
    D --> E["双路共享投影与文本适配<br/>开放词表余弦匹配"]
    E --> F["输出: Z 步动作预测 (动词, 名词)"]

关键设计¶

1. 4D 旋转位置编码：时空与片段顺序的多维结构解耦

传统长期动作预测方法通常仅使用片段级聚合特征或 1D 绝对位置编码，这不仅丢弃了帧内物体交互的关键空间细节，也无法泛化到不同时间长度的视频序列。为使模型在开放词表场景下能够捕捉不同视界所需的细粒度交互线索，本文从冻结视觉编码器最后 \(L_d\) 层提取致密的时空特征图 \(F_i^\ell \in \mathbb{R}^{T \times P \times d}\) 并拼接入序列。针对每个特征标记的位置信息，本文将其分解为四元组 \((i, t, h, w)\)，分别代表观察序列中的片段索引 \(i \in \{1, \dots, O\}\)、片段内部的帧索引 \(t \in \{1, \dots, T\}\)，以及帧内的二维空间网格坐标 \((h, w)\)。

实现上，特征维度 \(d\) 被等分为四组子空间，每组维度为 \(d' = d/4\)。各子空间分别独立施加对应维度的旋转位置编码（RoPE）：

\[\tilde{F}^\ell = \left[ \text{RoPE}_i(f_1^\ell); \, \text{RoPE}_t(f_2^\ell); \, \text{RoPE}_h(f_3^\ell); \, \text{RoPE}_w(f_4^\ell) \right]\]

通过复数域旋转矩阵的内积性质，4D RoPE 使得模型在计算交叉注意力时天然具备相对时空位置感知能力，不仅在计算上保持了因子化分解的轻量性，更大幅提升了对不同时间跨度和长程序列的长度外推与泛化性能。

2. 视界特定可学习查询与因果自注意力交互

以往方法在解码阶段往往使用单一全局向量，并在最后一步通过分立的多头分别预测各个时间步，导致各个未来视界无法相互感知、生成序列缺乏一致性。MHCAD 改变了这一模式，在解码器输入端初始化两组查询标记：一组是来自观察片段的 \(O\) 个 CLS 标记 \(\{c^1, \dots, c^O\}\)，用于承载历史上下文；另一组则是为未来 \(Z\) 个动作视界专门分配的可学习查询向量 \(\{q^1, \dots, q^Z\}\)，二者拼接构成初始查询序列 \(Q^{(0)} \in \mathbb{R}^{(O+Z) \times d}\)。

为了保证时间因果性并让未来动作顺畅展开，解码器每层在特征交互前首先执行严格的因果掩码自注意力（Causal Self-Attention）：

\[Q_{\text{self}}^{(m-1)} = \text{CausalSelfAttention}(Q^{(m-1)})\]

在因果掩码的约束下，任意位置 \(j\) 的查询仅被允许关注自身以及更早的标记（即已发生观察或更早预测出的动作），严禁透视未来的视界信息。这种机制确保了长期推断的自回归一致性，使后序动作查询能够基于已生成的先序动作语境进一步推演。

3. 分级跨层交叉注意力特征聚合

动作预测在不同视界所依赖的抽象层次不同：预测紧随其后的下一步动作（Next-action）通常需要局部、底层的精确手物交互线索；而预测遥远未来的最后动作（Last-action）则需要高层语义与全局意图指导。为此，MHCAD 设计了分级交叉注意力机制。对于包含 \(L_d\) 层的解码器，第 \(m\) 层解码器不复用同一层视觉特征，而是精准对齐并交叉注意力至视觉骨干网络第 \(\ell = L_e - L_d + m\) 层的对应时空特征 \(\tilde{F}^\ell\)。

解码器各层查询 \(Q_{\text{self}}^{(m-1)}\) 作为 Query，以对应的编码器层特征作为 Key 和 Value 进行交叉注意力运算：

\[Q'^{(m)} = \text{CrossAttention}(Q_{\text{self}}^{(m-1)}, \tilde{F}^\ell)\]

随后通过带有随机深度丢弃（DropPath）的残差连接和前馈神经网络（FFN）完成特征更新。多层级联的阶梯式聚合使浅层解码器聚焦于高保真空间交互，深层解码器抽象出长程语义演化，实现了各视界表征的精细化渐进提炼。

4. 共享投影头与轻量化文本瓶颈适配器

为实现对未见动作类别的零样本泛化，解码器最终输出的 \(Z\) 个视界查询不再经过离散类别分类器，而是送入动词与名词的共享线性投影头 \(h_v, h_n \in \mathbb{R}^{d \to d_e}\)，映射为视觉动作嵌入向量 \(v_v^j, v_n^j\)。采用在所有视界上参数共享的投影头，强迫模型在整个未来时序内学习统一的动词/名词语义几何空间，避免了每个视界各自独立投影带来的过拟合与表征漂移。

在文本端，预训练冻结的双路 BERT 式文本编码器负责提取候选类别嵌入。为了适应动作预测的任务特性同时避免破坏泛化先验，本文在文本编码器的每个 Transformer 层后插入轻量化瓶颈适配器（Bottleneck Adapter）：

\[h_{\text{out}} = h + \alpha \cdot W_{\text{up}} \left( \text{GELU}(W_{\text{down}} h) \right)\]

其中降维矩阵 \(W_{\text{down}} \in \mathbb{R}^{d_e/4 \times d_e}\)，升维矩阵 \(W_{\text{up}} \in \mathbb{R}^{d_e \times d_e/4}\)，\(\alpha\) 为可学习缩放因子。最终类别预测概率通过归一化视觉向量与文本向量的缩放点积（带可学习温度参数 \(\tau\)）直接计算，天然具备了向任意新词表扩展的零样本预测能力。

损失函数 / 训练策略¶

模型直接在长程动作预测目标上端到端训练，跳过了传统方法繁琐的动作识别预训练，避免了任务分布偏移并缩短了训练周期。在训练阶段，模型针对所有 \(Z\) 个未来视界计算动词与名词的标准交叉熵损失，并通过时序平均实现均衡优化：

\[\mathcal{L} = \frac{1}{Z} \sum_{j=1}^Z \left[ \mathcal{L}_{\text{CE}}(s_v^j, y_v^j) + \mathcal{L}_{\text{CE}}(s_n^j, y_n^j) \right]\]

其中 \(s_v^j, s_n^j\) 分别为第 \(j\) 视界关于动词与名词的预测分类分数，\(y_v^j, y_n^j\) 为对应真实标签。优化器选用 Adam，学习率设为 \(5 \times 10^{-4}\)，批大小为 16，共训练 50 个 epoch；解码器深度设为 \(L_d = 2\)，正则化 DropPath 概率设为 \(0.1\)。

实验关键数据¶

主实验¶

长期动作预测评测指标采用标准编辑距离（Edit Distance，ED ↓，数值越低代表预测序列与真实序列越接近）。主实验包含闭集设定（Ego4D 各划分）与开放词表跨数据集设定（Ego4D v2 训练，零样本评测于 EPIC-Kitchens-100 与 EGTEA+）。

数据集 / 设定	方法	参数量 (冻结/可训练)	动词 (Verb ↓)	名词 (Noun ↓)	联合动作 (Action ↓)
Ego4D v2 Test (闭集)	Video-LLaVA	303M / 7.2B	-	-	-
Ego4D v2 Test (闭集)	AntGPT	13.3B / 246M	0.650	0.650	-
Ego4D v2 Test (闭集)	SlowFast	63.4M / 181M	0.717	0.736	-
Ego4D v2 Test (闭集)	LaViLa-MultiHead	489M / 91M	0.720	0.727	-
Ego4D v2 Test (闭集)	LaViLa-MHCAD (本文)	489M / 157M	0.689	0.695	-
EK100 (开放词表)	Video-LLaVA	303M / 7.2B	0.925	0.945	0.991
EK100 (开放词表)	AntGPT	13.3B / 246M	0.933	0.958	0.993
EK100 (开放词表)	XCLIP-MultiHead (Large)	575M / 91M	0.868	0.971	0.985
EK100 (开放词表)	LaViLa-MultiHead (Large)	489M / 91M	0.849	0.968	0.982
EK100 (开放词表)	LaViLa-MHCAD (本文 Large)	489M / 157M	0.728	0.936	0.969
EGTEA+ (开放词表)	Video-LLaVA	303M / 7.2B	0.959	0.970	0.994
EGTEA+ (开放词表)	AntGPT	13.3B / 246M	0.961	0.974	0.998
EGTEA+ (开放词表)	XCLIP-MultiHead (Large)	575M / 91M	0.912	0.966	0.981
EGTEA+ (开放词表)	LaViLa-MultiHead (Large)	489M / 91M	0.904	0.958	0.979
EGTEA+ (开放词表)	LaViLa-MHCAD (本文 Large)	489M / 157M	0.864	0.927	0.968

消融实验¶

消融实验聚焦于开放词表核心组件设计验证，分别评估了解码器结构、位置编码策略、文本自适应方式以及查询与预测头组合。

模块类别	实验变体配置	EK100 动词 ↓	EK100 名词 ↓	EGTEA+ 动词 ↓	EGTEA+ 名词 ↓	说明
完整模型	LaViLa-MHCAD (本文标准配置)	0.728	0.936	0.864	0.927	4D RoPE + 因果自注意力 + 2层交叉注意力 + 瓶颈适配器
解码器设计	无自注意力 (No self-attention)	0.805	0.931	0.869	0.932	缺少查询间时序交互，跨数据集泛化明显退化
解码器设计	非因果自注意力 (Non-causal)	0.821	0.939	0.895	0.941	破坏时间因果性导致时序预测混乱
解码器设计	互换自/交叉注意力次序	0.769	0.937	0.886	0.941	先交叉后自注意力破坏了自适应线索引导
解码器设计	LaViLa-FUTR 解码结构	0.836	0.979	0.902	0.982	单层绝对位置与无约束自注意力性能全面落后
位置编码	动态位置编码 (DPE)	0.746	0.962	0.885	0.952	相对位姿编码缺失，空间定位能力减弱
位置编码	绝对位置编码 (Absolute PE)	0.783	0.969	0.904	0.974	缺乏多尺度分解，长序列外推受限
文本适配机制	适配器 + 提示微调 (Adapter + Prompts)	0.734	0.938	0.871	0.929	引入软提示反而增加了过拟合训练集分布风险
文本适配机制	仅提示微调 (Prompts Only)	0.736	0.937	0.876	0.929	仅改动输入嵌入层，无法深层调节特征表征
查询与预测头	单查询 + 逐视界独立头	0.759	0.992	0.901	0.970	单一表征无法捕捉多时隙异质动态
查询与预测头	20查询 + 逐视界独立头	0.837	0.947	0.879	0.946	独立头导致开放词表语义空间漂移与过拟合
查询与预测头	20查询 + 共享预测头 (本文)	0.728	0.936	0.864	0.927	视界查询独立提取 + 共享头约束统一语义空间

关键发现¶

大模型先验在开放词表长程预测中受限：拥有数十亿参数的大模型（如 AntGPT 达 13.3B、Video-LLaVA 达 7.2B）在闭集上表现出色，但在零样本跨数据集开放词表评测下编辑距离高达 0.92~0.99，几乎丧失了长程辨别能力。这表明纯文本生成式先验极易过拟合于已见动宾组合，难以直接泛化到动作重叠率极低的异构场景。
因果约束与共享分类头是避免过拟合的核心机制：消融表明，解除因果自注意力掩码（Non-causal）或采用按视界独立的预测头（Per-Horizon Heads），在开放词表下的编辑距离均大幅恶化（EK100 动词误差从 0.728 分别升至 0.821 和 0.837）。时序因果掩码保证了动作推理的递进展开，而共享投影头强迫 20 个视界映射在相同的语义流形中，极大抑制了过拟合。
解码器深度呈现两层最佳的适度容量平衡：随着解码器层数从 0 层（直接多头）增加到 2 层，EK100 动词编辑距离从 0.849 陡降至 0.728；但当层数进一步增加超过 2 层后，跨数据集误差开始回升，表明浅层交互足以完成特征聚合，过深的跨注意力层容易降低分布外泛化能力。

亮点与洞察¶

提出首个开放词表长程动作预测评测协议：打破了第一人称视频理解中训练集与测试集共享闭集动作标签的传统模式，将 Ego4D 训练与 EPIC-Kitchens/EGTEA+ 测试解耦，直击现实部署中新概念交互的痛点。
4D 旋转位置编码的时空全因子分解：创新性地将多片段视频序列的特征位置拆分为片段次序、帧内时序以及二维空间坐标四维因子，为长程视频预测提供了一种兼顾相对时空关系与长度外推性的高效位置编码方案。
视界独立查询与跨视界共享投影解耦协同：查询端通过 20 个独立 learnable query 自适应抽取各未来视界的关键线索，表征端则通过统一的共享线性头完成开放词表相似度计算，实现了时间敏感性与语义通用性的优雅平衡。

局限与展望¶

作者承认的局限：尽管本方法相比基线取得了大幅飞跃，但在未见词表数据集上的名词预测编辑距离依然偏高（如 EK100 上为 0.936），说明手物交互中的未知细粒度细小物体的零样本迁移仍具有巨大挑战。
审视局限：模型预测依赖固定的动作视界数量（\(Z=20\)），尚未支持动态可变步长的长期未来规划；同时跨数据集评估目前主要集中在厨房环境（EPIC-Kitchens 与 EGTEA+），对工业、户外和医疗等更广泛领域的泛化能力仍待进一步验证。
改进方向：可考虑将 3D 物体空间定位先验与多模态开放词表检测器（如 Grounding DINO 或开放词表检测追踪模型）解耦引入，针对名词预测提供更具鲁棒性的物体几何与属性线索。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立第一人称开放词表长期动作预测基准，提出 4D RoPE 与多视界解码器设计。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖三大权威自我中心视频数据集，全面对比闭集/开集、多种骨干规模与细致模块消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，图表完备，问题定义与动机清晰明确。
价值: ⭐⭐⭐⭐⭐ 为第一人称具身智能助手与未来行为规划从实验室闭集走向真实开放世界提供了极具价值的评测基准与高效架构参考。