Streaming Atomic Action Segmentation in Egocentric Videos via Iterative Boundary Refinement¶
会议: EMNLP 2026
论文: ACL Anthology
领域: 视频理解
关键词: 流式视频理解, 第一人称视角, 原子动作分割, 多模态大模型蒸馏, 迭代自引导
一句话总结¶
本文提出了 CoTT(Chains of Temporal Transitions),一个无需人工标注的第一人称流式原子动作分割框架,通过解耦的 LVLM 时序转移描述、长上下文语言聚合与视觉回溯精修生成高密度伪标签,并将其蒸馏到轻量因果循环在线模型 CoTT-Lite 中进行迭代自引导,实现了超越传统监督基线的在线动作定位性能。
研究背景与动机¶
随着可穿戴式相机与增强现实(AR)设备的普及,第一人称视频理解正逐步从静态离线分析转向实时流式感知。第一人称视频以佩戴者与周围物理世界的交互为核心,要求系统在无法预见未来帧的严格因果约束下,即时识别佩戴者物理动作的精确起止边界。相比于烹饪或设备维修等宽泛模糊的高层活动,以短时、目标明确的物理交互为特征的“原子动作”(如“打开冰箱门”、“拿起刀具”)能够提供更为精准的时空锚点,构成了流式智能系统的基石语义单元。
然而,扩展第一人称流式原子动作分割面临着极其严苛的稠密时序标注瓶颈。未剪辑的长视频包含大量高度密集、瞬时发生的手部物理接触,人工逐帧标注起止时间耗费巨大,标注成本通常高达视频实际时长的三倍以上。尽管大语言视觉模型(LVLM)在长视频问答和视频定位中展现出强大的通用理解潜力,但在直接用于稠密原子动作时序定位时却存在根本缺陷:全视频直接提示容易退化为显著事件的粗粒度摘要,而传统的滑动窗口提示虽然保留了局部细节,却极易将跨窗口边界的连续交互切得支离破碎,产生大量边界错位与重复片段。
面对这一矛盾,本文并没有强行要求 LVLM 在单次推理中端到端输出所有时间戳,而是转换思路:将局部视觉证据提取与全局动作聚合解耦,并利用具有时序归纳偏置的轻量因果模型滤除多模态大模型的边界不确定性。核心 idea:构建时序转移链(CoTT),首先通过“帧间转移描述-长语言上下文聚合-视觉证据回溯精修”三阶段流水线解耦生成稠密原子动作伪标签,随后将标签蒸馏至双头轻量因果流式网络,并借助动作性与进展度下降的时序归纳偏置迭代自引导,以无标注方式逼近全监督性能。
方法详解¶
整体框架¶
CoTT 框架由两大部分协同构成:离线伪标签生成器 CoTT-Labeler 与在线轻量因果分割器 CoTT-Lite。输入为未剪辑的第一人称连续视频流,最终输出为因果实时发射的无类别先验原子动作时间区间 \(\Phi = \{(t_{s,m}, t_{e,m})\}_{m=1}^M\)。离线阶段,CoTT-Labeler 将视频分块提取帧间状态转移并由大模型聚合精修,得到高质量稠密候选伪标签;在线阶段,CoTT-Lite 仅依赖冻结的自我中心视觉编码器与循环网络在实时流中推断边界;随后通过多轮自引导(Iterative Bootstrapping),将轻量在线模型生成的时序平滑预测反哺为下一轮训练的伪标签,形成闭环自进化。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
A["离线未剪辑第一人称视频"] --> B["阶段 1:帧间转移局部描述<br/>提取相邻帧物理交互与状态标签"]
B --> C["阶段 2:长语言上下文动作聚合<br/>LLM 基于语义与状态一致性聚合成元动作"]
C --> D["阶段 3:边界与描述视觉回溯精修<br/>时序外扩采样并由 LVLM 校准时间戳"]
D --> E["稠密原子动作伪标签集 ˜Ψ(0)"]
E --> F["阶段 4:双头因果流式蒸馏 (CoTT-Lite)<br/>动作性检测启动 + 进展度骤降截断终止"]
F --> G["流式在线模型预测输出 ˜Φ(r+1)"]
G -->|自引导循环| F
G --> H["实时流式原子动作边界输出"]
关键设计¶
1. 帧间转移局部描述:解耦局部视觉感知与全局时序边界决策
直接让多模态大模型对视频窗口内的所有动作进行端到端时间切分,极易因滑动窗口硬边界切断动作而导致碎片化或截断。为此,第一阶段对长视频均匀切分为重叠短片段(包含 \(K=12\) 帧,采样率 2 fps),促使 LVLM 仅聚焦相邻帧对之间的瞬时物理接触变化,输出状态转移描述: $\(D_{\text{trans}} = \{(\tau_\ell, \tau_{\ell+1}, d_{\text{trans},\ell}, s_\ell)\}_{\ell=1}^{K-1}\)$ 其中 \(d_{\text{trans},\ell}\) 严格约束使用单一底层动词(如 grasp, open, pour)描述佩戴者手部与物体的物理交互,\(s_\ell \in \{\text{start}, \text{continue}, \text{end}, \text{none}\}\) 明确标注该微区间的演变状态。该设计彻底避开了单窗口内的绝对边界判定,仅提取最坚实的局部微观交互证据。
2. 长语言上下文动作聚合:利用纯文本推理消除跨窗口边界碎片
单纯堆叠局部窗口描述会受限于视觉 token 的上下文长度上限。第二阶段将全视频的连续转移描述拼接为纯文本流,利用大语言模型(LLM)更强大的长程文本建模能力进行时间聚合。LLM 同时根据自然语言语义的一致性与状态标记序列 \(s_\ell\) 的连贯性,将碎片化的微转移整合为完整的元动作候选区间 \(\hat{\Psi} = \{(\hat{t}_{s,m}, \hat{t}_{e,m}, \hat{d}_m)\}_{m=1}^M\)。纯文本聚类对同义表达差异(如前段描述为“倒油”后段描述为“淋油”)与偶尔的状态毛刺具有天然的容错弹性,消除了基于视觉窗口滑动引入的人工分割伪影。
3. 边界与描述视觉回溯精修:局部视觉重采样校准精确起止时间
由文本聚合得到的元动作边界粗糙且存在时序弥散。第三阶段将每个候选动作区间两端增加适度的时间外扩(padding margin),从原始视频中重新采集 12 帧图像,与候选动作描述一同回传给 LVLM。LVLM 此时不再执行盲目搜索,而是作为聚焦验证者,核验物理交互真实发生的瞬间,输出精确到起止帧的时间戳与高度简练的动作描述,并赋予置信度分数。该机制以最小的算力开销实现了动作边界从粗到细的高保真对齐。
4. 双头因果流式蒸馏与迭代自引导:将时序归纳偏置注入轻量流式模型并反哺伪标签
CoTT-Labeler 虽然精准但严重依赖重型离线大模型多轮推理,无法实时部署。本文将精修后的伪标签蒸馏至因果轻量网络 CoTT-Lite(EgoVideo 视觉特征 + 3 层双向隔绝的 GRU,隐藏层维度 768)。网络配备双分支预测头:动作性头(Actionness Head,交叉熵损失优化)负责灵敏捕获手部接触的起始点,进展度头(Progression Head,直方图损失优化)建模动作归一化完成百分比,以进展度指标的急剧回落作为动作闭合触发器。由于该因果结构具备平滑短时物理动作的先验偏置,其滤除了 LVLM 离散采样带来的时序毛刺;在每轮蒸馏后,将 CoTT-Lite 在未标注训练集上的推理结果作为全新伪标签反哺训练(Iterative Bootstrapping),使流式模型性能在迭代中持续反超离线教师。
损失函数 / 训练策略¶
CoTT-Lite 在蒸馏阶段由监督伪标签驱动。模型输入特征序列经过 3 层带 LayerNorm 的单向 GRU,历史时序记忆窗口长度固定为 64。动作性头输出二值概率 \(p_\tau \in [0, 1]\),采用标准二值交叉熵损失 \(\mathcal{L}_{\text{act}}\) 监督;进展度头输出处于动作区间内的相对进度 \(v_\tau \in [0, 1]\),采用两阶段离散化直方图损失 \(\mathcal{L}_{\text{prog}}\)(Histogram Loss)进行概率回归,以提升对长尾非线性动作推进的拟合鲁棒性。总优化目标为两者的加权联合: $\(\mathcal{L} = \mathcal{L}_{\text{act}} + \lambda \mathcal{L}_{\text{prog}}\)$ 训练采用 AdamW 优化器,学习率设为 \(3 \times 10^{-4}\),权重衰减 0.01,每个自引导轮次训练 15 个 epoch。在完成第 \(r\) 轮训练后,冻结当前流式模型 \(S_\theta^{(r)}\) 对全部未标注视频 \(V_{\text{train}}\) 执行全流式推断生成新边界集合 \(\tilde{\Phi}^{(r+1)}\),并用于指导第 \(r+1\) 轮训练。
实验关键数据¶
主实验¶
在两大极具挑战性的大规模第一人称视频基准 EPIC-Kitchens-100(EK100,超100小时未剪辑烹饪交互)和 Ego-Exo4D(EgEx,68.4小时多视点去重动作数据)上评估类无关在线动作定位性能,采用 tIoU=0.5 门限下的匈牙利匹配 F1、精确率(Prec.)与召回率(Rec.)。
表 1:EK100 与 Ego-Exo4D 上的流式原子动作分割对比 (tIoU=0.5)
| 数据集 | 方法 | 进展度头 | 人工GT标注 | F1 (%) | Precision (%) | Recall (%) |
|---|---|---|---|---|---|---|
| EK100 | OAD-Grouping (ICCV 2021) | – | ✓ | 21.4 | 25.5 | 18.4 |
| CAG-QIL (ICCV 2021) | – | ✓ | 23.1 | 21.3 | 25.2 | |
| SimOn (2022) | – | ✓ | 4.3 | 2.3 | 33.4 | |
| OAT (ECCV 2022) | – | ✓ | 27.5 | 17.5 | 63.7 | |
| ActionSwitch (ECCV 2024) | – | ✓ | 32.4 | 29.8 | 35.5 | |
| CoTT-Labeler (离线伪标签) | – | ✗ | 31.1 | 31.8 | 30.5 | |
| CoTT-Lite (无进展度头) | ✗ | ✗ | 30.4 | 39.8 | 24.6 | |
| CoTT-Lite (自引导 Round 1) | ✓ | ✗ | 37.4 | 45.0 | 31.9 | |
| CoTT-Lite (自引导 Round 2) | ✓ | ✗ | 39.2 | 36.9 | 41.9 | |
| GT-trained 上界 (ICCV 2025) | ✓ | ✓ | 48.5 | 46.7 | 50.4 | |
| EgEx | ActionSwitch (ECCV 2024) | – | ✓ | 18.7 | 25.0 | 15.0 |
| MAT (ECCV 2024) | – | ✓ | 20.3 | 18.0 | 23.4 | |
| OAT (ECCV 2022) | – | ✓ | 31.7 | 36.1 | 28.3 | |
| CoTT-Labeler (离线伪标签) | – | ✗ | 23.1 | 23.9 | 22.5 | |
| CoTT-Lite (无进展度头) | ✗ | ✗ | 20.5 | 24.0 | 18.0 | |
| CoTT-Lite (自引导 Round 1) | ✓ | ✗ | 25.5 | 31.3 | 21.5 | |
| CoTT-Lite (自引导 Round 2) | ✓ | ✗ | 28.8 | 31.0 | 26.9 | |
| GT-trained 上界 (ICCV 2025) | ✓ | ✓ | 34.3 | 34.1 | 34.5 |
消融实验与多轮演化¶
在 GTEA 基准上的模块消融验证了帧间转移描述与回溯精修的不可替代性;同时在 EK100 上考察了自引导轮次直至第 5 轮的演化轨迹及部署效率。
表 2:CoTT-Labeler 在 GTEA 上的模块消融与模型骨干对比 (tIoU=0.5)
| LVLM 骨干 | 转移描述 (Trans.) | 边界精修 (Refine) | F1 (%) | Precision (%) | Recall (%) |
|---|---|---|---|---|---|
| Qwen2.5-VL-32B | ✗ | ✗ | 3.6 | 5.6 | 3.5 |
| Qwen2.5-VL-32B | ✗ | ✓ | 19.0 | 11.3 | 59.0 |
| Qwen2.5-VL-32B | ✓ | ✗ | 35.9 | 53.6 | 4.8 |
| Qwen2.5-VL-32B | ✓ | ✓ | 44.2 | 55.1 | 36.9 |
| Qwen3-VL-32B | ✓ | ✓ | 45.6 | 34.6 | 66.7 |
表 3:EK100 上自引导轮次指标演进与时序粒度统计
| 标签来源 | F1 (%) | Prec. (%) | Rec. (%) | 预测片段总数 | 片段数/视频 | 中位时长 (s) | 平均时长 (s) | 视频覆盖率 (%) |
|---|---|---|---|---|---|---|---|---|
| Human GT (真实值) | – | – | – | – | 75.6 | 42 | 3.71 | 78.9 |
| Round 0 (CoTT-Labeler) | 31.2 | 31.9 | 30.5 | 9,254 | 67.1 | 41 | 3.92 | 67.4 |
| Labeler + GT后处理平滑 | 34.4 | 36.0 | 32.8 | 8,803 | 63.8 | – | – | – |
| Round 1 (CoTT-Lite) | 37.4 | 45.1 | 32.0 | 6,860 | 49.7 | 29 | 5.62 | 78.1 |
| Round 2 (CoTT-Lite 峰值) | 39.2 | 36.9 | 41.9 | 10,981 | 79.6 | 49 | 3.41 | 75.7 |
| Round 3 (CoTT-Lite) | 38.0 | 38.7 | 37.4 | 9,336 | 67.7 | 40 | 4.08 | 77.3 |
| Round 4 (CoTT-Lite) | 35.7 | 31.3 | 41.5 | 12,841 | 93.1 | 56 | 2.90 | 75.7 |
| Round 5 (CoTT-Lite) | 32.9 | 27.9 | 40.2 | 13,932 | 101.0 | 64 | 2.72 | 77.5 |
表 4:单卡部署效率与延迟对比(针对 1 分钟 120 帧 2fps 第一人称视频)
| 推理模式 | 参数量 | LVLM 调用次数 | 决策响应延迟 (强制缓冲 + 推理) | 流式因果性 | 显存峰值 |
|---|---|---|---|---|---|
| 全视频直接 LVLM 提示 | 32.5B | 1 | 88.9 s (60 s 缓冲 + 28.9 s) | ✗ | 20–24 GB |
| 滑动窗口 LVLM (K=12) | 32.5B | 10 | 9.2 s (6 s 缓冲 + 3.2 s) | ✗ | 20–24 GB |
| CoTT-Lite (本文) | 1.1B | 0 | 59.9 ms (0 缓冲 + 59.9 ms) | ✓ | 2.1 GB |
关键发现¶
- 自引导突破教师上界并非假象:在 EK100 上,CoTT-Lite 在第 2 轮自引导中达到 39.2% F1,大幅反超教师伪标签自身(31.2%)。即使使用基于真实 GT 调优的最佳后处理平滑(GT-tuned smoothing),Labeler 产物也仅能达到 34.4% F1。这证明轻量流式模型的收益并非简单的时间平滑滤波,而是因果架构成功检索召回了 LVLM 遗漏的微弱物理动作(召回率从 30.5% 跃升至 41.9%),并且其输出的片段统计(79.6 个/视频,平均时长 3.41s)最贴近真实人类标注(75.6 个/视频,平均时长 3.71s)。
- 解耦消除滑动窗口与全视频的二律背反:直接全视频提示受限于注意力弥散,F1 仅有 1.0%–3.6%;直接滑动窗口提示遭遇边界断裂,平均 mAP 和 F1 极低。而 CoTT-Labeler 将视觉提取约束在相邻帧转移,由长文本模型做全局归并,再由局部图像精修,在 THUMOS14 零样本迁移中以 15.6% 平均 mAP 击败包含测试期自适应(TTA)在内的既有最强方法(AdaZAD 14.1%)。
- 跨域零样本迁移性能稳健:仅在 Ego-Exo4D 伪标签上训练的 CoTT-Lite 直接在 GTEA 测试集上评估,斩获 41.8% F1,几乎持平在 GTEA 本身伪标签训练的 43.7%,显著优于有监督在源域训练的 MAT(29.5%)和 OAT(27.4%),验证了原子级动作先验的普适泛化性。
亮点与洞察¶
- 以离线大模型之重筑基,以在线小模型之巧落地:CoTT-Labeler 充分利用 32B 大模型的多模态常识构建稠密弱监督信号,而部署侧 CoTT-Lite 仅消耗 1.1B 参数且完全剥离大模型调用,推理帧率突破 500 FPS,响应延迟从数十秒骤降至 59.9 ms,显存仅占 2.1 GB。
- 时序归纳偏置反哺大模型的不确定性:多模态大模型在离散采样下难以稳定把握动作边界,而流式双头循环网络天然对“手部开始交互”和“动作逐渐收尾”具备连续物理单调性偏置,两者的结合成功实现了“用小模型的结构先验纠偏大模型的感知噪音”。
- 语言驱动的原子动作无预定义分类学拓展:框架全程采用通用的底层物理动作 Prompt,脱离了闭集类别标签的强假设,使得系统能够直接迁移至开放环境中的未定义工具与操作行为。
局限与展望¶
- 重度依赖底层 LVLM 的指令遵循下限:实验表明 7B 等小规模开源 LVLM 在执行帧间细粒度转移描述时极易出现格式崩塌和幻觉,当前生成管线强依赖 32B 及以上参数量的大模型,增加了离线伪标签的初始化时间。
- 蒸馏阶段丢弃了高价值的自然语言语义流:CoTT-Labeler 在精修阶段生成了详尽的文本描述(如“打开冰箱门”、“拿起水杯”),但在向 CoTT-Lite 蒸馏时退化为纯时序二元区间,未能将语义嵌入同步注入在线流式特征空间。
- 大词表闭集对齐存在幻觉溢出:在类条件设定尝试中,当类别字典扩充至数百种动宾组合时,大模型倾向于自由发挥词汇而非服从预设清单,制约了细粒度闭集场景的直出能力。未来工作可探索在流式循环骨干中联合蒸馏时空表征与语言原型,构建真正的语义感知流式理解系统。
相关工作与启发¶
- vs 在线动作检测与定位 (OAD / On-TAL):传统在线方法(如 OAT、ActionSwitch、MAT)高度依赖人类密集逐帧标注,训练成本极高;CoTT 首创了完全免时序标注的自蒸馏流水线,在类无关设定下逼近甚至超越了全监督 baseline。
- vs 免训练零样本动作定位 (Zero-Shot TAL):既有零样本方法(如 T3AL、AdaZAD)直接依赖特征相似度或全局提示,易受时序断裂困扰;CoTT-Labeler 通过解耦的转移链聚合机制,在 THUMOS14 上无需测试期自适应即实现了更优的时序定位精度。
- vs 长视频多模态理解基座:通用视频多模态模型常长于宏观摘要而短于稠密物理切分,本文证明通过“微观转移捕捉 + 宏观纯文本融合”的链式架构,是激发多模态模型精确时间感知能力的极佳范式。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [首次将 LVLM 细粒度时序推理与因果轻量流式模型蒸馏及自引导闭环结合,摆脱人工稠密标注]
- 实验充分度: ⭐⭐⭐⭐⭐ [横跨 EK100、Ego-Exo4D、GTEA、THUMOS14 四大基准,自引导演化追踪至第5轮,时序统计与消融极度详实]
- 写作质量: ⭐⭐⭐⭐⭐ [叙述条理清晰,问题剖析一针见血,提示词与部署配置完全公开]
- 价值: ⭐⭐⭐⭐⭐ [为具身智能与智能眼镜实时第一人称流式感知提供了极具商业落地可行性且免人工标注的工程路线]