Streaming Atomic Action Segmentation in Egocentric Videos via Iterative LVLM-to-Streaming Distillation¶
会议: EMNLP 2026
论文: ACL Anthology
领域: 多模态VLM
关键词: 流式视频理解, 第一人称动作分割, 原子动作, 视觉语言大模型, 迭代流式蒸馏
一句话总结¶
CoTT 提出通过视觉语言大模型(LVLM)构建时序转移链生成无标注伪标签,并将其蒸馏至轻量级因果循环在线模型 CoTT-Lite,结合自迭代自举机制显著提升时序一致性,在无人工标注监督下实现了竞争力的第一人称流式原子动作分割。
研究背景与动机¶
随着可穿戴相机与增强现实(AR)设备的普及,视频理解正在从离线全视频分析向第一人称流式感知演进。第一人称视频理解的核心在于捕捉佩戴者与环境及物体之间复杂的物理交互。流式部署场景施加了严格的因果性约束——模型必须在无法预见未来视频帧的前提下,即时判断动作的起止点,在动作结束的瞬间给出边界。这一现实需求自然引出了时序理解的基元粒度问题:诸如烹饪或维修等高层活动周期冗长且边界模糊,而微观层面的肌肉运动又过于琐碎,因此学术界聚焦于“原子动作”(Atomic Actions,如“打开冰箱门”或“倒咖啡”),即具有明确意图、与物体直接接触且边界清晰的短物理交互单元。
然而,第一人称流式原子动作分割的规模化落地长期受制于密集时序标注的极高成本。为长达数十小时的第一人称视频手动标注毫秒级的交互起止时间耗时耗力,往往需要超过视频时长三倍的人力成本。多模态视觉语言大模型(LVLM)在长视频问答与时序定位中展现出强大的语义理解能力,有望作为自动标注器替代人工监督,但直接将 LVLM 应用于密集原子动作分割面临严重的结构性缺陷。如果采用全视频全局提示(whole-video prompting),模型会因长时上下文注意力分散而坍缩为粗粒度的显著事件摘要,遗漏大量紧凑动作;若采用滑动窗口局部提示(sliding-window prompting),独立的短片段推理割裂了跨窗口动作,极易在窗口边界引入碎片化、重复预测与起止点失真。
针对全局摘要坍缩与滑窗局部割裂的矛盾,研究者必须解耦局部视觉证据抽取与全局动作结构形成。核心 idea:将离线 LVLM 的复杂时序推理结构化为「局部转移描述—长程语言聚合—视觉边界细化」的时序转移链(CoTT-Labeler),生成高覆盖率伪标签后蒸馏进轻量级因果循环在线模型(CoTT-Lite),并借助动作存在性与进度下降的归纳偏置反哺伪标签进行迭代自举(Iterative Bootstrapping)。
方法详解¶
整体框架¶
CoTT 包含面向离线未标注视频的时序转移链标注器 CoTT-Labeler、轻量级在线因果流式分割器 CoTT-Lite,以及连接两者的迭代蒸馏自举机制。在离线准备阶段,未标注长视频被送入 CoTT-Labeler,通过分阶段拆解生成密集的原子动作伪标签候选;随后,流式模型 CoTT-Lite 以这些伪标签为监督目标进行时序蒸馏学习;在推理与迭代轮次中,CoTT-Lite 利用循环神经网络的因果时序归纳偏置平滑边界噪声,反向产出时序一致性更高的伪标签,从而在无人工监督的前提下完成知识的闭环提炼与性能跃升。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["未标注第一人称长视频"] --> B["阶段1:时序转移字幕生成<br/>短视频块内提炼相邻帧物理交互与转移状态"]
B --> C["阶段2:长程语言动作聚合<br/>全视频字幕序列输入LLM聚合原子动作基元"]
C --> D["阶段3:视觉边界与描述细化<br/>扩展边界窗口回传LVLM精修起止时间与文本"]
D --> E["时序伪标签集<br/>动作起止边界 + 物理交互描述"]
E --> F["CoTT-Lite 动作性与进度双头蒸馏<br/>轻量级GRU网络学习因果动作探测与进度衰减"]
F --> G["在线因果流式原子动作分割<br/>500+ FPS实时推理,无未来帧依赖"]
G -.->|迭代自举回路| F
关键设计¶
1. 时序转移字幕生成(Transition Captioning):将密集动作探测降解为帧间局部微观状态建模
直接促使 LVLM 在单个滑动窗口内直接判定动作边界,会使模型陷入“既要理解动作又要卡死边界”的双重不确定性,跨边界截断极为普遍。为解决此问题,阶段 1 将长视频切分为重叠的小片段(采样 \(K=12\) 帧,采样率 2 fps),要求 LVLM 不做完整动作定位,仅描述相邻帧对之间的物理变化。形式化地,针对采样序列 \(\{x_{\tau_\ell}\}_{\ell=1}^K\),模型输出转移三元组集:
其中 \(d_{\text{trans}}^\ell\) 为双手与物体的底层物理交互动作描述(限定单一底层动词),\(s_\ell \in \{\text{start}, \text{continue}, \text{end}, \text{none}\}\) 明确标记当前状态。这一设计将模型负担限制在微观证据提取上,彻底规避了窗口切割网格对完整动作语义的硬性撕裂。
2. 长程语言动作聚合(Action Grouping):利用纯文本长上下文消除滑窗边界碎片化
滑动窗口推理的另一大缺陷在于缺乏全局时间感知,导致动作同义异词或状态抖动时被切碎。阶段 2 将全视频范围内提取的所有转移记录 \(D_{\text{trans}}\) 拼接为纯文本时序日志,输入大语言模型(LLM)进行整体聚类。由于纯语言上下文窗口极大,LLM 能够利用几分钟乃至几十分钟的时序先验,根据语义一致性与连续状态标记将离散转移片段缝合成完整的原子动作候选集 \(\hat{\Psi} = \{(\hat{t}_s^m, \hat{t}_e^m, \hat{d}^m)\}_{m=1}^M\)。即使局部字幕出现同义替换(如前半段称“切碎草药”,后半段称“细剁草药”)或状态位断续抖动,LLM 亦能在语言空间中将其平滑识别为单次原子交互,从结构上杜绝了过度分割。
3. 视觉边界与描述细化(Boundary & Description Refinement):结合时序扩充窗口与视觉验证精修候选
语言聚合步骤虽然确定了粗糙的起止时间区间,但缺少精细像素级时序证据。阶段 3 针对每个聚合动作候选,向两侧进行短边距填充(padding),截取对应视频帧重新喂给 LVLM,并辅以初拟描述 \(\hat{d}^m\) 作为假设条件。LVLM 结合具体视觉流重新核验真实交互物理接触点,输出精校后的准确起止戳 \((\tilde{t}_s^m, \tilde{t}_e^m)\)、精炼交互描述 \(\tilde{d}^m\) 及置信度分数,形成高质量初始伪标签集 \(\tilde{\Phi}^{(0)}\)。该阶段将开环的大模型生成转化为“自提假设—视觉复核”的双闭环,大幅抑制了伪标签的时间漂移。
4. CoTT-Lite 动作性与进度双头蒸馏与迭代自举:因果时序归纳偏置反哺消除大模型边界抖动
虽然 CoTT-Labeler 具备广阔的开放语义覆盖,但其依赖多次离线 LVLM 推理,无法用于毫秒级在线流式场景;且由于离散采样和模型幻觉,其边界预测仍伴随高频噪声。CoTT-Lite 采用冻结的视觉编码器(Egovideo)提取 2 fps 帧级表征,上接 3 层带有层归一化(LayerNorm)的门控循环单元(GRU,隐层维度 768),后分设单线性层实现的动作性头(Actionness Head)和进度头(Progression Head)。动作性头预测当前帧是否处于动作中,进度头预测当前动作已完成的相对比例(\(0.0 \sim 1.0\))。在流式推理时,动作的结束通过“进度突降”(progression drop)触发,严格遵循因果约束且具备天然的时序平滑归纳偏置。在第 \(r\) 轮自举中,使用上一轮伪标签 \(\tilde{\Phi}^{(r)}\) 训练模型 \(S_\theta^{(r+1)}\),随后在无标注训练集上流式运行该模型,生成时序一致性更优的新伪标签:
通过在轮次间交替优化,紧致的流式时序偏置有效过滤了原始大模型标签中的毛刺与虚警,实现了无人工标注下的自进化提炼。
损失函数 / 训练策略¶
CoTT-Lite 在蒸馏训练时同时优化动作性分类损失与进度回归损失:
其中动作性分支使用二元交叉熵损失(BCE Loss);进度分支预测非线性的完成百分比,遵循最近工作采用直方图损失(Histogram Loss),将连续进度离散化为区间概率分布以增强对非线性动作速度的建模能力。优化器采用 AdamW,初始学习率设为 \(3 \times 10^{-4}\),权重衰减为 0.01,时间历史感知长度设为 64 帧,在无标注数据集上共微调 15 个 epoch。
实验关键数据¶
主实验¶
主实验在两个大规模第一人称基准 EPIC-Kitchens-100(EK100)和 Ego-Exo4D(EgEx)上评估,以匈牙利算法匹配预测与真实区间,评估指标为 \(tIoU=0.5\) 时的 F1、精确率(Precision)和召回率(Recall)。
| 数据集 | 方法 | 进度头 (Prog.) | 人工GT监督 (GT) | F1 (%) | Precision (%) | Recall (%) |
|---|---|---|---|---|---|---|
| EK100 | OAD-Grouping (Kang et al., 2021) | – | ✓ | 21.4 | 25.5 | 18.4 |
| CAG-QIL (Kang et al., 2021) | – | ✓ | 23.1 | 21.3 | 25.2 | |
| SimOn (Tang et al., 2022) | – | ✓ | 4.3 | 2.3 | 33.4 | |
| OAT (Kim et al., 2022a) | – | ✓ | 27.5 | 17.5 | 63.7 | |
| ActionSwitch (Kang et al., 2024) | – | ✓ | 32.4 | 29.8 | 35.5 | |
| CoTT-Labeler (离线伪标签) | – | × | 31.1 | 31.8 | 30.5 | |
| CoTT-Lite (round 1) | ✓ | × | 37.4 | 45.0 | 31.9 | |
| CoTT-Lite (round 2) | ✓ | × | 39.2 | 36.9 | 41.9 | |
| GT-trained 上界 (Kang et al., 2025) | ✓ | ✓ | 48.5 | 46.7 | 50.4 | |
| EgEx | ActionSwitch (Kang et al., 2024) | – | ✓ | 18.7 | 25.0 | 15.0 |
| MAT (Song et al., 2024) | – | ✓ | 20.3 | 18.0 | 23.4 | |
| OAT (Kim et al., 2022a) | – | ✓ | 31.7 | 36.1 | 28.3 | |
| CoTT-Labeler (离线伪标签) | – | × | 23.1 | 23.9 | 22.5 | |
| CoTT-Lite (round 1) | ✓ | × | 25.5 | 31.3 | 21.5 | |
| CoTT-Lite (round 2) | ✓ | × | 28.8 | 31.0 | 26.9 | |
| GT-trained 上界 (Kang et al., 2025) | ✓ | ✓ | 34.3 | 34.1 | 34.5 |
消融实验与分析¶
在 GTEA 数据集上分析 CoTT-Labeler 内部各模块(转移字幕 Trans.、边界细化 Refine)及主干模型规模的有效性:
| 模型主干 | 转移建模 (Trans.) | 边界细化 (Refine) | F1 (%) | Precision (%) | Recall (%) |
|---|---|---|---|---|---|
| Qwen2.5-VL-32B | × | × | 3.6 | 5.6 | 3.5 |
| Qwen2.5-VL-32B | × | ✓ | 19.0 | 11.3 | 59.0 |
| Qwen2.5-VL-32B | ✓ | × | 35.9 | 53.6 | 27.0 |
| Qwen2.5-VL-32B (默认配置) | ✓ | ✓ | 44.2 | 55.1 | 36.9 |
| Qwen3-VL-32B | ✓ | ✓ | 45.6 | 34.6 | 66.7 |
在 EK100 上扩展迭代自举至 5 轮并与先验调优平滑后处理(GT-tuned smoothing)对比:
| 标注源 / 轮次 | F1 (%) | Precision (%) | Recall (%) | 每视频片段数 | 平均时长 (s) | 视频覆盖率 (%) |
|---|---|---|---|---|---|---|
| 真实标注 GT (human) | – | – | – | 75.6 | 3.71 | 78.9 |
| Round 0 (CoTT-Labeler) | 31.2 | 31.9 | 30.5 | 67.1 | 3.92 | 67.4 |
| Labeler + GT-tuned smoothing | 34.4 | 36.0 | 32.8 | 63.8 | – | – |
| Round 1 (CoTT-Lite) | 37.4 | 45.1 | 32.0 | 49.7 | 5.62 | 78.1 |
| Round 2 (CoTT-Lite 峰值) | 39.2 | 36.9 | 41.9 | 79.6 | 3.41 | 75.7 |
| Round 3 | 38.0 | 38.7 | 37.4 | 67.7 | 4.08 | 77.3 |
| Round 4 | 35.7 | 31.3 | 41.5 | 93.1 | 2.90 | 75.7 |
| Round 5 | 32.9 | 27.9 | 40.2 | 101.0 | 2.72 | 77.5 |
关键发现¶
- 蒸馏模型的性能显著反超标注器本身:CoTT-Lite 在 round 2 的 F1 达到 39.2%,显著超越其监督源 CoTT-Labeler 的 31.1%(提升 +8.1%)。这表明具备因果循环结构的流式模型并非单纯拟合大模型输出,而是利用进度预测等时序偏置有效过滤了原始伪标签的时间噪声。
- 自举并非单纯的时间平滑:即使给 CoTT-Labeler 配备利用 GT 标签网格搜索调优的平滑后处理(合并、过滤、扩张),其 F1 也仅达 34.4%(召回率仅 32.8%);而 CoTT-Lite 在第 2 轮召回率大幅跃升至 41.9%,证明蒸馏网络真正找回了被大模型遗漏的真实物理交互。
- 自举轮次的收敛与退化规律:自举性能在 Round 2 达到峰值,此时片段密度(79.6 段/视频)和平均时长(3.41 秒)与真实标注分布(75.6 段/视频,3.71 秒)最为契合;在第 4、5 轮后性能出现平缓下降,原因在于模型逐步产生过分割(片段数持续膨胀至 101 段/视频),但未出现崩溃性失效。
- 解耦微观转移与宏观聚合至关重要:消融实验显示,一旦去掉转移字幕建模(退化为独立帧描述),F1 暴跌 25.2 个百分点(从 44.2% 跌至 19.0%),表明连续动作状态的局部引导是语言聚合不可或缺的基石。
亮点与洞察¶
- 解耦视觉提取与时序编排的降维巧思:直接令大模型输出全视频起止时间存在全局坍缩和局部碎片化的固有权衡,本文通过将视觉感知局限在相邻微观转移,而将全时域范围的整合完全交由 LLM 处理长文本,巧妙利用了两种模态各自的长处。
- “弱教师训练强学生”的时序反转:通常蒸馏任务中学生模型性能以教师为上限,而在连续时序动作感知中,因果循环网络对于“动作存在与平滑衰减”的物理归纳先验强于大模型的瞬时自注意力,使得轻量在线学生在时序对齐精度上能够反超离线大模型教师。
- 极低的流式在线部署代价:相比滑动窗口大模型高达 9.2 秒的响应延迟与全视频大模型的 88.9 秒延迟,CoTT-Lite 仅需 59.9 ms 的单帧决策延迟且具备零缓冲输入特性,吞吐量突破 500 FPS,显存占用降低十倍以上,为端侧边缘设备提供了切实可行的第一人称感知范式。
局限与展望¶
- 对底层开源 LVLM 指令遵循能力的强依赖:当前流水线依赖 Qwen2.5-VL-32B 等中大规模模型,作者实验指出 7B 级小模型在遵守转移标记语法和状态转移约束上失效率高,导致伪标签生成质量下降。
- 蒸馏过程中语义文本信息的瓶颈丢弃:CoTT-Labeler 产出的动作区间附带高质量的细粒度自然语言描述(如“打开微调旋钮”),但在蒸馏至 CoTT-Lite 时仅保留了数值起止戳,文本语义全部被丢弃,使得最终在线模型仅停留在无类别边界感知阶段。
- 封闭集词表评估带来的伪负例偏差:在 EK100 等封闭词表数据集中,大模型生成的开放词表合法物理交互因未被预设词表涵盖而被判定为假阳性,未来需探索联合时序与开放文本对齐的流式多模态蒸馏架构。
相关工作与启发¶
- vs. Online Action Detection (OAD) 方法 (Miniroad, GateHUB):传统 OAD 专注于按帧判定动作语义类别,缺乏显式事件级起始与终止边界判定;CoTT 聚焦于事件级起止戳的连续流式回归,提供了完整的原子物理交互单元。
- vs. 传统在线时序动作定位 (On-TAL) 算法 (CAG-QIL, ActionSwitch, OAT):传统 On-TAL 方法高度依赖昂贵的人工密集时序真值进行监督训练;CoTT 是首个完全脱离人工时序标注、仅凭预训练大模型伪标签驱动且在性能上匹敌全监督的无标注流式架构。
- vs. 零样本时序动作检测 (ZEAL, FreeZAD, T3AL):以往零样本 TAL 方法多基于测试时微调(TTA)或跨模态相似度检索,在离线全视频中定位特定类别;CoTT-Labeler 无需测试时调优即可在 THUMOS14 零样本任务上取得 15.6% 的平均 mAP,超越以往所有免训练基准。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [首次提出结合时序转移链解耦与自举循环流式蒸馏的第一人称原子动作感知架构]
- 实验充分度: ⭐⭐⭐⭐⭐ [跨 EK100、Ego-Exo4D、GTEA 及 THUMOS14 展开充分验证,涵盖多轮自举演变与跨域迁移]
- 写作质量: ⭐⭐⭐⭐⭐ [方法逻辑清晰严密,针对大模型时序标注痛点的分析深刻且直击要害]
- 价值: ⭐⭐⭐⭐⭐ [彻底打破密集时序标注的高成本壁垒,打通了离线多模态大模型赋能高帧率轻量流式感知的新范式]