CausalChapter: Improving Long-Form Video Chaptering with Interventional Dependency Modeling¶
会议: EMNLP 2026
论文: ACL Anthology
领域: 视频理解
关键词: 长视频章节切分, 因果干预, 依赖漂移, 跨片段上下文选择, 稠密视频描述
一句话总结¶
针对长视频章节切分在分段生成范式下面临的边界误差累积与跨片段上下文碎片化瓶颈,本文提出基于因果干预思想的 CausalChapter,通过局部掩码干预捕获相邻时间窗的依赖骤降实现平滑过渡边界定位,并通过剔除式干预评估历史段落对当前章节生成的实际支持度以重排上下文,在 AVLecture 与 VidChapters-7M 基准上显著超越现有 SOTA 模型。
研究背景与动机¶
长形式教学与讲座视频(如课堂录课、学术报告与技能培训教程)通常包含极其密集的知识信息与复杂的叙述逻辑,对视频进行自动化章节划分并生成高可读性的结构化小标题或长描述,是实现高效浏览、精准跳转与知识检索的核心支撑。随着大语言模型与长上下文建模的发展,以 Chapter-Llama 为代表的工作探索了将长视频转写为带时间戳的语音识别(ASR)文本与逐帧 Caption、并利用超长上下文 LLM 进行端到端一次性输出整视频所有章节切分与标题的方法。然而,在以 AVLecture 为代表的内容密集型演讲视频中,全篇文本转录极长、各主题演进往往极其平滑,且生成的章节往往需要详细的语义描述而非短标签,全视频上下文联合建模面临着计算量与显存开销随着输入长度呈二次方暴涨的物理极限,实际部署时不得不依赖激进的截断或稀疏采样,极易丢弃定位章节转换所需的细粒度细节。
为了在实际计算预算下实现高扩展性,工业界与学术界转向先切分后生成(Segment-then-Caption)的解耦范式:先由边界检测器预测时间切分点将长视频分割为局部片段,再针对每个切分片段独立调用生成器生成对应的章节描述。然而,这种解耦机制不可避免地引入了两个深层结构性矛盾:第一是边界误差的单向级联传播,演讲者在不同知识点切换时语调和画面极其连贯自然,微弱的时间偏移就会导致前后两个主题的核心内容互相掺杂;第二是独立段落生成打破了长程语义依赖链,后续章节中的概念推演、实验分析往往深度依赖前序段落给出的前提假设、符号定义或问题陈述,割裂的局部上下文导致描述严重失真。虽然现有的检索增强生成(RAG)方案尝试通过表层语义相似度或时间邻近性拉取前序片段作为补充,但在教学视频中,与当前段落最相似的片段往往只是同质语义的冗余复读,而真正起到逻辑基石作用的段落可能在视觉与词汇上完全不重叠。
因此,视频单元的关联重要性不能简单通过表层相似度判断,而必须通过该单元发生干预时模型预测行为的实质变化来衡量。核心 idea:将因果干预思想引入长视频章节切分全流程,在边界定位阶段通过掩码前序语义单元测量后序时间窗表征预测的「局部依赖骤降(LCDS)」以精准锚定平滑主题转折点,在描述生成阶段通过剔除候选历史段落并测量预测分布 KL 散度漂移的「跨片段支持度评估(CSSE)」精选关键逻辑前置上下文。
方法详解¶
整体框架¶
CausalChapter 建立在兼顾高扩展性与精细化生成的二阶段 Segment-then-Caption 架构之上。给定长视频序列及其对齐的 ASR 句子序列 \(U = \{u_i\}_{i=1}^N\),系统首先提取每一句的时间戳并在其有效时间窗口内按 1 FPS 采样视频帧,经由轻量级多模态融合模块生成紧凑的句子级语义单元表征 \(z_i\)。在边界定位阶段,多模态分类头输出基础切分概率,同时局部依赖漂移模块(LCDS)在前序滑动窗口内执行逐单元掩码干预,计算后序窗口重建表征的依赖损伤幅度,以显著的局部依赖骤降作为结构化辅助信号强化边界预测。在描述生成阶段,模型先基于切分片段生成初步草稿,接着联合时间近邻与语义检索构建紧凑的候选上下文池,交由跨片段支持度评估模块(CSSE)执行逐段剔除干预,依据模型预测分布的 KL 散度漂移量对前序片段重排打分,挑选最具因果支持性的 Top-K 历史片段协同参与第二轮精准章节描述生成。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
IN["长视频与带时间戳 ASR 序列"] --> B1["多模态语义单元编码<br/>句子级 ASR + 帧级 CLIP 融合生成 z_i"]
B1 --> B2["基础边界概率预测<br/>轻量分类头输出基础概率 p_base"]
B1 --> D1["局部因果依赖漂移 (LCDS)<br/>滑动窗口掩码干预计算预测表征依赖骤降"]
B2 & D1 --> B3["因果增强边界决策<br/>自适应融合 logits 输出最终切分片段 S_k"]
B3 --> G1["首轮章节描述初生成<br/>片段多模态输入经 LLM 产生初稿 y_k~"]
B3 & G1 --> G2["双路候选上下文构建<br/>时间近邻与语义相似度联合检索紧凑候选池"]
G2 --> D2["跨片段因果支持度评估 (CSSE)<br/>剔除式干预计算输出分布 KL 散度并重排"]
D2 --> D3["双阶段精炼生成 (Pass-2 Refinement)<br/>结合高质量支撑段落与初稿微调输出最终标题"]
D3 --> OUT["最终结构化章节序列 {s_k, e_k, y_k}"]
关键设计¶
1. 局部因果依赖漂移 (LCDS):平滑主题过渡下的依赖断崖检测 在学术演讲与深度讲座中,教师由一个概念过渡到下一个概念时,语音往往保持平稳,背景幻灯片也可能保持版式稳定甚至共用板书,直接基于表层特征差分或对比损失极难捕捉真实逻辑边界。针对表层特征连续性掩盖逻辑断裂这一痛点,LCDS 将边界定义为「前后相邻时间窗口之间的预测性依赖产生局部断崖」。具体机制上,对于第 \(i\) 个语义单元后的候选切分点,构建前序时间窗口 \(A_i = [z_{i-W+1}, \dots, z_i]\) 与后序时间窗口 \(B_i = [z_{i+1}, \dots, z_{i+W}]\)(窗口大小默认 \(W=5\))。利用基于 MLP 的轻量依赖预测器 \(R_\phi\) 学习用前序表征预测后序窗口表征 \(\hat{B}_i = R_\phi(A_i)\)。随后,在 \(A_i\) 中逐一对其内部第 \(r\) 个单元实施掩码干预得到 \(A_i^{\backslash r}\),产生干预后的预测 \(\hat{B}_i^{\backslash r} = R_\phi(A_i^{\backslash r})\)。通过测量前序各单元被掩码后后序预测表征的平均余弦距离变化,量化前后窗口的总依赖强度: $\(d_i = \frac{1}{W^2} \sum_{r=1}^W \sum_{j=1}^W D_{rep}(\hat{b}_{i,j}, \hat{b}_{i,j}^{\backslash r})\)$ 在内部语义高度自洽的同一章节内,前序内容对后序有持续强支撑,\(d_i\) 保持高位;而在真正的章节分界处,前后内容逻辑脱钩导致 \(d_i\) 急剧下跌。模块在局部领域 \(N(i)\) 内计算平均基准 \(\bar{d}_i\),仅截取正向依赖跌幅并进行全局 Min-Max 归一化得到依赖偏移得分 \(s_i^{dep} = \text{Norm}(\max(0, \bar{d}_i - d_i))\)。最终以可学习缩放系数 \(\gamma\) 将该因果得分直接叠加至边界分类器 logits 中 \((o_i^{enh})_{c_b} = (o_i^{base})_{c_b} + \gamma s_i^{dep}\),有效解决了传统视觉-文本差分在渐变过渡处的欠切分难题。
2. 跨片段因果支持度评估 (CSSE):剔除式干预评估历史上下文效用 分段生成将长视频解耦为孤立片段,丢失了前序定理推导与背景设定等关键上下文;若直接采用相似度检索,往往召回的是词汇高度重合但信息冗余的段落,甚至引入错误实体诱发幻觉。针对表层相似度无法反映真实生成效用这一痛点,CSSE 采用「留一剔除式干预(Leave-One-Out Intervention)」直接评估每个历史片段对当前生成目标的实际预测贡献。机制上,首先通过时间邻域与语义检索预取规模极小(如 \(M=5\))的候选集合 \(C_k = C_k^{near} \cup C_k^{sem}\),严格避免对整篇视频全局做昂贵计算。生成器大模型 \(G_\theta\) 首先在完整候选集下生成参考目标序列 \(y_k^{ref} = G_\theta(I_k, \tilde{y}_k, C_k)\)。随后针对候选池中任意特定历史段落 \(S_j \in C_k\),将其从上下文中物理剔除得到消融集合 \(C_k^{-j} = C_k \setminus \{S_j\}\)。以 Teacher-Forcing 模式在前缀对齐下计算全上下文与剔除上下文下的 Token 级预测概率分布,并通过 KL 散度量化输出分布的扰动幅度: $\(s_{j \to k} = \frac{1}{T} \sum_{t=1}^T D_{KL}\left(p_\theta(\cdot \mid y_{k,<t}^{ref}, I_k, \tilde{y}_k, C_k) \,\parallel\, p_\theta(\cdot \mid y_{k,<t}^{ref}, I_k, \tilde{y}_k, C_k^{-j})\right)\)$ 若剔除某个段落导致大模型的输出分布剧烈偏移,说明该段落为当前章节的生成提供了不可或缺的因果支持力;反之,若剔除某段后生成分布几乎无变化,说明该段落仅为表层相似或完全无用。模型据此分数重排挑选出 Top-K 个最具实质支撑力的历史段落构建最终精炼上下文 \(R_k\)。
3. 双阶段精炼生成 (Pass-2 Refinement):保留技术实体的高保真标题重塑 在长视频知识讲解中,如果将检索到的历史信息直接粗暴拼接进单轮 Prompt,模型往往容易混淆当前段落的主客体,甚至被过长的历史信息带偏主题,发生机制漂移。为此,系统设计了专用双阶段提示生成工作流:在第一轮生成(Pass 1)中,大模型仅接收当前段落的多模态特征与时间戳提示,生成聚焦当前局部主题的初始草稿 \(\tilde{y}_k\);在第二轮精炼(Pass 2)中,输入端不仅注入通过 CSSE 挑选出的高支持度历史前序片段 \(R_k\),还明确传入 Pass 1 草稿作为基准锚点。系统指令严格规定:历史片段仅用于澄清前置推演与概念定义,严禁抄袭前序小标题;若草稿中的核心技术术语准确,则在润色时必须原样保留,仅补充缺失的关键逻辑背景。这种以局部草稿为锚、因果上下文为辅的双轮精细化生成策略,彻底消除了跨章节信息污染与术语漂移。
损失函数 / 训练策略¶
CausalChapter 的联合训练目标包含多任务约束,端到端优化由四项损失函数线性组合而成: $\(\mathcal{L} = \mathcal{L}_{bd} + \mathcal{L}_{rec} + \mathcal{L}_{gen} + \mathcal{L}_{time}\)$ 其中 \(\mathcal{L}_{bd} = -\sum_i \log p_i^{enh}(b_i^*)\) 为增强边界分类交叉熵损失,指导多模态分类头及依赖融合系数收敛;\(\mathcal{L}_{rec} = \sum_i D_{rec}(\hat{B}_i, B_i)\) 为余弦与均方误差结合的后序窗口表征重建损失,用于监督轻量依赖预测器 \(R_\phi\) 掌握时序预测规律;\(\mathcal{L}_{gen}\) 为基于标准自回归语言模型交叉熵的目标章节描述生成损失;\(\mathcal{L}_{time}\) 为辅助的时间戳自回归重构损失,强化 LLM 对视频绝对与相对时序位置的感知。
实验关键数据¶
主实验¶
论文在长视频专业讲座基准 AVLecture(含 350 个高难度长讲座视频,切分为 245 训练 / 35 验证 / 70 测试,配备 GPT-4o 辅助标注并经由 10 位专家严格人工多轮修订的多模态参考描述)与开放域大规模视频基准 VidChapters-7M 上进行了全面评测。在 AVLecture 上,CausalChapter 显著击败了端到端长上下文模型 Chapter-Llama 及经典稠密视频描述基准(如 PDVC 与 Vid2Seq)。
| 任务类型 | 方法 | 生成骨干模型 | CIDEr | SODA_c | F1@30 (%) | tIoU (%) |
|---|---|---|---|---|---|---|
| DVC | PDVC | – | 6.11 | – | 9.07 | 56.44 |
| DVC | Vid2Seq | T5 | 61.22 | 9.79 | 9.84 | 53.77 |
| 视频 LLM | VTimeLLM | Vicuna-7B (ZS) | 0.02 | 3.04 | 47.53 | 46.72 |
| 章节切分 | Chapter-Llama | LLaMA-3.1-8B | 99.78 | 8.15 | 63.93 | 62.18 |
| 章节切分 | Chapter-Llama | Qwen2.5-7B | 95.36 | 6.91 | 57.73 | 59.62 |
| 章节切分 | CausalChapter (本文) | LLaMA-3.1-8B | 110.12 | 11.73 | 72.97 | 69.95 |
| 章节切分 | CausalChapter (本文) | Qwen2.5-7B | 116.88 | 13.80 | 72.97 | 69.95 |
| 商业大模型 | GPT-4o | 闭源 (Zero-Shot) | 1.82 | 0.08 | 24.89 | 35.23 |
| 商业大模型 | Gemini-2.5-Pro | 闭源 (Zero-Shot) | 2.40 | 1.64 | 26.72 | 36.12 |
| 商业大模型 | Gemini-2.0-Flash | 闭源 (Zero-Shot) | 0.28 | 0.18 | 11.71 | 13.54 |
在 VidChapters-7M 上,CausalChapter 展现出强大的通用泛化能力:基于 Qwen2.5-7B 骨干取得 109.2 CIDEr、18.8 SODA、46.2% F1 与 72.0% tIoU,相较 Chapter-Llama(100.9 CIDEr / 45.3% F1)全面提升,证明因果依赖建模同样高度适用于通用短平快视听场景。
消融实验¶
消融实验在 AVLecture 上采用统一的 Qwen2.5-3B 骨干网络与相同训练切分进行严格对照,评估各核心模块的独立与协同增益:
| 实验配置 | CIDEr | METEOR | SODA_c | F1 (%) | BS@30 (%) | tIoU (%) | 说明 |
|---|---|---|---|---|---|---|---|
| Backbone (Base Seg-then-Cap) | 88.39 | 16.83 | 10.84 | 52.95 | 59.61 | 66.36 | 基础分段生成模型 |
| + LCDS (局部因果依赖漂移) | 91.36 | 17.37 | 11.90 | 56.72 | 63.02 | 69.95 | 仅增强边界定位,时序指标显著提升 |
| + CSSE (跨片段支持度评估) | 98.40 | 17.15 | 12.63 | 52.95 | 59.61 | 66.36 | 边界不变,生成描述质量大幅提高 |
| Full Model (CausalChapter) | 104.59 | 17.87 | 12.73 | 56.72 | 63.02 | 69.95 | 双模块协同达到全指标最佳 |
针对边界建模方式(Table 3),对比表层特征差分(Sim. Drop,F1=54.51%, tIoU=65.68%)和对比学习损失(CL Loss,F1=53.28%, tIoU=65.23%),本文 LCDS 的因果依赖骤降在所有指标上均最优(F1=56.72%, tIoU=69.95%);针对上下文挑选方式(Table 4),对比直接拉取前置时序段落(Previous-K,CIDEr=90.85)、表层相似度检索(Sim. Top-K,CIDEr=95.97)和 LLM 直接打分(LLM Scoring,CIDEr=96.11),本文基于 KL 散度剔除干预的 CSSE 取得了高达 104.59 的 CIDEr,验证了预测扰动幅度对上下文有效性的判定显著优于表层相似性。
关键发现¶
- 时序依赖断崖是抗干扰边界的最佳判别器:消融表显示,LCDS 直接将定位交并比 tIoU 从 66.36% 推高至 69.95%,F1 绝对提升 3.77 个百分点。在平滑过渡区域,浅层视觉特征与语音词袋变化极其微弱,但预测后序窗口表征所需的潜在前置因果关联发生剧烈断裂,从而精准锁住真值边界。
- 表层相似度易导致「机制漂移」与幻觉:直接根据词向量余弦相似度拉取上下文(Sim. Top-K)的 CIDEr 仅有 95.97,明显低于 CSSE 的 104.59。实验定性分析显示,相似度召回常误召回后序重复同一术语的无关段落,导致模型在生成时出现逻辑混乱;而 CSSE 能精准挖掘出包含前置定义与推导前提的「低词汇重合、高逻辑依从」段落。
- 超参数鲁棒性与推理开销可控:敏感度分析显示,LCDS 窗口尺寸在 \(W=5\) 时综合表现最优,过小窗口缺乏统计置信度,过大窗口引入无关时序噪声。CSSE 筛选规模在 \(K=5\) 时性价比最高。在 A100 80GB GPU 下结合片段级微批处理(Micro-batching=8),整视频端到端推理耗时仅 10.50 秒,峰值显存仅 19.35 GiB,远低于长上下文端到端模型全展开所需的庞大显存消耗。
亮点与洞察¶
- 预测级影响替代真实世界因果图挖掘:论文极为清醒地将因果概念降维落地,不强求从视频像素中重建极其脆弱的真实世界 DAG 因果图,而是直接通过「掩码/剔除输入组件观察输出预测表征与概率分布漂移」这一操作主义定义,构建出轻量实用的因果效用代理。
- 轻量两阶段架构化解长视频上下文不可能三角:长视频理解常常在「显存爆裂」「语义截断」与「局部割裂」之间挣扎。CausalChapter 通过分段生成压缩输入长度,再通过因果过滤精准按需召回关键历史支撑,以极低的计算代价达成了超越万级别 Token 全量加载的全局上下文感知力。
局限与展望¶
- 干预扰动计算带来的额外推理时延:虽然作者将 CSSE 限制在极小的候选池(\(M=5\))内进行剔除打分,但在实时流式场景下,每次生成前的多次 Leave-One-Out 前向 KL 评估仍占据约 43.7% 的推理时间,未来可通过隐空间快速梯度估计或超网络直接预测干预权重来进一步加速。
- LLM 标注基准可能存在风格先验:AVLecture 的密集章节描述依赖 GPT-4o 辅助生成后再由人类修正,尽管作者通过多模型(Claude、不同 Prompt 句式)交叉验证排除了风格依赖,但构建完全由人类领域专家从零手写的大规模工业级讲座基准仍是未来重要方向。
相关工作与启发¶
- vs Chapter-Llama: Chapter-Llama 将长视频转录后整篇送入长上下文 LLM 一次性解码边界与标题,在遇到数小时、信息密度极高的学术讲座时极易面临显存超标或注意力被冗长文本稀释的问题;CausalChapter 采用分段生成控制开销,通过因果机制解决分段带来的边界漂移与信息碎片化问题,CIDEr 指标高出 17-21 点。
- vs 传统 RAG / 记忆增强视频方法 (HICM2, Video-LLaMA): 传统记忆库多以特征相似度(Cosine Distance)或时间衰减作为召回准则;本文证明了在逻辑推导型长视频中「表层相似 \(\neq\) 预测有用」,以因果干预敏感度作为召回打分准则是突破 RAG 上下文质量瓶颈的高价值思路。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 巧妙跳出传统因果发现的沉重负担,将因果干预实用化为时序依赖断崖与留一剔除打分,构思极其精巧。
- 实验充分度: ⭐⭐⭐⭐⭐ 兼顾学术演讲(AVLecture)与通用开放域(VidChapters),提供了包含标注敏感度、参数敏感度、4-bit 量化开销与微批处理效率的全景评测。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严密,数学表达与图表设计清晰,对自身因果定义的定位客观准确。
- 价值: ⭐⭐⭐⭐⭐ 为长形式视频结构化解析、MOOC 课程自动切片与高效长文本视频 RAG 提供了极具工业落地价值的标准化方案。