Behavior Pack Optimization for Video MLLM Post-Training¶

会议: NeurIPS 2026
arXiv: 2610.03141
OpenReview: https://openreview.net/forum?id=dnqyvgz1LI
代码: 待确认
领域: 多模态VLM
关键词: 视频多模态大模型, 强化学习后训练, 行为包优化, 反事实视角, 时间因果落地

一句话总结¶

针对视频多模态大模型（Video MLLM）过度依赖外观与语言先验而在视频时序/证据篡改下输出不变的“虚假正确”问题，本文提出行为包优化（Behavior Pack Optimization, BPO），将后训练的优化单元从单响应扩展为包含原始片段与问题类型条件化反事实视角的“行为包”，结合跨视角行为契约奖励与锚点相对优势估计，在相同算力预算下显著提升模型在时序困难推理与拒答任务上的真实因果落地能力。

研究背景与动机¶

视频多模态大模型（Video MLLMs）在各大视频问答基准上不断刷新准确率指标，但在深层时序推理与因果依赖上暴露出严重的“伪智能”漏洞。受控探测实验显示，当对输入视频进行帧乱序重排（frame shuffling）、掩码遮蔽关键证据片段（evidence masking）或者直接移除目标物体时，主流视频大模型给出的答案往往几乎没有任何变化。这表明当前模型在视频问答中的高准确率在很大程度上建立在静态表观线索和语言先验（language priors）之上，而非真正依赖问题所要求的时序因果证据。

这一捷径行为的核心根源深植于现有多模态强化学习后训练（RL Post-Training）的优化单元设计中。无论是监督微调（SFT）还是主流的组相对策略优化（GRPO）与偏好对齐，奖励计算都是在针对单个原始视频片段的独立输出上进行的；即使引入视频编辑负样本进行对比微调，模型每次更新依然是独立评估单个视角的本地目标，系统从未被显式要求在相互关联的多视角或反事实视角间表现出跨视角的一致性与敏感性。当优化目标仅考核静态答案匹配时，模型完全无法获得关于“视觉证据发生变更或抽离时自身输出是否发生相应改变”的梯度引导，从而无法习得忠实的时序接地行为。

针对这一优化粒度上的结构性缺陷，本文将优化的基本单元从单个视频-答案对提升为由原始视角与反事实视角协同构成的“行为包”（Behavior Pack）。核心 idea：将多模态后训练粒度重构为问题类型驱动的“行为包”，通过跨视角行为契约显式监督模型在非关键扰动下的稳定性、证据移除下的敏感性与证据缺失时的诚实拒答，并以原始视频为锚点构建低方差优势估计。

方法详解¶

整体框架¶

Behavior Pack Optimization (BPO) 整体流程分为 Stage A（结构化 EST 接口微调）与 Stage B（跨视角行为包强化学习后训练）。在 Stage B 中，输入视频-问题对首先经由轻量级规则路由判定问题类型（实体绑定/计数类 Q1 或时序顺序/方向类 Q2），并从离线预生成的六种反事实视角库中精准抽取对应的紧凑视角子集（形成大小 $|\mathcal{V}|=4$ 的视角包）；策略模型在原始视角与三个反事实视角上分别并行 rollout 产生一组预测输出；接着由集成验证器联合评估视角自身正确性以及相对于原始锚点视角的跨视角行为契约（包含稳定性、敏感性与诚实拒答）；最后利用原始视角输出作为基线计算锚点相对优势（Anchor-Relative Advantage），更新非锚点视角的策略梯度并施加 KL 散度正则约束。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入视频 V 与问题 q"] --> S1["Stage A: 安装 EST 结构化接口<br/>微调输出实体-状态-时序轨迹"]
    S1 --> S2["1. 问题类型驱动的反事实视角包构建<br/>规则分类 Q1/Q2 路由匹配视角集 |V|=4"]
    S2 --> S3["策略多视角并行 Rollout<br/>生成行为包 B={ (v0, y0), (v1, y1), ... }"]
    S3 --> S4["2. 验证器联合评估与跨视角行为契约<br/>单视角正确性 + 稳定/敏感/诚实拒答奖励"]
    S4 --> S5["3. 锚点相对优势估计与策略更新<br/>以原始视角 v0 为基线消除难度方差更新模型"]
    S5 --> Out["输出时序证据落地与拒答对齐的 Video MLLM"]

关键设计¶

1. 问题类型驱动的反事实视角包构建：按需匹配因果探测视角以最大化对比学习效率 现有数据增强方法往往无差别地混入各种扰动视频，但在有限的强化学习采样预算（如每样本仅 4 次采样）下，盲目混合视角会稀释关键因果信号。BPO 提出根据问题类型精准构建包含原始视频 $v_0$ 与 3 个反事实视角的紧凑行为包 $\mathcal{B}(\mathbf{V},q;\mathcal{V})$。针对涉及实体绑定、事件与计数的提问（Type 1, $Q_1$），视角包定义为： $$\mathcal{V}_1 = \{v_0, \text{key-mask}, \text{non-key-mask}, \text{span-drop}\}$$ 其中利用 SAM2 对关键实体进行像素级掩码（key-mask）、遮蔽背景保留目标区域（non-key-mask），以及利用镜头边界检测切除包含关键事件的 1–2 秒时序窗口（span-drop），探测模型是否真正依赖前景证据而非背景捷径。针对涉及动作时序、运动方向与发展趋势的提问（Type 2, $Q_2$），视角包定义为： $$\mathcal{V}_2 = \{v_0, \text{reverse}, \text{shuffle}, \text{key-mask}\}$$ 引入时序倒放（reverse）与帧均匀打乱（shuffle）。轻量规则分类器基于疑问词模板与动词语义框架映射 $\tau(q) \in \{1,2\}$，准确率达 94% 以上。消融对角矩阵实验证实，为对应问题类型匹配针对性视角集合能带来显著优于全量盲目视角的性能收益。

2. 验证器联合评估与跨视角行为契约：对齐多视角一致性、反事实敏感性与诚实拒答 为了让模型在行为包内展现出忠实的证据依赖，BPO 结合了确定性解析、时序逻辑验证器与跨视角契约评分，单视角综合奖励定义为： $$R_{\mathrm{view}}(v, y_v; y_{v_0}) = w_1 R_{\mathrm{ans}}^{(v)}(y_v; y_v^{\star}) + w_2 R_{\mathrm{ev}}(v, y_v) + w_3 R_{\mathrm{topo}}(v, y_v) + w_4 R_{\mathrm{fmt}}(y_v) + \lambda_v R_{\mathrm{contract}}^{(v)}(y_v, y_{v_0}) - \beta_v \mathrm{Pen}_v(y_v, \mathcal{B})$$ 其中 $R_{\mathrm{ans}}$ 为当前视角答案正确性（闭卷精确匹配或 LLM-Judge），$R_{\mathrm{ev}}$ 检验引用的帧索引是否落入关键证据区间，$R_{\mathrm{topo}}$ 与 $R_{\mathrm{fmt}}$ 确保 Stage A 引入的实体-状态-时序（Entity-State-Temporal, EST）结构化输出语法与拓扑一致性。最为核心的跨视角契约项 $R_{\mathrm{contract}}^{(v)}$ 以原始输出 $y_{v_0}$ 为参照： - 稳定性契约（Stability）：在保持标签不变的背景扰动视角（non-key-mask）下，当模型答案与原始锚点 $y_{v_0}$ 一致时触发奖励 $\alpha_{\text{stab}}$； - 敏感性契约（Sensitivity）：在关键实体遮蔽（key-mask）、事件丢弃（span-drop）或时序反转（reverse）下，要求预测答案发生改变、时序结论翻转或置信度下调，若模型仍顽固保持原答案则不予奖励甚至惩罚； - 诚实拒答契约（Honest Abstention）：当关键诊断证据被彻底抽离时，显式奖励模型给出“证据不足（insufficient evidence）”的拒答输出，防止幻觉推断。退化惩罚项 $\mathrm{Pen}_v$ 则抑制解析失败和面对所有反事实扰动均机械输出相同答案的捷径作弊行为。对于原始基准视角 $v_0$，设置 $\lambda_{v_0}=0$，确保原始视频输出严格对齐真实标准答案。

3. 锚点相对优势估计与策略更新：消除样本难度混淆并显著降低小批次估计方差 在视频大模型 RL 训练中，由于显存与解码延迟限制，每个样本采样的响应数量极小（通常采样数 $m \le 4$）。标准 GRPO 依赖批次归一化基线（Batch-Normalized Pack Baseline），即对同一 Mini-Batch 内所有样本的包均值计算方差并归一化，但这将不同样本自身的问题难度与模型的因果行为混为一谈，且在小样本批次下极易因方差极小而产生异常巨大的梯度尖峰（KL 剧烈震荡）。BPO 提出了以原始未扰动视角 $v_0$ 作为样本专属控制组的锚点相对优势估计（Anchor-Relative Advantage）： $$\hat{A}_{\mathrm{anc}}^{(i,v)} = R_{\mathrm{view}}\bigl(v, y_v^{(i)}; y_{v_0}^{(i)}\bigr) - R_{\mathrm{view}}\bigl(v_0, y_{v_0}^{(i)}; y_{v_0}^{(i)}\bigr), \quad \forall v \in \mathcal{V} \setminus \{v_0\}$$ 原始锚点视角的自身相对优势恒为 0（$\hat{A}_{\mathrm{anc}}^{(i,v_0)} = 0$）。策略仅在非锚点反事实视角集 $\mathcal{I}^{(i)} = \mathcal{V}^{(i)} \setminus \{v_0\}$ 上通过 PPO 截断代理损失进行更新： $$\mathcal{L}_{\mathrm{BPO}} = -\mathbb{E}_i \left[ \frac{1}{|\mathcal{V}|} \sum_{(v, y_v) \in \mathcal{I}^{(i)}} \min\left( \rho_v \hat{A}_{\mathrm{anc}}^{(i,v)}, \, \mathrm{clip}(\rho_v, 1-\epsilon, 1+\epsilon) \hat{A}_{\mathrm{anc}}^{(i,v)} \right) \right] + \beta_{\mathrm{KL}} \mathbb{E}_{v \in \mathcal{V}} \mathrm{KL}\left[ \pi_\theta(\cdot \mid \mathbf{V}_v, q_v) \parallel \pi_{\mathrm{ref}}(\cdot \mid \mathbf{V}_v, q_v) \right]$$ 理论证明在多视角奖励相关系数 $\rho > \frac{2m-1}{3m-1}$（当 $m=4$ 时阈值为 $7/11 \approx 0.636$）时，锚点相对优势的方差严格小于批次归一化方差。实测中各视角奖励相关性稳定在 $\bar{\rho} \approx 0.83$，成功将单步优势方差从 0.341 骤降至 0.142，彻底抑制了早期训练不稳定现象。

损失函数 / 训练策略¶

两阶段流程：Stage A 采用全参数跨熵有监督微调（bf16, ZeRO-3, 序列长度上限 8192，每视频均匀采样 8 帧），在原始片段上固化 EST 结构化输出规范（语法解析成功率达 99%+）；Stage B 冻结视觉编码器，仅更新语言大模型主体。
算力与采样预算严格对齐：为了保证对比的公平性，BPO 设定每个样本的采样总数为 4（即 1 个原始视频 + 3 个反事实视角），与传统 GRPO（原始视频采样 4 次）保持计算量严格对齐，各基线间的 FLOPs 和训练耗时差异控制在 4% 以内。
超参数配置：使用 8 张 NVIDIA H20 GPU，采用 HybridFlow/verl 框架分离 rollout 与训练流程，PPO 截断参数 $\epsilon=0.2$，KL 正则系数 $\beta_{\mathrm{KL}}$ 调优保持策略不偏离 Stage A 基线，契约权重 $\alpha_{\text{sens}}=\alpha_{\text{stab}}=\alpha_{\text{hon}}=1/3$。

实验关键数据¶

主实验¶

在 TempCompass、MVBench 与 NExT-QA 综合评测集上，以 Qwen2.5-VL-7B-Instruct 为主干模型，在严格对齐 Rollout 与 Stage-B 算力预算（4 rollouts/prompt，FLOPs 相对误差 $\le 4\%$）下进行横向对比（各强化学习实验均为 5 个随机种子测试均值与标准差）：

方法 / 实验设定	采样预算	宏准确率 (Macro Acc) ↑	时序困难子集 (Temp.-hard) ↑	关键敏感性 (Key-sens) ↑	诚实拒答 F1 (Abstain-F1) ↑	相对 FLOPs
B0: Qwen2.5-VL-7B 零样本基线	–	55.8	48.2	12.4	0.31	–
B1: + Stage A EST-SFT	–	58.1	50.6	13.1	0.34	–
B2: + 经典单视频 GRPO	4	62.7 ± 0.8	53.4 ± 1.1	31.5 ± 1.4	0.47 ± 0.02	1.00
B2.5: Video-R1 (复现基准)	4	63.4 ± 0.7	54.8 ± 1.0	35.2 ± 1.3	0.49 ± 0.02	1.01
B2.6: TPO (时序偏好优化复现)	4	63.1 ± 0.9	54.2 ± 1.2	33.8 ± 1.5	0.51 ± 0.02	1.02
B3: 行为包 + 批次归一化基线	4	64.5 ± 0.9	56.1 ± 1.3	42.7 ± 1.6	0.55 ± 0.03	1.03
B4: 行为包 + 锚点相对优势	4	65.8 ± 0.6	58.9 ± 0.8	48.3 ± 1.1	0.58 ± 0.02	1.03
B3 (m=1): 单视角退化健全性验证	4	62.9 ± 0.8	53.7 ± 1.1	32.1 ± 1.4	0.47 ± 0.02	1.00
B5: 完整 BPO (类型条件化行为包)	4	67.4 ± 0.5	61.2 ± 0.7	54.6 ± 0.9	0.67 ± 0.01	1.04
B5-LLaVA: LLaVA-Video-7B (BPO)	4	65.9 ± 0.7	58.3 ± 0.9	50.2 ± 1.2	0.62 ± 0.02	1.01
B2-LLaVA: LLaVA-Video-7B (GRPO)	4	61.3 ± 0.9	51.7 ± 1.2	28.6 ± 1.5	0.44 ± 0.03	0.98

长视频泛化结果（Video-MME 与 LongVideoBench）：在相同算力下，BPO 相比传统 GRPO 在 Video-MME 上分别带来 +3.8 pp（宏准确率 58.1 vs 54.3）与 +6.1 pp（时序困难 52.9 vs 46.8）的飞跃；在 LongVideoBench 上亦提升 +3.6 pp（宏准确率 49.8 vs 46.2）与 +5.8 pp（时序困难 47.3 vs 41.5）。

消融实验¶

在相同算力设置下逐一剔除 BPO 各个核心模块以验证其因果效应（3 个随机种子均值）：

实验配置	宏准确率 (Macro) ↑	时序困难 (Temp.-hard) ↑	关键敏感性 (Key-sens) ↑	倒放敏感性 (Reverse-sens) ↑	拒答 F1 (Abstain-F1) ↑	结构说明
完整 BPO (B5)	67.4	61.2	54.6	48.9	0.67	完整模型配置
剔除证据奖励 (w/o $R_{\mathrm{ev}}$)	65.8	59.4	50.2	47.1	0.58	移除帧级证据落地约束，时序降 1.8 pp
剔除稳定性契约 (w/o Stability)	66.1	59.7	52.8	47.5	0.65	背景扰动下答案出现漂移
剔除敏感性契约 (w/o Sensitivity)	65.4	57.3	38.4	35.2	0.55	因果行为严重崩塌：敏感性剧降 16.2 pp
剔除诚实拒答契约 (w/o Abstention)	66.2	60.1	53.1	47.8	0.43	拒答能力骤降 0.24，恢复胡说八道
验证器降级为纯规则回退	64.1	56.8	46.7	43.5	0.52	评分精度降低，整体表现下降
剔除问题类型条件化 (即 B4)	65.8	58.9	48.3	44.7	0.58	混合无差别视角，时序困难降 2.3 pp

关键发现¶

敏感性契约是杜绝捷径解的核心防线：当去掉敏感性契约时，模型在时序困难集上的准确率大幅滑落 3.9 pp，关键敏感性（Key-sens）从 54.6% 骤降至 38.4%，倒放敏感性从 48.9% 跌至 35.2%。这表明缺乏跨视角差异惩罚时，模型极易退化回依靠单帧静态线索蒙对答案的捷径状态。
锚点相对优势成功驯服小 Batch 训练不稳定性：在 $m=4$ 的小视角包场景下，传统批次归一化使优势估计掺杂了样本间固有难度的方差，在 Mini-batch 方差微弱时频繁引发极大的策略偏移与 KL 尖峰。锚点相对优势将单步方差直接压缩了 58%（0.341 $\to$ 0.142），保证了稳定单调的奖励爬升。
针对性视角路由远优于盲目增大视角库：类型×视角对角线实验显示，$Q_1$（实体事件）匹配掩码类视角、$Q_2$（时序方向）匹配时间置换视角产生的对角优势高达 12.8 pp；若不加区分地混用所有视角，不仅会摊薄有限的 Rollout 预算，还会由于非时序问题不需要对抗倒放等矛盾信号而降低学习效率。

亮点与洞察¶

将后训练的优化粒度从“单点响应”跃迁至“跨视角行为包”：传统多模态强化学习一直局限在文本对齐的惯性思维中，把视觉输入视为静态提示词；BPO 深刻指出视频理解的核心在于随因果变量而变的“动态一致性”，创造性地在单次优化步内同时观察并约束模型对扰动的“变与不变”。
精巧的锚点相对优势估计（Anchor-Relative Advantage）：以原视频输出为 per-prompt 控制组，不仅在数学上通过正相关协方差相减大幅消减了小批次下的样本方差，更从根本上避免了模型为了最大化扰动分数而擅自挪动未扰动事实标准的对齐漂移。
契约式对齐框架具备通用迁移潜力：稳定、敏感与诚实拒答构成了科学推理的三大支柱，该设计思路完全可以泛化到物理常识推理（如重力/碰撞干预）、自动驾驶安全性验证（如遮挡/恶劣天气探针）以及代码/定理证明的反事实扰动测试中。

局限与展望¶

反事实视角的构建依赖离线启发式预处理：目前的扰动生成依赖 SAM2 目标分割和镜头切分算法，且必须预先离线缓存；在长程开放式生成、复杂长文本交互视频以及需要连续流式推理的场景下，如何自适应动态生成反事实探针仍待探索。
更深层的跨任务视角扩展：当前重点关注实体遮蔽、关键帧丢弃与时序逆转/打乱，对于更加细粒度的三维空间旋转、镜头运动变换以及因果交互关系的细微篡改，需要设计更具鉴别力的物理级行为契约。

评分¶

新颖性: ⭐⭐⭐⭐⭐ (打破单样本优化的固有范式，开创行为包与跨视角契约式后训练新方向)
实验充分度: ⭐⭐⭐⭐⭐ (算力预算严格对齐，涵盖 5 种子、多基准、长视频泛化、双模型验证及深层理论方差分析)
写作质量: ⭐⭐⭐⭐⭐ (逻辑严密连贯，理论推导扎实，动机与机制解析入木三分)
价值: ⭐⭐⭐⭐⭐ (直击视频大模型表面拟合与时序盲区痛点，为可信视频推理与拒答提供了极具实践价值的 RL 范式)