跳转至

VideoSTF: Stress-Testing Output Repetition in Video Large Language Models

会议: NeurIPS 2026
arXiv: 2602.10639
OpenReview: https://openreview.net/forum?id=T7JCqZCbkm
代码: https://videostf.github.io/
领域: 视频理解
关键词: 视频大语言模型, 输出重复, 生成稳定性, 时序扰动基准, 黑盒对抗攻击

一句话总结

提出了首个针对视频大语言模型自回归生成重复退化现象的评测基准 VideoSTF，通过三项互补指标、万级视频测试集和时序扰动库，系统揭示了重复现象的广泛性、可放大性、黑盒攻击脆弱性及其与局部时序错位的深层关联。

研究背景与动机

视频大语言模型（VideoLLM）将预训练语言模型与视觉编码器结合，在视频问答、稠密视频描述等时序视觉任务中展现出强大的时序理解能力。然而，现有评测基准如 Video-Bench、MVBench 与 VidHalluc 等，几乎全部聚焦于模型的任务准确率、时序推理逻辑以及事实性幻觉等“模型预测了什么”，却普遍忽略了“模型如何进行自回归解码”这一自回归生成稳定性问题。当面对连续视频输入时，解码器常常陷入由视觉输入诱发的局部自强化循环，持续生成完全相同的短语或句子。这种输出重复不仅严重拉低生成文本的信息密度和用户体验，甚至在极端情况下会直接循环至最大输出长度（token cap），耗尽系统推理算力并构成潜在的拒绝服务（DoS）威胁。

这一现象背后的核心矛盾在于：视频模型自回归解码必须在长程上下文和致密时序特征之间建立跨模态对齐，而现有架构对视觉输入中高密度的实体再识别特征具有过度记忆与自激化倾向；同时，学术界尚缺乏能够解耦“视频理解错误”与“自回归生成崩溃”的专用评测工具。传统单文本 LLM 的重复退化多被归咎于确定性贪婪解码或语言分布偏差，无法解释为何同一纯文本基座在引入不同视频时序特征后表现出截然不同的循环倾向，也无法回答视觉冗余与时序结构破坏究竟如何刺激重复的产生。

为此，本文不再将视频模型的失败仅仅归类为视觉感知失真，而是将其形式化为一种受时序视觉输入调控的自回归生成稳定性退化。核心 idea：构建专用评测基准 VideoSTF，利用三项互补的 n-gram 指标形式化输出重复，结合 10,000 条真实视频测试集与可控时序扰动算子库，通过广泛性测试、时序应力测试和黑盒攻击探测，全面揭示 VideoLLM 输出重复的机制根源与防御边界。

方法详解

整体框架

VideoSTF 的评测流程主要由三部分构成：形式化重复度量指标、标准化视频测试集以及受控时序扰动算子库。给定包含 \(T\) 个采样帧的输入视频 \(\mathcal{V}=\{I_1, \ldots, I_T\}\)，视觉编码器与投影层提取视觉标记序列 \(\mathbf{H}\)，并与提示词嵌入 \(\mathbf{Q}\) 拼接送入底层 LLM \(\mathcal{F}\) 解码生成文本 \(\mathbf{Y}\)。VideoSTF 在无扰动自然视频以及经由时序扰动生成的变异视频上，利用重复率（RR）、重复强度（RI）与信息熵（IE）对模型输出进行定量打分，进而实施广泛性评估、时序敏感度探测以及黑盒对抗查询。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入视频序列<br/>10,000段多样化视频"] --> B["受控时序扰动算子库<br/>Add / Delete / Replace / Reverse / Shuffle"]
    B --> C["视频大语言模型推理<br/>视觉编码器 + 投影层 + LLM自回归解码"]
    C --> D["三维互补重复度量<br/>重复率 RR + 重复强度 RI + 词汇信息熵 IE"]
    D --> E["三类评估与归因分析<br/>广泛性测试 + 时序应力测试 + 黑盒攻击诱导"]

关键设计

1. 三维互补重复度量体系：区分孤立短语复现与病态恶性循环 单个重复指标无法完整刻画自回归退化的多维特征。为此，VideoSTF 提出了由浅入深的三项互补指标。首先，重复率（Repetition Rate, RR）用于衡量输出中是否出现了非平凡的自循环退化。对于输出序列 \(\mathbf{Y}\) 中的全部连续 \(n\)-gram 集合 \(\mathcal{S}(\mathbf{Y})\)，统计任意 \(n\)-gram 出现的最大频次 \(\mathcal{R}(\mathbf{Y})=\max_{s\in\mathcal{S}(\mathbf{Y})}\mathrm{count}(s)\)。当 \(\mathcal{R}(\mathbf{Y}) > \tau\) 时即判定该样本发生重复（主实验中取 \(n=5, \tau=1\) 以滤除通用功能词搭配并捕获重复萌芽）：

\[\mathrm{RR}=\frac{1}{K}\sum_{k=1}^{K}\mathbb{I}\big(\mathcal{R}(\mathbf{Y}_{k})>\tau\big)\]

其次，为刻画重复出现后文本中重复内容的体量占比，引入基于 unigram 的重复强度（Repetition Intensity, RI），直接计算非重复 token 占总序列的互补比例：

\[\mathrm{Rep}\text{-}n(\mathbf{Y})=1-\frac{\lvert\mathrm{unique}\ n\text{-}\mathrm{grams}(\mathbf{Y},n)\rvert}{M-n+1},\quad \mathrm{RI}=\frac{1}{K}\sum_{k=1}^{K}\mathrm{Rep}\text{-}n(\mathbf{Y}_{k})\]

最后，引入归一化信息熵（Information Entropy, IE）量化输出 token 分布的词汇丰富度，以 \(H_{\mathrm{norm}}(\mathbf{Y})=-\frac{1}{\log_{2}N}\sum_{i=1}^{N}p_{i}\log_{2}p_{i}\) 衡量词汇多样性衰减。RR 敏感捕捉循环的萌生，RI 测度重复内容的堆砌深度，IE 监控语义发散能力的崩溃，三者联合实现了对模型生成稳定性的立体诊断。

2. 标准化测试集与可控时序扰动库：解耦全局语义与局部时序连续性 为了排除特定视频领域或特定时序长度的偶然性，VideoSTF 从 LLaVA-Video-178K、NeXT-QA、ActivityNetQA 和 LLaVA-Hound 中严格抽样了 10,000 段视频，覆盖生活记录、体育运动、复杂交互等常见场景，时长跨越短片段至 180 秒长视频。在此基础上，设计了涵盖五大算子家族的时序扰动库 \(\mathcal{T}: \mathcal{V} \mapsto \mathcal{V}'\)： - 局部保序冗余与缺失（Add / Delete）：随机选取 \(k\) 帧进行多处重复插入（Add）或随机剔除 \(k\) 帧（Delete），在保留全局动作演化骨架的前提下注入局部冗余或信息空缺； - 局部时序失真（Replace）：在保留原帧数的同时，随机将 \(k\) 帧替换为同视频内其他非选定帧，产生局部视觉跳变与上下文冲突； - 全局时序反转与重排（Reverse / Shuffle）：Reverse 将全部采样帧首尾逆转，打破时间因果先验但保留绝对连续性；Shuffle 对帧序列进行全局随机置换，彻底破坏连续时间流。 这种分级扰动设计能够精确剥离全局语义内容，单变量探究视频帧间时序结构对解码自激化的刺激程度。

3. 黑盒对抗诱导：利用局部时序微扰触发低成本服务瘫痪 既然局部时序变形能够显著提高重复发生概率，攻击者便可以在现实黑盒威胁模型下（无法访问模型内部权重与梯度，仅能对推理输入进行采样子帧级别的时序变换），利用扰动算子主动诱导模型退化。攻击算法对测试集中原本能够正常、连贯生成的良性视频样本执行迭代变换查询，一旦模型输出被检测出 \(n\)-gram 重复即宣告成功，上限设为 30 次尝试。实验表明该策略仅需十几轮黑盒查询即可将大部分良性样本“踢入”持续重复循环，在极端情况下迫使模型耗尽最大 token 上限，暴露出视频模型在现实在线 API 场景中面临严重的算法级拒绝服务（DoS）隐患。

实验关键数据

主实验

在确定性贪婪解码设置（\(T=0.0\), do_sample=False）下，评测了 10 款代表性 VideoLLM 在不同输入采样帧数下的自然重复率（RR）、重复强度（RI）与信息熵（IE）。

模型 (底层 LLM) 采样帧数 重复率 RR (%) 重复强度 RI 信息熵 IE
LLaVA-Video-7B-Qwen2 (Qwen2) 8 / 16 / 24 / 32 3 / 5 / 10 / 7 0.32 / 0.33 / 0.34 / 0.32 0.87 / 0.86 / 0.86 / 0.86
LLaVA-Video-7B-Qwen2-Video-Only (Qwen2) 8 / 16 / 24 / 32 63 / 67 / 61 / 58 0.47 / 0.48 / 0.46 / 0.46 0.80 / 0.80 / 0.80 / 0.81
ShareGPT4Video (Meta-Llama-3-8B-Instruct) 8 / 16 / 24 / 32 91 / 85 / 79 / 82 0.58 / 0.57 / 0.55 / 0.55 0.75 / 0.76 / 0.76 / 0.77
VideoLLaMA2 (Mistral-7B-Instruct-v0.2) 8 / 16 / 24 / 32 13 / 15 / 16 / 15 0.37 / 0.38 / 0.39 / 0.38 0.84 / 0.84 / 0.83 / 0.83
InternVL3.5-8B (Qwen3-8B) 8 / 16 / 24 / 32 9 / 7 / 11 / 7 0.36 / 0.32 / 0.37 / 0.35 0.84 / 0.86 / 0.84 / 0.85
Qwen3-VL-8B-Instruct (Qwen3-8B) 8 / 16 / 24 / 32 8 / 13 / 11 / 11 0.36 / 0.36 / 0.35 / 0.35 0.85 / 0.85 / 0.85 / 0.84
Molmo2-8B (Qwen3-8B) 8 / 16 / 24 / 32 65 / 69 / 66 / 72 0.49 / 0.50 / 0.49 / 0.51 0.80 / 0.79 / 0.79 / 0.78
LLaVA-NeXT-Video-7B (Vicuna-7b-v1.5) 8 / 16 / 24 15 / 17 / 18 0.42 / 0.41 / 0.42 0.82 / 0.82 / 0.83
LLaVA-NeXT-Video-7B-DPO (Vicuna-7b-v1.5) 8 / 16 / 24 11 / 8 / 9 0.39 / 0.37 / 0.38 0.83 / 0.85 / 0.84
LLaVA-NeXT-Video-32B-Qwen (Qwen1.5-32B) 8 / 16 / 24 / 32 18 / 25 / 22 / 29 0.35 / 0.36 / 0.36 / 0.37 0.85 / 0.85 / 0.85 / 0.84

消融实验

针对缓解策略的消融分析，在 800 条基准子集上对高重复模型 LLaVA-Video-7B-Qwen2-Video-Only（32帧）测试常用解码参数调整、时序冗余过滤（TRF）及重复惩罚因子（Repetition Penalty, \(r\)）的影响，并对比输出质量与视觉对齐度（CLIPScore 与问答探测）：

解码/控制配置 重复率 RR (%) 严重卡死 Severe (%) 生成词数 Words CLIPScore 独立实词数 描述问答 Caption QA (%)
默认贪婪解码 (T0, Greedy) 61 12 209 0.2323 72.3 63.9
随机采样 (T0.7, p0.9) 60 20 227 0.2295 77.5 64.1
轻度惩罚 (T0.7, p0.9, r1.1) 50 8 212 0.2284 84.6 62.3
中度惩罚 (T0.7, p0.9, r1.2) 36 0 224 0.2261 105.3 61.2
强力惩罚 (T0.7, p0.9, r1.3) 10 0 225 0.2196 121.1 59.5
视觉输入控制：纯黑帧 / 纯噪声帧 11 / 0 0 / 0 18 / 15 - - -
视觉输入控制：16帧完全静态相同图像 30 0 178 - - -

关键发现

  • 重复并非由纯视觉冗余诱发：将同一张静态图简单复制 16 帧作为视频送入模型时，LLaVA-Video-Video-Only 的重复率仅为 30%，远低于 16 帧真实自然动态视频下的 68%；这表明重复的本质是模型在追踪不同动态实体演进时陷入“反复再识别”循环，而非单纯由于画面缺乏变化。
  • 局部时序破坏是激活重复的关键推手：时序扰动实验中，改变帧间局部相关性的 Add、Delete 与 Replace 能够使模型重复率相对增长高达 67%~205%；而编码器特征分析显示，\(\Delta\text{Repetition}\) 仅与相邻帧特征相似度变化量 \(\Delta\text{Adj Sim}\) 呈现 0.81 的高度 Pearson 正相关，与全局相似度（0.11）和有效秩无关。
  • 惩罚因子的两难困境（Grounding Cost）：常见的采样调整（Top-\(p\)/Top-\(k\)）或时序去重过滤（TRF）均无法消除重复；唯一能够显著压低重复率的 repetition penalty 虽然能在 \(r=1.2\) 时将严重卡死率降为 0%，但会以线性的速度破坏视觉对齐度（CLIPScore 下降 5.5%，基于生成的描述性问答准确率从 64.1% 跌至 59.5%），导致模型凭空捏造视频中不存在的幻觉物体。
  • 黑盒攻击成功率高且查询经济：在良性视频样本上，仅通过变换 1~2 帧的黑盒攻击便可在平均 15.8 次查询以内诱发高达 98% 的模型重复，暴露了现代视频多模态系统在可用性层面的重要隐患。

亮点与洞察

  • 首次将视频大模型的评估维度从传统的“任务预测正确率”延伸到“自回归时序生成稳定性”，发现任务回答正确与自回归描述重复完全解耦（多选题准确率在重复与良性样本间无差异）。
  • 严密的机理解构证明了输出重复具有“实体再识别诱发”和“训练数据语料残留”双重属性：LLaVA-Video-178K 等预训练语料中充斥着高密度的“continues to”句式，使得模型学到了超长生成的倾向，在缺乏明确终止机制时演变为循环复读。
  • 提出了基于测试时选择性重查询（Test-Time Re-Querying）的无损防御思路：仅对 RR 探针判定的重复样本切换其他时序视角（如反转/重抽样），无需重新训练即可恢复 41% 的退化样本。

局限与展望

  • 解码端缓解方案尚不完美：当前唯一下降重复率的 repetition penalty 必须以牺牲视觉对应性（Visual Grounding）为代价，如何在不引发幻觉的前提下切断循环自激仍是开放性难题。
  • 度量局限性：基于 \(n\)-gram 的指标主要针对字面 token 序列的硬重复，对于使用同义词或换序重写但语义停滞不前的“软性循环”缺乏直接敏感度。
  • 模型覆盖面待拓展：研究主要基于开源权重模型进行白盒/特征级测试，商业闭源模型（如 GPT-4V、Gemini 1.5 Pro）在多帧密集输入下的长程稳定性仍有待进一步验证。

相关工作与启发

  • vs Video-Bench / MVBench / Video-MME: 现有评测均通过单选、短答或事实准确率判断模型的“感知理解正确性”，而 VideoSTF 首创关注“生成过程的稳定性与病态循环”，补充了关键的评测空白。
  • vs 单模态文本 LLM 重复研究 (Fu et al., Yao et al.): 文本 LLM 研究常将复读归结为模型内生概率陷阱，而本文发现视频多模态输入能戏剧性地改变这一倾向（如 Qwen3-8B 纯文本重复率 46%，但转为多模态后在不同架构下表现出 7% 与 72% 的两极分化），揭示了视频时序编码对解码自激的独特扰动机制。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出视频多模态大模型的输出重复与时序生成稳定性评测基准，视角独特。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 10 款主流模型、万级视频库、时序对抗攻击、编码器表征与解码注意力深度归因实验，论证扎实。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，理论建模、现象揭示与消融分析层次清晰。
  • 价值: ⭐⭐⭐⭐⭐ 为后续视频大模型的时序对齐训练、对齐后训练（DPO）和稳定解码防御提供了重要的指导基线。

相关论文