FLARE: Full-Modality Long-Video Audiovisual Retrieval Benchmark with User-Simulated Queries¶

会议: NeurIPS 2026
arXiv: 2605.10228
代码: https://flarebench.github.io/
领域: 音频/语音
关键词: 长视频检索、视听多模态、用户查询模拟、硬双模态约束、基准评测

一句话总结¶

针对长视频跨模态检索中依赖单模态、短片段及详尽描述评测的脱节痛点，提出首个全模态长视频视听检索基准 FLARE，构建 8.7 万个视听切片与 27.5 万条经硬双模态约束过滤的真实感用户查询，系统揭示了用户式短查询与音频语言对齐瓶颈。

研究背景与动机¶

视频已成为现代互联网信息传播的核心媒介，构建高精度的长视频检索系统对多模态大模型（MLLM）的发展与落地至关重要。现实中的多媒体搜索具有三大本质特征：一是信息天然具有视听互补性（Audiovisual），需要同时依赖画面与声音证据消除歧义；二是具有长上下文依赖（Long-Context），目标片段往往深嵌在数十分钟的完整长视频中；三是查询呈现高度的用户习惯特征（User-Shaped），真实用户输入的往往是简短、碎片化的意图短语，而非完整详尽的描述性长文本。

然而，现存的视频/音频检索评测基准与这一实际需求严重脱节。早期的 MSR-VTT、VATEX 等视觉检索基准和 AudioCaps、Clotho 等音频基准几乎全部局限于 10–15 秒的孤立短片段；即便近期的 LoVR 推进至长视频范围，也仅支持纯视觉单模态评测。在视听结合领域，现有基准如 Video-MME、JointAVBench 偏向多项选择式问答（QA），而 VGGSound 聚焦于音频分类，均无法评估统一多模态模型从海量长视频库中按意图检索引擎的能力。更致命的是，几乎所有检索基准都沿用构造阶段生成的详尽描述（Caption）作为测试查询，严重高估了模型在真实世界短查询下的实战能力。

面对长视频时空切分粒度粗、视听跨模态互补性弱验证、以及详尽描述脱离真实搜索行为的核心矛盾，研究亟需一套兼顾长程时间背景、细粒度视听多模态解耦、以及真实用户查询形态的全新评测体系。本文的核心 idea 是：构建首个全模态长视频视听检索基准 FLARE，通过混合视听边界自适应切分与层级融合标注长视频，并引入硬双模态约束构造用户仿真查询，建立描述与查询双机制下的视、听、视听全模态检索评测协议。

方法详解¶

整体框架¶

FLARE 围绕 399 部经过严格筛选的长视频（10–60 分钟，总时长 225.4 小时，平均时长 33.9 分钟）构建，其自动化构造与评测管线包含四大核心模块：时序自适应切分、多模态多层级描述生成、硬双模态约束驱动的用户仿真查询生成、以及全模态双机制评测。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["长视频源数据<br/>399部Video-MME视频 (10-60 min)"] --> B["自适应多阶段视听场景切分<br/>视觉转场+音频语义+频谱突变检测"]
    B --> C["87,697个高质量片段<br/>平均时长9.2秒 / 严格人工审核"]
    C --> D["细粒度多层级描述生成<br/>视觉/音频/联合Caption与长视频层级融合"]
    D --> E["真实感用户查询仿真与过滤<br/>语义关联+抗复制ROUGE约束"]
    E --> F["硬双模态约束验证<br/>单模态检索失败 ∧ 联合模态命中"]
    F --> G["274,933条用户查询评测库<br/>视觉 / 音频 / 视听跨模态查询"]
    G --> H["全模态双机制检索评测<br/>Caption模式 vs Query模式 / 15个代表性检索模型"]

关键设计¶

1. 自适应多阶段视听场景切分：兼顾视觉转场与声学语义连续性 传统镜头切分仅依赖视觉帧间差异，在长视频的讲座、解说或访谈等场景中极易产生数分钟的超长静态片段，丧失检索定位精度。FLARE 采用级联式的多阶段混合切分策略。首先使用 PySceneDetect 的 ContentDetector 检测相邻帧内容变化得分 $\delta_i$，以阈值 $\tau=30.0$ 和最短时长 $d_{\min}=3\,\text{s}$ 初步切分。针对切分后仍超过 1 分钟的长片段，通过大模型判定音频主导度 $s_{\text{aud}} \in [0, 10]$；当 $s_{\text{aud}} \ge 6$ 时触发双路音频切分机制：一路通过 ASR 提取带词级时间戳的文本，由 LLM 切分成语义自洽的段落；另一路针对无语音声学事件（如配乐切换、掌声、环境音突变），在梅尔频谱图 $\mathbf{M}$ 上联合计算频谱通量（Spectral Flux）与归一化 KL 散度： $$\Phi(t) = \sum_{b=1}^{B} \max\bigl(\log M_{b,t} - \log M_{b,t-1}, 0\bigr), \quad D_{\mathrm{KL}}(t) = \sum_{b=1}^{B} p_{b,t} \log \frac{p_{b,t}}{p_{b,t-1}}$$ 两者经基于绝对中位差（MAD）的稳健 Z-Score 标准化后等权融合为声学新颖性曲线 $\mathcal{N}(t) = \frac{1}{2}\hat{\Phi}(t) + \frac{1}{2}\hat{D}_{\mathrm{KL}}(t)$，在局部峰值超过阈值处切分。最后辅以人工双盲审核，将 399 部长视频精细解构为 87,697 个语义完备的视听片段（平均时长 9.2 秒）。

2. 细粒度三模态多层级描述生成：捕获模态特异性与时序连贯叙事 为全面刻画片段的多模态信息，FLARE 避免简单的粗粒度汇总，而是分别利用前沿多模态大模型生成单模态与联合描述。对每个视频片段，由 Qwen3-VL-235B 生成视觉描述（涵盖物体、属性、动作与空间拓扑），由 Qwen3-Omni-30B 生成音频描述（包含说话人身份、语调背景、音乐与声效）。两路描述分别通过 EVQAScore 与 BRACEScore 自动化质量过滤（阈值分别为 0.2 和 0.1）及 LLM 逻辑审查，不合格样本由人工纠偏。随后，Qwen3-Omni-30B 综合高质量的视音频两路事实生成信息无损交融的统一视听描述（Unified Caption）。在长视频层级，直接描述全片极易遗漏细节，FLARE 采用自底向上的层级聚类平滑方案：以 $k=10$ 个相邻切片为一组，利用 LLM 重写相邻段落接缝处的时间转折连接词，保持事实完备性的同时实现全片叙事级长描述合成。

3. 硬双模态约束驱动的用户仿真查询生成：强制要求跨模态协同推理 现有跨模态数据常存在“模态冗余”，即仅凭画面或仅凭台词就能完成检索，无法真正检验多模态融合模型。FLARE 创新性地引入硬双模态约束（Hard Bimodal Constraint）生成 274,933 条仿真用户查询。首先，LLM 将详尽描述改写为 3–5 个符合真实用户习惯的精简搜索查询，并强制满足语义保留度与非抄袭过滤： $$\mathrm{sim}(q, c) \ge \theta_{\mathrm{sim}} \; (0.4) \quad \text{且} \quad \mathrm{R}_{L}(q, c) \le \theta_{\mathrm{rouge}} \; (0.2)$$ 其中 $\mathrm{sim}$ 由多语言密集检索模型衡量，$\mathrm{R}_L$ 限制 ROUGE-L 词汇重合度以防简单复述。对于跨模态联合查询 $q_{\text{joint}}$，进一步在全基准测试库上执行端到端检索校验：设 $\mathrm{rank}_v$、$\mathrm{rank}_a$ 和 $\mathrm{rank}_j$ 分别为目标片段在纯视觉空间、纯音频空间和联合视听描述空间下的检索名次，只有严格满足以下约束的查询才被采纳： $$\underbrace{\mathrm{rank}_v > 1}_{\text{单视觉检索失败}} \;\wedge\; \underbrace{\mathrm{rank}_a > 1}_{\text{单音频检索失败}} \;\wedge\; \underbrace{\mathrm{rank}_j \le 1}_{\text{视听联合检索成功}}$$ 该硬约束彻底剔除了单模态信息泄漏的“伪跨模态”样本，确保保留的 53,580 条联合查询必须且只能在视听特征深度融合下才能被正确检索。

4. 双评估机制与跨模态解耦评测协议：隔离查询表述对模型评估的影响 FLARE 建立了正交的双评估机制（Dual-Regime Evaluation）：在完全相同的视频库与切片上，平行评测基于详尽描述（Caption-based）与基于用户短查询（Query-based）的检索性能，彻底隔离查询长度与信息密度对模型表征排名的干扰。同时，基准全面覆盖文本到切片（T→C）、文本到视频（T→V）、切片到文本（C→T）、视频到文本（V→T）四向检索任务，并设计了媒体侧单模态输入（Media-Side Ablation）与文本侧单模态查询（Text-Side Ablation）的解耦评测协议，直接量化各多模态模型内部视觉分支与音频分支的特征质量差异及融合效率。

一个完整示例¶

以一段烹饪教学长视频中截取的 8 秒切片为例： - 画面内容：厨师戴着黑色手套，平底锅中白色酱汁翻滚冒泡，台面上摆放着迷迭香与黄油块。 - 声音内容：背景中有明显的黄油融化滋滋声，画外音说道：“注意火候，当香味散发时立即离火”。 - 单模态检索局限：纯视觉查询“平底锅中正在熬煮的白色酱汁”在数千个美食烹饪片段中名次散落在前 20 名开外；纯音频查询“厨师提醒离火的煎炒声”同样匹配到多段不同菜品的提示语。 - 硬双模态联合查询生成：模型提炼出精简短语“煎锅冒白泡时厨师提醒关火的瞬间”。在库内检索时，$\mathrm{rank}_v = 14$、$\mathrm{rank}_a = 9$，但当视听特征统一融合匹配时，$\mathrm{rank}_j = 1$。该查询成功入库，完美体现了视听线索互为充要条件的检索特性。

实验关键数据¶

主实验¶

FLARE 系统评测了 15 个代表性对比学习与基于 LLM 的检索基准模型，覆盖纯视觉、纯音频及视听融合大类。下表汇集了各模型在切片级文本检索（Text→Clip）下的主实验表现，对比了详尽描述模式（Caption）与用户仿真查询模式（Query）的 Recall 指标。

模态类别	代表模型	参数量 / 架构	Caption T→C R@1	Caption T→C R@5	Caption T→C R@10	Query T→C R@1	Query T→C R@5	Query T→C R@10	模式切换降幅 (R@1)
视觉 (Vision)	CLIP ViT-B/32	151M 对比式	7.98	18.92	25.38	13.89	29.01	36.82	+5.91% (反常上升)
	SigLIP2 Giant	1.1B 对比式	7.64	17.86	23.78	33.98	56.92	65.17	+26.34% (反常上升)
	MetaCLIP-2 Giant	2.5B 对比式	17.17	34.88	43.53	33.09	57.18	66.20	+15.92% (反常上升)
	VideoCLIP-XL-v2	1.4B 对比式	47.28	70.88	78.52	29.57	53.77	63.60	-17.71%
	Qwen3-VL-Emb-8B	8B 基于LLM	80.27	93.99	96.75	60.82	84.80	90.41	-19.45%
音频 (Audio)	MS-CLAP (2022)	151M 对比式	0.13	0.54	0.90	0.10	0.38	0.61	-0.03%
	MS-CLAP (2023)	151M 对比式	0.28	1.00	1.63	0.30	0.92	1.45	+0.02%
	LAION-CLAP	151M 对比式	0.24	0.87	1.43	0.19	0.62	1.01	-0.05%
	M2D-CLAP	300M 对比式	0.56	1.79	2.78	0.44	1.37	2.10	-0.12%
	GLAP	300M 对比式	0.53	1.60	2.46	0.63	1.56	2.25	+0.10%
	Aurola-7B	7B 基于LLM	73.02	83.10	86.37	33.31	51.40	58.54	-39.71%
视听融合 (V+A)	ImageBind	1.2B 对比式	7.64	18.66	25.21	6.35	16.59	23.09	-1.29%
	LanguageBind	1.4B 对比式	2.70	7.15	10.23	3.32	8.98	12.72	+0.62%
	Perception AV Large	2.5B 对比式	26.48	42.32	49.05	7.79	18.51	24.87	-18.69%
	Wave-7B	7B 基于LLM	65.51	83.50	88.26	42.63	67.63	76.26	-22.88%

消融与细分分析¶

为了解构视听多模态模型内部双模态特征的真实贡献及融合瓶颈，下表汇报了在全统一文本下，针对视听输入执行媒体侧模态消融（Media-Side Ablation）的 Recall@1 结果。

模型	媒体输入模态	T→Clip (Caption) R@1	T→Clip (Query) R@1	Clip→Text (Caption) R@1	Clip→Text (Query) R@1	T→Video R@1	Video→Text R@1
ImageBind	全联合模态 (Full V+A)	7.64	6.35	6.32	7.07	35.33	30.32
	纯视觉输入 (Vision-only)	19.04	12.87	19.06	15.50	52.13	51.38
	纯音频输入 (Audio-only)	0.17	0.31	0.14	0.45	7.02	5.76
LanguageBind	全联合模态 (Full V+A)	2.70	3.32	0.83	3.29	23.80	14.78
	纯视觉输入 (Vision-only)	19.94	15.52	20.00	20.22	49.12	48.37
	纯音频输入 (Audio-only)	0.05	0.14	0.04	0.11	1.50	1.00
Perception AV	全联合模态 (Full V+A)	26.48	7.79	26.06	9.37	49.12	40.10
	纯视觉输入 (Vision-only)	24.55	7.22	26.75	10.69	58.90	51.13
	纯音频输入 (Audio-only)	5.49	0.37	5.64	2.17	16.54	14.79
Wave-7B	全联合模态 (Full V+A)	65.51	42.63	66.22	47.69	91.23	93.73
	纯视觉输入 (Vision-only)	27.84	16.80	32.45	20.73	91.23	88.72
	纯音频输入 (Audio-only)	13.27	7.58	15.11	8.07	64.16	50.88

关键发现¶

真实用户短查询引发断崖式掉点：所有在 Caption 模式下高歌猛进的大模型，在切换到更符合实际搜索习惯的 Query 模式后均发生了大幅性能滑坡。Qwen3-VL-Emb-8B 的 T→C R@1 从 80.27% 跌至 60.82%（净降 19.45%），音频王者 Aurola-7B 从 73.02% 暴跌至 33.31%（净降 39.71%），Wave-7B 从 65.51% 降至 42.63%（净降 22.88%）。这表明密集描述中蕴含的大量显式实体线索掩盖了模型对非显式意图泛化理解的缺陷。
对比学习基准在短查询下反常“回血”但上限极低：CLIP、SigLIP2、MetaCLIP-2 在短查询下的 R@1 显著高于长描述模式（如 SigLIP2 从 7.64% 升至 33.98%）。这是由于轻量对比式模型预训练文本短，面对长描述存在严重的注意力截断与表征稀释，短文本恰好契合其表征容量；然而即使反弹，其绝对准确率依然远远落后于 LLM 架构模型。
音频语言表征是多模态检索的最大短板：对比学习路线的音频模型在 8.7 万规模的真实库中几乎失效，M2D-CLAP 的 T→C R@1 仅为 0.56%，远落后于视觉对比模型的表现；即便是专为音频训练的大模型 Aurola-7B，在简短查询下检索精度也仅有 33.31%。
简单特征融合引发“负协同效应”：消融实验揭示了惊人现象——对于采用简单后融合（平均池化）的对比模型 ImageBind 与 LanguageBind，纯视觉输入的检索表现竟然数倍于多模态融合输入（LanguageBind 纯视觉 R@1 达 19.94%，融合后暴跌至 2.70%）。极度低质的音频嵌入直接污染了视觉特征空间；只有在大规模视听联合微调的 Wave-7B 上，多模态特征才展现出协同增益（融合 65.51% 远高于纯视觉 27.84%）。

亮点与洞察¶

硬双模态约束（Hard Bimodal Constraint）的理论纯度：要求测试样本必须“单视觉失败 ∧ 单音频失败 ∧ 联合模态命中”，从根本上排除了传统数据集打着视听旗号却能被单模态模型“走捷径”刷榜的问题，确立了视听检索基准的数据构建金标准。
双机制解耦评测暴露科研评价盲区：以往工作热衷于在详尽描述上刷榜，FLARE 证明了“详尽描述下表现优异并不代表能胜任真实搜索”。将 Caption 与 Query 严格对照，为多模态检索模型的技术选型与实际工程落地提供了不可替代的评测指南。
音频特征污染现象的量化显影：通过媒体侧与文本侧的双向单模态消融，首次在海量长视频图库中直观揭示了简单拼接/均值池化会导致弱模态“吞噬”强模态，为下一代端到端非对称视听融合网络架构指明了方向。

局限与展望¶

数据源域分布与合成偏置：视频源依托于 Video-MME 预先筛选的高质量公开视频，在真实工业界的长尾低质 UGC 视频、多种非英语小语种及复杂噪音场景上的覆盖尚显不足。
仿真查询的生成偏好：用户查询由 Qwen 系列大模型从描述文本中蒸馏与改写获得，尽管经过严格人工抽检与 ROUGE 截断，仍然可能携带大语言模型固有的句式模板偏置，未能完全复现生产搜索引擎日志中的口语错别字或倒装习惯。
计算开销与检索效率维度的缺失：当前基准主要基于公开模型权重评测表征召回精度，尚未对视频稠密特征提取延迟、向量库索引压缩率（如 PQ/HNSW 索引损耗）等工业级效率指标进行系统度量。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出全模态长视频视听检索基准，创新设计硬双模态约束与双评估机制，选题极具前瞻性与行业价值。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 15 个主流视听与单模态检索模型，横跨 4 种检索流向与双重文本模式，双向模态消融实验深入透彻。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰严谨，问题陈述一针见血，方法论与数学推导完备，实验图表信息密集。
价值: ⭐⭐⭐⭐⭐ 直击现实世界检索场景与现有学术基准脱节的核心痛点，对多模态搜索系统与 MLLM 表征对齐具有深远的基石意义。