X-Stream: Benchmarking MLLMs as Multiplexers for Multi-Stream Understanding¶

会议: ECCV 2026
论文: ECCV 官方页面
领域: 多模态VLM
关键词: 多流理解、流式视频、主动问答、基准评测、复用策略

一句话总结¶

X-Stream 是首个面向多路并发视频流的流式理解基准，用充分性+必要性双验证管线构建 4,220 个跨流 QA，并把 MLLM 抽象为带有限 token 带宽的朴素复用器来系统比较空间/时间/语义三种复用策略；最优模型 Gemini 3 Pro 综合分仅 49.60，前向（主动）问答分数普遍不到 21，暴露当前流式模型在并发多流与主动响应上的巨大缺口。

研究背景与动机¶

视频流式理解正在从单路走向多路。真实应用天然是多流的：世界杯转播有超过 40 路相机，机器人手臂同时接肩部和腕部相机，自动驾驶同时看地图与街景，多屏协作把多路视频塞进一块屏幕。这些场景要求模型在正确的时间从正确的流中取信息并作答，而不是看完一个完整视频文件再回答。但现有评测几乎全是单路的：多视频/多视角基准（MVU-Bench、EgoLife、WaymoQA 等）不在线，流式基准（StreamingBench、OVO-Bench、ProactiveVideoQA 等）只有 1 路流。作者把多视频数据形式组织成一个金字塔——Multi-Video 约束最少，其上是 Multi-View（同一活动的多视角）、Multi-Angle（同一主体同时刻的多角度），而 Multi-Stream 在中间引入了关键的时间戳对齐约束——多流流式理解因此是一个从未被评测过的空白层。

构建这类数据有一个隐蔽的陷阱：自动生成的"伪多流"QA。模型生成的跨流问题看似需要两路视频，实际上靠任何单路就能回答。作者在构建中观察到两种典型形式：伪引用（跨流锚定失效，比如 Stream 1 里"坐着"贯穿全片，询问它相对于 Stream 2 的瞬时事件毫无时间对齐意义）和伪协作（多路视野重叠、信息冗余，单路即可解题）。如果不加处理，基准会悄悄退化成普通单流评测。

核心 idea：用"充分性+必要性"双重验证从数据源头堵住单流捷径——给定截取到标注时间戳的多流视频，强模型必须能答对（充分）；只给任何一路单流视频，强模型必须答不出（必要）——同时把 MLLM 概念化为带宽受限的朴素复用器，用信号复用理论的视角系统评测多流输入的整合方式。

方法详解¶

整体框架¶

X-Stream 的"方法"由两部分构成：一是保证多流必要性的数据构建管线，二是把 MLLM 当作复用器来组织在线推理的评测协议。数据从 20+ 来源、857 小时原始多流素材（2-10 路）出发，经配对与预处理选出 160 小时、2-5 路的素材，最终形成 932 个视频、451 个 take、4,220 个 QA；约 20% 的 take 有 3-5 路流，约 30% 的问题含音频/语音。覆盖驾驶、体育、机器人、日常、聊天、监控、直播、界面 8 大领域。

评测按能力×任务双维度组织：4 项核心能力是单流理解、跨流抗干扰、跨流引用对齐、跨流协作（各自占比 9.6%、28.6%、33.4%、28.4%）；11 个子任务分布在 3 个递进层级——基础多模态感知（视觉/音频/时间定位、物体计数、显著性检测）、高级逻辑认知（3D 空间、因果、反事实、常识推理、异常检测）、决策（行为规划）。问题分即时（instant）与前向（forward）两类：前者可立刻作答，后者是主动任务，必须等到条件成立才能回答。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["原始多流素材<br/>857h / 2-10路 / 20+来源"] --> B["预处理<br/>2FPS 重采样 + 50MB 分段"]
    B --> C["QA 生成<br/>模板 + Gemini-3-Pro 精炼"]
    C --> D["多流充分性验证<br/>截到时间戳的多流须答对"]
    D --> E["多流必要性验证<br/>任一单流须答不出"]
    E --> F["人工双轮审核<br/>31 名专家"]
    F --> G["4,220 QA 基准<br/>11 子任务 / 流式在线评测"]

关键设计¶

1. 充分性+必要性双验证：从数据协议层面排除单流捷径

针对"伪多流"QA，管线对每条候选 QA 做两道机器验证：先把视频裁剪到标注时间戳，让强模型在完整多流输入下作答，答对才保留（充分性，保证问题可答、时间戳正确）；再逐路喂给模型单流视频，任何一路都能答对的样本直接剔除（必要性，保证答案确实需要多流联合）。验证阶段特意使用高分辨率高码率视频，因为时间戳已定，可以排除低清输入造成的假失败。整个流程是对抗性的：生成时想造捷径，验证时专门抓捷径。这与常见"生成后人工抽查"的管线本质不同——必要性检验把"必须多流"变成了硬约束而非统计倾向。

2. 前向问题的时机评测：答对不算对，答对的时间才算对

前向（主动）问题的答案条件在提问时刻尚未发生，模型必须持续监听多流、在条件首次满足的时刻作答。评测用 2 秒响应窗口、6 个时间槽：过早回答计为 Early Response（ER，越低越好），窗口内始终沉默计为 No Response（NR，越低越好），只有"恰好在时间戳后 2 秒窗口内给出正确答案"才拿满分。计算能力维度得分时只对时间正确的答案取平均，避免作答时机差异污染能力分。这个设计把"什么时候说"与"说什么"拆开计分——多数模型恰恰倒在前者：Qwen3-Omni-30B 综合能力不弱（Instant 63.92），但 Forward 仅 0.61，ER 高达 98.81，几乎全在抢答。

3. MLLM 作为朴素复用器：三种复用策略的系统化

MLLM 一次只能消费一条 token 流，多路视频必须先合并成一条 token 流——这正是通信里的复用问题。作者强制固定平均视频 token 速率上限 \(C_{\max}=250\) tokens/秒（类比信道带宽），并实现三种复用策略。空间分割：像素级拼接各路下采样后的帧（\(X_t=\text{Concat}(D(M_t,r_m),D(N_t,r_n))\)，保留率在预算内取最大），单帧内保留跨流空间关系，但需重编码视频、混合音频。时间分割：各流作为独立输入交替送入，用 <stream N> 标识符区分，α、β 指示变量在预算内均匀采样各帧；时间嵌入显式对齐，但同步时间编码只有开源模型可行。语义分割：按显著性做 token 级筛选——用辅助视觉编码器构建条件 DPP 核（相关性×相似度），贪心 MAP 推理迭代选出兼顾任务相关性与多样性的 top-k token，再按时间分割交织；因无法改私有模型的 token 层，退化为把保留 token 最多的流转回帧输入。作者明确这是对现状的抽象评测而非新架构：三种策略的优劣随流数与带宽变化，没有万能解。

损失函数 / 训练策略¶

本工作是基准与评测研究，不训练模型。在线推理管线以 1 秒间隔顺序处理连续流并维护滑动记忆窗口；判分采用 LLM-as-a-Judge，其有效性由人类校准：31 名专家与判官模型对 200 条 QA 独立评分，Spearman 相关 0.62（p<0.05）。人类偏好基线（同一管线）综合 91.84 分，说明评分上限远高于当前模型水平，评测本身不饱和。

实验关键数据¶

主实验¶

主对比实验采用最直接的空间分割复用，报告 Instant / Backward / Forward / Overall 综合分及前向时机指标（ER/NR，越低越好）。下表摘自原文表 2（数值为百分制得分）：

模型	Overall↑	Instant↑	Backward↑	Forward↑	ER↓	NR↓
Human Preference	91.84	91.73	95.19	85.10	9.50	2.55
Gemini 3 Pro	49.60	73.38	72.23	20.77	73.13	0.23
Doubao-Seed-1.8	36.79	55.49	57.18	14.52	66.19	3.95
Qwen3-Omni-30B-A3B	34.28	63.92	53.40	0.61	98.81	0.27
Qwen3-VL-30B-A3B	34.19	52.09	38.54	14.46	73.91	1.18
GPT-5	27.78	44.28	37.18	6.51	81.73	1.14
GPT-4o	22.46	37.28	32.72	4.05	87.14	0.74
Dispider（流式）	15.44	21.71	19.29	8.09	55.63	7.26
VideoLLM-online-8B（流式）	8.48	15.00	15.53	0.03	99.10	0.66
MMDuet2（流式）	6.79	11.76	10.37	1.44	31.49	54.11

多流能力维度上（同样摘自表 2），Gemini 3 Pro 单流 72.45 / 跨流协作 71.16 / 跨流引用 74.79 / 抗干扰 66.96，是最均衡的模型；开源 Qwen3-Omni-30B 依次为 63.41 / 55.68 / 66.08 / 56.58。11 子任务层面（原文表 3）呈清晰的能力断层：基础感知普遍尚可（Gemini 视觉定位 66.72、计数 76.37），逻辑认知急剧下滑——因果推理全场最高也只有 Gemini 的 41.79，反事实推理 Qwen3-Omni 反而最高（90.00）但样本极少（该子任务得分多为 10/15/20/40/50/85/90 的离散值，样本量显然很小）；决策/行为规划全线疲软（Gemini 44.18，多数模型低于 35）。

消融实验¶

复用策略消融（原文表 4，按能力维度）与流数扩展（原文表 5，Overall 分）：

模型 / 策略	单流	协作	引用	抗干扰	N=2	N=3	N=4	N=5
Gemini-3-Pro / 空间	72.45	71.16	74.79	66.96	57.47	19.86	30.48	22.81
Gemini-3-Pro / 时间	79.62	75.13	67.08	80.74	58.09	24.19	31.76	22.14
Gemini-3-Pro / 语义	70.30	66.64	70.92	68.94	55.50	26.89	41.25	31.06
Qwen3-Omni / 空间	63.41	55.68	66.08	56.58	36.61	36.88	34.22	25.84
Qwen3-Omni / 时间	69.78	58.76	58.62	69.14	40.55	36.17	35.83	25.44
Qwen3-Omni / 语义	61.58	52.13	55.34	59.03	36.15	38.46	40.64	29.82

⚠️ 原文表 4、5 在双栏 PDF 中并排，缓存抽取后行序错乱，上表数值按与表 2 一致的行（Gemini 空间分割行与表 2 完全吻合）和列头重建对齐；个别数字的行列归属建议以原文 PDF 为准。

关键发现¶

复用策略没有全能冠军：空间分割擅长跨流引用（保持预训练的帧内推理动态），时间分割在双流+宽松带宽下最优（Gemini 时间分割单流 79.62 为全表最高），语义分割在流数 ≥3、token 紧张时优势显现（N=4 时 Gemini 语义 41.25 vs 空间 30.48）。这与信号理论中各复用方式的固有缺陷一一对应。
主动时机是普遍短板：几乎全部模型的 ER 高企（Qwen3-Omni 98.81、VideoLLM-online 99.10），即"忍不住抢答"；只有 MMDuet2 反向极端（NR 54.11，总沉默）。Forward 分数与 Overall 的巨大落差说明当前架构把"感知"与"何时开口"耦合得很差。
多流必要性成立（原文表 7）：单流输入在 X-Stream 上只有 5.35（Qwen3-Omni），而把干扰流注入单流数据集（StreamingBench、OVO-Bench）会使成绩从 57.19/56.16 跌到 26.10/34.78——X-Stream 考察的是新能力，不是单流的延长线。
音频复用是独立难题（原文表 6）：空间分割叠加音轨导致重叠，时间分割避免重叠却切断语音连续性；音频耦合强于像素，简单复用策略在音频上互有胜负（Qwen3-Omni 空间分割去掉音频反而降分 34.28→29.40，时间分割反而 26.57→30.37）。

亮点与洞察¶

"必要性验证"是可迁移的数据工程范式。 任何多输入基准（多文档、多传感器、多 agent）都可用"单输入必须答不出"来硬性排除捷径，比事后人工筛捷径可靠得多。
把通信学的复用理论当分析框架。 空间/时间/语义分割对应频分/时分/码分的取舍（资源浪费 vs 时延抖动 vs 码间干扰），这让"为什么各有优劣"有了先验结构，而不只是经验调参结论；对下一代多流 agent 的架构设计是直接可用的指导。
ER/NR 把"时机"变成可诊断指标。 单独报告抢答率与沉默率，比单一 Forward 分数更能定位失败模式（是听不懂还是不敢说/忍不住说）。

局限与展望¶

流数上限有限：尽管原始素材有最多 10 路，正式基准只保留 2-5 路；语义分割的优势区间（≥3 流）覆盖的样本只占约 20%，策略结论在更高流数下是外推。
反事实等子任务样本量明显偏小（得分呈大间隔离散值），单任务结论不稳；LLM-as-a-Judge 与人类相关 0.62 属中等水平，判分噪声对细粒度排名的影响未量化。
语义分割依赖辅助视觉编码器做 token 剪枝，且在私有模型上只能以"保留 token 最多的流转回帧"近似实现，策略间的公平性存在近似误差。
三种策略都是推理期方案，未探索为多流而训练的架构（如原生流标识嵌入、交叉流注意力）；作者也指出公开数据缺乏电影级精确时间戳同步，流间漂移是数据侧长期隐患。

评分¶

新颖性：5/5。首个多流流式基准填补真实空白，"复用器"概念框架与双验证管线都是新贡献。
实验充分度：4/5。11 个模型、在线推理、策略×流数×音频多组消融；但部分子任务样本偏小、私有模型语义策略只能近似，且跨策略结论部分依赖小样本。
写作质量：4/5。金字塔定位、复用理论映射与实验结论衔接顺畅；若干表格在双栏排版下阅读负担较重。
价值：5/5。为实时多流 agent（转播导播、多屏协作、机器人多相机）给出了首个系统性诊断工具与设计指南。