OmniStream: Mastering Perception, Reconstruction and Action in Continuous Streams¶

会议: ECCV2026
论文: ECCV 原文
PDF: 论文全文
代码: https://github.com/Go2Heart/OmniStream
领域: 机器人/具身智能
关键词: 流式视觉表征、因果注意力、3D-RoPE、多任务预训练、视觉语言动作模型

一句话总结¶

OmniStream 将 DINOv3 图像编码器改造成带历史 KV-cache 的因果视频骨干，以自监督表征、几何重建和语言对齐联合预训练，使同一套冻结视觉特征支持感知、空间推理和机器人操作，在 CALVIN ABC-D 上取得 3.885 的平均完成序列长度。

研究背景与动机¶

机器人相机、第一人称设备和视频助手面对的是不断到来的图像，而不是已经完整收集的视频文件。它们既要识别画面内容，又要理解物体运动、相机位置和空间关系，而且当前判断不能利用尚未发生的未来帧。 DINOv3 等图像模型擅长空间特征，V-JEPA 2 等视频模型强调时序变化，CUT3R 等几何模型则专注重建；这些能力并不会因为模型同样使用 Transformer 就自动互通。例如，论文中的 DINOv3 在 SSv2 动作识别上只有 54.0%，而 V-JEPA 2 在 DAVIS'17 的密集传播评测中只有 44.2 的 J&F，显示动态理解与空间对应并不是同一个目标。

把所有任务改写为文本生成可以统一输出接口，但不一定能形成可供不同任务直接读取的视觉表示。尤其当下游任务从描述视频变成控制机械臂时，能够产生正确名词的特征未必保留深度、位移和精细空间关系。本文因此把问题收紧为：能否先训练一个同时保留语义、动态和几何的视觉骨干，再冻结它，只训练任务侧模块？这也使实验比端到端微调更能暴露表示本身的缺陷，而不是让视觉编码器在每个任务上重新学习。

作者选择以已有图像空间先验为起点，用因果架构解决流式输入，再用互补监督补全表示内容。单张图像只是长度为 1 的流，视频和几何序列则给同一编码器提供不同的时间与空间约束。 核心 idea：统一的不是所有任务的输出格式，而是一个只看过去和现在、同时承载语义、动态与几何、能够冻结后复用的视觉骨干。

方法详解¶

整体框架¶

输入是一帧帧 RGB 图像，骨干从 DINOv3 ViT-L 初始化，并改为因果时空注意力与 3D-RoPE。每个时刻产生密集 patch 特征、全局语义 token 和可选相机 token；过去帧的键和值保留在 KV-cache 中。预训练时，同一骨干并行接受静态与时序蒸馏、流式几何监督和语言对齐三类信号，训练后再接不同的下游读取模块。图中的三条监督分支是并行约束，不是先重建点云、再依次生成文本和动作的串行推理流程。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        A["当前 RGB 帧<br/>与历史 KV-cache"] --> B["因果流式骨干"]
        B --> C["静态与时序蒸馏"]
        B --> D["流式几何监督"]
        B --> E["语言对齐"]
        C --> F["联合预训练<br/>随后冻结视觉骨干"]
        D --> F
        E --> F
        F --> G["任务侧模块<br/>感知、推理与动作"]

这里的“冻结”只约束下游阶段的视觉骨干，并不意味着语言模型、投影层或动作头不训练。特别是 VLA 设置允许训练视觉到语言的投影层，与同时冻结视觉编码器和投影层的原 VLM4VLA 冻结设置不同。因此，这是一项冻结视觉表示的迁移研究，而不是无需任何下游学习的机器人零样本控制。

关键设计¶

1. 因果流式骨干：让当前帧读取历史而不偷看未来

每帧被切成不重叠 patch，再加入一个全局 [CLS] token、四个 register token，以及供相机头使用的可选 [CAM] token。注意力的限制按“帧”而不是按帧内 token 顺序施加，因此当前帧中的任意 patch 都可以读取当前帧其余 patch 和所有过去帧。这保留了完整的帧内空间交互，同时不允许未来图像影响当前表示。若 \(\tau(u)\) 表示 token \(u\) 所在的帧，论文第 6 页式 (4) 的掩码可写为：

\[ M_{uv}=\begin{cases}0,&\tau(u)\geq\tau(v),\\-\infty,&\tau(u)<\tau(v).\end{cases} \]

流式推理只计算新帧的表示，并复用历史键值，不再重新编码全部过去帧；在保留完整缓存的条件下，它与整段因果注意力给出相同结果。位置编码则把每个注意力头的位置维度按时间、高度、宽度分成 \(2:3:3\)，将时间分量穿插进原有二维 RoPE，并保留其余空间分量的 DINOv3 排列。作者还沿用 RoPE-box jittering，以增强位置编码的鲁棒性；这不是给时间轴完全重新学习一套位置表。这种改造既使视频具有时间顺序，又尽量不破坏初始化模型已经学到的空间先验。但 KV-cache 只消除了重复计算，并没有消除历史增长：论文第 12 页明确给出每步关于时间的复杂度为 \(O(T)\)，不能解释成恒定时延或恒定内存。

2. 静态与时序蒸馏：同时保留图像辨识力和运动敏感性

静态图像作为单帧流，视频作为多帧流，共用 DINOv3 风格的学生与教师蒸馏框架，教师由学生参数的指数移动平均更新。不同全局与局部视图提供跨视图约束，而学生的时序访问仍遵守因果掩码。 DINO 项约束全局语义，iBOT 项约束 patch 特征，KoLeo 项避免表示在特征空间中过度聚集，Gram 项维持 patch 级结构的一致性。它们共同防止骨干只学会某个任务头需要的局部捷径，却丢掉一般性视觉特征。

视频数据的作用不只是增加图片数量，而是让相同物体在连续运动中提供表征约束。去掉 VideoSSL 后，第一阶段模型的 SSv2 从 69.3 降至 63.0，但 ImageNet 从 85.2 变成 85.4；这表明静态分类成绩不能代替动态表示质量。原文把四个自监督子损失的完整公式留在补充材料；本缓存中的部分公式排版也有缺损，因此不臆补这些子项的内部权重。

3. 流式几何监督：把外观 token 约束到可重建的空间

模型从若干中间层读取密集 patch 特征，交给 dual-DPT 深度头预测深度图和射线图，再由读取 [CAM] token 的轻量 MLP 预测相机参数。射线图每像素有 6 个分量，分别是三维射线原点和三维方向；相机输出有 9 个分量，即旋转四元数 4 维、平移 3 维和视场角 2 维。这里假设主点位于图像中心，因此并不是不加限制地估计任意内参。深度和射线还能形成点图，论文第 8 页给出：

\[ \hat{P}_t=\hat{o}_t+\hat{D}_t\odot\hat{d}_t. \]

监督使用归一化后的真实深度、射线、点图和相机参数，使各输出必须共同解释同一个场景。深度采用带学习置信度的 L1 误差，并加入空间梯度项和对数置信度正则；射线、点图和相机参数使用 L1 回归。梯度项关注深度边界，点图约束则把深度和射线的组合结果也纳入训练，而不只让每个分支独立拟合标签。这一分支训练的重点是把三维约束写进共享特征，因此下游空间问答不必再额外拼接一个独立几何编码器。它仍需要相应的几何监督数据，不能视为仅靠普通无标注视频就学出的三维能力。

4. 语言对齐：提前让视觉细节成为语言模型可读取的信息

预训练时，最后一层视觉 token 经过 MLP projector 接入 Qwen3-0.6B 自回归语言解码器，任务包括稠密描述、OCR 和物体 grounding。语言建模损失的梯度经过解码器回传到视觉骨干，因此它改变的是视觉表示，而不只是训练一个会解释固定特征的文本头。 OCR 要求保留局部文字，grounding 要求把词与区域联系起来，描述任务则提供更广泛的语义对应。这解释了为什么图像探测尚可的表示，也可能在缺少该分支时明显不适合 VLM 和 VLA。

预训练使用的小语言解码器与下游的 Qwen2.5-7B-Instruct 不是同一个模型。下游 VLM 将冻结视觉 token 投影到语言空间，在 LLaVA-Video 框架下学习回答视频和空间问题。下游 VLA 再在语言模型输出上接轻量 MLP 动作头；其动作预测读取的是已包含几何和动态信息的视觉观察，而不是必须先生成文字版场景解释。感知任务则不需要这套语言接口：图像任务使用线性头，视频动作识别使用 attentive pooling，几何任务使用相应的重建头。

一个完整示例¶

以原文图 1 中“把勺子放到蓝色毛巾上”的指令为例，以下是方法流程示意，不是额外报告的实验轨迹。第一帧到来时，视觉骨干根据当前图像形成物体和布局特征，并初始化历史键值。相机或物体继续运动后，新帧可读取历史上下文，但不能访问下一帧；3D-RoPE 区分时间变化与图像中的位置变化。预训练阶段，蒸馏监督维持可辨识的局部特征，几何监督约束深度和视点，语言监督把勺子、毛巾及其位置与指令概念对齐。控制阶段不必同时运行这些预训练监督分支，而是由冻结视觉特征、可训练投影与语言模型、动作头产生控制输出。这一区分很重要：预训练分支塑造表示，下游动作模块才学习具体的任务控制映射。

损失函数 / 训练策略¶

根据第 8 页式 (10) 及紧邻文字，联合目标为：

\[ \mathcal{L}_{\mathrm{total}}=0.1\mathcal{L}_{\mathrm{ssl}}+\mathcal{L}_{\mathrm{geo}}+\mathcal{L}_{\mathrm{cap}}. \]

每个训练步骤依次处理各任务的 batch，并累积梯度，遍历全部任务后再统一更新参数，而不是为不同任务分别训练三个骨干。作者使用 29 个数据集、约 200M 帧：表 1 中图像 SSL 约 113M，视频 SSL 约 20M，3D/4D 场景约 18M，描述类约 50M，分项是近似计数。图像数据含 DataComp-100M 和 ImageNet-21K，视频数据含 Kinetics、SSv2 和 PE-Videos，几何数据覆盖真实与合成场景，语言分支含 GRIT、RefCOCO 系列、Blip3-OCR 和 SA1B-Caption。预训练使用 64 张 NVIDIA H200，第一阶段在 \(224\times224\) 分辨率训练 60K 步，第二阶段在 \(512\times512\) 训练 120K 步。优化器为 Adam，峰值学习率 \(1\times10^{-4}\)，预热 4K 步后余弦退火，两个阶段均不使用 weight decay。所有多帧样本长度为 \(T=16\)；因果掩码使同一片段内不同帧分别接受从 1 到 16 帧历史长度的监督。这些预训练资源应与“下游冻结”一并理解：节省下游视觉微调不代表预训练成本低。

实验关键数据¶

主实验¶

以下摘录保留各项原始指标，不把不同任务压成一个总分；表号与页码均指所给 PDF 的印刷页码。视觉骨干在下游保持冻结，但任务头、语言模型和策略侧仍按各自协议训练。

任务与指标	OmniStream	对照	来源与条件
ImageNet 分类准确率，越高越好	84.7	DINOv3-L 86.7	表 2，第 10 页；冻结特征探测
SSv2 ACC@1，越高越好	68.5	DINOv3-L 54.0；V-JEPA2-L 73.7	表 2，第 10 页；attentive pooling
DAVIS'17 J&F，越高越好	71.6	DINOv3-L 73.2；V-JEPA2-L 44.2	表 2，第 10 页；相同 VOS 探测流程
Sintel 在线深度 Abs Rel，越低越好	0.314	CUT3R 0.417	表 3，第 11 页；在线评估
KITTI 在线深度 Abs Rel，越低越好	0.136	CUT3R 0.118；Point3R 0.093	表 3，第 11 页；在线评估
VSI-Bench 平均分，越高越好	70.6	SpaceMind 69.6；LLaVA-Video-7B 35.6	表 5，第 12 页；不同完整 VLM 系统

Abs Rel 是逐像素绝对深度误差除以真实深度后的平均值，J&F 综合区域重叠与轮廓质量。 VSI-Bench 的结果说明完整系统具有较强空间推理能力，但不同系统的训练数据和架构并非严格受控的单变量比较。在更接近本篇分类主题的机器人实验中，应优先比较下面同属冻结视觉组的条目。

冻结视觉的 VLM4VLA 模型	CALVIN ABC-D 平均序列长度	CALVIN Task-5 成功比例	SimplerEnv-Bridge 平均成功率
Qwen2.5VL-7B	2.905	0.334	18.5%
LLaVA-Video-7B	2.898	0.340	30.2%
OmniStream-7B	3.885	0.634	45.8%

来源：表 6，第 13 页；表 7，第 14 页。CALVIN 是 ABC-D 长时程指令任务，SimplerEnv 使用 Bridge V2 的 real-to-sim 评估。 CALVIN 的 3.885 是平均完成序列长度，不是 3.885% 的成功率；Task-5 才表示完成五步任务链的比例。与冻结视觉的 Qwen2.5VL-7B 相比，OmniStream 的平均序列长度高 0.980，SimplerEnv 成功率高 27.3 个百分点。不过全量微调 Qwen2.5VL-7B 的 CALVIN 为 4.057，而表 7 中 pi0 的 SimplerEnv 为 60.4%，因此不能说它全面超过专用策略或全量微调模型。

消融实验¶

以下仅使用第一阶段 \(224\times224\) 检查点，不能与完成第二阶段的主表数值直接相减；来源为表 8，第 14 页。

第一阶段配置	SSv2 ACC@1	NYUv2 RMSE，越低越好	VSI-Bench	VideoMME	CALVIN 平均序列长度
完整模型	69.3	0.379	57.3	54.1	3.80
去掉 VideoSSL	63.0	0.420	57.9	55.8	3.42
去掉 3D Geometry	68.4	0.471	52.5	53.8	3.34
去掉 Captioning	67.4	0.395	44.9	45.0	2.38

关键发现¶

语言对齐对下游接口影响最大：去掉 Captioning 后，CALVIN 从 3.80 降到 2.38，减少 1.42；VSI-Bench 从 57.3 降到 44.9，减少 12.4 个百分点。
几何监督的收益不仅在深度图：去掉它使 NYUv2 RMSE 从 0.379 增至 0.471，同时 CALVIN 降低 0.46，支持三维信息对控制迁移有帮助。
多任务并非每项指标都单调受益：去掉 VideoSSL 后 VSI-Bench 为 57.9、VideoMME 为 55.8，均高于完整第一阶段模型；证据支持总体互补，不支持所有任务无冲突。
长度外推存在但范围有限：第 12 页报告从 16 帧训练外推到最多 110 帧评测，没有证明无限长流上的稳定性。

亮点与洞察¶

把“冻结后能否使用”作为统一表示的检验标准，使图像分类之外的几何、问答和动作任务共同约束“通用”这一说法。与仅统一输出格式相比，这更直接测试骨干能否复用。
三类监督分别补足动态、物理空间和语言可读性，尤其 Captioning 消融显示视觉探测成绩不能完全预测机器人迁移表现。设计 VLA 编码器时，应同时检查信息是否被保留以及策略接口能否读出它。
因果架构让训练与在线部署的可见信息一致，3D-RoPE 又保留部分二维初始化结构。这种改造思路可迁移到已有强图像模型，但不能替代长期记忆管理。

局限与展望¶

作者明确承认并非每项任务都超过专用模型，并将模型规模扩展留作未来工作；ImageNet、SSv2 和 KITTI 的结果也展示了这种取舍。
从方法可推得，完整历史 KV-cache 的存储随流长度增长，每步注意力也随历史增长。正文没有给出固定内存策略或长期在线帧率测量，不能只凭“流式”断言满足机器人实时部署预算。
机器人证据来自 CALVIN 和 SimplerEnv 仿真评估，而不是本文新完成的实体机器人部署；冻结视觉设置也不等于冻结投影和策略全栈。
本缓存没有补充材料，无法核验所有下游训练超参数和自监督子损失细节；不应从主文推断未报告的实现设置。
原文汇总表与详细表存在不一致：表 2 的 OpenVLA Simpler 值为 53.7，而表 7 为 4.2；CUT3R 的部分深度和位姿值也不一致。这里的具体比较采用相应详细表，并避免把这些冲突条目作为核心结论。
后续可在固定缓存预算下重测长期几何漂移和闭环操作，并进行统一数据预算的预训练消融。这些是由当前证据边界提出的建议，不是已验证的结果。

评分¶

新颖性: 4/5。单个技术部件有明确先例，但面向冻结迁移的因果视觉骨干与三类监督组合形成了清晰研究问题。
实验充分度: 4/5。覆盖感知、几何、问答和机器人，并有关键消融；缺少实体闭环验证与长流资源评测。
写作质量: 3/5。主线与组件职责清楚，但汇总表和详细表部分数字不一致，CALVIN 的正文指标措辞也不够严谨。
价值: 4/5。为具身视觉骨干提供跨任务设计依据，但尚不是可以忽略训练成本和部署约束的通用方案。