Omni-Interactive Universal Embedder¶

会议: NeurIPS 2026
arXiv: 2608.27044
项目主页: https://wywywang.github.io/omniue-demo/
领域: 其他
关键词: 通用嵌入模型, 全模态交互, 视觉分割, 音频分割, 跨层上下文聚合

一句话总结¶

OmniUE 首次突破文本单向交互范式，通过集成 SAM-3 视觉分割器与 SAM-Audio 音频分割器，结合可学习序列标记与跨层上下文自适应聚合，实现了支持任意模态输入（文本、视频、音频）与任意交互提示（文字、视觉 ROI 区域、音频时间段）的用户条件化全交互通用嵌入表征。

研究背景与动机¶

多模态表示学习近年来经历了由传统双塔架构向基于大语言模型（LLM）的通用嵌入模型（Embedder）演进的技术范式转变。得益于大规模训练语料库、灵活的异构输入支持以及强大的指令遵循能力，MLLM 嵌入器允许用户通过不同的文本指令从同一模型中提取任务适配的高维表征，并在图像与视频的检索、问答等下游任务中展现出卓越的泛化性能。随着研究前沿向包含视觉、音频与文本的全模态（Omni-modal）表征对齐拓展，构建能够跨模态统一编码的通用嵌入器已成为领域的核心发展方向。

然而，现存的通用多模态嵌入方法依然受制于人机交互维度的严重局限：文本几乎是唯一被支持的用户条件化交互媒介。在复杂的现实视听场景中，单纯的自然语言往往无法精确且经济地表达细粒度、具有歧义的检索意图。例如在包含画外音或复杂声源空间对应关系的视频场景中，仅凭文字描述无法精准锁定特定屏幕区域发出的声音；在复杂重叠的听觉场景中（如在嘈杂的林地背景声中定向检索特定的周期性鸟鸣，而非所有宽泛匹配“鸟叫”的音频），自然语言存在天然的粗粒度与语义歧义，而纯视觉线索又常常缺失或微弱关联，迫切需要直接基于音频时间片段（Audio Spans）或视觉感兴趣区域（Bounding Box / Segmentation Mask）的细粒度多模态交互。

针对上述瓶颈，单纯将图像交互扩展到视频与音频的工程拼接无法解决跨模态细粒度对齐与层次表征融合的矛盾。本文的目标是构建一种能够同时支持文本、静音视频、音频的任意模态组合输入，并接受点、框、掩码与时间段等全维度交互提示的统一嵌入架构。核心 idea：引入预训练视觉分割器与音频分割器构建交互特征流，通过轻量级连接器将其与全模态全局语义解耦对齐，并设计可学习多标记的跨层重要性加权聚合机制，在统一表征空间内实现任意模态输入与全模态交互提示的自适应条件化嵌入。

方法详解¶

整体框架¶

OmniUE 围绕“全局查询流（Query Stream）”与“细粒度交互提示流（Interactive Prompt Stream）”双轴协同构建。模型支持纯文本、纯静音视频 \(q^v\)、纯音频 \(q^a\) 及其任意组合的输入，同时允许用户提供可选的视觉提示 \(p^v\)（点、检测框、分割掩码）、音频提示 \(p^a\)（时间跨度）以及文本指令 \(p^t\)。整个处理管线包含三个核心阶段：首先，全局多模态输入由 Omni-LLM 的视觉与音频编码器转换为骨干语义标记；其次，交互提示与视频、音频输入分别送入预训练的视觉分割器（SAM-3）与音频分割器（SAM-Audio），在解码前提取富含交互引导的特征图，并通过轻量级卷积、自注意力连接器投射至 LLM 维度；最后，在全序列后附加可学习上下文标记，联合通过全模态 LLM 进行自注意力交互，并在固定层间距抽取中间层表征进行归一化权重融合，输出单向量表征用于对比学习。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态输入与交互提示<br/>Query (V/A/T) + Prompt (Mask/Span/Text)"] --> B["双流特征编码与分割提示提取<br/>全局编码器 + SAM-3 / SAM-Audio"]
    B --> C["时空降采样与注意力投影<br/>Conv1D/Conv2D + Self-Attention + MLP"]
    C --> D["全模态序列拼接与交互建模<br/>[H_as, H_vs, H_v, H_a, H_t, H_lt] 输入 Omni-LLM"]
    D --> E["跨层多标记上下文重要性自适应聚合<br/>抽样 M 个深度层并进行 Softmax 权重加权平均"]
    E --> F["统一向量嵌入 E & InfoNCE 对比优化"]

关键设计¶

1. 双流解耦与分割器驱动的全模态交互机制：破解粗粒度语义无法捕捉局部时空实体的瓶颈 现存全模态模型在直接编码输入数据时，仅能获得全局整段的时空隐状态 \(H_v\) 与 \(H_a\)，完全缺乏对用户指定空间实体或时间段落的针对性聚焦能力。OmniUE 针对性地引入离架预训练的视觉分割器 SAM-3 与音频分割器 SAM-Audio。视觉分割器接收视频帧与用户选定的 ROI（如点、框、掩码），并在预测头之前的特征图阶段提取交互感知特征 \(F_{vs} \in \mathbb{R}^{|F_{vs}^H| \times |F_{vs}^W| \times d_{vs}}\)；音频分割器则在扩散变换器（Diffusion Transformer）迭代采样之后、最终音频波形解码之前提取时序特征图 \(F_{as} \in \mathbb{R}^{|F_{as}| \times d_{as}}\)。由于这两个特征图在解码前已完成了输入模态与交互提示的充分交叉融合，天然保留了实体级细节与交互注意力，同时避免了反向解码至原始信号空间所引入的额外重构误差与计算开销。在无显式视觉或音频交互的常规场景中，交互流采用默认输入（如零向量、<null> 标记或空文本），仍能为骨干网络提供关键的实体级局部线索先验。

2. 维度压缩与自注意力交互连接器：实现高效序列对齐与跨注意力选择 分割器生成的原始特征图具有极高的空间与时间分辨率（例如 SAM-3 特征图达到 \(288 \times 288\) 维度），若直接平铺拼接会导致序列长度急剧膨胀，超出大语言模型的上下文承载限制。为此，OmniUE 设计了专用轻量级连接器：视觉交互流采用步长与卷积核均为 4 的 Conv2D 压缩空间分辨率，音频交互流采用 Conv1D 降采样时序长度，分别将特征序列限制在最高 256 与 128 标记以内。降维后的表征依次经过多头自注意力层（Self-Attention, 设头数 \(h=2\)）与多层感知机（MLP）：

\[H_{vs} = \text{MLP}_{vs}(\text{SA}_{vs}(\text{Conv2D}(F_{vs}))) \in \mathbb{R}^{|F_{vs}'| \times d}\]

\[H_{as} = \text{MLP}_{as}(\text{SA}_{as}(\text{Conv1D}(F_{as}))) \in \mathbb{R}^{|F_{as}'| \times d}\]

自注意力模块使得交互标记能够基于全局上下文动态调整注意力分布，精准保留与用户意图高度契合的信息，最终将异构交互特征平滑映射至与 Omni-LLM 完全一致的隐藏维度 \(d\)。

3. 跨层多标记上下文重要性自适应聚合：突破末层单标记表征的信息容量限制 主流嵌入模型普遍采用最后隐藏层的 [EOS] 标记作为整段序列的表征向量，但在全模态异构交互场景下，单标记难以承载跨模态细粒度推理所需的密集语义信息；而若采用传统无约束的 MLP 跨层融合，参数量随层数按 \(\mathcal{O}(L \cdot d^2)\) 规模急剧攀升（以 3B 规模模型为例，后融合 MLP 引入约 155M 参数，远超 LoRA 的 45M 训练参数），极易引发严重的过拟合与欠拟合失衡。OmniUE 首先在全模态拼接序列末尾引入 \(K=4\) 个独立初始化的可学习标记 \(H_{lt} \in \mathbb{R}^{K \times d}\)，使其在骨干前向传播中定向吸附交互表征。随后，以固定间隔 \(l=4\) 遍历抽取 \(M\) 个关键深度层（包含第 1, 5, 9, ... 层及末层）中可学习标记的隐藏状态，构成三维张量 \(Z \in \mathbb{R}^{M \times K \times d}\)。模型引入可学习的层-标记全局归一化权重矩阵 \(W \in \mathbb{R}^{M \times K}\)，通过 Softmax 归一化跨深度与跨标记分配注意力，经由加权求和及多标记均值池化 \(\phi\) 生成最终嵌入向量 \(E \in \mathbb{R}^d\)：

\[E = \phi(\tilde{Z}), \quad \tilde{Z} = \sum_{m=1}^{M} \tilde{W}_m \odot Z_m \in \mathbb{R}^{K \times d}, \quad \tilde{W} = \text{softmax}(W)\]

该设计以极低的参数增量使模型能自适应权衡浅层的局部纹理特征与深层的全局抽象语义。

损失函数 / 训练策略¶

模型采用基于温度系数 \(\tau=0.02\) 的 InfoNCE 目标函数对查询向量 \(E_q\)、正样本目标向量 \(E_t\) 与负样本向量 \(E_j\) 进行对比优化：

\[\mathcal{L} = -\log \frac{\exp(\cos(E_q, E_t) / \tau)}{\exp(\cos(E_q, E_t) / \tau) + \sum_{j} \exp(\cos(E_q, E_j) / \tau)}\]

训练引入 GradCache 技术解耦梯度计算与显存占用，在单批次 1024 大批次下充分利用跨设备 In-batch 负样本。骨干网络采用 Qwen2.5-Omni（3B 与 7B 版本），配置 LoRA 微调（Rank=32, Alpha=64, Dropout=0.1），交互连接器与可学习权重则从头训练。在包含约 350 万公开多模态样本的数据集上联合优化 3300 步，初始学习率为 \(2 \times 10^{-5}\)。

实验关键数据¶

主实验¶

评估涵盖视频文本交互（MMEB-v2-video，18 项任务）、音频文本交互（MAEB，30 项任务）、视觉交互检索（SCaR，5 项任务）以及全新提出的全交互基准（OmniCHOIR）。

在 18 项 MMEB-v2-video 任务综合评估中（对比同等参数规模下最强基线）：

模型	分类 (CLS)	问答 (QA)	检索 (RET)	片段定位 (MRET)	总评 (Overall)
UME-R1 (Qwen2-VL-2B)	44.3	51.2	32.9	39.7	42.2
LCO-Emb (Qwen2.5-omni-3B)	42.9	56.7	30.0	43.8	43.3
OmniUE-3B (本文)	51.1	57.8	36.9	47.7	48.4 (+5.1)
UME-R1 (Qwen2-VL-7B)	48.6	60.7	38.2	39.3	47.5
WAVE (Qwen2.5-omni-7B)	50.7	45.9	34.7	39.5	43.1
OmniUE-7B (本文)	57.8	62.9	40.9	41.3	51.8 (+4.3)

在 5 项视觉交互检索基准 SCaR（RefCOCO+, RefCOCOg, VisualGenome, COCO-Stuff, ADE20K）评估中：

模型类型	模型	RefCOCO+	RefCOCOg	VisualGenome	COCO-Stuff	ADE20K	总均分
文本交互单模态	VLM2Vec-2B	24.5	29.5	22.3	19.4	24.6	24.1
文本交互单模态	UniME-7B	31.4	32.8	19.0	25.3	23.0	26.3
视觉交互先验	VIRTUE-2B	28.8	42.4	24.4	29.9	27.5	30.6
视觉交互先验	VIRTUE-7B	33.0	35.3	19.6	27.1	23.8	27.8
全交互通用表征	OmniUE-3B	64.4	57.5	36.8	57.0	41.0	51.3 (+20.7)
全交互通用表征	OmniUE-7B	65.3	66.2	35.5	61.6	47.5	55.2 (+27.4)

在作者构建的全新全交互音频检索基准 OmniCHOIR（Recall@1，涵盖 16 个负样本候选）上的性能表现：

模型	文本 (Text)	时间段 (Span)	掩码 (Mask)	Text+Span	Text+Mask	Span+Mask	全模态交互 (T+S+M)
ImageBind	16.8	3.3 / 13.5	-	18.1	-	-	-
LCO-Emb-7B	22.3	22.4	-	23.8	-	-	-
WAVE-7B	20.0	23.1 / 23.4	-	24.5	-	-	-
OmniUE-3B	23.6	25.3	25.6	23.6	25.7	25.7	26.4
OmniUE-7B	25.5	26.3	26.7	27.4	26.7	27.6	28.4

消融实验¶

针对各独立核心模块与关键超参数设计在 OmniUE-3B 上的消融对比：

变体配置	MMEB-video	MAEB (音频)	SCaR (视觉交互)	OmniCHOIR (全交互)	核心表现分析
完整模型 (OmniUE-3B)	44.7	47.8	50.5	22.2	全面保持最优平衡性能
w/o 视觉交互流	42.7	47.6	32.0	20.5	视觉交互基准暴跌 18.5 点，局部实体识别失效
w/o 音频交互流	44.1	47.4	49.8	18.7	全交互音频检索掉点 3.5 点，失去时域定位引导
w/o 双交互流 (全删)	42.5	47.5	30.9	16.3	交互基准出现毁灭性性能回退
w/o 多标记输入 (改用单 EOS)	43.8	46.6	47.2	20.1	单标记信息瓶颈导致密集跨模态表征容量不足
w/o 跨层聚合 (仅取末层池化)	43.2	45.0	49.8	18.5	丢失中间层细粒度特征，全交互性能大幅下滑
替换为传统稠密 MLP 聚合	41.8	47.0	45.9	20.2	参数量过大导致欠拟合与训练震荡

关键发现¶

双流交互在无交互输入时仍能泛化提升全局性能：即使在纯文本交互的 MMEB-v2-video 基准中，完整版 OmniUE 依旧显著优于强制移除分割器流的变体（+3.4 到 +3.6 点），证明分割器提取的默认隐式特征能够为全局大模型补充关键的局部物体与声源先验。
复合交互的超加性收益：在 OmniCHOIR 任务中，随着用户给出的交互线索由单模态（纯文本 25.5 或纯时间段 26.3）叠加至全模态交互（文本 + 音频时间段 + 视觉掩码达到 28.4），检索精度实现阶梯式稳步爬升，证实模型具备自适应融合异构提示并消除歧义的能力。
推理延迟与交互形式的折中平衡：使用精密分割掩码进行视觉交互时每样本耗时约 9.4s，而改用检测框（Bbox）作为交互形式仅需 1.5s，且性能仅微弱下滑 0.3 点（26.7 vs 26.4），为工业界高吞吐落地提供了绝佳的轻量化替代路径。

亮点与洞察¶

解码前表征截取的架构复用：直接抓取 SAM-3 预测头前与 SAM-Audio 扩散变换器后的潜空间特征图，省去了耗时且有信息损耗的端到端声波/像素重构，实现高保真交互线索与低计算开销的巧妙兼容。
低参数量全局归一化层-标记注意力：规避了直接用重型 MLP 连接深层特征导致的上亿参数开销，利用极小规模的标量权重矩阵实现了跨模型深度的层次表征自适应融合。
解耦基准与自监督构建方案：构建 OmniCHOIR 时利用 Qwen3-Omni-30B 引导背景反事实构造，设计了背景替换、同类替换和跨类替换三重负样本机制，为全模态交互检索建立了严苛无泄漏的标准测试平台。

局限与展望¶

预训练骨干能力的强耦合依赖：OmniUE 高度依赖外部预训练模型（Qwen2.5-Omni、SAM-3 及 SAM-Audio），底层模块存在的幻觉或时序边界切分误差将不可避免地向最终嵌入向量传递。
细粒度掩码推理耗时相对较高：在高并发实时在线搜索场景下，逐帧提取视频掩码的计算开销仍具挑战，亟需探索更加轻量化的视觉-音频交互提示压缩算法。
训练数据覆盖维度待拓宽：当前微调阶段仅依赖合成的文本交互与开源无交互数据集，尚未将真实人机交互数据闭环引入大规模对比预训练阶段。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次打破文本交互局限，开创全模态全交互统一嵌入新赛道。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大基准、近 60 项子任务评估及严密的消融与延时显存分析。
写作质量: ⭐⭐⭐⭐⭐ 形式化推导清晰严谨，问题动机直击现有嵌入器的人机交互痛点。
价值: ⭐⭐⭐⭐⭐ 为通用多模态智能体、交互式多媒体检索与长上下文记忆检索奠定了坚实的基础设施。