HumanOmni-Speaker: Identifying Who said What and When¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/HumanMLLM/HumanOmni-Speaker
领域: 音频/语音
关键词: 全模态大模型 / 说话人日志与识别 / 视觉语音识别 / 跨模态时空对齐 / 视觉残差编码

一句话总结¶

针对全模态大模型在多说话人交互中无法准确判定“谁在何时说了什么”以及依赖低帧率静态视觉捷径的缺陷，本文提出了视觉注册说话人日志与识别任务（VR-SDR）及基准，并设计了通过视觉残差编码器（以 25 fps 抽取残差并压缩至每帧 6 个 token）实现高频时空对齐的 HumanOmni-Speaker 模型。

研究背景与动机¶

近年来全模态大语言模型（Omni-modal LLMs）在语音与视觉联合感知上取得了显著进展，但在真实复杂的多人交互场景中，模型普遍面临着理解“谁在何时说了什么”（Who said what and when）的根本性瓶颈。这种时空身份绑定能力不仅是具身智能体、智能会议转录以及可穿戴 AI 助手的核心基石，也是检验多模态时空协同能力的关键试金石。然而，现有模型在多人交替发言或重叠语音环境下，难以将动态变化的声学轨迹与视觉身份及文本精确关联。

造成这一缺陷的核心原因在于现有评估范式与模型架构感知能力的双重盲区。一方面，传统说话人相关评测往往将说话人识别、语音识别与日志切割成孤立的单模态子任务，或者评测样本中充斥着近景特写、手持麦克风、单人居中等显著的视觉捷径，导致模型仅凭单帧静态画面即可“猜出”说话人，造成伪多模态对齐的“能力幻觉”。另一方面，现有主流 Omni 模型普遍采用 1-2 fps 的超低帧率视觉采样，这种机制丢弃了视频帧间的动态残差，彻底破坏了唇动（Viseme）和微表情等关键高频时序线索；而若简单提高 Vision Transformer 的采样帧率，又会引发二次方级的计算膨胀，并将微弱的唇动变化淹没在海量的背景冗余中。

为了消除视觉捷径并弥合感知架构的高频鸿沟，需要一种既能通过自然语言纯视觉描述注册身份、又能以轻量开销捕获高频时序残差的全新范式。核心 idea：提出视觉注册说话人日志与识别（VR-SDR）无捷径基准，并构建双流架构模型 HumanOmni-Speaker，通过轻量视觉残差编码器以 25 fps 提取帧间残差并极致压缩为每帧 6 个结构化 token，结合三阶段渐进式训练实现免人脸裁剪的端到端唇读与精准说话人时空绑定。

方法详解¶

整体框架¶

HumanOmni-Speaker 将多人交谈视频的时空感知解构为“低频全局语义流”与“高频局部残差流”的双流并行结构。模型输入包含原始全景视频流、连续音频波形以及自然语言身份注册文本（例如“Alice: 留卷发的女性”）。低频分支采用与 Qwen2.5-Omni 对齐的 Visual Base Encoder（1-2 fps），负责建模全图全局语义、场景上下文和稳定的视觉身份外观；高频分支则引入创新的 Visual Delta Encoder（25 fps），专注于捕捉嘴唇微动、面部运动轨迹等细粒度动态残差。

两路视觉特征连同音频编码器提取的连续声学表示、文本分词器提取的指令 token 经过各自的投影层映射到同一隐空间，最终输入给统一的 LLM 解码器，端到端自回归生成带有说话人 ID 绑定、时间戳和转录内容的结构化日志文本。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["输入: 原始视频流 + 连续音频 + 文本身份注册"] --> B["双流视觉分解与特征提取"]
    subgraph B["双流视觉分解与特征提取"]
        direction TB
        B1["Visual Base Encoder<br/>1-2 fps 提取全景语义与静态外观"]
        B2["Visual Delta Encoder<br/>25 fps 提取高频动态残差"]
    end
    B --> C["SVT 结构化时空压缩<br/>分层空域与时域卷积压缩为每帧 6 token"]
    C --> D["三阶段渐进训练与模态隔离对齐<br/>预训练残差流 → 冻结隔离对齐 → 端到端联合微调"]
    D --> E["LLM 自回归解码<br/>输出带有视觉身份绑定的说话人日志与时间戳"]

关键设计¶

1. 视觉残差编码器（Visual Delta Encoder）：捕捉高频运动原语 针对低帧率采样丢失嘴唇微动以及高帧率 ViT 触发 token 爆炸的矛盾，本文设计了专用的三阶段轻量残差编码模块。首先在局部特征感知阶段采用轻量级 ResNet-18 骨干网，以 25 fps 的时间分辨率高效抽取局部运动特征；随后通过结构化视觉分词器（Structured Visual Tokenizer, SVT），依次使用 $7 \times 7$ 的分层空域卷积与感受野高达 $k=63$ 的大核时域卷积，将稠密的 CNN 空间特征压缩为每帧仅 6 个结构化 token，在保留高保真唇读视觉音素（Visemes）与轨迹的同时将额外 token 增量严格控制在 38% 以内；最后由 Transformer Encoder 进行跨帧全局上下文编码，将离散的逐帧运动增量融合成连贯的行为时序语义。该编码器无需人脸对齐或唇部 ROI 裁剪，能直接从原始视频中通过浅层注意力自发锁定说话人嘴部。

2. 视觉注册说话人日志与识别（VR-SDR）及抗捷径基准构建 为从根本上打破单模态启发式偏差带来的“虚假繁荣”，本文提出了 VR-SDR 任务规范。模型仅依据自然语言外观描述（无需声学参考片段预注册）在多说话人音视频流中完成身份对齐，并强制采用严格的身份固定评估指标： - Identity-Fixed SA-WER（说话人归属词错误率）：要求转录文本与被绑定的视觉注册 ID 完全一致，杜绝了传统 cpWER 允许通过标签重排列掩盖身份错绑的漏洞： $$\text{SA-WER} = \frac{\sum_{s \in \mathcal{S}} \text{WER}(\text{Ref}_s, \text{Hyp}_s)}{\sum_{s \in \mathcal{S}} |\text{Ref}_s|}$$ - Identity-Fixed IER（说话人识别错误率）：在时间维度上强制约束输出与注册身份绝对对应，统计漏检时长 $\text{Miss}_s$、虚警时长 $\text{FA}_s$ 与混淆时长 $\text{Conf}_s$ 相对于真实发言时长 $\text{Dur}_s$ 的比例： $$\text{IER} = \frac{\sum_{s \in \mathcal{S}} (\text{Miss}_s + \text{FA}_s + \text{Conf}_s)}{\sum_{s \in \mathcal{S}} \text{Dur}_s}$$ 在构建基准时，数据集包含 464 段多人交谈长片段（VR-SDR，1.2 小时），并辅以语音识别（SR）、声学说话人确认（SV）、原始画面说话人定位（SL）和说话人识别（SI）四大原子诊断任务；尤其对 SL 和 SI 严格人工清洗，剔除麦克风、单人正脸、特写居中等视觉捷径，构建出必须依靠视听联合动态线索方能求解的 Hard 难集。

3. 三阶段渐进式训练与模态隔离对齐策略 为防止强模态（音频和文本）在训练初期形成表征主导而压制微弱的唇动残差特征，模型采用了分步隔离对齐机制。在第一阶段，聚合 AVSpeech、LRS2、LRS3、VoxCeleb2 与 AVA-ASD 等大规模说话人数据，通过人脸中心点回归与音视频语音识别（AVSR）多任务损失对 Visual Delta Encoder 进行预训练，使其内生具备空间位移跟踪与唇动音素抽取能力；在第二阶段，冻结 Visual Delta Encoder 和 LLM 主干，绕过 Visual Base Encoder 与 Audio Encoder，仅训练连接残差流与 LLM 的轻量 MLP 投影层，在严格的模态隔离下强迫 LLM 学习将高频运动增量解释为行为语义；在第三阶段，构建约 150 万条涵盖各项原子任务与复合日志的统一音视频指令微调集，冻结所有特征编码器并更新投影层，同时对 LLM 浅层进行全量微调以深化底层跨模态融合、深层采用 LoRA 适配，最大化协同能力并保留基座语言泛化性。

损失函数 / 训练策略¶

在阶段一中，采用平滑 $L_1$ 损失约束人脸中心坐标以实现空间追踪，结合 CTC / 交叉熵损失监督多任务 VSR/AVSR 唇读任务；阶段二以自回归因果语言建模损失 $\mathcal{L}_{\text{LM}} = -\sum_{t} \log P(y_t | y_{<t}, X_{\text{delta}})$ 进行投影层跨模态对齐；阶段三基于统一的多模态指令数据进行端到端微调，自回归预测格式化结构序列。LLM 采用前几层全参数微调与后几层 LoRA 微调的混合策略，优化器为 AdamW，学习率采用余弦退火衰减。

实验关键数据¶

主实验¶

在 HumanOmni-Speaker Benchmark 上，将 HumanOmni-Speaker 与主流闭源及开源 Omni 模型进行了全方位对比（数值均为百分比误差率，越低越好）：

模型	参数量	语音识别 SR (↓)	说话人确认 SV (↓)	说话人定位 SL (↓)	说话人识别 SI-Hard (↓)	VR-SDR What (SA-WER) (↓)	VR-SDR When (IER) (↓)	全局综合 AVG (↓)
Gemini3-Pro	闭源	1.39	5.2	12.8	30.5	36.6	36.3	36.5
Qwen3-Omni-flash	闭源	1.22	43.9	2.8	43.5	82.9	47.2	65.0
OLA	7B	1.9	51.1	20.6	63.2	95.4	56.85	76.1
VITA1.5	7B	3.4	51.4	20.2	56.6	93.6	54.40	74.0
Qwen2.5-Omni	7B	1.8	37.1	7.4	54.5	83.6	49.4	66.5
Qwen2.5-Omni-SFT	3B	2.0	13.4	3.0	33.2	52.1	31.5	41.8
HumanOmni-Speaker (本文)	3B	1.9	13.2	0.8	21.1	47.1	28.5	37.8

在视觉语音识别（VSR）与视听语音识别（AVSR）评测中（LRS2 / LRS3 数据集，WER %）：

模型类型	模型	预处理方式	LRS2 VSR (↓)	LRS2 AVSR (↓)	LRS3 VSR (↓)	LRS3 AVSR (↓)
专用 VSR 模型	AutoAVSR	唇部对齐裁剪	27.9	1.5	33.0	0.9
专用 VSR 模型	AV-HuBERT Base	唇部对齐裁剪	31.2	-	34.8	-
LLM-AVSR	Llama-AVSR	唇部对齐裁剪	-	-	24.0	0.77
Omni 模型	Qwen2.5-Omni	原始视频	-	3.47	-	3.63
Omni 模型 (本文)	HumanOmni-Speaker	原始视频 (免裁剪)	29.8	1.36	33.4	0.76

消融实验¶

在特征流组合与系统架构设计上的消融实验（如 Table 5 所示）：

配置 / 架构	视觉 Base (1-2 fps)	视觉 Delta (25 fps)	音频流	说话人定位 SL 错误率 (%) (↓)	VR-SDR What (SA-WER %) (↓)	VR-SDR When (IER %) (↓)	说明
分离式管线 (Whisper+Qwen3-VL)	-	-	-	-	64.2	39.3	级联误差累积，跨模态割裂
仅静态视觉 (Base+Audio)	是	否	是	3.0	52.1	31.5	缺失动态唇动与位移残差
仅动态视觉 (Delta+Audio)	否	是	是	1.2	-	-	具备优异的连续空间追踪能力
完整模型 (Full Model)	是	是	是	0.8 (-73.3%)	47.1 (-9.6%)	28.5 (-9.5%)	时空互补，实现最优音视频协同

关键发现¶

高频残差是破解硬核跨模态绑定的绝对核心：对比仅做 SFT 的 Qwen2.5-Omni 基线，加入 Visual Delta Encoder 使 Speaker Localization 错误率从 3.0% 骤降至 0.8%（相对降低 73.3%），在去除视觉捷径的 SI-Hard 任务中错误率从 33.2% 压缩至 21.1%，VR-SDR 上的 SA-WER 与 IER 分别进一步改善了 9.6% 与 9.5%。
端到端原始输入远优于人脸裁剪级联：消融显示，若先使用离线检测器裁剪人脸框再送入模型，SI-Hard 错误率从 21.1% 暴涨至 38.0%。这证明人脸检测器在复杂遮挡下存在级联失误，且剥离了头部姿态、相对位置和肢体手势等全局上下文信息。
超参数最佳平衡点：帧率实验证明 2 fps 完全无法实现唇读，16 fps 仅具备初步能力，25 fps 方能实现精细视觉音素识别；每帧 token 数在达到 6 时定位性能迅速饱和，相比暴力 ViT 扩展减少了 10 倍以上的 token 冗余，总 token 开销仅增加 38%。

亮点与洞察¶

开创免人脸预处理的端到端全模态唇读：传统 VSR 方案高度依赖面部检测、关键点对齐与唇部 ROI 紧密裁剪等脆弱前处理，本文首次证明通过卷积时空结构压缩（SVT）可以直接在全景原始视频上实现媲美 AutoAVSR 的全自适应唇读与视听识别。
严格剥离视觉捷径的抗偏置评测准则：揭示了开源多模态模型在说话人任务上的“能力幻觉”，指出现有模型主要在利用麦克风、单人居中等非因果静态特征；VR-SDR 强制绑定自然语言注册与细粒度声学-视觉时序，树立了可靠的诊断标尺。
可迁移的残差双流视频表征范式：将视频显式拆解为低频全图语义（I 帧逻辑）与高频运动残差（P/B 帧逻辑）的解耦思想，极具泛化价值，可直接推广至微表情分析、手势交互、手语翻译等高频具身动作感知领域。

局限与展望¶

3 人及以上复杂多人重叠语音仍具挑战：实验表明，随着同时说话人数从 2 人增至 3 人，所有模型（包括 Gemini3-Pro）的 SA-WER 与 IER 均出现显著退化，重叠语音声学分离与跨面孔视觉分配仍是当前全模态架构的通病。
计算资源与长视频时序窗口限制：尽管每帧 6 个 token 已极大压缩序列长度，但在持续数十分钟的超长会议场景中，25 fps 累积的时序 token 依然会对注意力机制的显存和吞吐带来压力，未来可结合自适应动态帧率或状态空间模型（SSM）进一步轻量化。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次提出消除视觉捷径的 VR-SDR 范式，设计了每帧仅 6 token 的 25 fps 视觉残差双流编码器]
实验充分度: ⭐⭐⭐⭐⭐ [构建了包含 4 大原子诊断任务与复合日志的基准，全面覆盖 ASR/VSR/AVSR/VR-SDR 并与闭源顶尖模型深度对比]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严密清晰，动机剖析深刻，实验图表详实且消融透彻]
价值: ⭐⭐⭐⭐⭐ [打破了全模态模型在多人交谈动态时空对齐上的瓶颈，开源代码与基准推动具身交互及智能助理演进]