OmniHuman: A Large-scale Dataset and Benchmark for Human-Centric Video Generation¶

会议: ECCV2026
论文: ECCV 原文
数据集: OmniHuman
领域: 视频生成
关键词: 音视频联合生成、分层标注、身份绑定、人物交互、感知评测

一句话总结¶

OmniHuman 将 1 百万段人物视频组织成场景、交互、个体三级监督，并用同层级的 OHBench 诊断生成质量；在其中 20% 数据上微调 LTX-2，改善了音画对齐与多数人物指标，但并非所有指标都提升。

研究背景与动机¶

音视频联合生成已经能把人物外观、说话和动作放进同一段视频，但“像一段真实的人物活动”比“画面清晰”要求更多。人物走到远景时脸部能否保持稳定，两人轮流讲话时声音是否归属正确，手操作物体时接触是否连续，都不由单帧美学质量决定。传统人脸或说话头像数据强调清晰正脸和口型，较少覆盖人与环境的声音联系、复杂镜头运动及精细人手操作。 OpenHumanVid、SpeakerVid-5M 等扩大了人物数据范围，但本文认为场景、交互和个体属性仍缺少同时对齐的细粒度监督。这里的瓶颈假设是数据结构不完整，而不是仅仅视频总量不足；这也是论文选择构建数据集而非新生成网络的原因。

评测侧也存在相应盲点：一段视频可以整体好看，却让未说话的人持续动嘴，或把两个人的脸逐渐混在一起。只计算总体视频质量，难以区分模型到底没有学会环境声、说话人绑定，还是人体与物体之间的物理关系。作者因此把场景和镜头放在全局层，把人与人、人与物放在交互层，把身份、身体、口型及语音放在个体层。同样的层级既指导收集什么样的数据，也决定生成后检查哪些错误，使监督与诊断的粒度相互对应。不过，这种设计并不自动证明数据缺口是所有失败的根因；后续微调实验只检验了整套数据对一个骨干模型的帮助。

现有检测、跟踪、语音分离及多模态模型，使大规模自动标注这一方案成为可能。本文并非让一个多模态模型直接自由描述所有内容，而是先得到身份轨迹、语音转录和同步关系，再把这些约束写入描述。这样做尤其针对“描述说得通，但不是画面中那个人说的话”这一类跨模态错误。 核心 idea：用可核对的身份与音画对应关系构建分层人物数据，再用同层级评测区分场景质量、交互真实性和个体保真度。

方法详解¶

整体框架¶

输入是开放场景的原始视频及其音轨，产物不是一个新的生成器，而是带时空轨迹和语义描述的音视频样本，以及一个独立的评测协议。数据侧先清洗视频，再跟踪人物、估计姿态并将语音片段绑定到视觉身份，最后生成带身份锚点的分层描述。样本同时保留场景与背景声音、逐帧人物位置和姿态、每个人的属性及说话内容，使不同下游任务可以使用相应字段。评测侧 OHBench 从全局、交互、个体三个层级返回多项分数，而不是只给一个无法定位问题的综合排名。训练验证使用这些数据微调已有 LTX-2；推理评测则运行各生成模型，再对生成的视频和音频进行诊断。标注流水线中的 Qwen3-Omni 与评测中的 Gemini 是数据处理和评价工具，不能误写成 LTX-2 新增的网络分支。

关键设计¶

1. 渐进式音视频清洗：先保证信号可用，再判断内容质量

TransNetV2 先按镜头边界切出短片段，减少一个训练样本内突然切场景造成的语义断裂。 OCR 与标志检测估计字幕、水印等污染区域，再围绕主体裁剪，而非直接把带字幕的视频全部送入训练。音频检查排除缺轨、时长异常、高静音比例和低音量样本；视频与音频统一为 30 FPS 和 44.1 kHz。这种标准化方便后续时间对齐，但实际口型同步仍需专门验证，不能仅凭采样率一致来保证。 Demucs 做四源分离，以人声作为后续说话内容分析的目标轨道，其余轨道混合为背景声音。这里并没有把环境声音一律当噪声删除，因为人物动作与环境声的对应关系本身就是学习目标。

视觉筛选采用由轻到重的顺序：先用逐帧 CLIP 美学分数粗筛，再检查残留文字和水印，最后用 DOVER 判断视频构图与清晰度。运动检查使用 UniMatch 光流过滤静止、过度抖动或异常运动片段，避免高画质却没有有效动态的信息占据训练预算。感知哈希和 SigLIP 余弦相似度进一步检查时序语义连续性，补足只看单帧质量无法发现的跳变。每一步都会剔除不合格样本，因此最终数据分布也受这些上游模型的偏好影响。正文没有给出全部筛选阈值与逐级保留比例，不能据此复现每一条样本的去留。这些操作对应原文第 3.1 节，第 5–6 页。

2. 身份与音画绑定：把“谁在画面里”和“谁在说话”连起来

YOLOv11 检测人体，经 NMS 精化后交给 MOTRv2，通过跨帧关联形成每个人的边界框及置信度轨迹。跟踪允许最多丢失 5 帧来处理短暂遮挡，避免人物一被遮住就被错误重置身份。 DWPose-L 与专门的手部处理为每条轨迹估计 134 个全身关键点，包含身体、脸、脚和双手。关键点同时保留二维坐标与置信度；正文关键点公式有提取损坏，笔记不将残缺表达恢复成精确公式。系统用面部区域的拉普拉斯方差判断清晰度，并排除持续面部模糊的视频。每条轨迹选取面部关键点平均置信度最高的一帧作为参考脸，ArcFace 嵌入相似度高于 0.55 时按同一身份关联。这里描述的是视频内身份对应，并不等同于全文解释清楚了跨视频 80,000 个身份的全部去重流程。

在音频侧，3D-Speaker 将人声切成带说话人索引的时间区间，但音频聚类本身不能指出画面中的哪张脸在讲话。因此 SyncNet 比较人脸框序列与各语音区间的同步响应，再以贪心匹配把语音片段分配给响应最高的视觉轨迹。保留条件还包括同步分数超过预设阈值，以及时间偏移在 3 帧以内；正文未给出该分数阈值的具体数值。未匹配到视觉主体的音频保留为背景音，避免强行把画外音归给某个可见人物。 FunASR-Nano 随后为保留的语音片段转录文本，使每个人关联到明确的讲话时间和内容。这样生成监督里既有连续身体轨迹，也有带视觉身份的语音区间，能够区分正在说话的人与安静倾听的人。该步骤见第 3.2–3.3 节，第 6–7 页。

3. 身份感知分层描述：用结构化证据约束长文本

Qwen3-Omni 的第一阶段分别提取全局视频类型、景别、运镜、背景和光照，以及每个人的外观、动作和表情。音频描述还包括带时间戳与情绪的讲话内容、音乐的类型和相对音量、声音事件及其文字说明。作者在标注中约束语音和音乐类别互斥，并去除重复讲话或歌词，目的是降低监督冲突，而不是声称真实音轨不会同时包含二者。参考脸与人物 ID 一起输入，使多模态模型必须将描述对应到明确主体，而非仅使用容易混淆的“他”“她”。第二阶段才把这些碎片信息组织成长描述，因此场景、人物和音频信息可以共同表达同一个事件。为了避免模型自由编造台词，描述中先插入 [speech_m]、[lyrics_m] 占位符，再用第一阶段的转录结果替换。

身份插入也分两步：先写通顺的描述，再在指向人物的名词或代词后加上相应的 REF 身份锚点。它解决的不是一般文本流畅性问题，而是多人物句子中动作、外观和台词究竟属于谁的问题。保留前还要检查结构化人物数是否与跟踪输出一致，并核对说话人数与转录文本是否落在允许的编辑距离范围内。这些检查可以压低内部矛盾，但不能消除所有上游错误；若 ASR 本身识别错词，占位符仍会忠实地填入错误文本。最终每个人具有身份、边界框、姿态、属性、语音元数据和描述，组成可供下游任务选择的结构化监督。这一机制见第 3.4 节，第 7–8 页。

4. 分层感知评测：把交互错误从整体画质中分离出来

OHBench 正文列出 331 个单人、128 个双人、20 个人物与物体交互视频，并声称它们相对训练数据存在领域差异。这个划分意在检测泛化，但正文没有完整给出领域差异和训练测试隔离的操作细节。全局层的 IQ 用 MUSIQ 衡量成像失真，DD 用 RAFT 光流反映运动强度；二者不能单独判断动作是否自然。背景合理性 BP 由 Gemini 对静态镜头中的稳定性、动态镜头中的视差等进行 1–10 分判断。音频美学 AbS 是 Audiobox 的内容愉悦性、用途、制作复杂度与制作质量四个维度的平均值。 KL 和 FD 分别衡量生成音频与真实音频的分布及感知差异，越低越好；T-A 使用 CLAP 衡量音频与文本的语义相似性。原文用 ImageBind 评价音画事件同步，正文称 A-V，结果表称 V-A；它没有给出时间偏移转换成表中分数的完整实现。

交互层以 Gemini 评价互动自然性 IN、倾听者真实感 LR 和情绪相似性 ES，均采用 1–10 分。 LR 同时检查声音是否绑定正确人物，以及未讲话的倾听者是否自然保持安静，因此不能仅解释为表情质量。双人身份一致性 IC* 使用 ArcFace 比较双方生成脸与各自真实参考脸的余弦相似度，再取平均。人与物体交互分别检查物体一致性 OC 和接触自然性 CN，关注物体状态连续性及接触位置、时间和力学合理性。个体层用 ArcFace 测身份保真 IC，用 Gemini 测属性一致性 AC，并用 SyncNet 测口型同步 Sync。语音质量 SQ 使用 DNSMOS 的 OVRL 分数，WER 则用 SenseVoice 转录与目标文本比较词错误率，越低越好。这些评价器的尺度和含义不同，不能把高 DD 直接当成更好的互动，也不应在没有定义权重时自行平均成总分。定义来源为第 4.1–4.3 节，第 9–11 页；作者把与人类判断的一致性证据放在补充材料，当前正文阅读不足以独立核验该主张。

损失函数 / 训练策略¶

本文没有提出新的生成损失函数；效果验证是从 OmniHuman 随机抽取 180,000 个单人和 20,000 个双人样本微调 LTX-2。共 200,000 个样本，占 1 百万数据的 20%，这是整套数据的效用实验，而不是分别移除标注组件的消融。正文第 5.3 节未报告完整学习率、训练步数、优化器或参数更新范围，笔记不补造这些设置。 I2AV 评测目标时长为 5 秒，不支持时使用最接近的时长；各模型使用最接近 720P 的分辨率。这些是评测推理设置，不能反推所有微调训练样本都采用同一时长或分辨率。

实验关键数据¶

主实验¶

下表摘录原文表 2，第 11 页，任务为 I2AV，采用上述约 5 秒、约 720P 的评测条件。选择画质、运动、音频及对齐指标，同时保留一个闭源参照和一个在 T-A 上较强的开源参照。

模型	IQ ↑	DD ↑	AbS ↑	KL ↓	FD ↓	T-A ↑	V-A ↑
Veo3	0.737	0.878	5.40	0.79	0.87	0.39	0.37
Ovi	0.701	0.691	3.75	0.97	0.90	0.40	0.23
LTX-2	0.720	0.601	3.69	1.04	1.06	0.28	0.27
LTX-ft	0.721	0.665	4.13	0.77	0.93	0.35	0.30

KL 从 1.04 降至 0.77，作者报告相对改善 25.9%；这里的改善指差异减小，不是 KL 增大。 T-A 从 0.28 增至 0.35，相对提升 25.0%，但微调模型仍未超过 Ovi 的 0.40。 IQ 仅从 0.720 增至 0.721，收益主要不在静态清晰度，而更明显地体现在运动、声音与跨模态关系上。表中保留模型名 Veo3；第 5.1 节写 Veo3.1，存在版本命名不一致，不能未经核实自行统一。

消融实验¶

正文没有逐项模块移除实验；下表是数据微调前后分析，摘自原文表 3，第 12 页，同为 I2AV。双人指标和物体交互指标用于相应场景子集，不能把这些均值解释为每一类场景都同幅改善。

配置	IC* ↑	IN ↑	LR ↑	OC ↑	CN ↑	IC ↑	Sync ↑	SQ ↑	WER ↓
LTX-2	0.562	6.47	8.94	6.95	6.98	0.656	6.91	2.89	0.29
LTX-ft	0.589	6.53	8.92	7.12	7.32	0.696	7.11	2.98	0.27

CN 从 6.98 提升至 7.32，作者报告相对提升 4.9%，支持接触关系建模有所改善。 IC 从 0.656 增至 0.696，作者报告相对提升 6.1%；双人 IC* 同时由 0.562 增至 0.589。 LR 却从 8.94 降至 8.92，因此第 5.3 节“所有指标都改善”的文字结论不成立。原表为 LR 标注 -0.1%，也与展示数值计算的约 -0.22% 不完全一致；这里保留原始值，不把该百分比当成可验证结果。

关键发现¶

细分指标比总排名更有诊断力：LTX-2 的 LR 已很强，但音频质量和 T-A 仍能通过数据微调改善。
原文表 4，第 12 页，还评测 S2V，说明 OHBench 可选用适合不同生成任务的指标；这不代表所有声称支持的任务都已充分验证。
第 5.2 节报告远景比近景更易出现脸和口部失真、双人场景更易身份漂移，但正文未给出相应分层误差率。

亮点与洞察¶

最可复用的是“先绑定身份，再组织描述”。将动作和台词都绑定到同一人物锚点，比增加普通长 caption 更直接地针对多人归属错误。
占位符机制把叙事组织与精确转录分开。语言模型可以负责连贯性，但不被允许凭上下文重新编造对话内容。
数据与评测共用三个层级，使“应该补什么数据”和“补完后改善了什么”可以对照；这是评测设计启发，不是已完成的组件因果证明。

局限与展望¶

数据以单人、双人及英语为主，正文称英语占比高达 80%；不能直接推广到多人群体互动或充分多语言覆盖。
人物与物体交互测试只有 20 段，稀有工具接触和复杂遮挡的覆盖有限，也未报告置信区间。
自动标注与模型评委都可能继承上游偏差，尤其是 ASR、身份识别和社会互动判断；需要独立人工审计及分群误差分析。
原文图 4 的单人、双人、人物与物体比例标为 60.0%、30.0%、10.0%，与正文 331、128、20 的数量不相符，笔记不擅自修正。
第 3.5 节称所有视频至少高清，但图 3 出现 <720P 类别；该图还存在时长、分辨率子图引用错位，不能据此保证所有样本的分辨率下限。
缺少分层标注、过滤策略及数据规模的受控消融，无法确定收益来自哪一步；进一步应固定训练预算比较各组件及更广泛骨干。
正文关于人工一致性的依据指向补充材料，本次未核验对应实验；网页数据许可、人物同意与实际数据可用性也未联网核查。

评分¶

新颖性: 4/5。贡献主要在统一分层数据与人物交互诊断，而不是新网络结构。
实验充分度: 3/5。模型覆盖较广且有微调验证，但缺少组件消融、误差区间和完整训练细节。
写作质量: 3/5。方法链条较清楚，不过图文统计、模型版本名及“全部改善”表述存在不一致。
价值: 4/5。为音视频人物生成提供具体的数据组织方式和可定位失败的评价维度。