HumanScore: Benchmarking Human Motions in Generated Videos¶

会议: NeurIPS 2026
arXiv: 2604.20157
OpenReview: https://openreview.net/forum?id=YGSNuUj5dh
论文: https://cs.stanford.edu/~xtiange/projects/humanscore/
领域: 人体理解
关键词: 人体运动评测、生物力学合理性、AI 生成视频评测、运动学与动力学分析

一句话总结¶

本文提出了首个面向 AI 生成视频中人体运动生物力学合理性的系统化评测基准 HumanScore，基于解剖学、运动学和动力学三层架构定义了六项可解释定量指标，在 102 个标准化动作提示上评测了 13 个主流视频生成模型，揭示了当前视频生成模型在像素级视觉逼真度与真实人体生物力学规律之间的显著差距。

研究背景与动机¶

近年来视频生成模型在大规模数据和算力驱动下取得了飞速进展，生成的画面在外观、光照和相机运动上日益逼真，在 VBench、T2V-CompBench 等主流评测基准上已逐渐趋于饱和。然而，人类观察者依然能轻易分辨出合成视频与真实视频，其中最核心的破绽就在于人体运动：无论是多出或残缺的肢体、随帧伸缩的骨骼长度，还是违背关节活动范围的扭曲姿态与不自然的加减速抖动，都暴露出当前模型在“视觉逼真度”与“物理及生物力学合理性”之间的巨大鸿沟。在影视娱乐、体育教学、数字人播报等以人为核心的应用场景中，人体动作是否符合物理与生理规律直接决定了生成内容的可用性与可信度。

长期以来，针对生成视频中人体运动的专门生物力学评测一直处于空白。一方面，现有的视频评测基准（如 VBench、EvalCrafter、Video-Bench）主要关注像素级画质、语义对齐或光流平滑度，而基于 FVD 或动作分类器的分布级指标只能给出笼统的整体排序，无法诊断某一段动作究竟违背了哪项生理约束；另一方面，从单目视频中恢复 3D 人体结构并分析运动力学曾极具挑战。直到近期，单目 3D 人体姿态与网格恢复技术（如 MeTRAbs-XL、PromptHMR）在 3DPW 等基准上达到高度成熟与稳定，才为从生成视频中直接提取结构化 3D 运动并进行细粒度生物力学检验提供了可靠的技术前提。

基于“生成模型视觉指标饱和”与“单目 3D 人体拟合走向成熟”这一交汇点，本文选择从人体生物力学的经典三层金字塔出发，将单目视频中的人体姿态重建与 OpenSim 生物力学先验相结合，构建一套与外观指标互补的诊断式评测体系。核心 idea：构建首个面向生成视频人体运动的生物力学评测基准 HumanScore，通过多阶段去重筛选与五要素标准化提示词激发不同难度的动作，并从生成视频中提取 2D 异常检测框、3D SMPL-X 网格与自由骨骼长度的 OpenSim 生物力学骨架，沿“解剖学-运动学-动力学”三层架构通过频率-严重度-持续性统一公式量化六维生理违规程度。

方法详解¶

整体框架¶

HumanScore 的评测流水线以标准化动作集构建与提示词工程为起点，驱动待测视频生成模型合成单人运动视频，随后通过多模态人体表征拟合提取结构化运动参数，最终在三层生物力学架构下完成六维指标计算与汇总。整个流程包含四个核心设计环节：首先是分层动作集筛选与五要素提示词设计，从大规模动作库中提炼出覆盖不同难度与强度的标准提示词；接着通过去刚性约束的 OpenSim 与 3D 网格联合拟合，从单目生成视频中解耦出允许骨长自由变化的生物力学骨架序列与高精度 3D 人体网格；随后依次执行解剖学与运动学几何合理性检验以及基于牛顿定律代理的动力学与时序聚合评分，最终输出 0 到 100 分的可解释诊断得分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["Kinetics-700 初始动作池"] --> B["分层动作集筛选与五要素提示词设计<br/>语义去重 + 难度/强度分层 + 5要素标准化"]
    B -->|驱动生成模型合成视频| C["去刚性约束的 OpenSim 与 3D 网格联合拟合<br/>HADM 检测 + 87关键点自由骨长 OpenSim + PromptHMR 网格"]
    C --> D["解剖学与运动学几何合理性检验<br/>(I) 多余肢体 + (II) 骨长稳定性 + (III) 关节活动度 + (IV) 自穿模"]
    D --> E["基于牛顿定律代理的动力学与时序聚合评分<br/>(V) 速度极值 + (VI) 运动平滑度 + 频率/严重度/持续性聚合"]
    E --> F["HumanScore 六维诊断与总分 (0~100)"]

关键设计¶

1. 分层动作集筛选与五要素提示词设计：消除语义冗余与生成模型的视角/背景偏置

为了避免自然语言提示词的歧义以及不同视频生成模型在镜头运动、人物截断和背景杂乱上的固有偏置，HumanScore 首先以 Kinetics-700 为初始池进行四步半自动筛选：第一步利用 CLIP 与 SBERT 提取动作名称嵌入并计算余弦相似度，以 0.8 为阈值执行最远点采样（FPS）剔除语义近义项（如保留高尔夫挥杆而剔除切杆）；第二步借助大语言模型（LLM）将候选动作归类至步态、体操等运动族；第三步验证动作对上肢主导、下肢主导、全身协调、翻转旋转、自接触及物体交互的全面覆盖，将候选集收敛至 120 个；第四步通过生成模型实测与人工核验剔除过于抽象或失败率极高的动作，最终确立 51 个动作类别，均匀划分为简单、中等、困难三档（每档 17 个），每个动作配以轻柔（Gentle）和剧烈（Intense）两种强度描述，形成 \(51 \times 2 = 102\) 条标准提示词。在此基础上，所有提示词统一遵循“场景（室内纯色演播室）+ 动作 + 强度 + 细节描述 + 相机约束（单人全身、固定静止镜头、人物居中无遮挡）”五要素模板，从源头上将人体自身运动与相机运镜彻底解耦。

2. 去刚性约束的 OpenSim 与 3D 网格联合拟合：暴露局部骨骼形变并恢复精确解剖自由度

传统单目人体恢复方法（如序列级 SMPL 拟合）默认施加全局骨骼等长刚性约束，这会强行掩盖生成视频中常见的肢体局部拉伸或忽长忽短等伪影；同时，标准 SMPL 模型为所有关节统一分配 3 个旋转自由度（DoF），不符合真实人体解剖学结构（例如膝关节和肘关节在生理上主要是单自由度的铰链关节）。为此，HumanScore 设计了三条互补的视觉提取支路：一是调用专门针对生成图像人体伪影训练的 HADM 模型逐帧检测多余手、臂、腿、脚；二是采用 PromptHMR 在重力-视角坐标系下恢复时序连贯的逐帧 3D SMPL-X 表面网格用于空间碰撞分析；三是构建基于生物力学的两阶段骨架拟合管线——先用 MeTRAbs-XL 预测每帧 87 个稠密 3D 关键点（每个肢体段至少 3 个点以完整确定局部骨段旋转），再将其优化拟合至 OpenSim Rajagopal 生物力学骨架（精确建模骨盆 6 DoF、髋/肩球窝关节 3 DoF、膝/踝/肘铰链关节 1 DoF、腕部万向节 2 DoF 等）。尤为关键的是，本文在骨架优化阶段移除了模板骨架的全局尺度与骨长刚性约束，允许各骨段长度逐帧自由变化，从而让生成视频中的局部骨骼伸缩无所遁形。

3. 解剖学与运动学几何合理性检验：量化拓扑畸变、骨长漂移、关节超限与网格自穿模

基于人体生物力学金字塔的底层（解剖学）与中层（运动学）约束，本文设计了前四项核心指标。在解剖学层面，(I) 多余肢体（Extra Limbs） 综合 HADM 在四个异常肢体类别上的最高置信度，通过温和阈值（\(0.005\)）与严重阈值（\(0.03\)）映射逐帧异常严重度；(II) 骨长一致性（Bone Length） 计算每根骨骼在去刚性拟合下的逐帧长度 \(l_b(t)\) 与其全视频中位数参考长度 \(L_b = \operatorname{median}_t l_b(t)\) 的相对 \(\ell_1\) 偏差 \(e_b(t) = |l_b(t) - L_b| / (L_b + \epsilon)\)，求全骨平均误差 \(\bar{E}\) 后按容差 \(\tau = 0.15\) 线性映射为百分制得分。在运动学层面，(III) 关节活动范围（Joint Range of Motion, RoM） 将 OpenSim 各自由度关节角 \(\theta_t^{(j,d)}\) 与生物力学标准生理区间 \([\theta_{\min}^{(j,d)}, \theta_{\max}^{(j,d)}]\) 比对，引入 \(15^\circ\) 拟合容差 \(\mathrm{tol}\) 后计算超限程度并按生理跨度的一半归一化；(IV) 自穿模（Self-Collision） 在 PromptHMR 恢复的 SMPL-X 网格上构建包围盒层次结构（BVH）进行快速三角形相交测试，剔除共享顶点或边的相邻面片并通过非局部滤波抑制衣物擦碰噪声，统计碰撞面片占比在 \(0.01\) 至 \(0.03\) 双阈值区间内的严重程度。

4. 基于牛顿定律代理的动力学与时序聚合评分：以速度/加速度极值反映受力合理性并统一三态聚合

生物力学金字塔顶层的动力学合理性本应检验肌肉内力与环境外力，但从单目视频直接反演真实力矩在复杂非周期运动中极不稳定。注意到视频中人体质量恒定，本文巧妙利用牛顿第二定律（\(F = ma\)）将对受力的检验转化为对运动速度、加速度及加加速度（Jerk）的检验。具体而言，(V) 运动学极值（Kinematic Extremes） 对 OpenSim 关节角序列做中心差分求角速度，并通过正向运动学（FK）求各肢体段质心的线速度，分别对比生物力学生理极限 \(\omega_{j,d}^{\max}\) 与 \(v_s^{\max}\) 计算超限比例；(VI) 运动平滑度（Motion Smoothness） 进一步通过中心差分计算关节角加速度 \(\alpha_t^{(j,d)}\)，并在短时间窗 \(\mathcal{W}(t)\) 内累加角加加速度的局部能量 \(E_J^{(j,d)}(t) = \sum_{u \in \mathcal{W}(t)} (J_u^{(j,d)})^2\)，对比生理加速度与 Jerk 极限以捕捉非自然的顿挫与高频抖动。为了将逐帧异常标记 \(b_t \in \{0, 1\}\)、逐帧异常严重度 \(m_t \in [0, 1]\) 以及最长连续异常帧段长度 \(L_{\max}\) 转化为统一的视频级得分，除骨长指标外，其余指标均采用“频率（\(r\)）-严重度（\(s\)）-持续性（\(p\)）”三元组统一聚合公式：

\[r = \frac{1}{T}\sum_{t=1}^{T} b_t, \quad s = \frac{\sum_{t=1}^{T} m_t}{\max\bigl(1, \sum_{t=1}^{T} b_t\bigr)}, \quad p = \frac{L_{\max}}{T}, \quad \mathrm{Score} = 100\,\bigl(1 - (\alpha r + \beta s + \gamma p)\bigr)\]

其中默认权重设为 \(\alpha = 0.5, \beta = 0.3, \gamma = 0.2\)。该设计同时兼顾了偶发严重崩坏与因运动模糊导致的连续多帧持续伪影，使各项得分均规范化至 \([0, 100]\) 区间且具备直观的物理意义。

实验关键数据¶

主实验¶

本文在 102 个标准动作提示上全面评测了 9 个闭源商业模型与 4 个开源模型（共 13 个 SOTA 视频生成模型），并以真实人类动作视频（Real Videos）作为理想上界参考。表 1 展示了完整的 HumanScore 排行榜结果（分值越高代表人体运动越符合生物力学规律）：

模型类型 / 名称	(I) 多余肢体	(II) 骨长一致性	解剖学平均	(III) 关节活动度	(IV) 自穿模	运动学平均	(V) 运动学极值	(VI) 运动平滑度	动力学平均	总分 (Overall)
真实视频 (Real Videos，上界参考)	100.0	92.0	96.0	89.6	89.1	89.4	99.0	96.2	97.6	94.3
闭源模型：Seedance 1.0 Pro fast	94.2	93.6	93.9	83.6	85.8	84.7	94.5	94.2	94.3	91.1
开源模型：HunyuanVideo 1.5	95.6	94.9	95.3	80.8	85.2	83.0	95.1	94.8	94.9	91.1
闭源模型：KlingAI 2.5 Turbo Pro	89.3	92.6	91.0	82.4	90.3	86.4	95.2	94.9	95.1	90.8
闭源模型：Ray 3.0	80.5	92.8	86.7	76.0	89.0	82.5	93.9	93.6	93.8	87.7
开源模型：Kandinsky 5.0 pro	81.8	91.6	86.7	75.7	85.6	80.7	92.8	91.4	92.1	86.5
闭源模型：Sora-2	91.9	89.7	90.8	72.5	83.8	78.2	90.9	87.9	89.4	86.1
开源模型：Wan 2.2	96.1	91.9	94.0	71.8	85.7	78.8	87.9	83.3	85.6	86.1
闭源模型：Veo 3.1 fast	78.4	90.8	84.6	72.0	87.5	79.8	93.8	92.8	93.3	85.9
闭源模型：Hailuo 02	85.6	92.5	89.1	71.3	82.8	77.1	91.9	90.6	91.2	85.8
闭源模型：PixVerse 5.5	82.9	91.0	87.0	71.3	85.9	78.6	91.3	90.7	91.0	85.5
闭源模型：Wan 2.6	85.8	93.3	89.6	68.1	87.9	78.0	88.6	84.9	86.8	84.8
闭源模型：Pika v2.2	86.0	90.3	88.2	67.0	82.5	74.8	83.1	80.6	81.8	81.6
开源模型：CogVideoX-5B	88.5	59.1	73.8	58.9	69.7	64.3	80.1	92.5	86.3	74.8

消融实验¶

为验证生物力学指标与传统视觉外观指标的互补性及自身鲁棒性，作者统计了 HumanScore 三大层级与 VBench 核心视觉维度的 Spearman 秩相关系数（表 2），并围绕姿态估计器替换、容差尺度缩放、聚合超参数 \((\alpha, \beta, \gamma)\) 网格搜索及人类偏好对齐（约 1200 份双盲问卷）进行了系统验证：

HumanScore 生物力学层级	vs. VBench 成像质量 (Imaging Quality)	vs. VBench 美学质量 (Aesthetic Quality)	vs. VBench 主体一致性 (Subject Consistency)	相关性特征与鲁棒性验证结论
解剖学正确性 (Anatomy)	0.669	0.679	0.808	与主体一致性正相关显著，但外观指标仍无法完全捕捉多肢体或局部骨长伸缩
运动学正确性 (Kinematic)	0.927	0.898	0.962	与 VBench 视觉与主体一致性高度相关，说明明显的几何扭曲往往伴随视觉崩坏
动力学正确性 (Kinetic)	0.349	0.328	0.186	相关性极低（\(0.186 \sim 0.349\)），证明传统外观与一致性指标几乎无法感知速度极值与加速度突变
人类偏好对齐 & 管线鲁棒性	—	—	—	与 ~1200 条专家偏好胜率的 Spearman \(\rho\) 接近 1.0；替换 PromptHMR / 时序滤波 MeTRAbs 及遍历 \((\alpha,\beta,\gamma)\) 均保持模型排名完全一致

关键发现¶

开源与闭源头部模型并驾齐驱，但与真实视频仍有明显差距：Seedance 1.0 Pro fast 与开源的 HunyuanVideo 1.5 以 91.1 分并列总榜第一，KlingAI 2.5 Turbo Pro（90.8 分）紧随其后；然而所有生成模型均未达到真实视频的得分水平（94.3 分），尤其在运动学关节活动度（III）上，生成模型最高仅 83.6 分（真实视频 89.6 分），暴露出复杂姿态下关节反折与过度伸展是当前模型的共性短板。
不同模型存在显著的“动态幅度 vs. 生物力学稳定”权衡（Trade-off）：HunyuanVideo 1.5（解剖学 95.3）和 Wan 2.2（解剖学 94.0）在维持骨骼拓扑和骨长恒定上表现最佳，但在剧烈运动下动作幅度偏保守；相反，部分追求大动态动作的模型容易在骨骼等长（如 CogVideoX-5B 骨长仅 59.1 分）或动力学平滑度上出现严重失分。
传统视觉指标对动力学违规存在“盲区”：表 2 显示，动力学指标与 VBench 主体一致性的相关性仅为 0.186，说明许多单帧画质精美、主体外观连贯的生成视频在时序运动力学上依然存在违反物理规律的速度尖峰与抖动，印证了引入专门生物力学指标的必要性。
提示词工程无法根治物理失真：尽管五要素提示词有效消除了镜头晃动和画面截断，但在中等与困难级别（如体操、芭蕾旋转、走扁带、跳高等）以及剧烈强度（Intense）设定下，所有模型的得分均出现显著下滑。

亮点与洞察¶

解除刚性约束的逆向思维设计：常规 3D 姿态拟合极力通过刚性骨架先验去“修正”视觉噪声，而本文反其道而行之，在将 87 个 MeTRAbs-XL 稠密关键点拟合至 OpenSim 时故意移除全局尺度与骨长刚性约束，把原本用于重建正则化的约束转化为检测生成模型“骨骼伸缩伪影”的探针，设计非常巧妙。
利用牛顿第二定律避开单目逆动力学陷阱：作者在附录中坦言曾尝试通过地面反作用力分配与逆动力学直接计算关节力矩，但在非周期复杂动作中误差极大；最终通过“质量恒定 + \(F=ma\)”将动力学检验优雅地降维至角速度、质心线速度与 Jerk 能量极值检验，兼具物理严谨性与单目工程可行性。
可迁移的“频率-严重度-持续性”三态时序聚合范式：本文提出的 \((r, s, p)\) 聚合公式不仅统计违规帧比例与平均幅度，还专门引入最长连续异常段占比 \(p = L_{\max}/T\) 来捕捉运动模糊或持续崩坏，这一评分范式可直接迁移至自动驾驶轨迹合理性评估、机器人仿真动作质量检验以及 4D 动态场景生成的时序伪影评测中。

局限与展望¶

对上游单目 3D 姿态与网格重建精度的依赖：由于单目 3D 重建存在固有的深度歧义，当视频出现严重自遮挡或快速运动模糊时，拟合误差会导致轻微的假阳性违规（这也是真实视频总分为 94.3 分而非 100 分的原因，如真实视频的骨长一致性为 92.0 分、运动学平均为 89.4 分）。未来随着 4D 人体重建模型的演进，HumanScore 的模块化管线可直接无缝升级。
缺乏脚部-地面接触物理与多主体交互评测：作者在附录 0.F.3 中详细探讨了脚底打滑/浮空（Foot-Ground Contact）、逆动力学力矩以及质心支撑多边形稳定性三项额外指标，但受限于单目深度点云噪声以及跳跃/奔跑等动态失衡动作的干扰，这些指标目前尚不具备稳定的区分度；同时当前基准仅聚焦于单人无遮挡运动，未来需向多人交互、复杂场景遮挡及人-物接触力学方向扩展。
从评测基准向生成模型训练奖励转化：当前工作仅将 HumanScore 用于后验评测，未来极具潜力的方向是将这六项可微或半可微的生物力学违规信号作为强化学习微调（如 RLHF / DPO / GRPO）的物理奖励函数，直接指导视频扩散模型生成符合生物力学规律的人体动作。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次将 OpenSim 生物力学三层金字塔引入 AI 生成视频评测，解除骨长刚性约束与牛顿定律代理的指标设计极具巧思。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 13 个主流开源/闭源视频生成模型与真实视频上界，包含 1200 人次专家偏好对齐、VBench 相关性对比、姿态估计器替换与超参网格鲁棒性验证，附录还详尽复盘了每种指标的替代方案与三项被弃用指标的失败原因。
写作质量: ⭐⭐⭐⭐⭐ 逻辑层次清晰，生物力学背景、数学定义与工程折中交代得十分透彻，图表信息量大且直观。
价值: ⭐⭐⭐⭐⭐ 为视频生成社区提供了急需的物理与生理合理性诊断工具，对后续人体中心视频生成与 RL 物理对齐具有直接推动作用。