MotionHalluc: Diagnosing Kinematic Hallucinations in Fine-Grained Motion Reasoning¶

会议: NeurIPS 2026
arXiv: 2606.23061
OpenReview: https://openreview.net/forum?id=6aIVKV32ea
代码: https://github.com/Leocoding0971/MotionHalluc
领域: 幻觉检测
关键词: 运动学幻觉、跨视频动作对比、细粒度动作推理、免训练验证管线、多模态大语言模型

一句话总结¶

本文提出了首个面向跨视频细粒度动作对比的运动学幻觉诊断基准 MotionHalluc（涵盖方向性、属性归因与时序三类幻觉共 1,540 道问答），并设计了免训练的“感知-解析-验证”（PPV）管线，通过将自然语言指令解析为可执行的 3D 运动学测量查询并在推理时注入定量物理证据，在五种主流多模态大模型上平均带来 10.6% 的准确率提升。

研究背景与动机¶

多模态大语言模型（LMMs）在通用视频理解任务上取得了显著进展，由此催生了面向运动技能指导、健身动作评估与康复训练反馈的跨视频动作指令生成任务（Motion Instruction Generation）。在该设定下，模型需要同时观察一段待评估的查询视频（Query Video）与一段标准参考视频（Reference Video），找出两者在动作执行上的细微偏差并输出可操作的纠错指令（如“深蹲到底部时膝盖应更向外打开”）。然而在实际应用中，现有 LMMs 极易生成语言上通顺合理、却与真实运动学差异完全相悖的“运动幻觉”（Motion Hallucinations）——哪怕两段视频的动作轨迹高度相似，模型也常受人物体型、拍摄视角或外观背景等表层视觉偏见误导，编造出并不存在的姿态错误。

现有视频幻觉评测基准（如 VidHalluc、MHBench）大多局限于单视频内的目标存在性、计数或粗粒度动作类别判别，缺乏跨视频相对比较的评测机制；而现有的跨视频对比数据集（如依赖概念相似度打分的 ConViS-Bench 或做粗粒度文本匹配的 VidDiffBench）既未对齐底层 3D 人体运动捕捉真值，也无法解耦和量化模型在动作推理中的结构性失败模式。与此同时，传统基于 BLEU、ROUGE 或纯语言模型裁判（如 G-Eval）的评估指标仅关注文本表层重合度或语言先验，无法检验指令是否真正符合关节角度、位移方向等物理事实；而现有的运动-语言融合模型（如 MotionGPT、MotionLLM）则把 3D 骨架序列当作增强感知的附加模态进行端到端训练，不仅严重依赖昂贵的配对动捕数据、跨动作泛化受限，更忽略了将运动学数据作为显式逻辑验证证据的潜力。

针对上述空白，本文认为要根治跨视频动作推理中的幻觉，首先必须将模糊的生成误差拆解为可精确归因的闭式运动学判别维度，其次应利用显式的定量几何测量替代脆弱的纯视觉隐式比对。核心 idea：构建结合精确帧级纠错标注与对齐 3D 骨架序列的跨视频运动幻觉基准 MotionHalluc，从方向性、属性归因与时序相位三个正交维度系统诊断 LMMs 的运动学推理缺陷，并提出免训练的感知-解析-验证（PPV）管线，将候选文本指令转化为可执行的运动学测量函数调用，以定量物理证据驱动推理时验证。

方法详解¶

整体框架¶

本文工作由诊断基准构建（MotionHalluc）与免训练推理验证基线（Perceive-Parse-Verify, PPV）两部分协同组成。输入为一对包含查询动作与参考动作的配对视频 \((v_q, v_r)\)、动作规范描述 \(\mathcal{A}\) 以及待检验的候选纠错指令 \(i\)；系统首先通过三维动作感知与双流对齐建立统一的 3D 骨骼运动表示，进而在方向性、属性归因与时序三个评测维度下构建闭式问答任务；在推理验证阶段，PPV 利用语义解析器将文本指令转化为帧定位查询与运动学测量查询，在 3D 骨骼序列上执行原子函数提取定量物理测量证据 \(\mathcal{M}\)，最终将该证据与原始视频和指令一同输入多模态大模型完成有据可依的验证判别。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：查询/参考双视频 (v_q, v_r)<br/>+ 候选纠错指令 i + 动作规范 A"] --> B["三维动作感知与双流数据集构建<br/>4D-Humans 重建/SMPL-X 22 关节骨架<br/>+ DTW 时序对齐裁剪首尾冗余"]
    B --> C["三维运动学幻觉诊断协议<br/>方向性(DH) / 属性归因(AH) / 时序相位(TH)<br/>三类闭式问答构建"]
    C --> D["两阶段可执行语义解析<br/>纯文本受限解析生成<br/>帧定位查询 Q_f 与物理测量查询 Q_k"]
    D --> E["运动学测量注入与接地的推理验证<br/>在对齐 3D 骨架上执行 4 类原子函数<br/>提取结构化测量证据 M 辅助模型判别"]
    E --> F["输出：物理接地的动作对比判别结果 y"]

关键设计¶

1. 三维动作感知与双流数据集构建：基于 DTW 对齐与双阶段人工核验建立物理级动作对比真值

为了消除单人重复动作冗余及准备阶段噪声，MotionHalluc 从带有 50 FPS 同步多视角视频与高精度 3D 动捕数据的 Fit3D 数据集中精选了 32 类生物力学结构清晰、受试者间姿态差异可观测的健身动作，并统一截取每位受试者状态最稳定的第 2 次重复动作，将 SMPL-X 参数转换为符合 HumanML3D 规范的 22 关节 3D 骨架序列。在构建跨视频对或运行 PPV 感知阶段（Kinematic Perception）时，针对查询视频与参考视频（在 PPV 推理中由 4D-Humans 从单目视频重建 3D 骨架序列 \((m_q, m_r)\)），系统首先利用动态时间规整（DTW）对两条动作序列进行非线性时序对齐，据此裁剪掉首尾无关的准备或静止片段以锁定核心动作执行区间。随后，计算对齐序列间的欧氏距离作为粗粒度动作相似度过滤指标，剔除差异过大（无需细粒度比对）或完全雷同（无有效纠错点）的候选对；在人工标注阶段，具备运动训练经验的标注员通过定制的四路同步逐帧比对界面（双受试者 × 前后双视角）定位关键差异帧对并撰写祈使句纠错指令，再经独立复核员全量审查（修正了 6.5% 的歧义描述）与剔除异常短时标注，从 896 对候选中筛选出 553 对高质量视频对、891 条精细纠错指令与 1,782 个证据时间戳（三方抽样不一致率仅 2.85%）。

2. 三维运动学幻觉诊断协议：从方向反转、关节归因与时序相位解耦模型的推理盲区

现有评测无法区分模型究竟是“看不清哪个部位动了”、“分不清谁比谁幅度更大”还是“找错了对比时刻”，因此本文围绕 553 对视频构建了共 1,540 道闭式问答，将运动学幻觉严格解耦为三个正交任务： - 方向性幻觉（Directional Hallucination, DH，624 题）：基于三元组 \((v_1, v_2, i)\) 设计二分类判断。在 Original 设定下，\(i\) 正确描述了查询视频 \(v_1\) 向参考视频 \(v_2\) 调整所需的动作变化（正确答案为 Yes）；在 Reversed 设定下，将输入视频顺序对调为 \((v_2, v_1, i)\) 且仍指定第一个视频为查询视频，此时原指令的调整方向与实际物理差异正好相反（正确答案为 No）。该成对反转设计能够直接剥离模型对指令文本独立合理性的盲目依赖，揭露其是否具备真正的双向相对运动推理能力。 - 属性归因幻觉（Attributional Hallucination, AH，600 题）：给定视频对 \((v_1, v_2)\) 与两个候选指令 \((i_1, i_2)\) 进行二选一强制判别。分为两种子设定：Same Joint（同关节反向）固定真实纠错指令 \(i_{gt}\) 涉及的身体部位，使用 GPT-5 生成语义与运动方向完全相反的干扰项（如“弯曲双腿”变为“伸直双腿”）；Different Joints（跨关节混淆）从同一视频对的真实标注中抽取针对不同身体部位的两条指令，并将其中一条通过 GPT-5 扰动为运动学错误变体，以此检验模型能否精确定位产生运动差异的具体解剖部位与变化极性。 - 时序幻觉（Temporal Hallucination, TH，316 题）：以人工标注的关键差异帧为中心，从查询视频中截取短片段 \(v_1^{\text{clip}}\)，并从参考视频的不同动作阶段采样三个候选片段 \((v_2^A, v_2^B, v_2^C)\) 构成三选一问答。由于同一动作不同阶段的背景与人物外观高度相似，只有真正对齐运动学相位（而非依赖静态视觉特征相似度）的模型才能选出处于同一动作阶段的参考片段。

3. 两阶段可执行语义解析：将自然语言纠错指令无偏映射为受限原子测量函数

在 PPV 管线的语义解析阶段（Semantic Parsing），为了在完全不接触视觉与骨架数据的前提下将抽象语言转化为物理测量指令，语义解析器 \(\mathcal{P}\)（采用 Gemini-3-Flash）仅接收待验证指令 \(i\) 与动作规范说明 \(\mathcal{A}\)，通过受限提示策略输出两组结构化 JSON 查询——关键帧定位查询 \(Q_f\) 与运动学测量查询 \(Q_k\)：

\[\{Q_f, Q_k\} = \mathcal{P}(i, \mathcal{A}), \quad \text{其中} \quad Q_f = \{\mu, j, e\}, \quad Q_k = \{\mu, j\}\]

其中，\(Q_f\) 根据动作规范 \(\mathcal{A}\) 选择特定关节点集合 \(j\)、测量类型 \(\mu\) 以及极值准则 \(e\)（如最大屈膝角或最低骨盆高度），用于在动作序列中自动定位最能反映动作质量的关键时刻（知道“看哪一帧”）；\(Q_k\) 则依据候选纠错指令 \(i\) 指定在该关键帧上需要读取的目标关节 \(j\) 与物理量类型 \(\mu\)（知道“测什么量”）。为了防止人工针对特定动作硬编码映射规则带来先验偏见，本文将解析器的函数调用空间严格约束在 4 个最小且通用的原子运动学测量函数内：关节夹角计算（joint angle）、沿标准坐标轴的关节位移（joint displacement along canonical axes）、骨盆高度估计（pelvis height estimation）以及相对于世界坐标系方向的关节朝向（joint orientation）。对于无法精确接地的模糊指令，解析器被允许输出空查询（仅占 1.92%），从而保证所有生成的查询均具备严格的物理可解释性与可执行性。

4. 运动学测量注入与接地的推理验证：以配对定量物理证据打破视觉表征模糊与肯定偏见

在获得可执行查询 \(\{Q_f, Q_k\}\) 后，系统分别在对齐后的查询运动序列 \(m_q\) 与参考运动序列 \(m_r\) 上运行原子测量函数，将提取出的双视频关节角度、相对位移与朝向数值组织为结构化文本测量证据 \(\mathcal{M}\)。在运动学验证阶段（Kinematic Verification），被测多模态大模型通过验证映射 \(\mathcal{V}\) 同时接收原始视觉输入、候选指令与定量物理证据以生成最终判别结果：

\[y = \mathcal{V}(v_q, v_r, i, \mathcal{M})\]

这一设计之所以能显著缓解幻觉，关键在于两方面机制：首先，它将原本需要在高维纠缠的视觉编码空间中完成的跨视频细微几何比对，转化为大模型擅长的结构化数值比较与逻辑推理；其次，由于测量证据 \(\mathcal{M}\) 是以“查询视频 vs. 参考视频”成对的形式同步提供的，模型在判别时只需关注两者在同一原子测量指标上的相对大小差异，从而天然抵消了单目 3D 动作重建算法（如 4D-Humans）在全局空间平移与绝对尺度上的系统性偏差。

损失函数 / 训练策略¶

PPV 是一套完全免训练（Training-Free）的推理时证据增强与验证框架，无需对被测多模态大模型的视觉编码器或语言模型权重做任何微调，因此完全避免了端到端运动-语言融合模型对大规模配对动捕训练集的依赖。在推理与评测配置上，所有输入视频遵循 VidDiff 协议统一按 \(\text{FPS} = 4\) 采样；对于 InternVL3.5-8B、LLaVA-OV-1.5-8B、Qwen3-VL-8B 三种开源指令微调模型，在 10 张 NVIDIA RTX 3090 GPU 上关闭随机采样（do_sample=False）采用贪婪解码以保证确定性输出；对于 Gemini-3-Flash 与 Qwen3.5-plus 两种闭源 API 模型，保留默认生成配置并独立重复实验 3 次取平均值；语义解析器固定使用 Gemini-3-Flash 生成受限 JSON 函数调用。

实验关键数据¶

主实验¶

表 1 汇总了 5 种主流多模态大模型在 MotionHalluc 基准三大幻觉维度上的基线准确率（%）以及引入 PPV（使用 4D-Humans 重建动作）后的性能变化。其中 DH 任务进一步拆分为原始顺序（Original）与反转顺序（Reversed）以揭示方向性偏见。

模型	DH (Original)	DH (Reversed)	DH (Avg)	AH	TH	总体平均 (Avg)
InternVL3.5-8B	73.07	41.34	57.21	57.33	50.31	54.95
InternVL3.5-8B + PPV	71.79	45.19	58.49 (+1.28)	62.50 (+5.17)	63.29 (+12.98)	61.42 (+6.47)
LLaVA-OV-1.5-8B	98.39	1.92	50.16	53.50	41.45	48.37
LLaVA-OV-1.5-8B + PPV	99.36	0.00	49.67 (-0.49)	57.00 (+3.50)	74.36 (+32.91)	60.34 (+11.97)
Qwen3-VL-8B	61.21	48.39	54.80	66.16	62.97	61.31
Qwen3-VL-8B + PPV	71.79	45.51	58.65 (+3.85)	64.00 (-2.16)	76.58 (+13.61)	66.41 (+5.10)
Gemini-3-Flash	91.45	38.67	65.06	83.50	53.05	67.21
Gemini-3-Flash + PPV	81.83	83.54	82.69 (+17.63)	89.77 (+6.27)	80.37 (+27.32)	84.28 (+17.07)
Qwen3.5-plus	90.06	38.14	64.10	81.72	68.03	71.28
Qwen3.5-plus + PPV	86.96	79.70	83.33 (+19.23)	89.94 (+8.22)	77.74 (+9.71)	83.67 (+12.39)

消融实验¶

表 2 展示了在 Qwen3.5-plus 上针对 PPV 核心组件的消融结果（对比仅提供语言层面语义提示 +Semantic Hint、使用 4D-Humans 重建骨骼 +PPV (Recon.) 与使用真实动捕数据 +PPV (GT)），以及表 3 展示的语义解析器在 3D 动捕真值上的关键帧定位精度与查询语义审计结果（50 FPS 下评测）。

表 2：PPV 组件与运动数据源消融实验（基于 Qwen3.5-plus，指标为准确率 %）

配置	DH (Original)	DH (Reversed)	DH (Avg)	AH	TH	总体平均 (Avg)	说明
Qwen3.5-plus (Base)	90.06	38.14	64.10	81.72	68.03	71.28	仅输入配对视频与候选指令
+ Semantic Hint	92.84	35.47	64.21	80.38	67.72	70.77	仅提示需关注的关节属性，无定量数值
+ PPV (Recon.)	86.96	79.70	83.33	89.94	77.74	83.67	注入 4D-Humans 重建的定量测量证据
+ PPV (GT)	87.71	81.83	84.77	90.27	74.05	83.03	注入真实 3D 动捕的定量测量证据

表 3：PPV 语义解析器的关键帧定位误差（50 FPS）与自动化语义审计通过率

评测模块 / 子集	样本数 \(N\)	MAE (帧) / Run 1 (%)	中位数误差 (帧) / Run 2 (%)	Recall@10 / 平均通过率 (%)	Recall@24 / 跨轮一致率 (%)
\(Q_f\) 关键帧定位（全集 All）	1,782	10.38 帧	2 帧 (0.04s)	76.88%	86.59%
\(Q_f\) 关键帧定位（默认相位 Default）	588	2.46 帧	0 帧	94.56%	94.90%
\(Q_f\) 关键帧定位（其他相位 Other）	1,194	14.28 帧	5 帧 (0.10s)	68.17%	82.50%
\(Q_k\) 关节与左右侧相关性审计	306	99.67%	99.35%	99.51%	99.02%
\(Q_k\) 测量函数与方向有效性审计	306	98.37%	99.02%	98.69%	98.04%

关键发现¶

基线模型存在极其严重的方向性盲从与肯定偏见（Affirmative Bias）：在 DH 任务中，所有基线模型在 Original 设定下准确率都很高（61.21%–98.39%），但一旦将查询与参考视频顺序对调（Reversed），准确率立即雪崩（Gemini-3-Flash 从 91.45% 跌至 38.67%，Qwen3.5-plus 从 90.06% 跌至 38.14%，LLaVA-OV-1.5-8B 更是从 98.39% 暴跌至 1.92%，其回答“Yes”的比例高达 98.24%）。这证明现有 LMMs 根本没有进行双向几何比对，而是盲目相信语义通顺的纠错指令或默认第二个视频“做得更好”。
性能提升源自精确的定量物理数值，而非语言层面的注意力提示：消融实验显示，若只把解析出的查询转换为文本提示告诉模型“请注意观察膝关节角度或相对位移”（+Semantic Hint），Qwen3.5-plus 的总体准确率不仅没有提升，反而从 71.28% 微降至 70.77%（Reversed 准确率甚至降至 35.47%）；只有注入真实计算出的物理测量数值后，总体准确率才跃升至 83.67%（+12.39%），证明纯视觉表征的几何模糊性是幻觉的根源。
PPV 对单目 3D 动作重建的全局误差高度鲁棒：尽管 4D-Humans 重建动作在全局空间位置上的平均关节位置误差（MPJPE）高达 330.8 mm，但其普氏对齐误差（PA-MPJPE）仅为 38.8 mm，完好保留了局部骨骼拓扑与相对关节结构。因此，在全部 5 个模型上，使用重建动作（Recon.）与真实动捕（GT）的 PPV 平均准确率差距均在 2% 以内（如 Qwen3.5-plus 上 Recon. 为 83.67%，GT 为 83.03%），说明成对相对测量有效抵消了单目重建的全局平移和尺度漂移。
基础推理能力越强的模型，从运动学证据中获益越大：引入 PPV 后，五种模型平均总体准确率提升 10.60 个百分点（且在 10,000 次动作分层 Bootstrap 重采样与 32 折留一动作交叉验证中增益全部显著为正）。闭源大模型 Gemini-3-Flash（+17.07%）与 Qwen3.5-plus（+12.39%）成功利用测量证据消除了肯定偏见（Gemini-3-Flash 的“Yes”比例从 76.39% 回归至接近均衡的 49.15%，Reversed 准确率暴涨 +44.87%）；而部分小参数开源模型（如 LLaVA-OV-1.5-8B）虽然在 TH 时序任务上借助对齐证据暴涨 +32.91%，但在 DH 任务上仍受困于顽固的指令顺从偏见（“Yes”比例仍为 99.68%）。

亮点与洞察¶

“对调视频顺序”的诊断设计极具洞察力：论文没有停留在用 LLM 裁判给生成文本打分的传统套路，而是通过 DH 任务中 \((v_1, v_2, i)\) 与 \((v_2, v_1, i)\) 的镜像对比，一针见血地揭穿了当前多模态大模型在跨视频对比中的“虚假繁荣”——模型看似能判断纠错指令对不对，实则只是在判断“这句话像不像一句合理的健身建议”。
把“语言到动作的对齐”反转为“语言到测量函数的编译”：以往工作（如 MotionGPT）试图把连续 3D 骨架离散化为 token 塞进词表训练大模型，既昂贵又丢失几何精度；PPV 反其道而行之，利用 LLM 极强的代码/工具调用能力，把自然语言指令编译为仅含 4 个原子运动学函数的 JSON 查询（定位关键帧 \(Q_f\) + 提取物理量 \(Q_k\)），用零训练成本打通了符号逻辑与 3D 物理空间的壁垒。
可迁移的“感知重建—受限函数查询—成对数值验证”范式：这种不直接让 VLM 肉眼估算几何量、而是外挂轻量 3D 重建器与受限原子测量算子的思路，可直接迁移到机器人操作轨迹纠错、自动驾驶多车相对运动推理、医疗康复动作遵从度检查等一切对空间几何精度敏感但缺乏大规模配对训练数据的多模态验证场景。

局限与展望¶

受限于室内受控健身场景与单人动作假设：当前 MotionHalluc 的全部数据源于室内多视角采集的 Fit3D 健身动作，背景干净、无严重遮挡且为单人周期性运动；尚未覆盖足球、网球等非受控室外复杂运动或多人交互、器械严重遮挡场景，在剧烈遮挡下 4D-Humans 的局部关节估计失真可能会沿着 PPV 管线向下游传播。
推理延迟较高，难以直接满足实时交互教练需求：PPV 在单张 RTX 3090 上初始化 4D-Humans 需耗时约 87 秒，对一对未缓存的查询与参考视频执行 3D 动作重建约需 163 秒，高昂的前端视觉重建开销限制了其在端侧或实时流式动作指导中的直接部署。
未能完全消除小模型固有的指令顺从偏见：实验表明，当基础语言模型自身逻辑推理较弱或存在极端的“Yes”回答偏置（如 LLaVA-OV-1.5-8B）时，即便在上下文中给出了明确反驳原指令的关节角度数值，模型仍可能忽略数值证据而盲目认同指令，未来可结合基于测量证据一致性的强化学习（如 GRPO）来训练模型忠实遵循物理测量结果。

评分¶

新颖性: ⭐⭐⭐⭐ 首创跨视频细粒度动作对比的三维运动学幻觉诊断体系，并以免训练原子测量查询算子巧妙替代端到端动作模态微调。
实验充分度: ⭐⭐⭐⭐ 覆盖 5 种主流开闭源 LMMs，包含详尽的反转偏见分析、提示词 vs 定量数值消融、重建 vs 动捕真值对比、解析器独立审计及 10,000 次 Bootstrap 统计检验。
写作质量: ⭐⭐⭐⭐⭐ 问题切入精准，基准构建、形式化定义与故障案例剖析环环相扣，图表与附录数据极为扎实透明。
价值: ⭐⭐⭐⭐ 公开了高质量配对视频-3D动作幻觉基准及轻量易用的 PPV 验证框架，对多模态模型运动理解评测与体育/康复 AI 指导具有直接实用价值。