K9-Bench: Evaluating Multimodal LLMs on Canine-Centric Videos¶

会议: NeurIPS 2026
arXiv: 2607.02680
领域: 多模态VLM
关键词: 视频多模态大模型、犬类行为理解、视频问答基准、偏差缓解、长视频时序推理

一句话总结¶

提出了首个聚焦真实家庭与户外场景犬类细粒度动作与交互理解的视频问答基准 K9-Bench（包含 907 个视频、4,744 个五选一问答对），并配套构建了基于行为学本体与双重偏置过滤的自动化生成管线，揭示了前沿多模态大模型在长程犬类姿态识别与因果推理上的显著瓶颈。

研究背景与动机¶

近年来多模态大语言模型（MLLMs）在长视频时序理解、跨模态细粒度对齐和工具交互等任务上取得了令人瞩目的进展。然而，现有的视频理解基准（如 Video-MME、LongVideoBench、Next-QA 等）几乎完全建立在以人类为中心的活动、场景语境和社交常规之上。由于人类日常生活的物理空间中有数以千万计的家养宠物相伴（仅美国就有约 6800 万家庭养狗），未来的家庭服务机器人、情感伴侣具身智能以及宠物健康福利监护系统亟需具备理解非人类动物行为意图与身体语言的能力。

现有动物视觉数据集（如 Animal Kingdom、MammalNet、Animal-Bench 等）大多聚焦野生动物分类、粗粒度动作识别或短片段检测，缺乏针对真实家庭非受控环境下长时程、细粒度且具有复杂社交互动的评测数据。更重要的是，犬类行为具有独特的非语言表达机制（如摇尾方向、耳朵朝向、鲸鱼眼、玩耍鞠躬等），这些细微运动线索极易淹没在环境背景或被模型以人类常识先验草率推断，导致前沿模型在跨物种感知上面临严重的泛化瓶颈。

为了打破依赖大规模人工标注长视频的高昂成本壁垒，同时避免自动化大模型标注中普遍存在的语言捷径、幻觉与先验偏置，本文联合专业认证犬类行为训练师（KPA 认证），提出了一套将动物行为学本体知识与 VLM/LLM 自动化生成结合的构建范式。核心 idea：以专业犬类行为本体与 DogFACS 面部动作编码为先验，构建覆盖姿态、动作序列、语境、因果与交互的五维视频问答基准 K9-Bench，并通过无视觉盲答过滤与说话人线索剥离消除大模型生成的文本捷径，系统诊断多模态模型在非人中心长时程场景中的理解瓶颈。

方法详解¶

整体框架¶

K9-Bench 的构建管线包含三个核心阶段：半自动化真实犬类长视频挖掘与多轮过滤、基于行为学知识库引导的双阶段五选一问答生成，以及基于多模型集成的偏差缓解与捷径消除机制。整体流程如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["开放网络视频检索<br/>YouTube 种子检索与频道拓展"] --> B["视频双重质量过滤<br/>Gemini 文本初筛 + 人工/VLM 深度校验"]
    B --> C["领域专家知识库对齐<br/>KPA 行为本体 + DogFACS 动作映射"]
    C --> D["双阶段问答生成<br/>Gemini-2.5-Flash 正确问答 + 细粒度旁白干扰项"]
    D --> E["盲答与捷径偏差缓解<br/>三模型无视觉投票 + GLM 消除说话人线索"]
    E --> F["K9-Bench 评测基准<br/>907 视频 / 4,744 QA / 5 大任务类别"]

关键设计¶

1. 融合专家本体与行为学先验的五维任务体系 通用多模态问答往往停留在表面物体的“有无”或粗粒度动词分类，难以触及动物行为学的真实意图。针对这一痛点，本文联合认证犬类训练师建立了包含 70 种犬类行为的结构化本体，并将眼、耳、尾部微动作映射至犬类面部动作编码系统（DogFACS）。为防止细碎本体直接输入上下文造成上下文过载，研究团队进一步将行为线索凝练为结构化知识库（包含玩耍、平静、好奇、恐惧、攻击、压力、悲伤等情绪状态及其伴随动作），以此驱动五大评测任务的设计： - 姿态分析（Posture Analysis）：识别站立、坐卧等粗姿态，以及耳部前倾/后缩、抬头低头、尾巴夹角等微观骨骼线索； - 动作序列（Action Sequence）：在时序上分解连续动作的原子步骤（如察觉玩具、起跑、减速、嗅探、叼起）； - 语境分析（Context Analysis）：推理环境刺激（如牵引绳受限、陌生人/犬进入、门敞开）如何诱发犬类行为变化； - 因果分析（Cause-Effect Analysis）：跨越长视频时序窗口，定位触发犬类突发动作（如突然警觉吠叫或寻求安慰）的前置环境动因； - 交互分析（Interaction Analysis）：解读犬与人、犬与犬在社交互动中的非语言交流意向（如 Play Bow 邀玩、Pawing 索求关注）。

2. 知识引导与解耦旁白的双阶段问答生成机制 自动化 VLM 生成问答容易产生两类缺陷：一是直接观察整段长视频生成错误选项时容易产生无依据的幻觉；二是错误干扰项过于荒谬，使得模型通过简单的常识即可排除。为此，生成管线采用解耦两阶段策略：第一阶段，利用 Gemini-2.5-Flash 在专业知识库和音视频双模态提示的约束下生成精准的正确问答对（QA Pair）；第二阶段，先让模型生成包含场景切换、空间布局与动作转换的时间切片细粒度文本旁白（Video Narration），随后仅将文本旁白与正确 QA 输入模型，专门生成 4 个在语境上极具迷惑性、符合犬类行为逻辑但事实错误的干扰选项，最终拼装成 5 选 1 多项选择题。

3. 消除文本捷径与听觉先验的集成偏差缓解管线 针对 VLM 自动生成题目中普遍存在字面漏洞、大语言模型世界常识先验捷径以及提示中不慎泄露音画信息的问题，管线设计了两道严格的过滤防火墙： - 盲答模型集成过滤（Deaf-Blind LLM Filtering）：剥离全部视频与音频帧，仅将纯文本题干与选项输入 3 个来自不同模型家族的前沿纯文本 LLM（DeepSeek-R1-Distill-Qwen-32B、Qwen3-32B、Mistral-Small-3.2-24B-Instruct）。若多数模型（Majority Voting）无需看视频就能选出正确答案，说明题目存在显著的语言表面统计捷径或无需感知的常识泄露，该问答对直接剔除。该步骤剔除了 42.58% 的低质问答对。 - 说话人与听觉标识剥离（Speaker Information Removal）：由于家庭 Vlog 视频中常有人类语音叫出宠物名字（如“Buddy 坐下”）或解说动作，导致单纯利用语音转写即可作弊。研究团队引入 GLM-4.5-Flash 对残留问答执行重写，系统性抹除题干与选项中的说话人身份代词（如“那个男人”、“演讲者1”）、宠物名字及听觉引导词，仅保留基于视觉客观观察的描述，确保评测真正考察视听多模态时序感知。

实验关键数据¶

主实验¶

在 4,744 道 5 选 1 题目上，评测对比了主流闭源商业模型与前沿开源多模态大模型的零样本表现（随机猜测基线为 20.0%）。

模型类别	评测模型	输入帧率/帧数	平均准确率 (%)	姿态分析 (%)	动作序列 (%)	语境分析 (%)	因果分析 (%)	交互分析 (%)
闭源 API	Gemini-2.5 Pro	1 FPS 全长	40.1	37.7	36.0	44.0	44.7	42.3
闭源 API	Qwen3-VL-235B-A22B	1 FPS 全长	36.5	34.2	33.5	38.4	39.9	39.4
闭源 API	GPT-4o	32 帧采样	30.8	29.6	26.3	35.0	33.9	33.9
开源开源	InternVL-14B	32 帧采样	33.0	31.5	30.3	33.7	35.9	36.1
开源开源	InternVL-8B	32 帧采样	32.2	29.0	27.9	34.0	36.0	37.5
开源开源	Qwen3-VL-32B	32 帧采样	31.4	28.2	29.3	35.4	31.1	35.0
开源开源	Qwen3-VL-8B	32 帧采样	28.8	27.8	26.5	32.1	27.6	31.9
开源开源	Qwen3-VL-4B	32 帧采样	27.6	27.6	24.1	30.8	28.2	30.9
开源思考	Qwen3-VL-32B-Thinking	32 帧采样	30.7	27.8	28.8	33.7	32.8	32.1
开源思考	Qwen3-VL-8B-Thinking	32 帧采样	25.3	24.0	21.8	29.7	24.9	29.3

模态消融与人类基线对比¶

在跨模态输入（音视频融合）以及模型与人类表现的对比实验中，全面展示了声音线索的增益与当前模型的性能天花板：

评估子集与设置	评测系统	模态输入	MCQ 准确率 (%)	逻辑自洽性 (0-100)	事实准确度 (0-100)	综合质量 (0-100)
全集评测 (4,744 题)	Gemini-2.5 Pro	仅视频 (1 FPS)	40.1	75.90	68.33	69.15
全集评测 (4,744 题)	Gemini-2.5 Pro	音频 + 视频 (1 FPS)	41.9	77.41	69.98	70.81
短视频子集 (<150s, 2,693 题)	Qwen3-Omni-Flash	音频 + 视频 (1 FPS)	37.3	73.82	67.62	67.92
短视频子集 (<150s, 2,693 题)	Gemini-2.5 Pro	音频 + 视频 (1 FPS)	42.37	77.94	71.13	71.54
人类校验子集 (100 题)	InternVL-3.5-14B	32 帧	54.3	-	-	-
人类校验子集 (100 题)	Gemini-2.5 Pro	音频 + 视频	63.9	-	-	-
人类校验子集 (100 题)	人类评估者 (3 人平均)	原始视听长视频	69.9	-	-	-

关键发现¶

长程时序与微观动作是重灾区：所有模型在“动作序列”（Action Sequence）与“姿态分析”（Posture Analysis）任务上表现最差（Gemini 仅为 36.0% 与 37.7%），而在“因果分析”和“语境分析”上表现相对较高（44.7% 与 44.0%）。这表明当前大模型更擅长利用宏观场景语义做高层因果联想，但在长程帧序列中精准捕捉耳部微动、头部轻微倾斜等局部低级运动特征的能力极度匮乏。
思维链（Thinking）在细粒度视频感知中发生负迁移：对比 Qwen3-VL 思考版与普通指令版发现，思考版在 MCQ 准确率上普遍下跌（32B 从 31.4% 跌至 30.7%，8B 从 28.8% 跌至 25.3%）。深入分析显示，思考模型容易在自由推理中陷入“过度分析画面无关噪点”的误区，发散推理反而削弱了对核心微小视觉线索的精准定位。
音频模态为动作边界提供关键时间锚点：引入音频后，Gemini 在动作序列上的识别率提升了 2.3 个百分点。犬类的吠叫、呜咽、抓挠与爪地碰撞声充当了时序切割的显著标志，弥补了单一视觉采样在剧烈运动中的帧间信息丢失。
错误诊断中近半数为视觉线索误读：在对顶级模型 105 个失败样本的专家审计中，“可观测线索误读”（Observable Cue Misinterpretation）占比高达 48.0%，其余为时序步骤颠倒（Action Sequence Error）、因果错误归因与过度泛化描述。

亮点与洞察¶

多模型集成盲答过滤为自动化基准消除了 42.58% 的伪问题：纯文本大模型由于缺乏画面验证，极易凭借选项长短、语调先验或常识推测直接选对答案；引入三模型家族多数投票剔除，极大保障了基准必须“真正看视频才能做对”的纯粹性。
专业行为学本体是解决长尾低数据领域冷启动的关键杠杆：将专业训犬师的经验固化为包含 70 种动作与 DogFACS 对应表的高维本体，再精炼为小规模紧凑提示，有效规避了直接向长上下文模型灌入海量文档带来的注意力涣散。
可复用的通用低资源数据集构建范式：本文建立的“种子检索 \(\to\) 视频挖掘 \(\to\) VLM 代理过滤 \(\to\) 细粒度旁白中介 \(\to\) 盲审去偏”流水线完全独立于犬类题材，可低成本迁移至猫科、野生动物、工业流水线异物巡检等长尾垂直领域的视频多模态评测。

局限与展望¶

网络视频采集存在的重复与分布偏置：视频源依赖 YouTube 公开内容，虽然采用了多层去重，但仍可能包含剪辑片段；此外品种分布偏向常见宠物犬，工作犬或特定工作环境的覆盖度仍有局限。
评测协议中的帧率受限：多数开源模型由于算力与上下文窗口限制采用均匀采样 32 帧策略，这使得长达数分钟的视频丢失了大量高频瞬态动作（如快速甩头、微小抖动），未来需引入自适应关键帧检索机制。
缺乏具身闭环与强化反馈：当前仍以离线多选题问答为主，尚未与真实机器人交互动作相连接；后续研究需将犬类感知整合进具身智能 Agent 架构，验证实时人宠协作。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [填补了以动物为中心的长时程多模态视频推理基准空白，构建理念极具前瞻性]
实验充分度: ⭐⭐⭐⭐⭐ [详尽评测了主流闭源、开源及思考大模型，覆盖多模态输入消融、人类对照与错误根因分析]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严谨清晰，附录给出了完整的本体映射、详实提示词及负样本案例]
价值: ⭐⭐⭐⭐⭐ [为家庭伴侣机器人、宠物医疗监护及低资源长时程视频理解数据集构建提供了极佳参考]