FingerCap: Fine-grained Finger-level Hand Motion Captioning¶

会议: ECCV2026
论文: ECCV 原文
领域: 多模态 VLM
关键词: 手指级动作描述、手物交互、姿态增强、稀疏视频采样、HandJudge

一句话总结¶

FingerCap 用手势与手物交互视频建立手指级描述任务，并通过 FiGOP 将密集二维手部姿态注入稀疏 RGB 视频模型，使同一 Qwen3-VL-8B 微调基线的 CIDEr 从 107.28 提升至 155.27、HandJudge 从 2.13 提升至 2.74。

研究背景与动机¶

视频模型说出“用勺子搅拌”并不意味着它看清了手部动作：哪几根手指握住勺柄、另一只手如何固定容器、两手何时交接，都可能被一句动作类别掩盖。传统手势识别往往预测词汇或类别，人体动作描述则偏向身体与整只手的运动。这些监督能教会模型辨认意图，却未必要求它解释单根手指的弯曲、接触与协作。 FingerCap 因而把目标从“人在做什么”收紧到“具体手指如何完成动作”，输出仍是自然语言，而不是关节坐标或手语词标签。

这里同时存在数据和观测两方面的缺口。手语词典能够提供较明确的动作语义，但其中的惯用手指代、教学口吻和非动作内容不适合直接充当视频描述。自然手物交互具有更丰富的接触关系，却缺少相应的手指级文本监督。即使补足文字，常见的稀疏 RGB 采样仍可能跳过短促的轻触、手指姿态切换和抓握转换；增加帧数又会放大视频 token 与显存开销。

本文把这两个问题分别落到 FingerCap-40K 和 FiGOP 上：前者提供明确的左右手、手指、动作顺序与接触描述，后者补充关键帧之间的结构化运动证据。评测也必须跟着改变，因为一个与参考句共享很多词的长描述，仍可能认错手指或编造接触。核心 idea：用密集手部关键点补足稀疏画面的运动盲区，再用手指身份、轨迹、接触和动作完整性共同检验生成描述，而不把语言相似度当作动作理解本身。

方法详解¶

整体框架¶

整个工作包含数据、模型和评测三个层面，模型本身以 Qwen3-VL-8B 为骨干。给定视频，FiGOP 把每个稀疏 RGB 关键帧与其邻近的二维手部姿态序列组成一个单元。视觉分支保留外观和物体上下文，姿态分支编码手指拓扑与短时变化，再由运动感知投影器把两路信息送入语言模型生成描述。训练使用 FingerCap-40K 的参考文本；测试生成不需要参考文本，HandJudge 只在生成之后对照参考进行评分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        DATA["手指级数据构建"] -.->|视频与训练监督| STREAM["FiGOP 双流编码"]
        VIDEO["测试视频"] --> STREAM
        STREAM --> FUSION["运动感知融合"]
        FUSION --> CAPTION["语言模型生成描述"]
        CAPTION --> JUDGE["HandJudge 评测"]
        DATA -.->|仅评测时使用参考文本| JUDGE
        JUDGE --> SCORE["四维评分"]

图中的参考文本不会作为测试生成的输入，也没有从评测器返回模型的强化学习回路。 FiGOP 所谓“保持 RGB 稀疏”，不等于整个系统只读取这些 RGB 帧：姿态估计仍需取得中间画面，节省的是送入视频语言模型的密集像素表示。

关键设计¶

1. 手指级数据构建：让语言监督落到可观察的关节动作

手势来源覆盖 ASL、CSL、Auslan 与 BSL；表 1 将 BSL 列为分布外来源，而不是常规训练来源。标注从相应手语词典的动作说明开始，人工把“惯用手／非惯用手”落实为视频中的左手与右手，删除情绪、类比等非动作信息。随后由 GPT-4.1 润色表达，但被要求不改变动作语义、不增加新事实，手语专家参与审查与修订。这一顺序很重要：模型承担文字整理，不承担凭词义猜出视频里手指如何运动的任务。因此，这里描述的是手语的可见动作实现，并不等同于把手语直接译成其语言含义。

手物交互部分主要来自 GigaHands 和 OakInk2，多视角视频先选择手指运动清楚可见的视角。人工描述每根手指的弯曲、接触对象和双手配合，再做同样的文本润色；HOI4D 与 MotionBench 用于分布外评测。按表 1，手势有 21,055 段、手物交互有 19,922 段，两者相加为 40,977 段，“40K”是近似名称。两部分分别有 1,922,471 与 4,251,389 帧，作者采用 8:1:1 的训练、验证、测试比例。这种“先挑清晰视角”的策略能提高细粒度监督质量，但也意味着数据不代表任意遮挡条件，不能据此推断真实场景的全部难度已被覆盖。

2. FiGOP 双流编码：用低维运动序列补上关键帧之间的变化

每个单元由一个 RGB 关键帧及邻近的一段手部关键点组成，而非把所有画面都送入视觉编码器。关键点由 DWPose 提取，按手部关节组织；原文把每个关节的特征举例为二维坐标与置信度，并未在正文明确最终通道配置。视觉分支采用冻结的预训练视觉编码器，产生描述空间外观的 token。这些 token 能保留勺子、碗等物体背景，而关键点单独无法提供相同语义。姿态分支采用两层 ST-GCN，再接轻量时序 Transformer，先利用关节连接关系编码局部运动，再聚合跨帧依赖。

两路分工不是让姿态替代图像，而是让图像提供“在哪里、与什么交互”，姿态提供“中间如何变化”。对于瞬间触碰或手指伸展，关键点序列可以保留稀疏 RGB 关键帧错过的时序证据。主设置为 RGB 2 fps，正文称每个关键帧附带后续 8 帧姿态，姿态窗口消融记为 \(T_p\in\{4,8,16\}\)。但表 7 又把姿态流写为 8 fps；“每个关键帧 8 帧”和“姿态 8 fps”并不自动确定同一时间跨度。因此，不能凭正文推定精确的重采样、窗口重叠与边界填充方式，复现时需要进一步核对实现。

3. 运动感知融合：由视觉 token 主动读取相关运动

融合发生在多模态投影器中，不是把关键点转成文字后拼接到提示词。交叉注意力以视觉特征作为 query，以姿态运动特征作为 key 和 value，使不同视觉 token 可以读取与自身相关的动态信息。融合后的表示再映射到语言模型的嵌入空间，与文本指令一起支持自回归描述生成。这样，动作证据在语言生成前已进入视觉表示，而不是依靠生成后的文字规则修补。对于同样的手形，RGB 中的物体上下文仍可决定它是夹取物体、接触另一只手，还是完成无物体手势。

原文式 (2) 的融合运算符在文本提取中损坏，无法可靠判断视觉特征与注意力输出的精确组合形式。这里仅保留式 (3) 和正文可以确认的 query/key/value 方向，不把残差加法或逐元素乘法擅自还原为作者公式。该模块没有通过增加 RGB 采样密度获取收益，但并非零成本：新增了姿态估计、图卷积、时序编码和投影器融合。正文未给出完整的端到端时延或新增参数量，因而“轻量”主要由结构设计及显存受限的对照实验支撑。

4. HandJudge 评测：分别检查身份、运动、接触与完整性

HandJudge 由 GPT-4.1 对照预测文本与参考文本，先给出理由，再在四个维度上分别打 0–5 分。 FHI 检查左／右手及具体手指身份，不能用模糊的“手指”替代关键参与者。 MT 检查运动类型和方向轨迹，区分轻触、绕圈、抬起等不同变化。 CI 检查物理接触与交互关系，特别惩罚编造或物理不合理的接触。 CMS 检查参考标注中语义必要的动作阶段是否齐全，不要求穷举视频里每个可见状态。

表中 Overall 汇总四维得分，解释结果时应同时查看各维度，而不是只报一个总分。例如，省略接触对象与漏掉一个动作阶段是不同错误，单一词重叠指标很难把它们分开。该评测是参考文本条件下的语言裁判，不是直接从视频独立验证几何真值的传感器。若参考文本漏写接触或只描述部分动作，评分也会受到该标注边界限制。因此，论文还用人工评分检查模型排序，而不能把评测器输出本身当成无误的物理事实。

一个完整示例¶

原文图 5 的目标动作是右手食指轻触左手拇指。稀疏 RGB 可以帮助识别两只手的位置，但只看少数画面，模型可能把接近与触碰误说成绕圈运动。 FiGOP 的姿态分支补入食指向拇指靠近的轨迹，视觉分支保留左右手和接触区域的外观信息。运动感知融合把这些证据送入语言模型，让输出能明确指出参与手指和接触位置。图中零样本描述的 FHI、MT、CI、CMS 分别为 2.0、1.0、0.0、1.0；FiGOP 描述四项均为 5.0。这是作者展示的单个定性案例，不能用它替代测试集平均表现，也不证明二维姿态在所有遮挡情况下都能恢复真实接触。

损失函数 / 训练策略¶

第一阶段冻结视觉编码器和语言模型，只训练姿态编码器与投影器，训练 1 个 epoch，学习率为 \(10^{-4}\)。这一步先让新加入的运动表示进入已有多模态表示空间，避免一开始就同时调整整个语言模型。第二阶段解冻语言模型，正文明确继续训练投影器与语言模型 3 个 epoch，采用下一 token 预测损失，学习率为 \(10^{-5}\)。视觉编码器保持冻结；正文没有明确第二阶段姿态编码器是否继续更新，不额外猜测其状态。训练使用 8 张 NVIDIA A100，报告 batch size 为 1，但正文没有明确它是全局还是每设备批量。这里没有额外的 HandJudge 奖励优化，也没有在推理时要求标注手指轨迹；姿态由估计器提供。

实验关键数据¶

主实验¶

以下选取原文表 2（第 11 页）与表 3（第 12 页）的 Average 列，评测在 FingerCap-40K 测试集上进行，RGB 输入统一为 2 fps。 CIDEr 按作者使用 Jury 工具后的报告尺度乘以 100；HandJudge 各维度为 0–5，数值均越高越好。零样本系统与任务微调系统的训练条件不同，判断 FiGOP 的模块收益应优先比较最后两行。

模型 / 设置	CIDEr	FHI	MT	CI	CMS	Overall
GPT-4o，零样本	21.29	2.54	2.03	1.70	2.81	2.27
Gemini-2.5-Pro，零样本	32.37	2.73	2.28	2.17	3.36	2.64
Qwen3-VL-8B-Instruct，零样本	29.14	2.38	1.69	1.52	2.79	2.09
Qwen3-VL-8B + MM Proj + SFT	107.28	2.42	1.84	1.80	2.47	2.13
Qwen3-VL-8B + FiGOP + SFT	155.27	2.96	2.50	2.45	3.06	2.74

普通微调把 CIDEr 从 29.14 提高到 107.28，HandJudge 却只从 2.09 变为 2.13，CMS 还从 2.79 降至 2.47。这是“更接近参考句措辞”和“更完整地描述动作”不等价的直接证据，而非普通微调完全无效。 FiGOP 相对同骨干普通微调增加 47.99 CIDEr 与 0.61 HandJudge，四个细粒度维度均改善。它的 Overall 比 Gemini-2.5-Pro 高 0.10，但 CMS 仍低于后者的 3.36，不能概括为所有维度全面领先。

消融实验¶

原文表 7（第 13 页）比较模态与视频采样策略；HJ 指 HandJudge Overall，OOM 表示该实验设置下显存不足，并非所有硬件上都不可运行。姿态单独输入没有 RGB 分辨率；FiGOP 的姿态频率沿用表 7 的写法，与正文窗口定义的歧义见方法部分。

设置	模态	RGB 分辨率	RGB / 姿态 fps	CIDEr	HJ
Pose-only	姿态	不适用	不适用 / 8	62.10	1.25
Base MLLM	RGB	512 × 512	2 / 不适用	107.28	2.13
Medium Sampling	RGB	512 × 512	4 / 不适用	124.00	2.29
Dense Sampling	RGB	512 × 512	8 / 不适用	OOM	OOM
Low-Resolution	RGB	256 × 256	8 / 不适用	118.00	2.25
FiGOP	RGB + 姿态	512 × 512	2 / 8	155.27	2.74

增加 RGB 帧率有收益，但为了容纳更多帧而降低分辨率，会削弱手指细节；姿态单流又缺失物体语义。这些对照支持两种信息互补，而不是证明姿态特征天然优于视觉特征。原文表 5（第 13 页）进一步控制姿态窗口长度，其余采用 FiGOP 设置，标准文本指标同样按作者尺度报告。

姿态窗口 \(T_p\)	BLEU-4	ROUGE-L	METEOR	CIDEr
4 帧	14.12	36.10	37.95	147.50
8 帧	15.36	37.92	38.89	155.27
16 帧	15.15	37.75	38.50	153.80

关键发现¶

8 帧窗口优于 4 帧，但扩到 16 帧并未继续改善；作者归因于冗余、抖动和遮挡误差累积，这属于机制解释，表格没有独立测量各项噪声。
表 6（第 13 页）的分布外评测中，FiGOP 的 HandJudge 为 2.04，普通微调为 1.61；前者仍明显低于其分布内的 2.74，泛化问题未被解决。
表 4（第 12 页）另取 100 段视频，由 5 位独立人工评审评分；人工均分为零样本 1.10、普通微调 3.01、FiGOP 3.74，GPT-4.1 对应为 1.55、3.18、3.61。
该人工子集支持三种系统的排序一致，但不同于主测试集，不能把其 3.61 与主表的 2.74 混用，也不能据此声称已证明逐样本高相关性。

亮点与洞察¶

任务定义把“手指身份正确”从修辞细节变成监督目标，有助于区分动作意图识别和动作执行过程理解。
多模态预算可以按信息类型分配：用稀疏高分辨率图像保留外观，用结构化姿态补充高频运动，而不是仅在帧数与分辨率之间取舍。
评测暴露了普通微调的盲点：语言指标大幅提高，不代表接触关系和阶段覆盖同步改善；这对细粒度视频描述评测具有迁移价值。

局限与展望¶

作者承认分布外表现仍有差距，并指出长姿态窗口可能积累估计噪声；二维关键点对遮挡、深度和真实接触的表达能力也有限。
从评测设计看，GPT-4.1 同时参与文本润色和裁判，存在潜在的风格与参考偏差；人工子集能提供补充，但不足以排除所有裁判偏差。
数据选取清晰可见的手部动作，正文仅给出划分比例，未明确按人物、原始视频或动作类别隔离的细节，不能擅自称为跨主体划分或判定存在泄漏。
作者称文本润色不添加事实可以完全避免幻觉，但这一流程约束不是零标注错误的证明，应与实际审校质量区分。
可用全文止于参考文献，没有正文所指的附录；精确融合算子、采样窗口实现、第二阶段姿态编码器状态及完整推理开销仍需进一步核验。
后续可评估置信度感知的姿态融合、遮挡下的三维辅助信号及独立裁判校准；这些是读者建议，不是本文已完成的实验。

评分¶

新颖性: 4/5。主要价值在手指级任务、数据与评测闭环，FiGOP 是有明确任务针对性的结构组合。
实验充分度: 4/5。包含公开与闭源模型、姿态窗口、模态采样、分布外和人工评测，但复现细节与端到端开销不足。
写作质量: 3/5。总体动机清楚，但姿态频率和窗口长度表述不够一致，融合公式提取也限制了核验。
价值: 4/5。适合研究细粒度视频语言理解与手部交互描述，尚不能视为可靠的物理接触理解系统。