BiCE-HG: A Bi-Conditional Egocentric Hand Gesture Dataset for Intelligent Reality Systems¶

会议: ECCV 2026
Paper: https://eccv.ecva.net/virtual/2026/poster/5982
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/15036.pdf
数据集: BiCE-HG 数据发布页
领域: 人体理解
关键词: 第一人称手势识别、照度测量、骨架序列、移动条件、数据集评测

标题来源：沿用会议记录标题；同一官方 PDF 的正文标题增加了“An Indoor”限定，作者为 Awfa Dakheel 和 Charith Abhayaratne。正文讨论的均为室内 BiCE-HG 数据集，不把标题差异视为另一篇论文。

一句话总结¶

BiCE-HG 将三种移动状态与两种照明设置交叉采集，并提供空间照度记录和手部骨架数据；动态骨架基线达到 89.24% 验证准确率，但现有划分不是跨参与者测试，也不足以单独证明跨光照泛化。

研究背景与动机¶

第一人称手势识别面对的不是固定相机前的一只手，而是随着佩戴者移动、转头、遮挡而不断变化的可见手形。 AR/VR 交互中，用户可能坐着操作菜单，也可能站立或行走时做同一种手势；相机接收到的图像质量会随位置和照明改变。即使最终分类器只使用骨架，低照度、运动模糊和双手互相遮挡仍会影响上游关键点提取，因此“骨架不直接包含颜色”不等于识别过程不受光照影响。 EgoGesture、FPHA 和 H2O 等数据集覆盖不同规模与任务，但本文关注的缺口是：场景标签通常不能告诉研究者某处究竟有多少 lux、沿路径的亮度如何变化。

“室内”“明亮”这样的标签可以描述采集环境，却难以支持受控的照明复现。如果一个识别系统在行走数据上表现下降，仅凭场景标签无法区分是手势轨迹、遮挡、运动模糊，还是空间照度变化造成的。 BiCE-HG 的切入点不是提出更大的识别网络，而是把移动条件、照明开关设置和环境测量一并纳入数据设计，再用静态与动态骨架识别给出起始参照。这种设计使后续研究有机会按条件分析误差，但作者当前的总体准确率仍只是混合条件下的基线，不能替代这些尚未给出的细分实验。

数据集因而把贡献重点放在“记录可检查的环境条件”，而不是追求手势类别数量最大化。它用有限的室内空间和头戴相机，将同一参与者、同一手势在不同移动与照明条件下重复记录，并发布相应骨架与照度信息。 核心 idea：把第一人称手势数据中的光照从模糊的场景描述变成可测量的实验条件，同时用移动状态交叉设计保留真实交互中的变化。

方法详解¶

整体框架¶

BiCE-HG 是数据集与评测协议，不是新增一条端到端推理流水线。输入是头戴 GoPro 拍摄的第一人称手势视频，以及实验空间中单独测量的照度记录；输出包括静态骨架版本、动态骨架版本、标注与空间照度图。其四个关键设计是移动—照明交叉采集、空间照度记录、骨架提取与质检，以及静态—动态评测协议。 ST-GCN 与加入注意力的 E-ST-GCN 只是用来测量数据难度的基线，不能把它们的所有组成部分都当作数据集的新方法。

“静态版本”指每段记录只提供一个代表性骨架帧，“动态版本”保留时间序列，不是简单地把手势类别拆成两套。两版覆盖同一套手势任务，区别在于分类器是否能够利用轨迹和帧间变化。照度记录属于数据描述和后续分析依据；原文没有说明基线把 lux 数值作为额外网络输入。本文因此不画人为的多模块架构图，也不把环境元数据描述成一个已经验证有效的光照补偿模块。

关键设计¶

1. 移动—照明交叉采集：让同一种手势覆盖六类使用条件

数据集包含 23 位参与者和 19 个手势类别，按坐姿、站姿、行走三种状态与全照明、低照明两种设置形成六个条件。同一个手势由参与者在六个条件下分别完成，主文反复报告的规模是 2,622 个手势实例。手势词汇服务于第一人称交互，例如选择、方向控制、缩放、符号反馈以及画圆，不是日常活动识别中的长时动作片段。这种设计的价值在于，同一类别不会天然只对应某个照明场景，研究者原则上可以按移动或照明条件比较同类手势。不过，六条件覆盖均衡并不意味着所有潜在干扰都已消除；文中说采集采用预定顺序，没有给出顺序随机化的证据。

采集设备为头戴 GoPro HERO13；第 3.3 节描述室内录像为 3840×2160、30 fps。全照明时开启两块顶置 LED 面板，低照明时关闭其中一块；引言还提到环境日光的存在。因此“低照明”是一个设备设置，并不代表整条路径处处都暗，也不能与另一设置形成完全分离的 lux 区间。行走协议在第 3.3 节写为约 5 m 路径、约 1.2 m/s，用位置变化引入照度梯度和自然运动扰动。这些条件使数据比纯静止、固定照明的采集更贴近移动交互，但仍然限定在受控室内场景。

2. 空间照度记录：将环境变化变成可复查的测量信息

作者使用校准照度计在约 80 个空间位置记录照度，并提供沿空间位置的正向、反向测量信息。这些测量描述的是实验环境的光照分布，而非仅用“亮”“暗”给整段视频贴标签。当行走者经过灯下和灯间区域时，同一照明开关状态也可能对应明显不同的照度，这正是空间记录相对单一场景标签的增量。第 3.3 节报告全照明覆盖 173–523 lux、低照明覆盖 29–460 lux；两者明显重叠，说明条件标签和实际 lux 值不能互相替代。

第 5.3 节还报告全照明正向、反向测量的平均照度分别为 310.0 和 326.4 lux，以及变异系数统计。变异系数是标准差相对均值的比值，通常以百分比表示，用来描述测量的相对波动，而不是手势识别准确率。局部读数较稳定与不同位置之间存在较大照度差异可以同时成立；但主文没有完整交代该变异系数统计的重复测量与聚合细节。空间测量有利于环境复现，却没有直接建立“每一帧手部实际受光量”的精确标注：原文未交代逐帧位置—照度对齐过程。因此它提供的是研究光照鲁棒性的基础条件，而非一个已经完成的逐帧光照因果分析。

3. 骨架提取与质检：把图像困难保留在可分析的数据质量环节

MediaPipe Hands 为每只手提取 21 个三维关键点；低于 0.5 检测置信度的帧被标记为需要人工处理。人工流程不是直接把每个点都手绘一遍，而是核查手部框、用框引导重新检测，再对缺失关键点插值并进行时间平滑。作者在 10% 数据上做多标注者核查，报告平均关键点偏差小于 5 像素，这是一项标注一致性检查，不等同于相对于真实三维位置的误差。更重要的是，论文还按手势统计检测率，让读者看到上游姿态提取在不同类别上并不均匀。简单单手姿态通常容易提取，双手框形手势则更容易因第一人称遮挡而缺失关键点。

实际训练描述采用每帧两只手共 42 个点、每点三坐标的表示，单手手势对缺席的另一只手补零。静态发布版从每个序列取一个代表性骨架帧，但主文没有提供足以复现该代表帧选择的明确规则。动态版保留 30 fps 序列，使方向、运动过程以及暂时遮挡前后的上下文能够参与分类。这两个版本适合研究“单帧姿态是否足够”的问题，但人工修正、插值和平滑也意味着发布骨架不一定等同于实时原始检测器输出。基于清理后骨架得到的分类成绩，不能直接解释为完整相机系统在同样困难图像上的未经修正性能。

4. 静态—动态评测协议：先隔离录像，再比较时间信息的作用

作者按手势汇集不同参与者、光照和移动条件的数据，以固定随机种子 42 做 80%/20% 训练—验证划分。关键约束是按序列文件划分，而不是把切出的窗口独立随机分配。动态训练采用 16 帧窗口、步长 8，相邻窗口有一半帧重叠；若同一录像的窗口出现在两侧，验证集可能包含训练样本的近重复内容。让一段录像派生的所有窗口留在同一分区，可避免这类窗口级泄漏，但同一个人仍可能同时出现在训练集和验证集。因此结果表示对未见录像的识别表现，不能作为未见用户上的泛化证据。

动态输入还将窗口中间帧相对首帧的坐标位移附加到三坐标通道，扩展为六通道，以帮助区分方向相反但局部手形接近的动作。 ST-GCN 用关节作为图节点、解剖连接作为边，结合空间图卷积和时间卷积输出 19 类概率。 E-ST-GCN 额外引入关节可靠性门控、空间注意力和时间注意力，分别利用置信度与可见性、关节关系和运动片段的重要程度。主文只给出这些注意力机制的概念作用，没有充分的计算定义；不能据此补写一个看似完整的注意力公式。静态与动态比较也不只改变“有没有时间”：窗口、位移通道和参数量都存在差异，因而应把结果解释为动态设置的整体收益，而不是严格隔离的单因素效应。

损失函数 / 训练策略¶

训练运行 120 个 epoch，batch size 为 32，优化器为 AdamW，目标为 19 类加权交叉熵。类别权重按总样本数除以“类别数乘该类样本数”设置，用于减轻类别频数不均衡。缓存中的损失公式排版有损坏，但其文字解释能够支持上述定义，因此这里只保留可核验的训练含义，不复原受损公式。第 4.1 节列出九层空间图卷积，通道为三层 64、三层 128、三层 256，时间卷积核大小为 9。不过，同节的 64 帧、21 节点、三通道输入及参数量，与第 4.2 节的实际训练表示和表 3 不一致，复现时不能混用。推理基线的输出是给定骨架输入的手势类别；论文没有证明完整视频采集、姿态估计、人工纠正到分类的在线吞吐率。

实验关键数据¶

主实验¶

下表选择原文表 3 的四组结果，均为 BiCE-HG 按序列文件划分的 20% 验证集。准确率与 F1 越高越好；主文未明确 F1 的平均方式。无注意力与三重注意力均分别训练，不是跨数据集的 SOTA 比较。

输入版本	基线设置	准确率（%）↑	F1 ↑	参数量
静态	无注意力	81.45	0.804	214,291
静态	可靠性门控＋空间＋时间注意力	80.38	0.796	263,913
动态	无注意力	88.57	0.878	214,387
动态	可靠性门控＋空间＋时间注意力	89.24	0.879	264,009

按表 3 计算，无注意力动态版比静态版高 7.12 个百分点；动态版加入三重注意力再高 0.67 个百分点。静态版加入注意力反而低 1.07 个百分点，说明更复杂的基线并非处处有利。摘要和结论把静态无注意力准确率写为 81.24%，与表 3 的 81.45% 冲突；这里统一采用表格值，不沿用原文对时间收益的其他不一致表述。

消融实验¶

原文表 3 只提供有无整体注意力的比较，没有分别移除三种注意力的完整消融。下面改选第 3.5 节与图 3 的真实数据质量分析：检测率是 MediaPipe 成功检测的比例，越高越好，但不是手势分类准确率。统计范围是全部采集条件，不是上表的 20% 分类验证集；不能把两个表的百分数当成同一种指标。

手势	检测率（%）↑	论文给出的困难解释
pinch	99.98	单手静态姿态容易检测
open palm	99.54	单手静态姿态容易检测
draw circle CW	95.52	运动轨迹伴随短暂模糊
hand frame right up	84.98	双手之间的第一人称遮挡
hand frame left up	83.02	双手之间的第一人称遮挡

关键发现¶

数据质量瓶颈早于分类器：双手框形手势的检测率明显较低，即使下游只使用骨架，也无法忽略上游可见性问题。
时间上下文有帮助但没有解决所有方向歧义：第 5.2 节报告动态版顺时针、逆时针画圆的分类准确率分别只有 50% 和 18%。
注意力的动态收益较小，且未给出多随机种子方差；不应把 0.67 个百分点视为稳健显著的架构突破。
89.24% 是混合照明条件下的总体验证准确率；没有按照度分箱、跨照明训练测试或最暗区域单列结果，不能据此证明照度不影响识别。

亮点与洞察¶

数据集的主要增量是可测量的环境信息，而不是把通用识别器包装成新模型。照度与位置记录为未来条件细分评测提供了明确入口。
同时公开单帧与时间序列，可直接观察哪些任务依赖运动而不只是手形。比较时仍需控制位移通道等预处理差异。
将检测率与分类率分开呈现有助于定位误差来源。对于双手遮挡，先改善关键点质量可能比只修改分类头更值得验证。

局限与展望¶

作者明确承认参与者不独立，并将跨参与者评测留作后续工作；当前结果不能代表新用户部署表现。
读者判断：主文主要展示混合照明准确率和照度统计，尚缺将二者联系起来的条件级识别分析，因此“光照鲁棒”应理解为数据支持的研究方向，而非已充分证实的性能结论。
数据规模描述有冲突：第 3.2 节在 2,622 条原始序列之后又称过滤后有 12,540 条有效序列，未解释增加来源；本文只采用第 3.6 节与结论一致报告的 2,622 个实例，不推断额外切片数量。
采集和实现口径不统一：正文与图 1 的分辨率、帧率不同；行走路径存在 4 m/5 m 表述；骨架节点数、窗口长度、帧数和参数量也存在差异。复现实验前需核对实际发布数据与实现，不能把冲突默默合并成一套配置。
照度范围在各节不一致，且“29–523 lux”与“4.95 倍范围”不是同一个最大最小比值；笔记不把二者同时当作一致的定量证据。
注意力细节、代表帧选取及窗口预测如何汇总没有充分说明；表中 F1 的平均方式也未明确。已读到的缓存包含完整数据方法和实验，但这些细节仍不可核验。
RTX 3090 上的骨架分类速度不等于头戴设备端到端速度；补充自动姿态提取、延迟与按条件测试会比继续强调高 FPS 更接近实际部署需求。

评分¶

新颖性：3/5。量化照明与移动条件的组合有明确价值，但识别架构不是主要创新。
实验充分度：2/5。已有静态、动态和检测质量分析，缺少参与者独立与照度条件分解评测，数字口径也需统一。
写作质量：2/5。数据动机清楚，但多处采集配置、规模和结果冲突影响可复现性。
价值：3/5。适合作为受控室内光照研究的起点，使用前需审查数据划分及实际发布内容。