Beyond Language: Grounding Referring Expressions with Hand Pointing in Egocentric Vision¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/lingli1724/Egopoint
领域: 多模态 VLM
关键词: 第一人称视觉、手势指代、视觉定位、空间推理、视觉思维链

一句话总结¶

本文建立包含 15,338 张图像的 EgoPoint-Ground 基准，并用 SV-CoT 将手势指代拆成方向解析、射线筛选和语义核验，在真实场景 EDG 的 [email protected] 上取得 0.818，相比 Qwen3-VL-8B 的 0.701 提高 11.7 个百分点。

研究背景与动机¶

传统指代表达理解通常要求语言本身足够明确，例如用颜色、位置和类别区分多个目标。但佩戴智能眼镜的人更可能指着某物问“这是什么”，并不会把已经通过动作表达的信息再说一遍。此时缺失的不是一个更好的物体名称，而是“这”与现场某个实例之间的对应关系。即使模型识别出了画面中的所有物体，也不等于理解了用户正在指哪一个。 RefCOCO 等以语言描述为中心的数据集，无法完整检验这种手势与语言共同消歧的能力。

手指方向看似可以直接解决问题，但第一人称画面存在遮挡、相似实例和视角压缩。一条指向路径可能经过多个物体，仅靠几何位置仍不能确定用户意图；反过来，“那个男孩”也未必能区分多人场景。 EgoPoint-Ground 中每张图像平均有 2.8 个候选物体，63.7% 的样本包含至少 2 个同类别物体，42.5% 的目标存在中度或严重遮挡。这些统计把任务从简单的手势识别变成了实例级跨模态推断。因此，论文既要提供配对的手部与目标标注，也要分别测量语言线索和手部位置提示的贡献。

作者的切入点是构建第一人称手势指代数据，并把“看手势、沿方向找、按语言确认”组织成显式推理顺序。这不是训练一个全新的手部姿态网络，而是为现有多模态大语言模型提供更有结构的定位过程。数据集、评测任务与零样本推理基线构成互相配合的三部分贡献，不能只把论文理解为一种提示词技巧。 核心 idea：先用手势缩小空间候选范围，再用语言核验候选对象，让省略细节的自然指代仍能落到具体目标。

方法详解¶

整体框架¶

核心任务 EDG 输入第一人称图像、指向手的二维边界框和不充分的语言指代，输出目标物体的二维边界框。手部框告诉模型应关注哪只手，但不直接提供指尖方向，也不等于目标框。数据中虽有手部关键点标注，论文定义的 EDG 输入并不要求把关键点坐标交给模型。 SV-CoT 基于 Qwen3-VL 执行零样本推理：先读取空间锚点中的手部朝向，再模拟指向射线，最后结合语言判断目标是否成立。若候选都不满足语义置信要求，框架允许返回无目标，而不是强制选中某个物体。下面的数据构建属于离线阶段，其余节点展示推理数据流；图中没有新增参数训练阶段。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        DATA["混合数据与任务分解"] --> INPUT["图像、手部框<br/>语言指代"]
        INPUT --> DIR["空间锚点与方向解析"]
        DIR --> RAY["射线候选筛选"]
        RAY --> CHECK["语义核验与拒绝"]
        INPUT -->|图像与语言上下文| CHECK
        CHECK --> OUT["目标框或无目标"]

关键设计¶

1. 混合数据与任务分解

数据获取同时使用智能眼镜实拍、定向图像生成，以及对已有第三人称图像的第一人称手势编辑。实拍部分由采集者用语音描述场景，经语言模型整理，再由人工审校文字和标注手部、目标边界框。生成部分补充不易稳定拍摄的遮挡与光照条件，但生成图仍须人工筛选，不能直接当作可信标注。编辑部分尤其要纠正模型生成的手指与目标指向不一致问题，否则“图像真实”也可能对应错误的指代监督。姿态估计模型提供辅助手部关键点，人工复核后，再利用细粒度描述构造指代问答。最终标注不只是类别标签，而是同时覆盖整幅图像、目标物体、手部以及它们之间的指代关系。

第 2.1 节报告实拍、合成和 LLM 生成数据分别为 6,035、5,976 和 3,327 张，总计 15,338 张。混合划分把数据源合并后按 7:1:2 分成训练、验证和测试集；域适应划分则保留实拍数据用于测试，以合成和生成数据用于训练。这是数据协议，不表示 SV-CoT 本身经过了这些训练数据的微调。任务分解中，EDG 同时提供手部框与语言；D-REC 去掉显式手部框；POG 去掉语言指代；D-VQA 则要求回答被指物体的问题。由于 D-REC 的输入仍然包含图像，“语言单模态”应理解为没有显式手部框提示，不能据此断言图像中的手已被遮掉。这些对照主要诊断输入线索的作用，不是逐个移除 SV-CoT 内部步骤的模块消融。

2. 空间锚点与方向解析

手部框以位置和宽高描述连续图像区域，而语言模型处理离散 token，二者需要一个明确的接口。作者把手部框的各坐标量化到 1,000 个空间区间，并作为离散空间锚点注入多模态输入。这样做的目的不是编码目标答案，而是把“请观察这只手”转成模型能引用的空间位置。模型随后根据框内手的外观和朝向，推断一个二维指向方向，将局部手形转成面向整个场景的空间先验。因此，手部框本身不能独立完成方向估计；原始图像内容仍然是必要输入。文本抽取中的坐标量化公式损坏，笔记保留原文明确说明的离散区间数量和接口作用，不猜补归一化公式。

方向解析也是全流程的首个脆弱点：如果手被遮挡或透视过强，后续筛选会从错误方向出发。可复用的思想是先让模型明确自己的空间依据，再进行对象选择，而不是直接输出一个看似合理的边界框。这里的方向仍是模型推理得到的变量，不能等同于经过标定的三维指向测量。正文把这些中间过程称为语言 token 构成的推理链，并未说明另有独立几何求解器执行它们。

3. 射线候选筛选

得到方向后，框架从手部框中心出发，沿该方向形成虚拟射线，并保留与射线相交的候选视觉区域。原文第 4.1 节给出的核心几何关系如下，其中手部中心为起点，方向向量控制延伸方向。

\[ L(t)=P_{\mathrm{hand}}+t\cdot\mathbf{v} \]

射线不是最终答案，而是一个空间过滤条件：位于画面其他位置、即使语义相似的物体，也不应与指向附近的物体享有相同优先级。过滤后的中间表示是候选区域集合，而不是整张图像的自由描述。沿同一方向存在多个物体时，射线仍可能保留多个候选，这正是后续语言核验存在的原因。原文没有充分交代候选区域由何种检测器产生、射线相交如何数值执行，或是否完全由模型文字推理实现。因此应把图 6 读作结构化推理的设计说明，不能额外假设有一个已公开细节的硬几何过滤模块。

4. 语义核验与拒绝

最后一步检查候选区域是否符合问题或指代中的类别、属性及语义要求。论文以候选与查询之间的语义一致性评分描述这一过程：选择最高分候选，但只有最高分达到阈值才输出对应目标。达不到阈值时返回空结果，这与数据中的 2,171 个负样本相呼应。拒绝能力很重要，因为场景中出现一只指向的手，并不保证图像里一定存在可确定的目标。手势提供的是空间约束，语言提供的是语义约束，二者应当同时成立。

原文没有给出一致性评分的具体可计算实现、阈值数值或空候选集合的完整处理细节。笔记因此不把该评分写成已验证的分类概率，也不把拒绝机制宣称为经过校准的安全保障。输出结构包括推理链和最终目标框；这是一种零样本推理组织方式，而不是新提出的监督损失。对 D-VQA，论文定义了回答目标相关问题的任务，但表 3 没有报告 SV-CoT 行，不能由定位成绩推出其问答提升。

一个完整示例¶

考虑一个用于说明流程的场景：用户指向人群，问“那个男孩穿着什么”，画面中还存在其他人和邻近物体。空间锚点先定位用户的手，方向解析从该区域判断朝向，射线筛选排除远离指向路径的对象。若射线路径附近同时有人和背景物体，“男孩”这一语义约束会帮助排除类别不符的候选。确定对象后，D-VQA 才进一步回答衣着；只找到一个人物框并不意味着属性问答一定正确。若路径上的候选都不符合描述，框架设计允许拒绝，而不是把“最接近的物体”当作用户必然所指。这是流程示意，不是原文报告的逐步推理轨迹，也没有虚构候选数量或置信分数。

损失函数 / 训练策略¶

第 4.1 节明确将 SV-CoT 定义为 Qwen3-VL 上的零样本推理框架，没有提出新的训练损失或优化器设置。数据集提供训练划分及丰富监督，但不能把这些资源误写为本文已执行的模型微调。表中 SV-CoT 仅标注 Qwen3-vl，没有明确写出参数规模，因而不能保证所有差值都是同规模骨干的严格配对比较。正文也没有完整提供提示模板、推理预算、采样设置和拒绝阈值，复现时仍须查阅作者实现。

实验关键数据¶

主实验¶

定位采用 [email protected]、[email protected] 和 [email protected]，即预测框与真值框的 IoU 超过相应阈值的样本比例。下表摘自原文表 2（第 9 页），数值为比例，Hybrid 与 Real-World 分开报告；模型名称按源表保留。

模型	Hybrid [email protected]	Hybrid [email protected]	Real-World [email protected]	Real-World [email protected]
Qwen3-VL-4B	0.702	0.622	0.699	0.616
Qwen3-VL-8B	0.676	0.598	0.701	0.593
Qwen2.5-VL-7B	0.653	0.563	0.688	0.533
LLaVA-OneVision-4B	0.475	0.145	0.431	0.129
doubao-seed-2.0-lite	0.688	0.641	0.847	0.819
qwen3.6-flash	0.725	0.624	0.745	0.667
SV-CoT [Qwen3-vl]	0.756	0.718	0.818	0.727
Human Study	0.914	0.846	0.918	0.874

真实场景中的 0.818 对 0.701 对应 11.7 个百分点；混合场景中的 0.756 对 0.702 对应 5.4 个百分点。这两个开源参照分别是 Qwen3-VL-8B 与 Qwen3-VL-4B，不是同一个基线在两个划分上的成绩。真实场景的 doubao-seed-2.0-lite 达到 0.847，高于 SV-CoT 的 0.818，因此不能将摘要中的提升扩展为全表最优。

消融实验¶

下表摘自原文表 4（第 13 页），比较去掉显式手部框提示的 D-REC 与去掉语言指代的 POG。源表没有像表 2 那样标明 Hybrid 或 Real-World，故不将它们强行归入某个划分，也不据此计算跨表配对下降。

模型	D-REC [email protected]	D-REC [email protected]	POG [email protected]	POG [email protected]
Qwen3-VL-4B	0.684	0.605	0.612	0.532
Qwen3-VL-8B	0.648	0.561	0.595	0.514
LLaVA-OneVision-8B	0.258	0.049	0.181	0.025
SV-CoT [Qwen3-vl]	0.750	0.694	0.639	0.556
Human Study	0.926	0.819	0.916	0.806

SV-CoT 的 POG [email protected] 为 0.639，相对 Qwen3-VL-4B 的 0.612 提高 2.7 个百分点；D-REC 则由 0.684 提高到 0.750，差值为 6.6 个百分点。这些结果支持结构化推理在输入线索受限时仍有价值，但不能单独归因于射线、量化或拒绝中的某一步。

关键发现¶

原文表 3（第 10 页）的问答评测进一步检验定位以外的语义理解，以下保留最高准确率基线、Qwen3-VL-8B 和人类参照。 Acc. 为准确率，M-F1 为宏平均 F1；宏平均用于减弱类别不平衡对评测的主导。

模型	Hybrid Acc.	Hybrid M-F1	Real-World Acc.	Real-World M-F1
LLaVA-OneVision-8B	0.531	0.519	0.544	0.525
Qwen3-VL-8B	0.494	0.484	0.517	0.510
Human Study	0.811	0.631	0.877	0.756

问答真实场景准确率的 0.544 与人类 0.877 之间仍有明显差距，说明理解“所指是谁”和正确回答“它有什么属性”并不等价。定位结果在更严格 IoU 阈值下普遍下降，说明粗略找对区域还不足以获得紧致准确的目标框。

亮点与洞察¶

数据把手部、目标与语言关系一起标注，使“指代”成为可独立测量的任务，而非普通物体检测的附属现象。
空间筛选与语义核验承担不同职责：前者排除位置不相关的候选，后者处理同一路径上的类别歧义。这比单纯增加语言描述更贴近自然交互。
负样本和显式拒绝让基准不必假设每次指向都有可回答目标；值得迁移到智能眼镜的低置信度交互设计，但仍需要单独评估拒绝质量。

局限与展望¶

作者明确限定为静态图像中的典型食指指向，尚未覆盖复杂手势和连续运动轨迹；严重遮挡与远距离目标仍然困难。
数据由 17 名参与者采集，person 占 47.1%。这是泛化评估需要关注的分布条件，不能仅凭类别总数宣称覆盖所有真实用户和场景。
推理依赖给定手部框，实际系统还需检测正确的指向手；该前置步骤的误差没有在当前成绩中被明确分离。
缓存中的公式 2–4 排版损坏，正文也缺少若干实现参数。本文只转述可核实机制，不重建损坏公式或补造参数。
原文声称基线与人类定位差距超过 26%，但该说法不能一致对应表 2 的最佳模型与指标；笔记以表中具体数值为准。
数据伦理章节说明需要研究者认证与正式许可；代码链接不代表数据可无条件使用，也未在本次写作中联网核验发布状态。

评分¶

新颖性: 4/5。第一人称手势指代数据和配套任务有明确价值，推理框架本身较轻量。
实验充分度: 3/5。覆盖多模型、多任务与真实场景，但缺少内部模块消融、拒绝专项指标和充分复现细节。
写作质量: 3/5。问题与流程清楚，但个别结论超过表格支持范围，公式抽取也限制了核验。
价值: 4/5。适合研究智能眼镜和多模态交互中的指代落地，尚不足以证明可直接部署。