Affordance-Guided Diffusion Prior for 3D Hand Reconstruction¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/4223
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/5001.pdf
领域: 三维视觉 / 手部重建
关键词: 可供性描述、抓握分类、条件扩散、遮挡感知、姿态优化

一句话总结¶

AffHandGen 将“物体怎样被抓握、用于什么动作”的细粒度描述与图像特征共同注入手部姿态扩散先验，在保留可见关节二维证据的同时修正遮挡关节，使 WiLoR 在 HOGraspNet 高遮挡子集上的 PA-MPJPE 从 12.41 降至 9.37 mm。

研究背景与动机¶

单张 RGB 图像中的手部重建不只是识别手指轮廓。HaMeR、WiLoR 等大规模预训练模型往往能把网格投影对齐到可见区域，但当手指被物体或其他手指挡住时，同一投影可以对应多种三维关节配置。图像中“像一只手”并不意味着它真的以合理的方式握住物体，尤其是被挡住的无名指和小指，深度和弯曲程度都可能出错。

物体提供了另一类信息：握住细长工具、托住大碗和捏住薄片，对拇指位置与手指张开程度有不同要求。然而，“拿着某个物体”这样的普通描述太粗，单独的动作或抓握类别也不完整。作者把可供性理解为物体属性与可执行交互之间的关系，希望同时表达动作意图和抓握几何；难点在于通用视觉语言模型可以描述场景，却不擅长严格的抓握分类体系。

因此，本文不是让语言模型直接回归三维关节，也不是用生成结果替换全部视觉估计。它先把可供性组织成较可靠的文本条件，再训练手部姿态分布，最后把这一分布用于修正初始重建中不确定的部分。核心 idea：用抓握分类增强的可供性文本缩小遮挡关节的合理姿态范围，并用可见关节的二维投影约束阻止语义先验任意改动已有视觉证据。

方法详解¶

整体框架¶

输入是一张手物交互 RGB 图像，描述生成还使用手与物体的边界框；WiLoR 或 Hamba 提供待优化的初始手部姿态。框架先生成可供性描述，再由 AffHandGen 将描述与图像作为条件学习 MANO 姿态分布，推理时从初始姿态的中间加噪状态开始去噪，输出优化后的手部网格。

这里的生成目标是 MANO 的内部关节姿态参数，形状估计保持固定。文本和图像是先验的条件，关节可见性则控制优化时哪些二维误差值得信任；后者不是一个额外的文本属性，也不是显式物体碰撞模型。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    INPUT["RGB 图像与边界框"] --> DESC["分步可供性描述"]
    INPUT --> BASE["初始姿态与图像特征"]
    DESC --> PRIOR["多模态 token 扩散先验"]
    BASE --> PRIOR
    BASE --> REFINE["遮挡感知姿态优化"]
    PRIOR --> REFINE
    REFINE --> OUTPUT["优化后的手部网格"]

关键设计¶

1. 分步可供性描述：把通用场景理解与专业抓握知识分开获取

首先，Qwen2.5-VL 读取图像及手、物体边界框，分别提取物体类别、形状、相对大小、交互动作和意图。这样问的目的不是让答案更长，而是避免一句“右手拿着瓶子”省略决定手指配置的物体尺度或抓握方式。附录提示词还包含手部动作短句，并允许不确定字段返回 unknown 或 undetermined；这些输出是模型推断，不是物理真值。

抓握类型由独立监督分类器补充。分类器复用 HaMeR 的 ViT 图像特征和 MANO 姿态预测，将二者一起送入自注意力模块与 MLP，使用 HOGraspNet 的标签学习。它采用原始 33 种抓握中的 28 种，评估准确率为 87.6%。姿态参数提供手指构型，图像特征补充交互背景，避免让通用 VLM 在缺乏专门训练时猜测精细 taxonomy。最后，Mistral-7B 将这些字段和预测抓握类型整合为一句详细描述，交给后续文本编码器。分类、字段提取和句子整合属于同一个描述生成环节，并非三个独立姿态优化器。

2. 多模态 token 扩散先验：让姿态查询具体词语与图像区域

AffHandGen 在 MANO 的 \(15\times3\) 姿态参数空间中训练去噪网络，直接预测干净姿态，而不是生成 RGB 图像。姿态和时间步通过线性层编码并拼接，经 Transformer 解码器处理，最终由线性姿态解码器输出。可清楚辨认的条件预测关系为：

\[ \hat{x}_0=f_\phi(x_t,t,c),\qquad c=\{c_D,c_I\}. \]

其中，\(x_t\) 是带噪姿态，\(c_D\) 和 \(c_I\) 分别是文本与图像条件。DistilBERT 提供 64 个文本 token，HaMeR 的 ViT 提供 192 个图像 token；解码器通过交叉注意力访问这些 token，自注意力则建模姿态内部关系。关键区别在于不把每种条件压成一个全局向量：同样是“杯子”，不同抓握词语和局部手指区域仍可成为不同注意对象。这个机制允许细粒度条件参与去噪，但不意味着作者监督了每个关节与某个词语的一一对应。

这一选择也解释了为什么“加文本”不自动有效。改造后的 InterHandGen 基线同样可以读图像和文本，但只使用全局条件向量；它没有获得同样的局部条件交互能力。完整模型训练时还以 0.1 的概率随机屏蔽文本、图像条件，使网络兼容条件缺失并降低对单一模态的依赖；这不等于论文已经验证了任意错误描述下的鲁棒性。

3. 遮挡感知姿态优化：约束看得见的投影，放开不确定的关节

推理从 WiLoR 或 Hamba 的估计开始，而不是从纯噪声重新生成一只手。作者先把初始姿态加噪到中间时间步，再利用文本与图像条件迭代去噪。每次预测干净姿态后，都用可见关节的二维投影误差施加梯度引导，参照目标来自初始三维预测自身的相机投影，并非独立检测器或人工标注的二维关键点。完成扩散后还执行二维拟合后处理，因此“保留可见证据”是软约束，不是严格冻结可见关节的全部三维坐标。

可见性由两种判据共同决定。针对自遮挡，从初始 MANO 网格的每个关节向相机发射射线，若与手部表面相交至少 2 次，则视为被手的其他部分遮挡。针对物体遮挡，将初始关节投影与 SAM2 手部分割掩码比较，落在掩码外的关节视为物体遮挡。这样，被遮挡关节不再被迫拟合可能错误的初始二维位置，先验有空间修正其弯曲和深度；但初始网格或分割错误也会影响这个判断。

起始噪声步随遮挡关节数量线性调整：遮挡越多，允许从更高噪声状态进行更充分修正；遮挡少则少改动、少计算。反向过程还稀疏采样时间步。其作用是按不确定程度分配修正空间，而不是对所有样本执行完整的扩散链。

一个完整示例¶

以论文图 8 的控制性生成为例，固定 precision disk grasp，只把描述中的杯子大小从 small 改为 large，模型生成的手势会相应从较紧的抓握变为更张开的构型。这是文本控制的定性证据，不是具有量化成功率的物理抓握实验。

在重建场景中，相同机制接在初始网格之后：图像保留可见拇指位置，物体大小与抓握类型约束被挡住手指的合理形态，可见性掩码让去噪过程不必继续拟合那些不可靠的投影。两种使用方式共用姿态先验，但论文的重建主结果来自有初始估计和二维引导的优化流程。

损失函数 / 训练策略¶

训练采用干净姿态预测与真值之间的 L2 损失，并将预测通过 MANO 层后，在网格顶点和三维关节空间分别计算 L2 损失。姿态、顶点、关节三项权重依次为 1、10000、10000。缓存中的前向扩散式和总损失式存在字符缺损，因此这里仅转述清楚可辨的正文，不补写其缺失的符号、根号或系数结构。

模型隐维度为 512，注意力头数为 4；Adam 学习率为 \(10^{-3}\)，batch size 为 64，训练 80 epochs。最大扩散步数为 1000，前向过程采用余弦调度。HOGraspNet 使用二维引导权重 0.005、起始步范围 [100, 1000]、反向采样间隔 20；HO3D 的初始姿态更可靠，改为权重 0.5、起始步范围 [10, 20]、采样间隔 3。因此跨数据集效果包含不同优化设置，不能把它解释为完全无需调节的统一配置。

实验关键数据¶

主实验¶

作者每 10 帧取一帧，减少相邻帧的近重复描述。HOGraspNet 使用 119K 训练图像和 3K 评估图像，按 S1 划分测试未见受试者；HO3D 使用 65K/1K 图像，评估包含未见视角、受试者和物体。HO3D 与 HInt 没有抓握标签，使用在 HOGraspNet 上训练的分类器产生伪标签。

以下摘录原文表 1。PA-MPJPE 和 PA-MPVPE 分别是 Procrustes 对齐后的平均关节、顶点误差，单位均为 mm，越低越好；高遮挡为 11–21 个遮挡关节，低、中遮挡分别为 0–5、6–10 个。不能把对齐后的误差当作绝对相机坐标重建误差。

数据集	方法	平均 PA-MPJPE	高遮挡 PA-MPJPE	PA-MPVPE
HOGraspNet	WiLoR	8.22	12.41	7.57
HOGraspNet	WiLoR + InterHandGen	8.99	14.61	7.91
HOGraspNet	WiLoR + 全局文本/图像条件基线	8.06	11.12	7.29
HOGraspNet	WiLoR + AffHandGen	7.53	9.37	6.90
HOGraspNet	Hamba	8.46	12.72	7.57
HOGraspNet	Hamba + AffHandGen	7.85	9.46	7.11
HO3D	WiLoR	7.43	7.87	7.63
HO3D	WiLoR + AffHandGen	7.37	7.80	7.46
HO3D	Hamba	7.42	8.71	7.66
HO3D	Hamba + AffHandGen	7.29	8.39	7.37

在 HOGraspNet 上，WiLoR 平均误差下降 0.69 mm，高遮挡下降 3.04 mm；HO3D 上平均只下降 0.06 mm。收益明显依赖初始估计与遮挡程度。Hamba 在 HOGraspNet 的中遮挡误差还从 9.00 升到 10.21 mm，说明整体改善不等于每个子集都改善。

消融实验¶

下表摘录原文表 2 中可明确辨认的 HOGraspNet 平均 PA-MPJPE；各行是不同实验配置，不是累积移除多个模块。

配置	PA-MPJPE (mm)	说明
仅图像条件	7.90	不使用文本
普通 VLM 描述 + 图像	7.76	粗粒度文本
仅可供性描述	8.43	不使用图像条件
完整可供性描述 + 图像	7.53	标准配置
完整配置 + 真值抓握标签	7.51	替换预测抓握类别
不做 Mistral 句子整合，使用关键词	7.59	描述生成替代方案
去掉物体大小字段	7.59	字段消融
去掉抓握 taxonomy 字段	7.71	字段消融
条件编码器改为 CLIP	11.36	编码器替代方案
移除分割掩码	7.55	可见性掩码消融

完整文本相对普通描述改善 0.23 mm，相对仅图像改善 0.37 mm；换真值抓握标签仅改善 0.02 mm。这支持当前分类器已能提供有效条件，但不能推出分类错误永远无害。移除分割掩码只损失 0.02 mm，也不能据此声称整个遮挡感知策略贡献巨大：该行不等同于同时移除射线检测、自适应步数和二维引导。CLIP 替代带来最大的表内退化，但同时改变了条件表征与编码器，不能把差距完全归因于一个注意力操作。

关键发现¶

附录表 4 提供了 HInt 的跨域评估，下面保留 New Days 上的反例。其 [email protected]/0.1/0.15 是 HInt 的阈值协议，数值越高越好；不要与正文表 1 的像素阈值 PCK@5/10/15 混用。

New Days 关节范围	方法	[email protected]	[email protected]	[email protected]
全部	WiLoR	24.9	54.9	71.6
全部	WiLoR + AffHandGen	23.6	54.5	72.8
遮挡	WiLoR	15.4	42.1	61.2
遮挡	WiLoR + AffHandGen	15.1	42.1	63.0

更宽松阈值上的提升并不保证严格阈值提升。附录超参曲线在权重 0.005 处报告 7.51 mm，设置包含 100 次后处理；正文主表为 7.53 mm，这里保留各自实验口径，不用曲线最优值替换主结果。

计算成本也要分清模块：表 3 中 WiLoR 为 138.06 GFLOPs、21.0 FPS，AffHandGen 平均约 8 个扩散步为 7.94 GFLOPs、48.6 FPS。但文本生成 Qwen+Mistral 的表 2 速度仅为 0.31 FPS，SAM2 为 8.1 FPS。扩散模块较轻不意味着包含初始重建、描述生成和分割的整条流程更快；轻量可供性分类器方案报告 7.57 mm、96 FPS，同样是组件层面的替代实验。

亮点与洞察¶

语言条件的价值来自对几何决策有用的信息，而不是描述长度。把抓握 taxonomy 与物体尺度并列表达，比只说“拿着物体”更能排除不合理手势。
专业分类器与通用 VLM 的分工值得复用。前者承担标签体系明确、可监督的细节，后者承担开放的物体属性与意图推断，减少对通用模型专业知识的过度依赖。
先验适合用于修正不确定部分，而不是覆盖所有观察。把可靠投影与遮挡关节分开处理，可迁移到其他有遮挡的关节重建任务，但前提是可见性判断足够可靠。

局限与展望¶

作者明确指出，当前只处理静态单手，不显式建模三维物体几何。文本是物体信息的代理，因此“功能合理”不能等同于已验证无穿透、接触正确或抓握稳定。
附录失败案例涉及罕见抓握与分布外物体可供性，描述可靠性下降会削弱优化效果。扩大词汇与数据覆盖、引入三维物体约束是作者提出的方向，尚不是已有能力。
笔记观察：初始估计同时决定二维参照和部分遮挡判定，可能把错误作为可信监督保留下来；固定形状也限制了可修正的误差类型。
笔记观察：HInt 的严格阈值与部分可见关节结果会退化，且跨数据集采用不同优化超参。更完整的鲁棒性评估应报告错误描述、遮挡误判及跨域固定配置下的表现。
笔记观察：实时性需要测量所有组件的端到端延迟，不能直接引用扩散模块 FPS。后续可验证轻量描述生成与分割替代的组合效果，而非假定单项速度可以直接叠加。

评分¶

新颖性: 4/5。可供性描述、专业抓握分类与遮挡感知优化形成明确组合，扩散优化本身有既有工作基础。
实验充分度: 4/5。覆盖多个估计器、主数据集、跨域结果和细粒度消融，但物理正确性与端到端效率证据仍不足。
写作质量: 4/5。模块与附录较完整，但跨域提升和计算开销的文字结论需要结合表格细读；缓存公式损坏不计入论文评分。
价值: 4/5。对严重遮挡下的手部重建有可操作的增益，应用价值取决于语义条件可靠性和完整流程成本。