UniRAP: Towards Unified Part-level Physical Affordance Reasoning and Actionable Perception¶

会议: NeurIPS 2026
arXiv: 2610.29768
论文: https://arxiv.org/abs/2610.29768
代码: https://lif314.github.io/projects/unirap
领域: 多模态VLM
关键词: 物理可触力认知、可执行感知、4-DoF抓取位姿、视觉语言模型、具身智能

一句话总结¶

UniRAP 基于 Qwen2.5-VL 与 SAM 2 提出统一的接口 Token 机制与可触力解码器，将多模态提示映射到目标框、部件级 Affordance 掩码与连续 4-DoF 抓取位姿，在动静态场景及真机抓取中实现了跨粒度物理交互推理。

研究背景与动机¶

视觉语言感知系统（VLP）通过对齐自然语言与视觉观测，在开放世界视觉问答与粗粒度目标定位（如边界框与分割掩码）方面取得了显著进展。然而，在具身智能与物理交互场景中，智能体不仅需要识别物体“是什么”以及“在哪里”，更必须深入推理“与物体的哪个具体部件接触”以及“如何接触才能保证几何与物理交互的稳定性”。现有的视觉语言模型大多止步于高层语义对齐，缺乏在部件级像素几何与物理可操作性之间的细粒度建模能力。

现有工作在迈向可执行感知（Actionable Perception）时面临两大系统性瓶颈。一方面，基于 CLIP 或 DINO 类静态嵌入空间对齐的方法缺乏对复杂语言结构与组合逻辑的推理能力，仅局限于简单的类别标签匹配；另一方面，基于大语言模型的视觉感知方法（如 LISA、UniPixel 等）虽然具备多步推理能力，但其输出粒度仍以目标为中心，即使引入关键点或分割掩码，也无法显式建模部件级物理可触力（Affordance）与可执行接触姿态。近期尝试使用纯文本自回归生成 4-DoF 抓取位姿的方法（如 RealVLG-R1）又因语言离散化导致的回归不稳定性与累积误差，难以支撑高精度像素级操作，且完全不支持时序连续的视频交互。

本文的核心矛盾在于：高层语义推理与底层连续接触几何存在表征粒度断层，且细粒度交互位姿标注极其匮乏，导致多任务联合学习容易发生相互干扰。本文的切入角度是打破离散文本预测姿态的模式，将物理交互意图融入共享的 Dense 提示接口，并复用分割中间特征直接回归连续交互几何。核心 idea：通过统一的 <REF> 与 <SEG> 接口 Token 机制融合多模态提示，构建集目标检测、部件级 Affordance 分割与回归式 4-DoF 交互位姿估计于一体的统一可触力解码器（UAD），并结合四阶段课程迁移学习实现跨图像与视频的鲁棒物理交互感知。

方法详解¶

整体框架¶

UniRAP 旨在建立一个端到端的多模态条件生成与密集预测框架，将图像/视频观测、自然语言指令以及可选的视觉提示（点、框）映射为兼具空间与物理意义的几何表征。模型骨干由多模态大模型 Qwen2.5-VL（3B）和时序分割模型 SAM 2.1 协同构成。输入的多模态提示经统一接口机制编码后，LLM 生成包含 <SEG> Token 的推理响应；随后提取 <SEG> 的深层隐状态投影为目标定位提示向量，与 SAM 2.1 经记忆注意力增强的时序视觉特征注入统一可触力解码器（Unified Affordance Decoder, UAD），联合输出目标边界框、部件级分割掩码以及 4-DoF 抓取位姿候选。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["多模态输入<br/>图像/视频 + 文本指令 + 可选视觉提示"] --> B["统一接口 Token 机制<br/>Fourier 视觉提示编码与 <REF>/<SEG> 语义对齐"]
    B --> C["时序记忆特征提取<br/>SAM 2.1 视觉编码器 + Memory Attention"]
    C --> D["统一可触力解码器 UAD<br/>Two-way Transformer 跨模态特征调制"]
    D --> E["多粒度交互预测<br/>掩码生成 + 框残差回归 + 回归式 4-DoF 位姿预测"]
    E --> F["四阶段课程迁移训练<br/>通用预训练 → 可触力预训练 → 视觉指代预训练 → 动作可触力微调"]

关键设计¶

1. 统一接口 Token 机制：消除显式与隐式提示的模态表征差异 在缺乏显式自然语言指代指令或需要精确引导特定部件时，模型需要能够兼容视觉点/框提示。UniRAP 引入了基于 <REF> 与 <SEG> 的统一提示管道。当文本指令包含 <REF> 时，视觉参考提示 $\mathbf{x}_r$（点或框的连续时空坐标 $(x, y, t)$）通过随机傅里叶特征映射（Random Fourier Mapping）投影至高维空间： $$\gamma(\mathbf{c}) = [\sin(\mathbf{B}\mathbf{c}), \cos(\mathbf{B}\mathbf{c})], \quad \mathbf{B}_{ij} \sim \mathcal{N}(0, \sigma^2)$$ 经线性投影生成离散 Prompt Embedding 并直接注入 Qwen2.5-VL 进行自注意力融合。这种设计避免了将视觉提示直接送入视觉骨干导致的语义脱节，而是让显式视觉参考与隐式语言指代统一聚合在 <SEG> 的最后隐状态 $\tilde{\mathbf{h}}_{\text{seg}}$ 中，再经 MLP 投影器 $\gamma$ 输出连续的目标定位提示嵌入 $\mathbf{h}_{\text{seg}}$。

2. 统一可触力解码器（UAD）：密集分割引导下的残差检测与回归式位姿建模 针对细粒度交互几何标注稀缺、传统热力图（Heatmap）受限于高斯响应分布不均与覆盖范围的问题，UAD 基于 SAM 2 的 Mask Decoder 构建了共享的 Two-way Transformer，将时序记忆视觉特征 $\mathbf{f}_{\text{mem}}$ 与任务 Token（包含 Mask Token $\mathbf{t}_m$、Bbox Token $\mathbf{t}_b$、Grasp Token $\mathbf{t}_g$）进行双向交叉注意力更新。各预测分支紧密耦合： - 分割分支（Mask Head）：由 HyperNet 调制的 Mask Token 对上采样特征 $\mathbf{f}_{\text{up}}$ 进行逐元素加权，生成候选掩码并通过稳定性评估筛选最优掩码 $\hat{\mathbf{M}}$。 - 检测分支（Bbox Head）：从 $\hat{\mathbf{M}}$ 获取几何外接矩形 $\mathbf{b}_0$，利用 $\mathbf{t}_b$ 通过 FiLM 调制特征并在 $\hat{\mathbf{M}}$ 内部执行加权池化，经残差网络预测精细偏移：$\hat{\mathbf{b}} = \mathbf{b}_0 + \mathrm{MLP}_{\text{res}}(\mathrm{Pool}_{\hat{\mathbf{M}}}(\mathrm{FiLM}(\mathbf{f}_{\text{up}}, \mathbf{t}_b)))$。 - 回归式抓取分支（Grasp Head）：在掩码 $\hat{\mathbf{M}}$ 的前景区域执行最远点采样（FPS）提取 $N_g$ 个几何中心针点 $(a_x^i, a_y^i)$，结合距离质心的相对归一化位置编码与 FiLM 调制的语义特征计算前景掩码点积注意力，最终由独立 MLP 回归中心偏移量 $(\Delta c_x^i, \Delta c_y^i)$、角度周期表征 $(\cos 2\theta^i, \sin 2\theta^i)$、夹爪宽度 $w^i$ 及质量得分 $q^i$。该机制将抓取候选紧密锚定在部件可触力掩码上，彻底摆脱了自回归文本生成的低精度瓶颈。

3. 四阶段课程迁移训练：分步攻克复杂多任务与数据长尾 为了在有限的物理交互标注下充分激发基础模型的感知潜能并防止灾难性遗忘，UniRAP 划分了由粗到精的四个阶段： - 阶段一（通用预训练）：使用 461K 图文/视频分割数据，优化 Qwen2.5-VL LoRA、<SEG> 投影层与 SAM 2 掩码分支，建立高层语义到像素区域的对齐基底。 - 阶段二（可触力预训练）：在 253K 部件级 Affordance 数据（如 HANDAL、PASCAL-Part）上微调，使模型具备识别物体功能部件（把手、刀刃、按键等）的能力。 - 阶段三（视觉指代预训练）：引入无语言标签的丰富抓取数据集（Jacquard、GraspNet 等），利用点/框 Prompt 训练视觉提示编码器以及检测、抓取头，使模型掌握由低维几何反推交互位姿的能力。 - 阶段四（可执行可触力微调）：在 RealVLG 数据集上进行联合端到端微调，协同优化全部分支，促使各任务表征相互赋能。

损失函数 / 训练策略¶

模型综合优化多任务加权损失函数： $$\mathcal{L} = \mathcal{L}_{\text{txt}} + 100\mathcal{L}_{\text{mask}} + 5\mathcal{L}_{\text{dice}} + 5\mathcal{L}_{\text{iou}} + 5\mathcal{L}_{\text{cls}} + 0.5\mathcal{L}_{\text{L1}} + 0.5\mathcal{L}_{\text{GIoU}} + 2\mathcal{L}_{\text{grasp}} + 0.1\mathcal{L}_{\text{mib}} + 0.1\mathcal{L}_{\text{gcm}}$$ 其中，$\mathcal{L}_{\text{txt}}$ 为自回归语言建模交叉熵；$\mathcal{L}_{\text{mask}}$ 与 $\mathcal{L}_{\text{dice}}$ 仅在最优候选掩码 $k^*$ 上回传梯度；抓取分支 $\mathcal{L}_{\text{grasp}}$ 结合 Huber 几何回归损失与 BCE 置信度损失。为确保多尺度预测在空间上的自洽性，显式引入了两项空间一致性约束： - 掩码-边界框包含损失（Mask-in-Bbox Loss）：惩罚预测掩码在边界框 $\hat{\mathbf{b}}$ 外部的激活值： $$\mathcal{L}_{\text{mib}} = \frac{1}{|\Omega_{\text{out}}|} \sum_{(i,j) \in \Omega_{\text{out}}} \log(1 + e^{\hat{\mathbf{M}}_{ij}})$$ - 抓取中心-掩码重合损失（Grasp-Center-in-Mask Loss）：利用双线性插值强制各有效候选抓取中心落在预测前景掩码内： $$\mathcal{L}_{\text{gcm}} = \frac{1}{|\mathcal{G}_{\text{valid}}|} \sum_{k} \log(1 + e^{-\hat{\mathbf{M}}(\hat{c}_x^k, \hat{c}_y^k)})$$

实验关键数据¶

主实验¶

在代表性可执行感知基准 RealVLG-Benchmark（涵盖已见 Seen、相似 Similar、新颖 Novel 场景）上，UniRAP 与主流模型进行了系统评测（包括目标检测 gIoU/cIoU、分割 $F_\beta/S_\alpha$ 及 4-DoF 抓取 $m\text{IoU}/g\text{Acc}$）：

方法	参数量	Seen (Bbox / Seg. / Grasp)	Similar (Bbox / Seg. / Grasp)	Novel (Bbox / Seg. / Grasp)
Qwen2.5-VL + SFT	3B	56.4/57.1 \| 76.2/43.4 \| 3.4/1.7	54.7/55.9 \| 75.4/43.2 \| 3.6/2.1	57.2/58.6 \| 46.2/38.9 \| 4.4/1.5
RealVLG-R1 (GRPO)	3B	83.8/84.2 \| 83.9/43.4 \| 34.7/40.3	84.7/85.3 \| 84.1/43.0 \| 28.2/31.9	77.1/78.1 \| 49.4/38.7 \| 16.3/17.1
RealVLG-R1 (GSPO)	7B	89.0/89.6 \| 88.9/45.4 \| 33.6/32.8	86.4/86.9 \| 86.6/43.8 \| 27.9/30.2	88.5/88.9 \| 52.0/39.7 \| 16.5/18.3
UniRAP (Ours)	3B	85.5/86.1 \| 92.0/43.6 \| 43.8/56.7	83.6/83.0 \| 89.4/46.9 \| 40.8/56.7	68.4/72.3 \| 75.8/42.4 \| 39.5/63.3

在指代与推理 Affordance 分割任务（HANDAL、3DOI、GraspNet）中，UniRAP 同样全面优于前序 SOTA 模型 RAGNet（7B）。例如在零样本 3DOI 推理评测中，UniRAP（3B）达到 55.7 gIoU / 54.5 cIoU，较 RAGNet（38.1 / 39.4）提升了 17.6 / 15.1 个百分点。

消融实验¶

消融实验验证了课程学习阶段设置与 UAD 解码分支结构的必要性：

配置 / 阶段变化	ReasonSeg (gIoU)	ReVOS ($\mathcal{J}\&\mathcal{F}$)	3DOI Ref. (gIoU)	3DOI Reason. (gIoU)	RealVLG Grasp ($g\text{Acc}$)	说明
仅通用预训练 (Stage 1)	55.4	58.3	40.5	37.5	–	缺乏部件与交互先验
+ 可触力预训练 (Stage 2)	56.4	59.2	50.4	52.9	–	3DOI 推理 gIoU 大幅跃升 15.4 点
+ 视觉指代预训练 (Stage 3)	57.0	59.8	50.8	54.2	26.4	赋予几何姿态映射基础
替换为热力图抓取头 (Heatmap)	57.6	61.7	52.3	55.6	13.4	抓取精度严重暴跌 49.9 点
去掉 Bbox 头 (w/o Bbox Head)	56.8	60.4	51.3	53.8	24.7	缺乏空间边界先验，各任务均有下降
完整模型 (Full UniRAP)	57.9	61.9	52.1	55.7	63.3	多分支与全阶段协同最佳

关键发现¶

回归式预测完胜离散与热力图机制：在 4-DoF 抓取预测上，基于 Transformer 特征直接回归 offset 和几何属性（$g\text{Acc}=63.3\%$）大幅优于传统热力图方案（$13.4\%$）以及离散文本自回归模型 RealVLG-R1（Novel 场景仅 $17.1\%$），在零样本下实现了超 3 倍的精度跨越。
检测头反哺分割性能：在 UAD 中引入目标检测残差预测后，边界框与掩码的空间一致性约束抑制了背景噪点，使 ReasonSeg 与 ReVOS 分别额外提升 1.1 与 1.5 点。
真机闭环验证显著：在 Franka FR3 机械臂与 D435i 相机上测试 13 类生活物品（6 个直接指代，7 个复杂推理），UniRAP 端到端输出 4-DoF 位姿的抓取成功率达 88.5%，大幅超越基于分割后处理几何规划的 UniRAP+GraspNet（55.4%）以及 RealVLG-R1（62.3%）。

亮点与洞察¶

将物理交互先验编码进连续 Token 接口：打破了 VLM 只能做文本对话与粗粒度区域定位的固有边界，证明了 <SEG> 隐空间可以承载连续的部件级物理约束与接触几何映射。
几何与语义强耦合的解码器架构：在掩码前景内执行最远点采样作为姿态锚点，并辅以空间一致性损失，使抓取点与可操作部件天然绑定，避免了机械臂抓空或抓错非功能区域。
以小博大的轻量化能力：仅基于 3B 规模的轻量化 VLM 骨干，在指代分割、可触力推理和位姿准确度上全面追平或超越 7B/8B 量级的大模型，具备在边缘计算与具身移动终端实时部署的潜力。

局限与展望¶

计算资源与骨干规模限制：作者坦承受算力限制，未能在大规模 7B/14B 模型或千万级预训练集上进一步缩放验证，未纳入 PixelQA 等更复杂的细粒度多轮交互任务。
深度信息依赖与高自由度扩展：当前方法主要预测 2D 平面内的 4-DoF 抓取位姿（平面位置、旋转与夹爪宽度），面对空间复杂障碍或灵巧手（Dexterous Hand）多指操作所需的 6-DoF/SE(3) 全自由度位姿建模仍有待拓展。
端到端闭环动力学缺失：感知阶段虽然输出可执行位姿，但实际操作中尚未与底层的反馈控制策略（如触觉感知、动态重规划）形成深层次闭环耦合。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次将高层 VLM 推理、部件级可触力分割与端到端连续 4-DoF 抓取几何在统一多模态生成框架下闭环实现。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖指代分割、视频时序分割、三套可触力基准、RealVLG 动作感知、详细消融及真实 Franka 机械臂 130 次抓取实验。
写作质量: ⭐⭐⭐⭐⭐ 结构逻辑清晰严密，从痛点剖析到模块设计与实验论证层层递进。
价值: ⭐⭐⭐⭐⭐ 为具身智能中“高层语言规划与底层物理执行断层”提供了一个极具实用价值与泛化能力的视觉感知接口。