I-Perceive: A Foundation Model for Vision-Language Active Perception¶

会议: NeurIPS 2026
arXiv: 2603.00600
领域: 多模态VLM
关键词: 主动感知, 视觉语言模型, 几何基础模型, 视点规划, 具身智能

一句话总结¶

I-Perceive 构建了首个面向大尺度室内场景的开放指令主动感知基础模型，将 VLM 的多层语义特征注入多视角几何推理骨干网络，直接端到端回归物理可行且满足语言意图的 6D 目标相机位姿，并在零样本跨场景与闭环主动探索中取得突破。

研究背景与动机¶

主动感知（Active Perception）是机器人根据当前任务意图主动规划并调整传感器位姿、以获取关键环境信息的核心能力。然而，现有主动感知研究长期处于碎片化状态：一类方法围绕固定下游任务设计，如传统视点规划（Next-Best-View, NBV）主要通过信息熵或未重建体积最大化来优化几何覆盖率，缺乏理解开放自然语言意图的能力；另一类面向目标识别或位姿估计的主动感知方法多局限于桌面或小型受限环境，动作空间狭窄。在大尺度室内移动场景中，虽然视觉语言导航（VLN）结合了大模型进行多模态导航，但其目标在于到达终点而非获取高质量的感知视点，无法满足细粒度观察与操作前感知的需求。

要实现通用的指令驱动主动感知，核心矛盾在于多模态语义意图与 3D 几何物理动作空间之间的表征断层。自然语言指令具备高度开放性与欠指定性，而机器人的相机视点选择本质上属于 3D 欧氏空间内的连续 6D 位姿决策，受限于几何遮挡、视场范围与物理碰撞。当前视觉语言模型（VLM）虽然语义对齐能力极强，但其缺乏精确的三维几何与连续空间坐标推理能力；而新兴的多视角几何基础模型（如 VGGT）虽能从稀疏图像中恢复场景三维结构和相对相机位姿，却无法直接理解开放语言任务，也无法直接外推未见区域的感知决策。

本文的切入角度是打破以 VLM 为决策中心的传统思路，建立以几何为主干、语义为条件的跨模态架构。核心 idea：将主动感知建模为在部分可观测 3D 空间中的条件几何推理，在多视角几何变换网络中引入隐式目标帧 token 与逐层语义 token，通过多层交叉注意力深层注入 VLM 中间层特征，端到端直接外推生成物理可行且指令对齐的 6D 相机视点。

方法详解¶

整体框架¶

I-Perceive 接收机器人当前观察的查询帧 \(I_0\)、若干张提供环境先验的上下文历史帧 \(\{I_i\}_{i=1}^{N-1}\)，以及用户给出的自然语言指令 \(\ell\)。模型直接输出当前坐标系（以 \(I_0\) 为原点）下的目标相机参数 \(\mathbf{g}_N = [\mathbf{q}_N, \mathbf{t}_N, \mathbf{f}_N] \in \mathbb{R}^9\)，分别对应四元数旋转、三维平移和相机视场角（FoV）。整个系统由两条互补通路协同构成：视觉语言通路（Qwen3-VL-4B）负责提取图像与指令的深层多模态语义；几何推理通路（基于 VGGT 架构扩展的多视角 Transformer）负责建模多帧之间的三维空间关系与相机约束。

在处理流程上，视觉语言通路抽取多层中间键值（KV）特征，几何通路在各视角引入可学习的语义 token 并追加一个隐式目标帧。通过层间深层交叉注意力，语义意图自底向上逐步调制几何特征，最后由专用相机预测头直接回归 6D 位姿，辅以深度图、三维点云图及二维分割掩码等多任务辅助监督。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：查询帧 + 上下文帧 + 语言指令"] --> B["双通路特征抽取<br/>VLM 多层 KV 缓存 + 几何 patch / camera token"]
    B --> C["跨通路分层语义注入<br/>语义 token 交叉注意力调制"]
    C --> D["目标帧隐式外推<br/>隐式目标帧与观测帧交替多视角自注意力"]
    D --> E["多任务预测解码<br/>主干回归 6D 相机位姿 + 辅助几何掩码头"]
    E --> F["输出：满足指令的 6D 目标相机位姿"]

关键设计¶

1. 跨通路分层语义注入：以深层多尺度特征打破几何与语言的割裂 以往结合 VLM 与几何模型的方法多采用浅层或尾部拼接（late fusion），导致几何推理骨干无法感知高阶语义引导。I-Perceive 从预训练 Qwen3-VL-4B 骨干网络的特定中间层 \(\mathcal{L} = \{l_j\}_{j=1}^{N_Q}\)（选定第 9、16、24、36 层）中抽取键值对 \(K^{(l_j)}, V^{(l_j)}\)。在几何推理通路的对应网络层（第 1、6、13、19 层）中引入与视觉 patch 具有相同网格排布的专用语义 token \(s_i\)。在帧内注意力计算时，语义 token 既与视觉 token 发生局部自注意力，又通过交叉注意力融合 VLM 的跨模态特征：

\[s_{i}' = s_{i} + \gamma \cdot \text{Proj}\left(\text{Attn}\left(W_{Q} s_{i}, K^{(l)}, V^{(l)}\right)\right), \quad \forall l \in \mathcal{L}\]

其中 \(\gamma\) 为可学习的 LayerScale 门控标量（初始化为 0），确保预训练几何几何知识平稳过渡。对于观测图像帧，语义 token 结合 2D 旋转位置编码（RoPE）聚焦图像细节；对于目标帧，则绑定 1D RoPE 与自然语言指令特征对齐。这种多层渗透机制使自然语言意图能够在网络前向传递的不同抽象层级上逐步调制三维空间的注意力分配。

2. 目标帧隐式外推：基于自注意力机制从已知视点推演未见视点 传统的几何基础模型（如 VGGT、DUSt3R）仅能对已有输入图像恢复几何与外参，无法在目标完全未被捕获或仅部分可见时预测全新的拍摄视角。I-Perceive 创造性地在输入序列末端添加一个隐式的虚拟目标帧 \(I_T\)（含可学习的视觉、相机及语义 token）。在几何推理主干中，网络通过交替执行帧内注意力（Intra-frame Attention）和跨帧全局注意力（Inter-frame Attention），让目标帧的隐式 token 共同参与观测帧的信息交互与汇聚。这使得模型将“规划新视点”转化为“从已知视角向未知视角的特征外推与补全”，直接预测出契合指令的不可见视角空间表征。

3. 自动化大规模主动感知数据管线：打通真实扫描与世界模型合成 主动感知长期受困于缺乏大规模真实配对训练数据。本文构建了一套自动化数据生成流程，涵盖 ScanNet、CA-1M 真实扫描数据以及 HSSD 仿真环境。针对真实扫描序列，算法基于物体中心启发式规则筛选目标帧（居中且高可见度），并在其前后约 \(\pm 150\) 帧轨迹上采样查询帧与上下文帧以模拟移动机器人的动态部分可观测性；对于 HSSD，系统规划无碰撞移动轨迹生成上下文，并通过专家 3D 工具构建测试真值。更进一步，针对 CA-1M 中约 30% 的场景引入生成式世界模型（Wan2.2）：先由 VLM 将指令转为第一人称镜头运动提示词合成视频，再用几何模型精确提取相机连续位姿调整真值，从而将训练集大幅扩充至 162K 真实场景样本、70K 仿真样本以及 96K 世界模型增强后训练样本。

损失函数 / 训练策略¶

模型采用多任务联合监督。总损失函数涵盖：目标及观测帧的相机位姿回归损失（平移欧氏距离、四元数测地线距离与焦距项）、深度图与三维点云图回归及其置信度损失、2D 指针热图（Soft-Argmax 坐标损失）以及语义目标分割掩码损失。在训练阶段划分为两个阶段： 1. 预训练阶段：在 162K 真实扫描及 70K 仿真数据上训练 5 个 epoch，冻结 VLM 主干参数，激活所有辅助预测头与几何主干； 2. 后训练阶段（Post-training）：在包含世界模型生成的精调数据集上训练 3 个 epoch，通过 LoRA 解冻 VLM 注意力投影层，关闭语义掩码和指针热图辅助头，专门强化模型对自然语言指令的精细对齐与端到端位姿预测鲁棒性。整套训练在 32 张 H200 GPU 上耗时约 30 小时。

实验关键数据¶

主实验¶

评估涵盖分布内仿真测试集（HSSD，52 个未见场景任务，含专家人工真值）与真实环境零样本分布外测试集（Replica，89 个语言任务）。对比基线包括：结合大模型引导的传统视点规划（NBV+L）、基于具身导航框架与视点微调的（VLN+P）、以及直接由大模型输出 2D 指针与深度反求位姿的 VLM Prompting（GPT-5.4 驱动）。评价指标包含约束违背率（CV，目标不可见或碰撞）、平移误差 \(e_t\)（米）、旋转误差 \(e_r\)（度）、三维体素匹配 \(F_1\) 分数（阈值 10cm 内命中率）、以及 GPT-5.4（Rank-G）和人类专家（Rank-H）给出的全排序平均排名（1 为最佳）。

数据集	方法	平移误差 \(e_t\) (m) \(\downarrow\)	旋转误差 \(e_r\) (deg) \(\downarrow\)	体素匹配 \(F_1\) \(\uparrow\)	Rank-G \(\downarrow\)	Rank-H \(\downarrow\)	约束违背率 CV (%) \(\downarrow\)	推理耗时 (s) \(\downarrow\)
HSSD (分布内)	NBV+L	\(1.18 \pm 0.16\)	\(77.70 \pm 13.39\)	\(0.2373 \pm 0.0679\)	\(3.28 \pm 0.25\)	\(3.38 \pm 0.22\)	\(75.0 \pm 11.5\)	\(200.9 \pm 24.4\)
HSSD	VLN+P	\(2.21 \pm 0.23\)	\(66.06 \pm 13.59\)	\(0.1726 \pm 0.0610\)	\(3.21 \pm 0.21\)	\(3.23 \pm 0.19\)	\(65.4 \pm 13.5\)	\(248.9 \pm 35.9\)
HSSD	VLM	\(1.12 \pm 0.12\)	\(32.33 \pm 7.15\)	\(0.4322 \pm 0.0617\)	\(2.25 \pm 0.19\)	\(2.21 \pm 0.16\)	\(26.9 \pm 11.5\)	\(151.8 \pm 30.2\)
HSSD	I-Perceive (本文)	\(\mathbf{0.41 \pm 0.06}\)	\(\mathbf{14.31 \pm 2.25}\)	\(\mathbf{0.7511 \pm 0.0474}\)	\(\mathbf{1.26 \pm 0.15}\)	\(\mathbf{1.18 \pm 0.14}\)	\(\mathbf{0.0 \pm 0.0}\)	\(\mathbf{1.1 \pm 0.1}\)
Replica (分布外)	NBV+L	\(1.53 \pm 0.18\)	\(61.92 \pm 10.10\)	\(0.2917 \pm 0.0499\)	\(3.01 \pm 0.20\)	\(3.01 \pm 0.19\)	\(67.4 \pm 10.1\)	\(182.5 \pm 19.8\)
Replica	VLN+P	\(2.62 \pm 0.27\)	\(70.61 \pm 10.45\)	\(0.1374 \pm 0.0466\)	\(3.22 \pm 0.21\)	\(3.28 \pm 0.19\)	\(69.3 \pm 10.2\)	\(140.1 \pm 20.4\)
Replica	VLM	\(1.98 \pm 0.21\)	\(36.77 \pm 6.35\)	\(0.3883 \pm 0.0431\)	\(2.40 \pm 0.16\)	\(2.40 \pm 0.14\)	\(36.0 \pm 10.1\)	\(101.9 \pm 17.0\)
Replica	I-Perceive (本文)	\(\mathbf{0.90 \pm 0.14}\)	\(\mathbf{24.41 \pm 4.40}\)	\(\mathbf{0.6306 \pm 0.0430}\)	\(\mathbf{1.37 \pm 0.12}\)	\(\mathbf{1.31 \pm 0.13}\)	\(\mathbf{4.5 \pm 4.5}\)	\(\mathbf{1.3 \pm 0.0}\)

消融实验¶

在未参与训练的真实环境测试集 Replica 上，对核心设计进行消融评估：

配置	平移误差 \(e_t\) (m) \(\downarrow\)	旋转误差 \(e_r\) (deg) \(\downarrow\)	体素匹配 \(F_1\) \(\uparrow\)	说明
I-Perceive (完整模型)	\(\mathbf{0.90 \pm 0.14}\)	\(\mathbf{24.41 \pm 4.40}\)	\(\mathbf{0.631 \pm 0.043}\)	完整双通路分层交叉注意力融合
替换 VLM 为 SigLIP2	\(2.202 \pm 0.320\)	\(50.48 \pm 9.34\)	\(0.259 \pm 0.058\)	语义理解大幅削弱，导致 \(F_1\) 暴跌 58.9%
去除辅助稠密监督 (w/o Dense Tasks)	\(1.214 \pm 0.179\)	\(30.71 \pm 5.46\)	\(0.445 \pm 0.054\)	缺少深度/点云/掩码约束，几何推理退化
仅单层特征融合 (Single Fusion Layer)	\(1.096 \pm 0.165\)	\(42.53 \pm 7.04\)	\(0.353 \pm 0.063\)	仅在尾层融合，无法形成逐层几何调制
线性投影融合 (Linear Fusion)	\(1.091 \pm 0.178\)	\(31.21 \pm 5.98\)	\(0.511 \pm 0.055\)	替换空间交叉注意力，表达容量下降

关键发现¶

大模型底座与深层跨注意力不可或缺：消融表明将 Qwen3-VL 降级为轻量编码器 SigLIP2 时性能恶化最严重，证明开放自然语言指令的主动感知高度依赖多模态大模型的常识和细粒度语义理解能力；而单层融合导致 \(F_1\) 从 0.631 骤降至 0.353，证实了多层逐级注入语义的必要性。
几何与碰撞安全性优势压倒性：基线方法（NBV+L 和 VLN+P）的约束违背率高达 65%~75%，主要因缺乏全局场景的三维几何连贯性导致镜头穿模或目标严重出画；I-Perceive 在 HSSD 达成 0% 违背，在未知场景 Replica 仅 4.5%，且相对基线两百余秒的多轮调用，其单次前向只需 1.1~1.3 秒，加速两个数量级。
闭环主动探索的零样本涌现：在初始视野完全未见目标（零初始上下文）的极端局部可观测设置下，I-Perceive 通过将当前预测帧追加为后续步骤上下文的方式闭环迭代，视点体素覆盖度随交互轮次单调提升，在数步内逼近全图真值先验下的上限，展现出强大的在线主动探索能力。

亮点与洞察¶

以几何为主轴的具身视觉统一架构：巧妙逆转了学术界“给 VLM 补几何 patch”的主流范式，将视点规划回归为几何欧氏空间的回归问题，用 VLM 提供条件线索驱动几何 Transformer 外推，结构清晰且推理极其高效。
世界模型驱动的主动感知数据自举：利用 Wan2.2 生成式视频世界模型与 VGGT 逆向位姿估计结合，低成本生产出 96K 高保真动态视点轨迹，打破了真实机器人主动感知训练数据匮乏的僵局。
可复用的隐式目标帧外推范式：在自注意力序列中设置包含可学习 token 的隐式目标帧，天然兼顾已知视角的上下文聚合与未知未来视点的时空推演，该范式可无缝拓展至机械臂最佳抓取视角规划、无人机主动追踪等多视角决策领域。

局限与展望¶

碰撞约束未内化至微分损失：当前系统对碰撞的判定仅通过后处理阶段体素检测被动剔除或包裹层过滤，未在网络回归头或可微损失中直接施加有符号距离场（SDF）碰撞梯度惩罚，复杂狭窄区域需依赖外层安全规则修正。
数据管线依然依赖已有物体的几何先验：训练数据的采样机制仍部分依赖 ScanNet / HSSD 标注中预置的物体包围框与语义分类，未来需要更通用、无需类别先验的开放式世界模型生成完全任意场景的探索目标。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出面向开放语言指令大尺度室内主动感知的双通路几何基础模型，隐式目标帧与世界模型自举设计精妙。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖仿真 HSSD、真实扫描数据集以及 Replica 零样本泛化，结合体素级 \(F_1\)、专家双盲排序与闭环消融，评测维度完备严谨。
写作质量: ⭐⭐⭐⭐⭐ 架构逻辑严密，图文对照清晰，问题定义与解决范式极具启发性。
价值: ⭐⭐⭐⭐⭐ 为移动机器人、具身智能体的主动视觉探索与决策开辟了全新的基础模型技术路线。