跳转至

Beyond Thinking: Imagining in 360\(^\circ\) for Humanoid Visual Search

会议: NeurIPS 2026
arXiv: 2605.09146
OpenReview: https://openreview.net/forum?id=nf3SdflMnP
领域: 多模态VLM
关键词: 类人视觉搜索、具身智能、空间先验想象、全景布局估计、概率采样引导

一句话总结

本文提出解耦的类人视觉搜索框架 Imagining in 360\(^\circ\)，通过轻量想象器（Imaginator）以掩码空间建模单步生成全景语义布局与概率空间先验，引导执行器（Actor）打破单体思维链的探索盲区，在大幅削减轨迹标注成本的同时显著提升搜索成功率与收敛速度。

研究背景与动机

人类视觉系统在探索未知物理环境时，并非机械地逐角度盲目扫描，而是依赖丰富的空间结构先验指导眼动与转头动作，主动注视可能包含目标的区域。类人视觉搜索（Humanoid Visual Search, HVS）旨在赋予具身智能体这种主动探索 360\(^\circ\) 全景空间的能力，完成类人物体搜索（HOS）与类人路径搜索（HPS）。然而，当前主流工作（如 Thinking in 360\(^\circ\)）普遍采用单体架构，依托多模态大模型（MLLM）维护历史多视角视野并在统一思维链（CoT）中同时承担环境表征与动作决策。这种耦合模式迫使模型在狭窄视场（NFoV）下隐式猜测未见区域，不仅极易引发空间幻觉或陷入局部来回摆动的死循环，而且使得训练过程高度依赖昂贵、密集的完整交互轨迹与多步专家 CoT 标注，难以向多样化野外场景规模化迁移。

这一瓶颈的核心矛盾在于：未见区域的空间拓扑推断本质上是高度不确定的概率生成任务，而具身动作执行则需要严格的事实扎根与严密推理。强行将两者绑定在单一推理链中，使得模型既无法充分表达未观测区域的多假设分布，又承受了过重的认知负荷。

本文的切入角度是将空间拓扑的直觉推断与确定性的动作规划显式解耦，规避高开销的像素级图像补全，直接在语言语义空间建模 360\(^\circ\) 全景布局先验。核心 idea：将类人视觉搜索解耦为生成式空间先验预测器（Imaginator）与动作规划执行器（Actor），想象器单步输出显式全景语义坐标并通过温度衰减采样生成多假设空间分布，为执行器提供兼顾不确定性的结构化探索建议。

方法详解

整体框架

整体框架将主动视觉搜索分解为两阶段协作流水线：在每个交互步，智能体首先由想象器（Imaginator）基于已观测视场图像与任务指令，执行单步前向推理生成全景语义布局，通过温度采样导出包含高确定性锚点与发散假设的候选空间坐标；随后，建议转换器将全局绝对坐标转换为相对于当前相机朝向的相对运动基元（旋转或终止提交）；最后，执行器（Actor）在上下文引入这些先验分布，经由内部思考链评估建议合理性并输出最终物理动作。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：多步局部视场图像序列 + 搜索指令"] --> B["全局语义布局建模<br/>单步预测已观测与未观测区域实体全景坐标"]
    B --> C["概率先验采样与温度退火<br/>贪婪锚点 + 随机多假设空间分布采样"]
    C --> D["相对动作基元映射<br/>绝对坐标转旋转偏移量或终止提交判定"]
    D --> E["先验引导的执行器推理<br/>CoT 结合视觉记忆校验先验并输出物理动作"]
    E --> F["物理交互执行与视场更新"]

关键设计

1. 全局语义布局建模：规避像素生成开销的紧凑空间拓扑先验

现有场景外推方法通常依赖计算极其繁重的像素扩散模型（如 FLUX 补全每步耗时 20-30 秒且伴随伪影），或无法与语言规划对齐的隐式特征。本文设计 Imaginator 在语言符号空间直接建模等距柱状投影（Equirectangular）全景拓扑。在第 \(t\) 步，Imaginator 接收所有历史局部视场观测 \(\{o_{\phi_1,\gamma_1}, \dots, o_{\phi_t,\gamma_t}\}\) 与自然语言指令 \(x\)，执行单步前向传播，输出结构化的全景语义坐标列表：包含当前/历史视场已识别地标的 [Observed] 块，以及对未观测视域中潜在实体的 [Imagined] 概率推断块（如推断门窗、家具或建筑结构的空间绝对极坐标 \((\varphi,\mu)\)）。这种联合建模将原本稀疏退化的点估计任务转化为平滑的全局环境结构表征，最终输出目标位置建议 Suggest Check \((\varphi, \mu)\)。

2. 概率先验采样与温度退火：对抗未观测环境不确定性的多假设分布

在受限窄视场下，未观测区域具有固有的多模态不确定性，单一贪婪猜测极易因误判而误导下游执行器。为此，系统在每个时间步从 Imaginator 中采样 \(K\) 个候选目标坐标 \(\mathcal{C}_t = \{(\varphi_t^1,\mu_t^1), \dots, (\varphi_t^K,\mu_t^K)\}\)。首个候选由贪婪解码（\(T=0\)）生成作为最确信的基准锚点；其余 \(K-1\) 个候选通过随机采样（\(T>0\)）获取，覆盖潜在的多种空间可能性。更重要的是，采样温度引入随搜索步数递减的衰减机制（初始 \(T_1=0.7\)，步长衰减系数 0.85）：在搜索初期视场线索匮乏时保持高温度以鼓励大范围发散探索；随着探索视场逐渐积累、环境不确定性单调降低，采样策略逐步退火收敛至高置信度区域，从而在广度探索与精准聚焦间取得自适应平衡。

3. 相对动作基元映射：将全局全景先验对齐具身物理控制

Imaginator 预测的绝对球面坐标 \((\varphi_t^i, \mu_t^i)\) 不能直接用于机器人执行，必须转换为相对于智能体当前姿态 \((\phi_t, \gamma_t)\) 的局部动作空间。系统内置建议转换器，首先计算经度航向与纬度俯仰的角度相对位移： $\(\Delta\varphi_t^i = (\varphi_t^i - \phi_t) \bmod 360^\circ, \quad \Delta\mu_t^i = \mu_t^i - \gamma_t\)$ 转换器随后检验预测位置是否已落在当前相机视场角边界 \((F_\phi, F_\gamma)\) 之内。若目标已经在当前视场内部，进一步盲目旋转不仅冗余而且增加误差，建议被映射为终止搜索并提交的基元动作 \(\text{Sub}\)；若目标处于视场外部，则将其映射为定向旋转基元 \(\text{Rot}\)： $\(s_t^i = \begin{cases} \text{Sub}(\varphi_t^i,\mu_t^i), & \text{if } |\Delta\varphi_t^i| \leq \frac{F_\phi}{2} \text{ and } |\Delta\mu_t^i| \leq \frac{F_\gamma}{2} \\ \text{Rot}(\Delta\varphi_t^i,\Delta\mu_t^i), & \text{otherwise} \end{cases}\)$ 转换后的建议集合 \(\mathcal{S}_t = \{s_t^1, \dots, s_t^K\}\) 按优先级注入执行器输入上下文的 [Spatial Imagination Suggestions] 提示槽位中。

4. 先验引导的执行器推理：利用思维链仲裁多模态视觉记忆与外部假设

执行器（Actor）可以灵活接入任意开源或专有多模态模型（如 Qwen-VL 系列、Gemini 或经过强化的 HVS-3B）。Actor 在每个时间步集成当前视场图像、历史轨迹记忆以及注入的空间建议集合 \(\mathcal{S}_t\)，生成带自我校验的思维链（<think> 块）。Actor 不盲从某单个空间假设，而是基于当前观测到的视觉特征对候选布局进行逻辑检验；一旦发现假设与环境矛盾则果断剔除，若假设契合几何常识则采纳执行，最终在 <answer> 块输出真实的动作基元。

损失函数 / 训练策略

Imaginator 采用全参数监督微调（SFT），训练过程通过两阶段策略实施，摆脱对昂贵专家交互轨迹 CoT 数据的依赖： - 阶段 1：伪预训练（Masked Spatial Pretraining）。利用 Qwen3-VL-235B 作为教师模型对收集的约 2 万个高质量 360\(^\circ\) 全景场景（涵盖 Sun360、Matterport3D 与 DiT360 生成数据）提取 5-15 个高置信度语义锚点。针对每个全景图合成 24 条局部视场轨迹，其中 50% 特意设计为目标回避轨迹（目标全程不出镜），强迫模型仅根据 1-8 帧部分视野推断全局拓扑。这构建了约 192 万单步结构化样本。模型基于标准自回归交叉熵损失优化： $\(\mathcal{L} = -\sum_{i=1}^L \log P_\theta(y_i \mid x, \mathcal{O}_t, y_{<i})\)$ 其中批大小为 192，训练 1 轮以广泛建立空间拓扑常识。 - 阶段 2：高质量对齐微调（Task Alignment SFT）。在 H*Bench 的训练集经过严格结构化清洗后保留的 4,248 条样本上以学习率 \(1\times 10^{-5}\) 微调 2 轮（批大小 8），精准对齐 HOS 与 HPS 任务输出规范。

实验关键数据

主实验

在基准评测集 H*Bench 上，实验全面评估了不同模型家族在有无 Imaginator 辅助下的类人物体搜索（HOS）与类人路径搜索（HPS）成功率（%）。评测覆盖开源基座、专有闭源模型及领域专用强化微调模型。

模型家族 参数量 / 架构 想象器引导 HOS Overall HOS Easy HOS Medium HOS Hard HPS Overall HPS Easy HPS Medium HPS Hard HPS Extreme
Qwen2.5-VL 3B \(\times\) 21.17 18.54 16.48 22.68 7.69 9.20 9.65 3.50 8.33
Qwen2.5-VL 3B \(\checkmark\) 49.54 59.19 51.70 45.62 25.94 34.80 22.15 24.77 15.74
Qwen2.5-VL 7B \(\times\) 12.79 31.22 7.39 6.34 9.88 12.20 11.18 7.24 6.94
Qwen2.5-VL 7B \(\checkmark\) 57.42 70.73 51.70 52.95 28.38 35.20 24.34 29.44 18.98
Qwen2.5-VL 72B \(\times\) 29.54 36.91 21.59 27.59 12.94 17.40 9.21 15.65 5.09
Qwen2.5-VL 72B \(\checkmark\) 62.25 70.08 60.80 59.42 38.19 45.00 36.18 39.25 24.54
Qwen3-VL 235B \(\times\) 23.62 57.24 26.70 10.44 21.44 26.80 19.96 23.36 8.33
Qwen3-VL 235B \(\checkmark\) 65.04 81.46 60.23 59.29 38.25 46.60 35.31 37.15 27.31
Gemini-2.5 Flash \(\times\) 43.70 79.50 59.70 28.30 27.70 35.80 22.60 31.30 12.50
Gemini-2.5 Flash \(\checkmark\) 63.20 86.30 69.30 53.70 37.70 50.20 30.30 42.30 15.30
Gemini-2.5 Pro \(\times\) 55.00 88.00 62.50 41.60 37.90 43.80 36.40 40.70 21.80
Gemini-2.5 Pro \(\checkmark\) 66.10 89.60 68.80 56.80 43.10 51.00 39.90 48.80 20.40
HVS-3B (SOTA) 3B \(\times\) 48.04 61.79 26.14 45.18 24.12 36.60 17.76 22.66 11.57
HVS-3B (SOTA) 3B \(\checkmark\) 62.75 75.77 64.20 57.61 39.38 49.40 32.89 41.12 26.39

消融实验

在 HVS-3B 作为执行器模型的设定下，对先验引导类型、语义布局机制及概率采样策略进行了详尽消融（在 HOS 任务上评估成功率 %）：

引导配置 HOS Overall Easy Medium Hard 说明
Actor 独立基线 48.04 61.79 26.14 45.18 无外部空间先验输入
+ 随机建议 (Random Suggestions) 20.83 23.09 19.32 20.14 虚假先验显著干扰推理决策（-27.21%）
+ 像素级外推 (FLUX.1-Fill) 46.17 61.46 27.27 42.39 低层像素伪影退化高层推理，弱于纯基准
+ Imaginator (去除布局 modeling) 41.00 59.84 34.09 34.56 缺乏全局结构锚点引发空间幻觉（-7.04%）
+ Imaginator (确定性解码 \(T=0\)) 61.54 74.47 58.52 56.93 缺乏多假设分布支持，极度不确定时易失误
+ Imaginator (完整概率采样方案) 62.75 75.77 64.20 57.61 全球布局与退火采样协同最优（+14.71%）

关键发现

  • 显式空间布局建模的不可或缺性：去除全局 [Observed] 与 [Imagined] 语义布局约束后，模型退化为纯单点坐标回归，其成功率骤降至 41.00%，甚至明显低于无任何辅助的原始 Actor（48.04%）。这证明只有显式将未见实体与可见地标共同锚定在全局坐标系中，空间先验才能平滑泛化，否则点估计会产生极具误导性的高置信度错误。
  • 符号化语言先验远胜低层像素补全：基于微调 FLUX.1 的像素外推不仅单步耗时高达 20-30 秒，且因幻觉细节与视觉噪声干扰了执行器的语义理解，成功率仅 46.17%；相比之下，符号化布局在语言空间推断仅耗时 2.5-7 秒，性能高出 16.58 个绝对百分点。
  • 搜索效率与步数分布显著左移：原始基线在 10 步上限内频繁出现反复试探甚至因步数超限而失败；加入 Imaginator 后，成功轨迹的步数分布大幅左移，绝大多数搜索在 1-3 步内迅速收敛至目标视域。
  • 数据扩展律验证单步掩码预训练的高效性：伪预训练数据规模从 0 扩展至 1.92M 展现出单调向上的性能增益。仅用 0.38M 无监督全景数据训练的轻量 Imaginator，便足以助力 Actor 超越依靠昂贵 RL 人工轨迹调优的旧 SOTA。

亮点与洞察

  • 将连续未知空间的探索建模为离散符号空间的概率分布：论文没有陷入计算开销巨大、容易失真的图像/视频全景外推生成，而是巧妙地用结构化文本坐标表达全局拓扑，以极轻量代价给出了可解释的探索候选。
  • 双系统认知机制的具身落地：快思考的直觉空间先验（Imaginator）与慢思考的逻辑规划（Actor）有机协同，前者打破局部视场的信息盲区，后者修正先验可能包含的偏差，构成抗干扰的探索闭环。
  • 完全规避轨迹标注的自扩充数据飞轮：利用全景图像天生的 360\(^\circ\) 完整性与局部视场掩码机制，将原本需要昂贵序列交互轨迹的强化学习任务，降维为完全自动化的静态单步标注任务，直接生成 192 万训练样本。

局限与展望

  • 开环建议传递缺乏反馈闭环：当前架构属于开环流水线，Imaginator 输出先验后无法接收 Actor 执行后的实际观察反馈并动态修正自身的空间表征。未来需要引入 Critic 或双向交互协议形成闭环纠错机制。
  • 动态物理交互与三维遮挡深度缺失：目前模型假设相机位于全景球心进行纯旋转朝向搜索，尚未处理机械臂走位、跨房间移动或物体被厚重物理障碍物遮挡带来的连续深度导航问题。
  • 长尾微小目标的空间定位精度瓶颈：等距柱状全景投影在极点区域存在畸变，且小目标在全景坐标系中占比过小，对高精度微小物件定位仍存在空间分辨率限制。

相关工作与启发

  • vs Thinking in 360\(^\circ\) (Yu et al., 2025)：后者将观察记忆、未见区域猜测与动作规划耦合在单个模型的长思维链中，计算开销巨大且严重依赖昂贵的专家交互轨迹微调；本文提出解耦双组件架构，通过独立的轻量 Imaginator 预测全局语义布局，训练数据由无标注全景图自动生成，推理收敛速度提升数倍。
  • vs VISTA / 像素外推方案：以往视觉外推工作倾向于通过扩散模型生成未观测区域的真实像素，生成开销高（单步 20-30s）且细节伪影多；本文将空间想象迁移至语言语义坐标空间，推理仅需 2.5s，规划有效性显著增强。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 成功将全景空间探索从单体隐式猜测重构为显式解耦的生成式语义先验架构，思路极为清晰。
  • 实验充分度: ⭐⭐⭐⭐⭐ 覆盖多种主流模型（开源 3B-235B、闭源 Gemini、专用模型），消融深入，数据规模扩展分析完整。
  • 写作质量: ⭐⭐⭐⭐⭐ 问题表述直接切中具身智能的核心矛盾，方法架构和实验图表逻辑严密。
  • 价值: ⭐⭐⭐⭐⭐ 摆脱了昂贵的具身轨迹数据工程依赖，为全景主动视觉感知和机器人搜索导航提供了极具推广价值的范式。

相关论文