Text-Guided 6D Object Pose Rearrangement via Closed-Loop VLM Agents¶

会议: ECCV2026
论文: ECCV 原文
领域: 多模态 VLM
关键词: 六维位姿重排、闭环智能体、多视角推理、坐标轴可视化、单轴旋转

一句话总结¶

让同一个预训练视觉语言模型（VLM）轮流评估场景、提出物体位姿增量，再从重新渲染的结果中纠错，配合三种几何提示，在不微调的情况下将 Open6DOR V2 的整体六自由度位姿预测成功率从 SoFar 的 26.3% 提升至 46.4%。

研究背景与动机¶

机器人收到“把马克笔放进杯子，笔帽朝上”时，识别马克笔和杯子只是起点。真正需要确定的是物体应该平移到哪里、绕什么方向旋转，以及最终姿态是否同时满足容纳关系和朝向要求。单张图像会把不同深度的位置投影到相近区域，遮挡还会让两个物体的接触关系难以判断。因此，能流畅描述场景的 VLM，并不一定能直接给出正确的目标六维位姿。 SoFar 等方法把场景整理成结构化信息，有利于表达位置关系，但仍可能遗漏整体视觉线索和目标朝向。

本文关注的不是估计物体当前姿态，而是根据语言推断一个尚未出现的目标状态。一次性输出完整旋转要求模型同时解决观察歧义、坐标方向和三维旋转组合，出错后也没有机会检验。作者改用可渲染的三维场景：先在场景中更新物体，再把更新后的视觉证据交给模型检查。这里的闭环首先发生在目标位姿推断阶段，并不等于机器人每走一步都调用一次 VLM。后续机械臂实验才把预测目标交给抓取和运动规划系统，检验这些目标是否真正有助于操作。

这一思路仍需要解决“模型看见错误，却不会准确修正”的问题。多视角帮助发现深度与遮挡错误，显式坐标轴统一方向和尺度，单轴旋转则降低每次动作的推理难度。 核心 idea：把一次性目标位姿预测改成有视觉反馈和历史记忆的增量修正，让模型在可解释的几何接口上逐步接近语言要求。

方法详解¶

整体框架¶

输入是带相机内参的 RGB-D 图像，或由多个物体网格组成的三维场景，以及描述目标状态的文本指令。输出是目标物体的最终位置与朝向；相关物体及其余场景物体在推断中保持不动。 RGB-D 输入先反投影为点云，再用现成分割模型得到物体掩码，剔除各物体点云中的离群点。这一步提供可以独立变换的物体几何，不是额外学习一个目标位姿预测网络。

开始循环前，系统围绕整个场景的轴对齐包围盒（AABB）中心布置相机，渲染多视角图像和物体掩码。 VLM 先挑选物体最清晰、最容易区分的视图，再根据带框和标签的物体图像识别目标物体与指令相关物体。例如，“放进杯子”中的杯子是相关物体，马克笔是需要更新的目标物体，桌面上的其他东西不随之移动。此后每轮都经过闭环评估与记忆、多视角支持视图、物体中心坐标轴、单轴旋转更新，并重新渲染。评估者和提议者是同一个 VLM 的两种调用角色，不是两个分别训练的模型。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Input["三维场景与指令<br/>识别目标及相关物体"] --> Eval["闭环评估与记忆"]
        Eval -->|尚未满足指令| Views["多视角支持视图"]
        Views --> Axes["物体中心坐标轴"]
        Axes --> Rotate["单轴旋转更新"]
        Rotate -->|应用增量并重新渲染| Eval
        Eval -->|满足指令或达到迭代上限| Output["最终目标位姿<br/>可接抓取与运动规划"]

关键设计¶

1. 闭环评估与记忆：把错误变成下一步可用的证据

评估者查看当前渲染结果，检查目标和相关物体是否可见、语言指定的空间关系是否成立，以及是否存在不合理的物体穿插。其输出包含是否满足指令的判断、支持该判断的视图编号，以及判断理由。若场景已满足要求，系统结束；否则提议者根据视觉证据输出平移、主旋转轴、旋转角度和修改理由。渲染器把提议变成真实的几何变化，下一轮模型看的是变换后的图像，而不是只相信自己上轮写出的描述。因此，它可以发现原本以为足够的移动仍然没有进入杯口，或者原本想扶正的物体反而倒向另一侧。

历史记忆累积此前的评估、位姿更新和理由，并在后续轮次同时提供给两个角色。这使模型能够把当前画面与过去尝试联系起来，减少反复提出相反修正的振荡。记忆本身不是训练样本回放，也不更新权重，而是不断增长的推理上下文。循环在评估者认可场景或达到最大迭代次数时终止；触及上限只代表停止计算，不能自动视为任务成功。主文把迭代预算分析放在补充材料，本笔记不补写未提供的具体上限或每轮调用成本。

2. 多视角支持视图：先跨视角检查，再集中解释一个修改

每轮重新计算目标物体与相关物体的联合 AABB，并沿环形轨迹放置等间距相机。相机取景以这组物体为中心，同时确保它们留在画面内，避免目标移动后沿用失效的观察位置。评估者用多个视图检查空间关系，特别是单个视角无法区分的前后距离和遮挡。例如，一个看起来已经进入书架的物体，换个角度可能仍停在架前或被侧板挡住。这不是从原始 RGB-D 图像补采真实新观测，而是在当前已有三维表示上生成不同视角。

如果需要修正，评估者选择最能支持其判断的视图，提议者围绕这张图预测下一步动作。这样，评估利用多视角覆盖，而动作生成得到一个具体的视觉参照，不必同时协调所有相机投影。支持视图可以逐轮改变，避免一个固定视图被遮挡后整个推理过程失去依据。但渲染新视角不会凭空恢复原始点云中不存在的表面；对缺失几何的敏感性仍取决于输入表示。后一句是依据输入机制的读者分析，并非作者报告的额外实验结论。

3. 物体中心坐标轴：固定世界方向，用可见长度表达移动尺度

系统把坐标系原点放在当前目标物体 AABB 的中心，轴方向始终与世界坐标一致。 “物体中心”只表示原点跟着物体移动，不表示坐标轴跟着物体姿态旋转；混淆这两者会改变动作含义。各轴从相应包围盒面的中心向外绘制，给出可见的方向和长度参照。提议者始终看到这种叠加图；对于前后左右容易混淆的指令，评估者也可以看到带坐标轴的多视角图像。这解决了同一个世界方向在正面视图向左、背面视图却向右的表观冲突。

坐标轴的实际长度由目标物体规范坐标下的 AABB 尺寸决定，并在迭代中保持不变。 VLM 被要求把这段可见轴长当作一个单位，输出归一化平移，而不是直接猜以米计的距离。若实际轴长为 \(L\)，模型输出为 \(\hat{\mathbf{t}}_i\)，则应用到世界场景的平移为：

\[ \mathbf{t}_i=L\hat{\mathbf{t}}_i. \]

这一关系来自第 7 页正文，说明可视化同时承担方向提示和尺度标尺，而不只是装饰。缓存中的式 (5) 分段条件损坏，无法可靠恢复轴长选取规则，因此这里不猜补该分段公式。

4. 单轴旋转更新：把完整朝向拆成可观察的小决策

提议者每轮只选择世界坐标中的一个主轴，并给出绕该轴旋转的角度，遵循右手定则。平移仍可同时包含三个方向的分量；受限制的是每次旋转的参数化，不是把整个操作压成一维移动。不同轮次可以选择不同旋转轴，因此多次组合仍可表达复杂朝向，不必一次输出三个耦合的欧拉角。用 \(\mathbf{R}_i\) 表示本轮增量旋转，目标物体朝向按世界轴约定左乘更新：

\[ \mathbf{R}_{i+1}^{\mathrm{tgt}}=\mathbf{R}_i\mathbf{R}_i^{\mathrm{tgt}},\qquad \mathbf{R}_i=R_{\omega_i}(\theta_i),\quad \omega_i\in\{x,y,z\}. \]

几何更新以目标物体当前 AABB 中心为旋转支点，再结合预测平移，而不是把整个物体绕世界原点甩动。目标物体转动后，下一次包围盒中心和渲染观察随当前几何重新计算。缓存式 (6) 的完整平移展开存在字符缺失；上式仅保留可辨认的朝向更新，不将猜测的展开冒充原式。与一次推断完整 SO(3) 相比，单轴动作让“刚才向哪边转、现在是否更接近目标”更容易从图像中检验。

一个完整示例¶

以论文图 1 的“把马克笔放进杯子，笔帽朝上”为例，以下是机制说明，不是额外记录的一条实验轨迹。初始识别阶段确定马克笔为目标、杯子为相关物体，循环只改变马克笔的几何位姿。评估者先从多视角判断马克笔是否进入杯口，以及笔帽是否指向上方；单纯投影重叠不足以说明插入成功。若侧视图暴露出杯口与笔身没有对齐，评估者将其选为支持视图，提议者据可见坐标轴估计平移和需要的单轴转动。应用更新后重新渲染，下一轮能够发现是否仍在杯外、是否方向反了，或是否出现穿插。此前的动作和理由继续保留，所以本轮修正可以针对上一轮偏差，而不是从头给出一个无关猜测。笔帽朝下的指令会改变朝向判据，即使最终位置相同，也不能沿用笔帽朝上的成功判断。只有完成目标位姿推断后，机器人系统才尝试抓取并执行到该姿态；视觉目标正确仍不保证机械臂能成功到达。

损失函数 / 训练策略¶

本文没有新增训练损失、额外微调阶段或专门的可学习位姿模块，改进发生在推理接口与反馈过程。实验接入 GPT-5.2、Gemini-2.5-Flash Lite 和 InternVL3-14B，底座能力会影响最终成功率。 “免训练”指该框架不进行任务特定训练，并不表示底座模型、分割模型或抓取模型从未接受训练。机器人实验使用 GraspNet 预测抓取，使用 OMPL 做运动规划，VLM 不直接输出高频关节控制序列。 LIBERO 设置还把夹爪中心而非腕部对齐抓取点，并使用先抬升、平面移动与调整姿态、再垂直下降的路径。这两项执行侧修改同时用于 SoFar 和本文方法，避免把仅本文享有的规划改进误算为位姿推断优势。

实验关键数据¶

主实验¶

Open6DOR V2 原有 4,389 个任务，排除预处理失败场景后评测 4,370 个任务；下表摘自表 1，第 8 页。所有值均为成功率（%）；位置和旋转分轨使用基准容差，六自由度分轨要求位置与旋转同时成功。 SoFar 和 Open6DOR-GPT 的底座统一为 GPT-5.2；主文未在此给出容差数值，不自行补填。

方法	位置分轨整体	旋转分轨整体	六自由度分轨位置	六自由度分轨旋转	六自由度分轨整体
Open6DOR-GPT	61.0	未报告	未报告	未报告	未报告
SoFar	93.7	31.3	94.7	28.0	26.3
本文，GPT-5.2	94.4	56.6	91.0	51.1	46.4
本文，Gemini-2.5-Flash Lite	92.3	32.3	83.7	32.4	26.7
本文，InternVL3-14B	81.0	24.4	80.2	28.2	22.8

GPT-5.2 版本的整体六自由度成功率增加 20.1 个百分点，但该分轨的位置成功率反而从 94.7% 降至 91.0%。因此主要收益应归因于旋转与联合目标判断，不能描述为所有指标全面领先。 InternVL3-14B 的整体六自由度结果低于 SoFar，也说明框架适用多个底座不等于每个底座都超越强基线。

消融实验¶

表 4，第 13 页：从位置、旋转和六自由度分轨各随机取 180 个子任务，共 540 个；值为成功率（%）。该子集与主实验不同，完整配置的 40.6% 不能和全量任务的 46.4% 直接解释成同条件差距。

配置	位置分轨整体	旋转分轨整体	六自由度分轨整体
去掉历史记忆	77.8	52.8	28.9
去掉单轴旋转预测	80.6	57.6	36.7
去掉坐标轴可视化	71.7	56.9	31.1
去掉多视角推理	81.7	60.4	38.9
完整配置	85.6	61.1	40.6

去掉记忆使整体六自由度成功率下降 11.7 个百分点，去掉坐标轴使其下降 9.5 个百分点。多视角在该子集上仅贡献 1.7 个百分点；作者解释为桌面场景通常从输入视角已能看清，不能据此推断严重遮挡时多视角无用。去掉单轴限制时改为按 x、y、z 顺序应用欧拉角；作者观察到模型常只给一个轴非零角度，削弱了这一消融的对比强度。

关键发现¶

机器人执行与几何目标预测要分开看：表 2，第 11 页在 528 个随机任务、LIBERO/Franka 协议下，整体六自由度成功率为本文 14.1%、SoFar 12.9%。这只提高 1.2 个百分点，远小于目标预测实验的差距；不能拿 46.4% 宣称端到端机械臂成功率。抓取失败且场景未改变的试验记为失败，避免原始场景恰好满足目标而产生假阳性。 SIMPLER 使用 WidowX + Bridge 设置；下表摘自表 3，第 11 页，保留抓取成功率和最终成功率以区分瓶颈。

任务	SoFar 抓取（%）	SoFar 最终（%）	本文抓取（%）	本文最终（%）
Put Spoon on Towel	62.5	58.3	62.5	58.3
Put Carrot on Plate	79.2	70.8	83.3	45.8
Stack Green Block on Yellow Block	50.0	33.3	50.0	37.5
Put Eggplant in Yellow Basket	62.5	8.3	70.8	66.7

胡萝卜任务的抓取率更高，最终成功率却更低，说明抓到物体与完成放置并不是同一件事。勺子任务与 SoFar 持平，不应把作者的“最佳”表述理解为每个任务都严格胜出。

亮点与洞察¶

坐标轴既是方向词的视觉锚点，也是平移尺度的标尺。同一提示同时解决视角变换后的方向混淆和距离估计问题。
评估与提议共享底座但使用不同视觉上下文。多视角负责查错，支持视图负责解释如何改，让反馈更有针对性。
历史记忆的消融影响最大，提示瓶颈不只是单帧识别。保持连续尝试之间的一致性，也是空间推理的重要部分。
可迁移的思想是把复杂目标转成可执行、可重新观察的增量操作。它更接近测试时搜索接口，而不是一种新的机器人策略训练方法。

局限与展望¶

作者明确指出反复调用 VLM 和渲染会增加计算与延迟，不适合直接承担低延迟实时控制；主文没有给出可引用的耗时数字。
评估者仍受底座视觉能力限制，视觉上认可的状态不等于通过严格碰撞检测或动力学验证。本文没有给出几何可行性的形式保证。
实验中的机器人操作来自仿真，不能据此宣称已验证真实机器人部署；闭环位姿推断也不自动处理执行过程中的滑动或抓取偏差。
主文将更多 VLA 对比、失败案例与迭代预算放到补充材料，指定缓存未包含这些内容，本笔记不扩展相关结论。
文本提取中的式 (5)、式 (6) 有损坏；第 9 页难度等级文字使用 level 1/2，而表 1 位置分轨为 Level 0/1，本笔记只比较整体指标，不擅自统一编号。
读者建议是增加几何检查并将执行失败反馈回目标推断，同时报告相同调用预算下的成功率与延迟；这些属于后续方向，不是已实现功能。

评分¶

新颖性: 4/5。闭环本身已有先例，但针对六维目标位姿的视觉坐标接口与增量动作设计具有明确针对性。
实验充分度: 4/5。包含多底座、两个仿真基准和组件消融，但真实执行、成本及统计不确定性仍需补充证据。
写作质量: 4/5。流程与消融解释清晰，部分概括应结合非全面领先的表格结果理解，缓存公式损坏影响精确复现。
价值: 4/5。展示了无需任务微调也能改善朝向推断的实用路线，同时保留了目标预测与机器人执行之间的边界。