3DWay: Generalizing Robot Manipulation via 3D Consistent Waypoints¶

会议: ECCV2026
官方论文: 4788
论文: PDF
代码: https://github.com/ziqin-h/3DWay
领域: 机器人 / 具身智能
关键词: 三维一致路点、多视角几何、轨迹中间表示、视觉语言动作模型、少样本泛化

一句话总结¶

3DWay把三维轨迹生成转化为VLM擅长的多视角二维坐标文本预测，再用相机几何恢复可执行路点，在RLBench未见任务上以固定俯视抓取策略达到64.0%成功率，并能作为局部空间提示提升少样本微调的π0。

研究背景与动机¶

视觉语言模型能理解“把红色水果递给某个角色”之类的指令，但从图像和文字直接输出连续机器人动作，需要跨越表示与监督形式的差异。轨迹中间表示提供了一条可解释的过渡路径：先决定机械臂大致如何移动，再交给控制器执行。相较于只标出物体或抓取区域，轨迹还表达了运动顺序与中途经过的位置。

问题在于，二维轨迹上的一个点并不唯一对应空间中的一个位置。给它查询深度图，也不一定能解决问题：深度图记录的是该像素可见表面的深度，而“把球抬到篮筐上方”所需的路点可能悬在空气里，其深度不是背后桌面或物体的深度。因此，论文所称的2.5D路点仍可能把自由空间运动错误地贴到可见表面。反过来，直接让VLM回归世界坐标，又要求它适应不同相机参数和三维动作输出，削弱了沿用预训练图文接口的优势。

本文选择保留二维预测接口，但要求多个视角描述同一组空间路点，再用标定相机把它们还原到三维。核心 idea：让VLM负责具有共同空间含义的多视角二维路点，让几何三角化负责深度恢复，并把得到的三维路径同时用于简单任务直接执行与复杂任务的VLA引导。

方法详解¶

整体框架¶

输入是语言指令、多视角RGB图像及已知相机内外参；默认使用两台相机。VLM接收图像和指令，生成各视角的路点坐标序列及夹爪状态；相机参数用于训练标签投影和推理三角化，而不是要求VLM直接生成世界坐标。输出描述工具中心点（TCP）的简化三维运动路径，不是完整的关节动作或六自由度末端姿态轨迹。

训练先经过“一致路点监督”构建共享标签，再通过“多视角文本预测”适配NVILA；推理将预测送入“几何三角化”，最后通过“双模式执行”选择俯视抓取控制，或把局部路点作为π0的额外状态条件。图中的训练分支说明标签来源，不表示部署时需要示范轨迹。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["训练示范与相机参数"] --> B["一致路点监督"]
    B -->|训练标签| C["多视角文本预测"]
    I["多视角RGB与指令"] --> C
    C --> D["几何三角化"]
    K["已知相机内外参"] --> D
    D --> E["双模式执行"]
    E -->|简单任务| F["俯视抓取与运动规划"]
    E -->|需要灵巧动作| G["局部路点引导π0"]

关键设计¶

1. 一致路点监督：先在三维选点，再投影到各个视角

多视角预测的难点不只是“每张图点得准”，而是不同图中的同序号路点必须指向同一个执行阶段、同一个三维位置。作者根据机器人状态与末端执行器模型计算原始TCP轨迹，先用Ramer-Douglas-Peucker（RDP）算法简化三维轨迹，再利用相机标定将保留的点投影到各视角。这样，各视角监督来自同一组三维路点，而不是分别简化二维轨迹后再猜测对应关系。

这种处理保留了路线中的关键转折，同时减少连续轨迹带来的冗余输出。训练样本使用任务初始观测、任务描述及对应执行轨迹，不要求输入整段演示视频。数据来自RLBench、DROID和RH20T，共约290个任务、134k条轨迹；还用结合任务提示与开放词汇检测器的自动评分筛掉低质量数据。缓存正文没有给出评分细节与RDP阈值，不能据此补写具体筛选公式。

2. 多视角文本预测：沿用语言建模接口学习对应路点

作者选择NVILA的2B、8B和15B版本，先在RoboPoint上微调，提高像素级点定位能力，再学习多视角一致二维路点（2D-MCW）。目标以文本形式表达各相机的坐标序列和夹爪开闭状态，训练使用语言建模交叉熵，而不是额外添加三维回归头、动作专家头或复杂的几何损失。

这一步的动机很具体：VLM原本就通过图像条件生成文本，让它输出二维坐标比直接学习机器人世界坐标更接近原有任务形式；多视角共享标签则把三维对应关系嵌入监督之中。重要的是，论文没有提出一个保证所有预测严格符合几何约束的专用损失。“一致性”主要来自联合多视角预测与共享三维标签构建，随后才由几何计算恢复三维位置；不能把它误写成推理前已经满足精确对应约束。

3. 几何三角化：恢复自由空间路点，而非读取表面深度

给定对应的二维路点，每台标定相机都提供一条指向该点的空间射线；三角化利用多条射线共同确定空间位置，因此不需要该位置恰好落在物体表面。按原文式（4）的含义，可将核心转换写为：

\[ \widehat W_{3D}=\operatorname{Tri}(\widehat{\mathcal W}_{2D},\mathcal K,\mathcal T). \]

这里，预测的多视角二维路点集合与相机内参、外参共同决定恢复结果，三角化算子不是另一个神经网络。相机几何接管了坐标系转换与深度推断，VLM专注于“指令要求在哪里经过”。这也解释了为什么不用深度图：飞越障碍物或在容器上方停留的路点，即使其所在像素背后是其他表面，仍能由多视角位置确定。

这种机制并不消除误差。如果两个视角预测了不同阶段的点、某一路点被遮挡，或相机标定失准，恢复的三维路径仍会出错。正文给出了三角化接口，但没有详细说明数值求解、离群点剔除或输出序列不匹配时的处理，因此不将某个具体鲁棒求解器写成作者实现。

4. 双模式执行：简单任务直接走路点，复杂动作交给π0补全

直接执行版本称为3DWay-TD：用固定俯视抓取姿态补齐路径未提供的旋转，再通过路点运动规划与逆运动学生成低层命令。它说明三维路点本身可以具有可执行性，而不必始终训练一个任务专用控制策略；代价是俯视姿态不能自然支持依赖复杂旋转的操作。因此，直接执行的强结果需要连同“旋转不敏感任务”的评测前提一起理解。

对于更复杂的动作，作者将3DWay接入π0。执行时根据当前末端位置与路点的距离选择局部时间窗口，再把窗口与机器人的本体状态拼接，作为动作预测条件；默认窗口含两个路点。这样，控制策略看到的是当前执行阶段附近的空间目标，而不是每步反复处理整条长路径。论文只说明窗口起点依赖距离，没有展开精确索引选择规则，不能擅自认定使用某个特定的最近邻或进度单调算法。

π0原本没有按路点条件预训练，所以必须在分布内微调阶段学会使用这一额外信息，虽然不需要修改其架构。“zero-shot路点”仅表示路点生成器不再针对目标任务微调，不等于下游π0没有看过目标任务示范。该区分直接影响少样本实验的解读。

一个完整示例¶

以论文示意任务“把球放进篮筐”为例：在两个初始视角里，VLM需要定位球、判断篮筐目标，并输出彼此对应的抓取、抬起、移动与释放路点及夹爪状态。这里的阶段描述用于解释流程，不额外假定原文使用固定数量的路点。

当球需要从空中移动到篮筐上方时，三角化恢复的是这一空中目标的位置，而不是二维像素背后可见表面的深度。若任务适合俯视抓取，控制器直接沿路径执行；若要交给π0完成更细致的动作，机器人接近后续路点时，局部窗口随执行状态更新，让模型结合实时图像和本体状态决定动作。窗口更新是引导信号的调整，不等于路点生成器已经实现动态环境重规划。

损失函数 / 训练策略¶

路点生成器先在RoboPoint上训练1个epoch，再在处理后的轨迹数据上训练10个epoch；两阶段批大小均为256，使用交叉熵、AdamW、学习率\(10^{-5}\)及余弦衰减。作者对VLM做全参数微调，在8张A100上，最大NVILA-15B版本也可在不到两天内完成训练。

除特别说明外，实验采用15B生成器、双相机输入和长度为2的自适应路点窗口。保留图文推理能力是此训练形式的设计意图，论文主要通过语义操作任务表现提供支持，不能将其等同于完整通用VLM能力保留测试。

实验关键数据¶

主实验¶

下表摘自原文表1，数值均为任务成功率（%）。RLBench使用10个旋转不敏感任务；未见设置排除测试任务示范，每个任务运行3轮、每轮25次。VLABench在5个代表任务上各用500条示范训练，测试覆盖分布内、跨类别、常识、语义指令和未见纹理5个维度，各任务每种设置测试50次。

方法	RLBench已见	RLBench未见	VLABench五维平均
OpenVLA-OFT	8.8	未报告	0.4
π0	39.6	12.0	25.9
π0.5	61.5	18.8	31.3
3DWay-TD	84.8	64.0	37.7

3DWay-TD相对π0.5的RLBench未见任务优势为45.2个百分点，VLABench平均优势为6.4个百分点。但它并非每项都领先：语义指令维度为24.3%，低于π0.5的25.8%。原文表1把括号误差标为std，正文却称standard error，本表仅摘均值，不混用两种统计口径。

少样本分析¶

下表来自原文表2，比较π0在5个RLBench任务上的微调结果；zero-shot与few-shot修饰的是路点生成器，三种10示范配置的π0均经过目标任务微调。

π0微调配置	每任务示范数	平均成功率（%）
标准微调	10	17.6
3DWay增强，zero-shot生成器	10	38.1
3DWay增强，few-shot生成器	10	46.1
标准微调	30	31.2
标准微调	50	46.7

按表内数值计算，增强后的两项提升分别为20.5和28.5个百分点；缓存正文写成18.4和26.4，与表格不符，本笔记采用表格值及其差值。few-shot增强模型用10条示范达到46.1%，接近标准微调50条示范的46.7%；“仅用20%数据”指目标任务微调示范预算，不包含生成器预训练数据。

消融实验¶

原文表3在RLBench未见任务上保持相同评测，以成功率作为路点质量的间接指标。外参偏移实验改变测试相机姿态，不应直接解释为随机破坏标定参数。

配置	主干	测试相机姿态偏移	多视角一致监督	成功率（%）
A0，默认	NVILA-15B	无	有	64.0
B0	NVILA-8B	无	有	62.8
B1	NVILA-2B	无	有	50.1
C0	NVILA-15B	小	有	61.6
C1	NVILA-15B	大	有	58.4
D0	NVILA-15B	无	无，各视角独立预测	22.0

关键发现¶

最强的机制证据是D0：即使最终也做三角化，独立视角监督和独立预测仍使成功率从64.0%降至22.0%，下降42.0个百分点。几何后处理不能自动修复跨视角语义或阶段错配。
8B比15B仅低1.2个百分点，2B则低13.9个百分点；这说明8B在该设置下有实用潜力，但没有延迟测量就不能据此宣称实时性。
真实机器人实验用AgileX PIPER，每个基础任务20条示范、共100条；生成器不做额外域内微调，各基础及扩展任务测试24次。原文第4.3节报告基础任务中，标准π0为21.7%，3DWay增强π0为65.8%，提升44.1个百分点。

亮点与洞察¶

三维推理不一定要求三维神经输出头。先预测对应的二维观测，再交给已知几何恢复空间结构，可以减少模型必须从数据重新学习的坐标变换。
路点监督的关键是“共享三维来源”，而不只是多放一张相机图。将这种监督构建思想迁移到其他多视角规划任务，比单纯增加输入视角更有针对性。
同一表示既能用于直接控制，也能作为学习策略的条件。直接执行检验路径是否可操作，VLA增强则检验路径是否能帮助补齐姿态与低层动作，两者回答不同问题。

局限与展望¶

作者明确承认：当前主要建模平移路点，没有显式生成旋转或动态适应策略。SE(3)姿态建模和分层子任务推理是未来方向，不能把现有3DWay当作完整灵巧操作规划器。
系统需要预标定相机，主要以双视角验证。遮挡、拥挤场景和动态环境仍是风险；测试视点变化的结果不能替代标定误差或失效相机下的鲁棒性评估。
VLA融合仍处于概念验证阶段，局部状态拼接没有充分检验路点与动作模型的联合推理。可探索带不确定性权重的融合及在线路点更新，但这些是改进建议，不是本文已有模块。
本笔记的评估：主实验强调基础VLA，没有在统一控制和数据预算下系统对比其他轨迹引导方法，不能得出优于全部三维策略的结论。作者也承认不同低层控制与后处理使公平比较困难。
复现仍需要补充材料中的筛选、格式和失败案例细节；当前缓存正文的误差统计标签及部分提升值存在不一致，应优先核对原始实验记录，而非把所有数字视为已完全自洽。

评分¶

新颖性: 4/5。共享三维路点投影监督与可执行中间表示组合清晰，组件本身建立在成熟VLM微调和几何方法上。
实验充分度: 4/5。覆盖两个模拟基准、少样本微调、真实机器人与一致性消融，但统一预算轨迹基线、动态场景及统计报告仍需补强。
写作质量: 3/5。动机和主流程易理解，但表文提升不一致、误差口径不统一，关键复现细节依赖补充材料。
价值: 4/5。对已标定多视角、示范稀缺的操作部署很有启发，适用边界是旋转、遮挡和动态适应能力。